автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Технология построения проблемно-ориентированных сред для научных исследований в рамках модели персонального облака

На правахрукаписи

Чуров Тимофей Николаевич

ТЕХНОЛОГИЯ ПОСТРОЕНИЯ ПРОБЛЕМНО-ОРИЕНТИРОВАННЫХ СРЕД ДЛЯ НАУЧНЫХ ИССЛЕДОВАНИЙ В РАМКАХ МОДЕЛИ ПЕРСОНАЛЬНОГО ОБЛАКА

Специальность: 05.13.11 —Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 Я НОЯ 2013

Санкт-Петербург 2013

005541175

005541175

Работа выполнена на кафедре информационных систем и в НИИ Наукоемких компьютерных технологий Санкт-Петербургского национального исследовательского университета информационных технологий, механики и оптики (НИУ ИТМО).

Научный руководитель: Бухановский Александр Валерьевич,

доктор технических наук

Официальные оппоненты: Ильин Вячеслав Анатольевич,

доктор физико-математических наук, профессор, НИЦ Курчатовский институт, Москва

Зикратов Игорь Алексеевич, доктор технических наук, профессор, НИУ ИТМО

Ведущая организация: Объединенный институт ядерных исследований

РАН, Дубна

Защита состоится 19 декабря 2013 г. в 15:30 на заседании диссертационного совета Д 212.227.06 в Санкт-Петербургском национальном исследовательском университете информационных технологий, механики и оптики по адресу: 197101, Санкт-Петербург, Кронверкский пр., д. 49.

С диссертацией можно ознакомиться в библиотеке НИУ ИТМО.

Автореферат разослан 19 ноября 2013 г.

Ваши отзывы и замечания по автореферату (в двух экземплярах), заверенные печатью, просим направлять по адресу университета: 197101, Санкт-Петербург, Кронверкский пр., д. 49, ученому секретарю диссертационного совета Д 212.227.06.

Ученый секретарь диссертационного совета, кандидат физико-математических наук ¿Ю Лобанов И. С.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Развитие глобальных сред распределенных вычислений стимулируется потребностями eScience и eEngineering - диффузных технологий, ориентированных на создание глобальных вычислительных инфраструктур для научных исследований и поддержки жизненного цикла сложных инженерных разработок. В силу междисциплинарного характера решаемых задач и коллаборативности исследовательских процессов вычислительные процессы в распределенных средах интерпретируются как композитные приложения (КП), которые описываются в форме потоков работ (workflow, WF), выполняемых на разных вычислительных ресурсах. Для разработки и исполнения WF используются специализированные инструментальные средства: WMS Taverna, Triana, Pegasus, Kepler и др. Данные исследования отражены в работах научных школ А.П. Афанасьева, В.А. Ильина, Л.Б. Соколинского, А.П. Крюкова, Л.Н. Щура, М.Н. Жижина, В.П. Иванникова, В.В. Коренькова и других российских ученых.

Развитие парадигмы облачных вычислений (ОВ) как способа абстракции (виртуализации) путей взаимодействия между провайдером и пользователем вычислительных, программных и информационных ресурсов позволяет рассматривать КП как динамическое объединение различных (Software as a Service, Data as a Service, Hardware as a Service, Visualization as a Service) облачных сервисов (ОС), ориентированных на решение общей задачи в среде распределенных вычислений. Такой абстракции соответствует модель AaaS (Application as а Service), определяющая суть облачных технологий второго поколения2. Несмотря на то что модель AaaS в целом наследует принципы использования вычислительных ресурсов моделей первого поколения (Infrastructure as a Service, Platform as a Service, Software as a Service), она привносит специфику в режим работы: локальный компьютер пользователя вовлекается в процесс исполнения КП в облаке. Обычно это обусловлено использованием уникального или дорогостоящего лицензионного научного программного обеспечения, имеющегося в наличии у пользователя, работой с данными ограниченного доступа, а также выполнением технологических операций с результатами расчетов при использовании уникальных терминальных устройств (например, систем виртуальной реальности). Реализация такой модели ОВ требует развития нового класса технологий т.н. персонального облака (ПеО), назначением которых является виртуализация взаимодействия между сервисами пользовательского компьютера и удаленными ОС различных провайдеров в рамках единого КП.

Предметом исследования являются технологии и инструменты взаимодействия пользователей и провайдеров распределенных высокопроизводительных вычислительных систем в рамках концепции ОВ второго поколения.

1 WMS - Workflow Management System.

" CLAV1RH: облачная платформа для обработки данных больших объемов / В.Н. Васильев и др.// Информационно-измерительные и управляющие системы. 2012. №11. С. 7-16.

Целью работы является развитие принципов ОВ для еЗЫепсе и еЕпдшеег^ в части создания персональных облаков, в которых для решения задач пользователя динамически формируется единое облачное пространство, включающее в себя сервисы его локального компьютера и удаленных облачных ресурсов различных провайдеров.

Задачи исследования:

- определение требований к современным инструментам интеграции пользовательских вычислительных ресурсов и облачных сред второго поколения, а также разработка концепции ПеО;

- проектирование архитектуры облачной платформы управления ПеО и ее программная реализация;

- экспериментальное исследование технологии ПеО на основе прикладных задач (моделирование лекарственных препаратов, моделирование и оптимизация транспортных потоков);

- оценка эффективности технологии ПеО в части временных издержек управления персональным облаком.

Методы исследования включают в себя методы теории систем и системного анализа, анализа алгоритмов и программ, инженерии программного обеспечения, аппарат теории вероятностей и математической статистики случайных величин и функций.

Научная новизна определяется принципами построения ПеО на основе динамического объединения вычислительных и программных ресурсов разного уровня доступа без развертывания специальной инфраструктуры управления облачной средой на стороне пользователя, а также их обобществления для других пользователей облака, в рамках модели Ааа8.

Практическую ценность работы составляют:

- набор программных компонентов для модификации облачной платформы СЬАУШЕ3 в части поддержки модели персонального облака;

- комплект программной, эксплуатационной и технической документации для организации программно-аппаратных комплексов управления ПеО.

На защиту выносятся

- архитектура платформы управления ПеО, обеспечивающая процессы разработки и исполнения композитных приложений в облачной среде с динамическим использованием локальных ресурсов пользователя;

- технология организации программно-аппаратных комплексов управления ПеО на основе облачной платформы второго поколения СЬАУ1ЯЕ.

Достоверность научных результатов и выводов обусловлена обоснованностью применения математического аппарата, результатами тестирования алгоритмов и программного обеспечения, экспериментальными исследованиями на реальных приложениях, а также практическим внедрением (опытной эксплуатацией) разработанных программных средств.

3 Многопрофильная инструментально-технологическая платформа CLAVIRE (Cloud Application Virtual Environment, <http://clavire.ru>) RU.02066397.80066-06 разработана научной школой, к которой принадлежит диссертант.

Внедрение результатов работы. Результаты работы были использованы при выполнении следующих НИОКР: «Инструментальная технологическая среда для создания распределенных интеллектуальных систем управления сложными динамическими объектами», «Виртуальный полигон для суперком-пыотерного моделирования сложных систем», «Виртуальный полигон для исследования динамики морских объектов и сооружений в экстремальных условиях эксплуатации», «Технология системологического проектирования и разработки междисциплинарных приложений в среде облачных вычислений», «Ситуационный центр нового поколения для предупреждения и ликвидации угрозы наводнений», «Интеллектуальные суперкомпьютерные технологии е-БЫепсе» и «Облачные технологии высокопроизводительных вычислений в задачах интерактивной ЗО-визуализации сложных процессов и систем» в рамках ФЦП «Научные и научно-педагогические кадры инновационной России» на 20092013 гг.; «Создание функционирующего в режиме удаленного доступа интерактивного учебно-методического комплекса для выполнения работ в области моделирования наноразмерных атомно-молекулярных структур, наноматериалов, процессов и устройств на их основе, в распределенной вычислительной среде» в рамках ФЦП «Развитие инфраструктуры наноиндустрии в Российской Федерации на 2008-2011 гг.»; «Разработка \уеЬ-ориентированного производственно-исследовательского центра в области социодинамики и ее приложений», «Суперкомпьютерное моделирование конформационно-зависимых свойств белков в задачах рационального дизайна лекарственных препаратов», «Технологии экстренных вычислений в задачах планирования и диспетчеризации маршрутов наземного общественного транспорта» и «Высокопроизводительный программный комплекс для моделирования электронных и электромеханических свойств наноуплеродных объектов» в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России» на 2007-2013 гг.; «Создание высокотехнологичного производства комплексных решений в области предметно-ориентированных облачных вычислений для нужд науки, промышленности, бизнеса и социальной сферы» в рамках реализации постановления Правительства РФ № 218; «Распределенные экстренные вычисления для поддержки принятия решений в критических ситуациях» в рамках реализации постановления Правительства РФ № 220.

Апробация работы. Полученные результаты обсуждались на международных и всероссийских научных конференциях, семинарах и совещаниях, включая XIV Всероссийскую объединенную научную конференцию «Интернет и современное общество» (Санкт-Петербург, 2011), XI Всероссийскую конференцию «Высокопроизводительные параллельные вычисления на кластерных системах» (Нижний Новгород, 2011), Международную научно-практическую конференцию молодых ученых и специалистов «Технологии высокопроизводительных вычислений и компьютерного моделирования» (Амстердам, 2012), XII Всероссийскую конференцию «Высокопроизводительные параллельные вычисления на кластерных системах» (Нижний Новгород, 2012), II Международную научно-практическую конференцию молодых ученых и специалистов

«Технологии высокопроизводительных вычислений и компьютерного моделирования» (Барселона, 2013), XX Всероссийскую научно-методическую конференцию «Телематика'2013» (Санкт-Петербург,2013).

Публикации. По материалам диссертации опубликовано 9 печатных работ, в том числе 5 — в изданиях из перечня ВАК РФ.

Личный вклад автора в работах, выполненных в соавторстве, заключается в проведении аналитического обзора в проблемной области диссертационной работы; обосновании требований к технологиям встраивания персональных ресурсов; разработке концепции ПеО; проектировании и реализации программной платформы для облачных вычислений CLAVIRE в части поддержки технологии ПеО; проведении экспериментальных исследований и интерпретации их результатов в рамках модели ПеО. Из работ, выполненных в соавторстве, в диссертацию включены результаты, которые соответствуют личному участию автора.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы (77 источников). Содержит 112 с. текста, включая 43 рисунка и 6 табл.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность проблемы, сформулированы цель и задачи исследования, отмечены научная новизна и практическая значимость результатов, перечислены основные положения, выносимые на защиту.

Первая глава содержит результаты аналитического обзора средств eScience и eEngineering, в том числе различных WMS, систем управления распределенными ресурсами и сервисами-хранилищами WF. Детально исследуются методы встраивания пользовательских вычислительных ресурсов и использования прикладных пакетов, способы взаимодействия пользователей в процессе разработки КП и обмена результатами исследований. Определены характерные особенности существующих WMS с точки зрения возможности встраивания вычислительных ресурсов и прикладных пакетов, принципы разделения прав доступа и способы экспортирования WF (см. таблицу). Установлено, что в рассмотренных системах:

- используемые механизмы встраивания пакетов не связаны со средствами обеспечения масштабируемости и планирования их выполнения на ресурсах; таким образом, это нарушает один из основных принципов ОВ4;

- при поддержке технологий ОВ первого поколения не предоставляется возможность подключения к собственным ресурсам пользователя и планирования выполнения на них отдельных задач в составе КП, что не позволяет перейти к модели ПеО;

- только некоторые WMS имеют удобные графические интерфейсы, доступные по сети Интернет, решающие задачи построения КП, администрирования ресурсов, прикладных пакетов и прав доступа;

4 Пользователь оплачивает лишь ресурсы, необходимые для решения его задачи.

6

— системы исполнения КП за редким исключением не интегрированы с каталогами КП, таким образом усложняется повторное использование опубликованных WF из-за необходимости дополнительной работы по настройке компонентов для рабочей среды конечного пользователя.

Системы исполнения КП для eScience и eEngineering

Название Тип графического интерфейса Встраивание ресурсов Встраивание пакетов Разграничение прав Способ экспорта результатов

Та verna Локальное приложение Хостинг сервиса Сервисы, библиотеки Средства защиты сервисов Скрипты, (myExperiment, BioCatalogue)

Kepler Локальное приложение Хостинг сервиса Сервисы, библиотеки ACL сервера Kepler Archive (KAR), (Kepler Component Repository)

Triana Локальное приложение Хостинг сервиса Сервисы, библиотеки Jar Средства защиты ресурсов X mi-описание, пакет (Jar-файл)

Méandre Web-при ложение Хостинг сервиса Сервисы с семантическими метаданными - Описание ZigZag, сервис MUI, ( MyExperiment)

Trident Локальное приложение, web-портал Нет (локальное исполнение) Локальные пакеты Ролевая модель Windows Open Packaging Convention (OPC), (MyExperiment)

Nimrod Локальное приложение, web-портал (Nimrod/Portal) Системы управления ресурсами Методы системы управления (агенты) Средства зашиты ресурсов Plan file

MathCloud Web-портал Хостинг сервисов Сервисы В разработке J SON

Pegasus Набор языковых библиотек Системы управлення ресурсами и ОС Методы системы управления Ролевая (файлы конфигурации) DAX, (не перелается в хранилища)

Galaxy Web-портал (публичный или персональный) Системы управления ресурсами Методы системы управления Группы, роли Сервисы, с семантическими метаданными

AskaJon Локальное приложение Системы под управлением Globus Через сервисы Globus Globus security (GSI) AGWL-файлы

LoniPipeLine Локальное Java-приложение Системы управления Grid. DPS Сервисы Грид-снсгемы Средства защиты ресурсов Pipe-файлы описания

В результате проведенного анализа и сопоставления с ведущими мировыми аналогами для проведения дальнейших исследований была выбрана облачная платформа CLAV1RE (CLoud Applications VIRtual Environment). На ее основе можно создавать предметно-ориентированные программно-аппаратные комплексы с поддержкой многопользовательского доступа через Интернет, с возможностью конструирования и исполнения КП в гетерогенной облачной среде второго поколения. Платформа разработана на основе принципов сервисно-ориентированной архитектуры, что позволяет изменять состав и структуру создаваемых на ее основе приложений в зависимости от назначения и специфики использования. При этом она поддерживает режимы параллельного исполнения

за счет совместного использования внутреннего параллелизма отдельных задач и параллельной декомпозиции всего \\Т по данным, а также может предоставлять КП как отдельные облачные сервисы в среде Интернет (тем самым, позволяя пользователю абстрагироваться от их распределенной структуры). Таким образом, перечисленными выше фактами обосновывается целесообразность использования платформы (ХАУШЕ в качестве основы для проектирования и разработки облачной платформы управления ПеО для задач еЗЫепсе и еЕп^пеепгщ.

Вторая глава посвящена концептуальным основам технологии ПеО. Ключевой идеей ПеО является динамическое объединение вычислительных и программных ресурсов разного уровня доступа без развертывания специальной инфраструктуры управления облачной средой на стороне пользователя и его обязательного обобществления для других пользователей облака (что принципиально отличается от принципов построения Грид-сред). При этом первостепенную значимость приобретают прозрачность и дружественность процессов интеграции пользовательских вычислительных ресурсов и прикладных пакетов в единую вычислительную среду. Таким образом, формируется пользовательская часть ПеО, основу которой составляют четыре информационных сущности: реестр ресурсов, реестр пакетов, реестр прав, реестр тарифов (рис. 1).

Исследователь

Рис. 1. Схема организации персонального облака

В рамках развития концепции и технологии 1Р8Е , на основе которой создана платформа СЕАУЖЕ, подключение вычислительного ресурса к ПеО пред-

5 Intelligent Problem Solving Environment.

полагает добавление его описания в специальный реестр, который отвечает за хранение параметров доступа к ресурсам, таких как 1Р-адрес, тип взаимодействия (система управления ресурсом или операционная система) и данные для аутентификации (имя пользователя и пароль, сертификат). Кроме того, для корректного исполнения некоторых пакетов и прогнозирования времени вычисления требуется задать такие характеристики ресурса, как тактовая частота, объем оперативной памяти, поддерживаемые вычислительные архитектуры, наличие специфического оборудования. Также описание содержит список установленных на данном ресурсе прикладных пакетов с указанием пути доступа. Описание создается на машиночитаемом языке: это может быть формат ^ОЫ, расширение языка ХМЬ, либо специально разработанный текстовый или бинарный формат.

Описание пакетов также подчиняется логике автоматизации работы пользователя с КП для формирования корректных входных и выходных данных, строки запуска и получения корректных результатов. Обладающий уникальным пакетом пользователь должен иметь возможность самостоятельно добавлять его в пул пакетов системы и предоставлять доступ к установленному и настроенному на каком-либо ресурсе экземпляру пакета. Пакет может находиться на персональном ресурсе пользователя, но также может быть установлен на ресурсы платформы. Описание пакета может служить цели инкапсуляции его внутренней структуры (в том случае, если описывается лишь небольшая часть функциональности универсального пакета) или природы методов (обращение к базе данных, вычисление на графических процессорах и т.п.). Данное свойство также позволяет встраивать в КП прикладные пакеты с особым режимом доступа (например, пакеты с ограниченной лицензией или находящиеся в разработке пакеты, которые нецелесообразно передавать для использования облачному провайдеру), выполняемые на удаленных ресурсах или облачной среде, без угрозы нарушения прав интеллектуальной собственности и лицензионных соглашений.

На рис. 1 приведена общая схема организации ПеО, не зависящая от технической реализации системы управления ОВ. Помимо собственно организации вычислительных КП в рамках модели ПеО она предоставляет такие варианты использования, как проверка новых алгоритмов решения сложных вычислительных задач без непосредственного раскрытия программного кода.

Описанный и развернутый пакет в ПеО может служить заменой уже существующим пакетам других провайдеров, либо он может быть встроен в КП, разработанное специально для проверки и верификации решений конкретной задачи (разовое использование). Аналогично пользователь, обладающий уникальными данными, которые по тем или иным причинам нежелательно передавать в облако, имеет возможность скрыть их внутри описания пакета как ОС персонального облака. Это свойство позволяет рассматривать вычисления, доступ к данным и визуализацию результатов как отдельные блоки в составе КП, обладающие унифицированными связями друг с другом.

Помимо общих механизмов информационной безопасности, характерных для ОВ, поддержка ПеО требует дополнительных инструментов для обеспече-

ния пользователя-организатора ПеО средствами управления правами доступа иным пользователям ОВ к своим персональным ОС. Это необходимо также при определении круга лиц, участвующих в разработке КП в коллаборативных проектах или получающих результаты и детали их исполнения, сохраняемые в соответствующих журналах вычислительных экспериментов (ВЭ). Журналы ВЭ содержат входные данные и результаты расчетов, а также следующие детали: структура абстрактного композитного приложения (АМТ7), время запусков его компонентов, версии пакетов и их описания в системе, сопровождающая информация и перечень предупреждений и ошибок, описание конкретного композитного приложения (С\МБ) - с указанием ресурсов в облаке, на которых выполнялись блоки КП. Права доступа к ОС ПеО и журналам их исполнения указываются самим пользователем в соответствующем реестре прав.

Реестр тарифов в системе управления ПеО обеспечивает решение задач квотирования, биллинга и тарификации при коммерческом предоставлении ОС. Он позволяет задавать стоимость использования процессорного времени ресурса и вызова методов прикладного пакета или целого КП. В целом такой механизм позволяет формировать рынок вычислительных услуг, объединяющий специалистов-предметников (пользователей ПеО), поставщиков ОС, провайдеров ресурсов и разработчиков вычислительных пакетов и баз данных.

Таким образом, рассмотренный подход дает возможность отдельным пользователям строить собственные ПеО на основе ОС внешних провайдеров и локальных вычислительных ресурсах и управлять ими.

В третьей главе описываются особенности проектирования и программной реализации системы управления ПеО на основе платформы СЬАУЖЕ. На рис. 2 приведена архитектура системы управления ПеО. Она содержит системные компоненты, изначально присутствовавшие в составе платформы СЬАУЖЕ (и модифицированные в ходе данной работы) и разработанные специально для поддержки ПеО.

CLAVIRE I

/компонент, \ Ginger J

'компонент1. ПОИ /

Компонент интерпретации WF

Компонент База пакетов

/Компонент ^XML Package Manager

V ,.

Компонент управления учетными данными пользователей

Компонент База ресурсов

Компонент биллинга

Компонент удаленного исполнения задач

Список задач

ф Планы

Внешние , ресурсы

Кластер

Рис. 2. Архитектура системы управления ПеО на основе платформы CLA VIRE

Вследствие применения сервисно-ориентированного подхода при проектировании большинство компонентов являются web-ссрвисами, разработанными на основе архитектурного каркаса Windows Communication Foundation. Данный подход позволяет вести модульную разработку системы управления ПеО и дает возможности для гибкой настройки и адаптации под конкретные условия использования в дальнейшем. На рис. 2 указаны следующие ключевые компоненты.

База ресурсов (ResourceBase) - компонент, реализующий управление реестром ресурсов. В качестве ресурса могут выступать одиночный персональный компьютер, кластер, состоящий из нескольких узлов, высокопроизводительный суперкомпьютер, а также распределенные среды (включая глобальные Грид-системы) и специфическое терминальное оборудование. Обязательными элементами описания являются тип ресурса, его характеристики, поддерживаемые архитектуры, операционная система, число узлов и порядок доступа (1Р-адрес, тип агента, имя пользователя, пароль). Отдельный раздел описания посвящен установленным на ресурсе прикладным пакетам: для каждого пакета задаются его версия и местонахождения на диске, так как разные узлы могут содержать разный набор ПО, разделяется общая и специальная для каждого узла часть списка. Описания ресурсов хранятся в файловом хранилище данных, они представлены как файлы в машиночитаемом формате JSON.

База пакетов (PackageBase) отвечает за хранение описаний прикладных пакетов или сервисов системы. Описание пакета - это абстракция над прикладным ПО внутри платформы, содержащая форматы параметров допустимых методов. Описания представляют скрипты на предметно-ориентированном языке EasyPackage, на основе Ruby. Кроме основных параметров пакета с помощью EasyPackage можно задавать процедуры преобразования промежуточных данных, методы проверки корректности входных и выходных данных и методы конструирования неявных параметров.

Компонент PackageManager предоставляет графический интерфейс, позволяющий конечным пользователям работать с компонентами База пакетов и База ресурсов', с его помощью пользователь может встраивать свои пакеты и ресурсы в ПеО. PackageManager оснащен инструментами для упрощения процесса описания пакета на языке EasyPackage и проверки его корректности. При создании описания пакета автоматически генерируется набор прав для владельца. Также этот инструмент может быть полезен пользователю для встраивания ресурсов в платформу, определения круга лиц, имеющих доступ к ресурсам и пакетам, и декларирования тарифов за их использование. Компонент разработан как web-приложение на языках HTML и JavaScript, серверной частью является web-сервер Apache с управляющим модулем РНР.

Компонент интерпретации WF разбирает AWF КП, записанный на языке EasyFlow, на составляющие задачи и транслирует его в CWF. Данный компо-

нент отвечает только за ход выполнения WF, в то время как за планирование и запуск отдельных пакетов (соответствующих блокам WF) отвечают Компонент удаленного исполнения и Компонент планирования. За взаимодействие платформы CLAVIRE и вычислительных ресурсов отвечает Ферма контроллеров ресурсов.

Для настройки общего или частного доступа к ресурсам и пакетам в составе ПеО пользователь может применять компонент UserManagement. Он реализует графический интерфейс и web-сервис, обеспечивающие возможность задания нрав на пакеты и ресурсы. Компонент бшлинга решает две задачи - ведение профиля пользователя и задание тарифов на использование всех возможных элементов - от описаний КП до вычислительных пакетов и ресурсов. Компонент журнапирования ведет журнал ВЭ в ПсО с целью дальнейшего предоставления этих данных для анализа (в том числе автоматизированного, для настройки компонента планирования CLAVIRE).

Для работы с ОС в системе управления ПеО доступны два графических интерфейса: интегрированная среда разработки КП Ginger и проблемно-ориентированный интерфейс (ПОИ). Интерфейс Ginger предназначен для разработки композитных приложений на языке EasyFlow и поддерживает как режим текстовой разработки, так и режим конструирования WF из графических элементов. Кроме того, он обеспечивает запуск КП на исполнение, управление проектами, а также поддерживает интеллектуальные средства разработки WF (по предметным областям и по синтаксису), встроенную визуализацию результатов. ПОИ -это упрощенный интерфейс, предназначенный для запуска уже существующих ОС (отдельных пакетов или КП) из репозитория, доступного в ПеО.

За обеспечение информационной безопасности отвечают сразу два компонента: Фасад и компонент токенов безопасности (TokenBroker). Компонент токе-нов безопасности обеспечивает работу распределенной федеративной системы аутентификации и авторизации путем выдачи пользователям защищенных билетов (токенов) на основе языка SAML (Security Accessions Markup Language). Компонент может быть реализован для связки с информационной системой конкретной организации, тем самым предоставляя возможность объединенного корпоративного доступа к функциональности ПеО корпоративного типа6. Фасад отвечает за принятие, перенаправление и первичную авторизацию пользовательских запросов к сервисам системы, что позволяет оградить их от атак типа DDOS; при высокой нагрузке компонент может быть реплицирован, обеспечивая реактивность системы управления ПеО.

Таким образом, представленная выше архитектура системы управления ПеО на основе платформы CLAVIRE соответствует описанным во второй главе принципам работы персонального облака.

6 В данном случае в ПеО вместо локального ресурса отдельного пользователя рассматривается множество корпоративных ресурсов конкретной организации.

В четвертой главе рассматриваются практические аспекты применения технологии ПеО. Организация конкретным пользователем персонального облака включает в себя следующие шаги:

1) установка и настройка планируемого к использованию в составе ПеО прикладного программного обеспечения на локальном ресурсе для возможности его запуска в пакетном режиме из командной строки;

2) создание описания пакета и встраивание его в реестр платформы — выполняется при помощи компонента PackageManager (через web-интерфейс);

3) настройка локального ресурса для взаимодействия с системой управления ПеО: для *шх-систем - открытие доступа по защищенному каналу (Secure Shell, SSH), для систем на основе Windows требуется установка и конфигурирование компонента удаленного исполнения заданий (Remote Execution, ReX - специальный компонент CLAVIRE);

4) настройка точки подключения к локальному ресурсу и указание пути доступа к установленному прикладному пакету (см. шаг 1) с помощью компонента PackageManager в реестре пакетов ПеО (через web-илтерфейс);

5) определение прав использования локального ресурса и пакета на нем другими пользователями в графическом интерфейсе компонента UserManagement (через web-интерфейс);

6) задание стоимости исполнения описанного пакета и процессорного времени вычислительного ресурса (через web-интерфейс) для коммерческого предоставления другим пользователям ПеО.

После выполнения перечисленных шагов пользователь может использовать локальный вычислительный ресурс и установленные на нем пакеты в своих КП. Данная процедура выполняется пользователем самостоятельно, без привлечения технических специалистов провайдера ОВ.

Для оценки вычислительной эффективности предложенных решений экспериментально измерены временные издержки при взаимодействии облачных и локальных ресурсов в ходе работы КП в рамках модели ПеО. В экспериментальных КП одинаковые пакеты были установлены на одинаковых по характеристикам ресурсах: локальном и облачном. Средствами языка EasyFlow задавалось, чтобы запуски пакета производились на разных ресурсах, но при одинаковой загруженности системы управления ПеО. В ходе эксперимента измерялись временные издержки системного характера: время работы базы пакетов, время отклика контроллеров ресурсов, время подготовки входных файлов, суммарные накладные расходы. Для исследования зависимости скорости взаимодействия были выбраны варианта запуска с разным объемом входных данных: малый - около 10 КБ, средний - 1 МБ и большой - 10 МБ, при этом объем вычислений не зависел от данных. Ядерные оценки распределений временных характеристик, измеренных в ходе экспериментов, представлены на рис. 3 (/ - облачный ресурс, 2 - локальный ресурс, 3 - облачный ресурс (10 МБ), 4 - облачный ресурс (10 МБ)).

Из рис. 3 видно, что при использовании локальных ресурсов в режиме ПеО не происходит существенных потерь времени за счет работы системных компонентов. Незначительное увеличение времени работы контроллеров (управляющие команды ресурсу), очевидно, вызвано различиями в пропускной способности сетевых каналов. Для оценки затрат времени при передаче данных локальному ресурсу по сети также были проведены измерения, продемонстрировавшие, что в режиме ПеО время передачи 10 МБ данных в 90 % случаев не превышает 37 с на облачный ресурс и 44 с - на локальный. Как следствие, использование механизмов ПеО в процессе выполнения КП под управлением СЬАУШЕ не сказывается на его временных характеристиках настолько, чтобы нивелировать положительный эффект от возрастания функциональных возможностей пользователя.

Технология ПеО апробирована на задаче разработки КП для суперкомпьютерного моделирования конформационно-зависимых свойств белковых соединений в целях рационального дизайна лекарственных препаратов. Процесс моделирования состоит из трех последовательных этапов, включающих пять шагов. На первом этапе определяется карта информационной подвижности белков: посредством эволюционного алгоритма СМА-Е8 формируется набор всех возможных конформаций основной цепи белка, после чего к ним достраиваются боковые цепи. На втором этапе решается задачи молекулярного докинга. Для каждой из конформаций определяются активные центры, в которых позиционируется низкомолекулярное соединение (лиганд), и оценивается сила связи с по-

мощью полуэмпирического метода квантовой химии на основе БС-алгоритма , который может учитывать влияние растворителя. При этом вычисляются свободная энергия связывания низкомолекулярного лиганда с рецептором, в том числе энтропийный вклад. На третьем этапе проводится ранжирование и выбор конформаций, имеющих наименьшую свободную энергию, как потенциальных кандидатов для проведения доклинических испытаний, выполняется визуализация процесса докинга. А\\Ф КП в интерфейсе СЬАУЖЕ приведено на рис. 4.

Рас. 4. AWF КП для моделирования конформационно-зависимых свойств белков

в интерфейсе CLA VIRE

Специфика данного КП состоит в том, что визуализация результатов расчетов докинга выполняется средствами трехмерного виртуального стенда Promovisor (рис. 56). Он представляет собой стеклянную пирамиду, грани которой преломляют свет с встроенного проектора, формируя таким образом объемное изображение. Виртуальный стенд управляется собственной рабочей станцией, на которой установлены пакеты AutoDock и 3DS МАХ. Пакет AutoDock подготавливает файл с расположением атомов в молекулах белка и лиганда (результаты выполнения КП на рис. 4), после чего запускается скрипт для 3DS МАХ с заранее подготовленной сценой и расположением камер, генерирует видеофайл специального формата. Дальше трехмерная визуализация на стенде запускается как обычный вычислительный блок КП. В данном случае и пакет, описывающий скрипт программы 3DS МАХ, и трехмерная визуализация интегрированы в КП средствами ПеО, так как в одном случае используется специфическое ГІО, не характерное для ОВ, а во втором - уникальное терминальное устройство (рис. 5а).

7 DC (divide and conquer) - линейно-масштабируемый алгоритм для решения уравнения Хартри-Фока в задачах квантовой химии.

Рис. 5. Визуализация результатов моделирования молекулярного докинга с помощью технологии ПеО

Технология ПеО использовалась при разработке экспериментального образца высокопроизводительного программного комплекса моделирования и оптимизации движения городского транспорта, также реализуемого в форме КП на основе облачной платформы СЬАУЖЕ.

а) б)

Рис. 6. Моделирование и оптимизация движения общественного транспорта с использованием технологии ПеО

Программный комплекс позволяет выполнять предсказательное моделирование транспортной обстановки (с помощью мультиагентного подхода), на основе которого решается задача оптимизации автобусных маршрутов и маршрутных расписаний в зависимости от текущей и прогнозируемой транспортной ситуации. При этом специфика использования ПеО состоит в том, что сам процесс предсказательного моделирования реализуется в общей облачной инфраструктуре с переменным числом виртуальных машин, в зависимости от ии-

тенсивности трафика, а задачи поиска оптимальных маршрутов, выполняемые для отдельных пользователей или предприятий, целесообразно запускать на специально подключенных для этой цели вычислительных ресурсах ПеО - в рабочей области пользователя. На рис. 6а приведено КП для расчета оптимальных расписаний автобусов, следующих по заданному маршруту, на основе прогнозов изменения дорожной обстановки. На основе циклически обновляемого прогноза загруженности улично-дорожной сети аналитическая программа, запускаемая на локальном ресурсе пользователя средствами ПеО, выполняет расчет оптимального плана управления подвижным составом предприятия общественного транспорта и визуализирует его. На рис. 66 приведен пример визуализации результатов моделирования для Петроградского района Санкт-Петербурга.

Заключение

В ходе выполнения диссертационной работы были получены следующие основные результаты:

- определены и обоснованы требования к современным инструментам интеграции пользовательских вычислительных ресурсов и облачных сред второго поколения для eScience и eEngineering;

- разработана концепция ПеО, развивающая технологии eScience и eEngineering в части применения облачных вычислений второго поколения, реализующих модель AaaS;

— спроектирована архитектура облачной платформы управления ПеО и выполнена ее программная реализация на основе платформы CLAVIRE;

— продемонстрирована работоспособность и эффективность предложенных решений на основе реализации прикладных задач по созданию КП моделирования конформационно-зависимых свойств белков, а также моделирования и оптимизации движения городского транспорта.

Публикации по теме диссертационной работы

1. Чуров Т.Н., Князьков КВ., Иванов C.B. и др. Технологии экстренных вычислений в задачах планирования и диспетчеризации маршрутов наземного общественного транспорта // Научно-технический вестник ИТМО. 2013. № 5. С. 173-174. [Входит в перечень ВАК]

2. Васильев В.Н., Князьков КВ., Чуров Т.Н. и др. CLAVIRE: облачная платформа для обработки больших объемов данных // Информационно-измерительные и управляющие системы. 2012. № 3. С. 7-16. [Входит в перечень ВАК]

3. Ковачьчук C.B., Князьков КВ., Чуров Т.Н. и др. Организация человеко-компыотерного взаимодействия в средах компьютерного моделирования на базе облачной инфраструктуры // Прикладная информатика. 2012. № 5. С. 89-102. [Входит в перечень ВАК]

4. Knyazkov K.V., Kovalchuk S. V., Tchurov T. N. et al. CLAVIRE: e-Science infrastructure for data-driven computing // Journal of Computational Science. 2012. Vol. 3, Is. 6. P. 504-510. [Входит в перечень ВАК]

5. Насонов Д.А., Штежберг Б.Я., Бухановский A.B. Особенности вероятностного анализа производительности и надежности проблем неориентированных сред облачных вычислений // Изв. вузов. Приборостроение. 2011. № 10. С. 51-58. [Входит в перечень ВАК]

6. Чуров Т.Н. Персональные облака для композитных приложений на основе многопрофильной инструментально-технологической платформы CLAVIRE // Труды XX Всероссийской научно-методической конференции «Телематика'2013». 2013. Т. 1. С. 314-315.

7. Бшстпщева М.А., Карбовский В.А., Чуров Т.Н. Регрессионное тестирование для платформы облачных вычислений CLAVIRE // Труды XVIII Байкальской Всероссийской конференции «Информационные и математические технологии в науке и управлении». 2013. Ч. III. С. 219-224.

8. Чуров Т.Н. Оценка времени выполнения прикладных пакетов в предметно-ориентированных средах облачных вычислений второго поколения // Материалы XII Всероссийской конференции «Высокопроизводительные параллельные вычисления на кластерных системах». 2012. С. 486-487.

9. Чуров Т.Н. Особенности биллинга в предметно-ориентированных средах облачных вычислений второго поколения // Материалы XI Всероссийской конференции «Высокопроизводительные параллельные вычисления на кластерных системах». 2011. С. 319-321.

10. Инструментальная среда удаленной разработки композитных приложений в среде облачных вычислений CLAVIRE Ginger / K.B. Князьков, A.B. Ларченко, Т.Н. Чуров, A.B. Бухановский. Св-во о гос. регистрации программы для ЭВМ №2012618270 от 2 октября 2012 г.

11. Ядро многопрофильной инструментально-технологической платформы облачных вычислений CLAVIRE / K.B. Князьков, C.B. Марьин, Т.Н. Чуров, A.B. Ларченко, Д. Насонов, A.B. Бухановский. Св-во о гос. регистрации программы для ЭВМ №2012618267 от 2 октября 2012 г.

12. Распределенная программная система хранения данных вычислительных экспериментов DStorage / K.B. Князьков, A.B. Разумовский, А.И. Спивак, Т.Н. Чуров, Д. Насонов. Св-во о гос. регистрации программы для ЭВМ №2012618271 от 2 октабря 2012 г.

Подписано в печать « 19 » ноября 2013 г. Формат 60x84/16 Бумага офсетная. Печать офсетная. Усл. печ. л. 1,3. Тираж 110 экз. Заказ № 1

Типография «Восстания -1» 191036, Санкт-Петербург, Восстания, 1.

Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики ФГБОУ ВПО «НИУ ИТМО»

На правах рукописи

«5329

Чуров Тимофей Николаевич

ТЕХНОЛОГИЯ ПОСТРОЕНИЯ ПРОБЛЕМНО-ОРИЕНТИРОВАННЫХ СРЕД ДЛЯ НАУЧНЫХ ИССЛЕДОВАНИЙ В РАМКАХ МОДЕЛИ ПЕРСОНАЛЬНОГО

ОБЛАКА

Специальность: 05.13.11 «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей»

ДИССЕРТАЦИЯ на соискание ученой степени кандидата технических наук

Научный руководитель: д.т.н. Бухановский А.В.

Санкт-Петербург — 2013

Содержание

Содержание....................................................................................................................................2

Основные обозначения и сокращения.........................................................................................4

Введение.........................................................................................................................................5

Глава 1. Системы управления композитными приложениями и платформы облачных вычислений 9

1.1 Технологии облачных вычислений...............................................................................9

1.2 Обзор систем работы с ..........................................................................................14

1.2.1 Рассматриваемые системы....................................................................................14

1.2.2 Системы управления композитными приложениями........................................15

1.2.3 Системы коллаборативного взаимодействия.....................................................25

1.2.4 Выводы по разделу................................................................................................27

1.3 Платформа облачных вычислений СЬАУШЕ...........................................................27

1.3.1 Назначение СЬАУШЕ...........................................................................................27

1.3.2 Область применения СЬАУШЕ...........................................................................28

1.3.3 Функциональные характеристики платформы...................................................28

1.3.4 Алгоритм исполнения \¥Р....................................................................................30

1.3.5 Алгоритм функционирования СЬАУШЕ............................................................31

Выводы по главе 1.....................................................................................................................35

Глава 2. Концепция персонального облака...........................................................................37

2.1 Определение ПеО.........................................................................................................37

2.2 Функциональные требования персональных облаков..............................................38

2.2.1 Пользователь платформы.....................................................................................38

2.2.2 Поставщик прикладных пакетов..........................................................................40

2.2.3 Поставщик вычислительных ресурсов................................................................41

2.2.4 Провайдер облачной среды..................................................................................42

2.2.5 Функций систем персональных облаков.............................................................43

2.3 Алгоритм работы системы...........................................................................................44

2.4 Требования к программному и аппаратному обеспечению.....................................46

Выводы по главе 2.....................................................................................................................47

Глава 3. Реализация концепции ПеО.....................................................................................48

3.1 Базовые компоненты персонального облака..............................................................48

3.1.1 Общее описание компонентов.............................................................................48

3.1.2 База ресурсов..........................................................................................................49

3.1.3 База пакетов...........................................................................................................52

3.1.4 Компонент журналирования................................................................................56

3.1.5 Компонент биллинга.............................................................................................58

3.1.6 Подсистема безопасности.....................................................................................61

3.1.7 Графический интерфейс PackageManager...........................................................66

3.2 Компоненты платформы CLAVIRE............................................................................69

3.2.1 Графический интерфейс Ginger...........................................................................69

3.2.2 Проблемно-ориентированный интерфейс...........................................................72

3.2.3 Компонент интерпретации WF...........................................................................74

3.2.4 Компонент исполнения WF..................................................................................77

3.2.5 Компонент доступа к вычислительным ресурсам..............................................79

3.2.6 Контроллеры ресурсов..........................................................................................81

3.2.7 Компонент планирования.....................................................................................82

Выводы по главе 3.....................................................................................................................83

Глава 4. Практическое аспекты применение концепции персонального облака..............84

4.1 Исследования производительности модели персонального облака........................84

4.1.1 Процесс встраивания локального ресурса..........................................................84

4.1.2 Методы оценки эффективности...........................................................................85

4.1.3 Результаты экспериментов...................................................................................90

4.2 Исследование конформационно-зависимых свойств белков...................................94

4.3 Интеллектуальная система управления городским транспортом..........................100

Выводы по главе 4...................................................................................................................104

Заключение.................................................................................................................................106

Список использованных источников.......................................................................................108

Основные обозначения и сокращения

• КП - композитное приложение;

• ОС — облачный сервис;

• ОВ — облачные вычисления;

• ПО — программное обеспечение.

• ПеО — персональное облако;

• ПОИ — проблемно-ориентированный интерфейс;

• КИ — компонент интерпретации WF;

• WF — workflow, «поток работ»;

• AWF — abstract workflow (абстрактный workflow);

• CWF — concrete workflow (конкретный workflow);

• PSE — Problem Solving Environment, проблемно-ориентированная среда;

• iPSE — Intelligent PSE, интеллектуальная PSE;

• CLAVIRE — CLoud Applications VIRtual Environment, виртуальная среда для облачных приложений;

• IaaS — Infrastructure as a Service, инфраструктура как услуга;

• PaaS — Platform as a Service, платформа как услуга;

• SaaS — Software as a Service, программное обеспечение как услуга;

• AaaS — Application as a Service, приложение как услуга;

• DaaS — Data as a Service, данные как услуга;

• VaaS — Visualisation as a Service, визуализация как услуга;

• SLA — Service Level Agreement (соглашение об уровне сервисов);

• JSON — JavaScript Object Notation, нотация объектов языка JavaScript;

• XML — Extensible Markup Language (расширяемый язык разметки);

• SOAP — Simple Object Access Protocol (простой протокол доступа к объектам);

• SOA — Service-oriented architecture (сервис-ориентированная архитектура);

• WCF — Windows Communication Foundation (архитектурный каркас для web-сервисов);

• SAML — Security Assertion Markup Language (язык разметки утверждений безопасности);

• WMS — система исполнения композитных приложений (Workflow management System);

• REST — Representational State Transfer (протокол передачи репрезентативного состояния);

Введение

Развитие глобальных сред распределенных вычислений стимулируется потребностями eScience и eEngineering - диффузных технологий, ориентированных на создание глобальных вычислительных инфраструктур для научных исследований и поддержки жизненного цикла сложных инженерных разработок. В силу междисциплинарного характера решаемых задач и коллаборативности исследовательских процессов вычислительные процессы в распределенных средах интерпретируются как композитные приложения (КП), которые описываются в форме потоков работ (workflow, WF), выполняемых на разных вычислительных ресурсах. Для разработки и исполнения WF используются специализированные инструментальные средства: WMS Taverna, Triana, Pegasus, Kepler и др. Данные исследования отражены в работах научных школ А.П. Афанасьева, В.А. Ильина, Л.Б. Соколинского, А.П. Крюкова, JI.H. Щура, М.Н. Жижина, В.П. Иванникова, В.В. Коренькова и других российских ученых.

Развитие парадигмы облачных вычислений (ОВ) как способа абстракции (виртуализации) путей взаимодействия между провайдером и пользователем вычислительных, программных и информационных ресурсов позволяет рассматривать КП как динамическое объединение различных (Software as a Service, Data as a Service, Hardware as a Service, Visualization as a Service) облачных сервисов (ОС), ориентированных на решение общей задачи в среде распределенных вычислений. Такой абстракции соответствует модель AaaS (Application as a Service), определяющая суть облачных технологий второго поколения. Несмотря на то что модель AaaS в целом наследует принципы использования вычислительных ресурсов моделей первого поколения (Infrastructure as a Service, Platform as a Service, Software as a Service), она привносит специфику в режим работы: локальный компьютер пользователя вовлекается в процесс исполнения КП в облаке. Обычно это обусловлено использованием уникального или дорогостоящего лицензионного научного программного обеспечения, имеющегося в наличии у пользователя, работой с данными ограниченного доступа, а также выполнением технологических операций с результатами расчетов при использовании уникальных терминальных устройств (например, систем виртуальной реальности). Реализация такой модели ОВ требует развития нового класса технологий т.н. персонального облака (ПеО), назначением которых является виртуализация взаимодействия между сервисами пользовательского компьютера и удаленными ОС различных провайдеров в рамках единого КП.

Предметом исследования являются технологии и инструменты взаимодействия пользователей и провайдеров распределенных высокопроизводительных вычислительных систем в рамках концепции ОВ второго поколения.

Целью работы является развитие принципов ОВ для еЗаепсе и еЕг^пееппд в части создания персональных облаков, в которых для решения задач пользователя динамически формируется единое облачное пространство, включающее в себя сервисы его локального компьютера и удаленных облачных ресурсов различных провайдеров.

Задачи исследования;

- определение требований к современным инструментам интеграции пользовательских вычислительных ресурсов и облачных сред второго поколения, а также разработка концепции ПеО;

- проектирование архитектуры облачной платформы управления ПеО и ее программная реализация;

- экспериментальное исследование технологии ПеО на основе прикладных задач (моделирование лекарственных препаратов, моделирование и оптимизация транспортных потоков);

- оценка эффективности технологии ПеО в части временных издержек управления персональным облаком.

Методы исследования включают в себя методы теории систем и системного анализа, анализа алгоритмов и программ, инженерии программного обеспечения, аппарат теории вероятностей и математической статистики случайных величин и функций.

Научная новизна определяется принципами построения ПеО на основе динамического объединения вычислительных и программных ресурсов разного уровня доступа без развертывания специальной инфраструктуры управления облачной средой на стороне пользователя, а также их обобществления для других пользователей облака, в рамках модели АааБ.

Практическую ценность работы составляют:

- набор программных компонентов для модификации облачной платформы СЬАУШЕ в части поддержки модели персонального облака;

- комплект программной, эксплуатационной и технической документации для организации программно-аппаратных комплексов управления ПеО.

На защиту выносятся

- архитектура платформы управления ПеО, обеспечивающая процессы разработки и исполнения композитных приложений в облачной среде с динамическим использованием локальных ресурсов пользователя;

- технология организации программно-аппаратных комплексов управления ПеО на основе облачной платформы второго поколения СЬАУЖЕ.

Достоверность научных результатов и выводов обусловлена обоснованностью применения математического аппарата, результатами тестирования алгоритмов и программного обеспечения, экспериментальными исследованиями на реальных приложениях, а также практическим внедрением (опытной эксплуатацией) разработанных программных средств.

Внедрение результатов работы. Результаты работы были использованы при выполнении следующих НИОКР: «Инструментальная технологическая среда для создания распределенных интеллектуальных систем управления сложными динамическими объектами», «Виртуальный полигон для суперкомпьютерного моделирования сложных систем», «Виртуальный полигон для исследования динамики морских объектов и сооружений в экстремальных условиях эксплуатации», «Технология системологического проектирования и разработки междисциплинарных приложений в среде облачных вычислений», «Ситуационный центр нового поколения для предупреждения и ликвидации угрозы наводнений», «Интеллектуальные суперкомпьютерные технологии е-8аепсе» и «Облачные технологии высокопроизводительных вычислений в задачах интерактивной ЗБ-визуализации сложных процессов и систем» в рамках ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 гг.; «Создание функционирующего в режиме удаленного доступа интерак-тивного учебно-методического комплекса для выполнения работ в области моделирования наноразмерных атомно-молекулярных структур, наноматериалов, процессов и устройств на их основе, в распределенной вычислительной среде» в рамках ФЦП «Развитие инфраструктуры наноиндустрии в Российской Федерации на 2008-2011 гг.»; «Разработка \veb-ориентированного производственно-исследовательского центра в области социодинамики и ее приложений», «Суперкомпьютерное моделирование конформационно-зависимых свойств белков в задачах рационального дизайна лекарственных препаратов», «Технологии экстренных вычислений в задачах планирования и диспетчеризации маршрутов наземного общественного транспорта» и «Высокопроизводительный программный комплекс для моделирования электронных и электромеханических свойств наноуглеродных объектов» в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России» на 2007-2013 гг.; «Создание высокотехнологичного производства комплексных решений в области предметно-ориентированных облачных вычислений для нужд науки, промышленности, бизнеса и социальной сферы» в рамках реализации постановления Правительства РФ №

218; «Распределенные экстренные вычисления для поддержки принятия решений в критических ситуациях» в рамках реализации постановления Правительства РФ № 220.

Апробация работы. Полученные результаты обсуждались на международных и всероссийских научных конференциях, семинарах и совещаниях, включая XIV Всероссийскую объединенную научную конференцию «Интернет и современное общество» (Санкт-Петербург, 2011), XI Всероссийскую конференцию «Высокопроизводительные параллельные вычисления на кластерных системах» (Нижний Новгород, 2011), Международную научно-практическую конференцию молодых ученых и специалистов «Технологии высокопроизводительных вычислений и компьютерного моделирования» (Амстердам, 2012), XII Всероссийскую конференцию «Высокопроизводительные параллельные вычисления на кластерных системах» (Нижний Новгород, 2012), II Международную научно-практическую конференцию молодых ученых и специалистов «Технологии высокопроизводительных вычислений и компьютерного моделирования» (Барселона, 2013), XX Всероссийскую научно-методическую конференцию «Телематика'2013» (Санкт-Петербург,2013).

Публикации. По материалам диссертации опубликовано 9 печатных работ, в том числе 5 — в изданиях из перечня ВАК РФ.

Личный вклад автора в работах, выполненных в соавторстве, заключается в проведении аналитического обзора в проблемной области диссертационной работы; обосновании требований к технологиям встраивания персональных ресурсов; разработке концепции ПеО; проектировании и реализации программной платформы для облачных вычислений СЬАУШЕ в части поддержки технологии ПеО; проведении экспериментальных исследований и интерпретации их результатов в рамках модели ПеО. Из работ, выполненных в соавторстве, в диссертацию включены результаты, которые соответствуют личному участию автора.

Глава 1. Системы управления композитными приложениями и

платформы облачных вычислений

1.1 Технологии облачных вычислений

Парадигма облачных вычислений (OB, cloud computing) [1, 2] основана на сочетании множества известных концепций и технологий, таких как сервис-ориентированная архитектура (SOA, Service-oriented architecture), распределенные вычисления, Грид, виртуализация. Кластерные вычисления и Грид, с одной стороны, а также технологии виртуализации с другой явились предшественниками, которые способствовали появлению облачных вычислений как отдельного направления. Помимо этого, на формирование новой концепции распределенных вычислений повлияли технологии вычисления в пиринговых сетях (р2р computing), автономные вычисления и платформы управления ресурсами.

Облачные вычисления в текущее время находятся в стадии бурного развития и повсеместного внедрения. Показателем этого является ситуация, когда на рынке присутствует значительное количество провайдеров, которые начинают предоставлять услуги согласно данной концепции, однако исключительно в рамках своего понимания. На текущий момент не существует определенных стан