автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы и алгоритмы оптимизации ресурсного обеспечения сложных информационно-вычислительных систем на железнодорожном транспорте

На правах рукописи

Игнатов Николай Александрович

Методы и алгоритмы оптимизации ресурсного обеспечения сложных информационно-вычислительных систем на железнодорожном транспорте

Специальность 05.13.01-Системный анализ, управление и обработка информации (транспорт)

Автореферат

диссертации на соискание ученой степени 11 ДЕК 2014 кандидата технических наук

005556621

МОСКВА-2014

005556621

Работа выполнена в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский государственный университет путей сообщения» МГУПС (МИИТ) на кафедре «Вычислительные системы и сети».

Желенков Борис Владимирович. Официальные оппоненты: Уманский Владимир Ильич, доктор технических

конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте, ОАО «НИИАС».

Защита состоится «11» февраля 2015 года, в 15.00 часов на заседании диссертационного совета Д 218.005.07 на базе федерального государственного бюджетного образовательного учреждении высшего профессионального образования «Московский государственный университет путей сообщения» по адресу: 127994, г. Москва, ул. Образцова, д. 9, стр. 9, ауд. 2505.

С диссертацией можно ознакомиться в библиотеке МГУПС (МИИТ) и на сайте miit.ru.

Автореферат разослан «26» ноября 2014 года.

Ученый секретарь диссертационного совета,

доктор технических наук,

профессор

Научный руководитель: кандидат технических наук, доцент

наук, Закрытое акционерное общество «ИнтехГеоТранс», генеральный директор.

Шилов Валерий Владимирович, кандидат технических наук, старший научный сотрудник, федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «МАТИ -Российский государственный технологический университет имени К.Э. Циолковского», кафедра «Проектирование вычислительных комплексов», заведующий кафедрой.

Ведущая организация: Научно-исследовательский и проектно-

Горелик Александр Владимирович

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность.

Открытое акционерное общество «Российские железные дороги» (далее — РЖД) представляет собой огромное предприятие с разнообразными направлениями деятельности, функционирование которых невозможно без применения сложных информационно-вычислительных систем.

Каждая из 17 железных дорог, входящих в состав РЖД, имеет свои особенности, которые проявляются в сфере внедрения вычислительных систем. Наряду с этим, организация является единой информационно-вычислительной инфраструктурой, объединенной в крупнейшую в стране волоконно-оптическую магистральную цифровую сеть связи, состоящую более чем из 900 узлов доступа в большинстве регионов России. Такую топологию отрасли железнодорожного транспорта можно отождествить со сложной информационно-вычислительной системой, имеющей распределенные центры обработки данных (далее — ЦОД), соединенные высокоскоростными линиями связи и предназначенной для решения определенного круга задач различной сложности.

Программа информатизации отрасли предполагает работу по таким направлениям, как: управление сбытом грузовых перевозок, управление сбытом и организацией пассажирских перевозок, управление перевозочным процессом, оптимизация управления подвижным составом, оптимизация управления финансовыми, трудовыми и материальными ресурсами, управление инвестициями и инновациями, унификация и интеграция автоматизированных систем.

Данные особенности характеризуют сложные информационно-вычислительные системы, предназначенные для внедрения на железнодорожном транспорте, на исследование которых нацелены усилия диссертационной работы.

При этом важным является выбор технологии, с помощью которой будет построена система, предназначенная для решения описанных задач, а также механизма оптимизации ее ресурсного обеспечения, совместное использование которых позволит сократить общую стоимость информационно-вычислительной системы, за счет исключения простоя ресурсов, в условиях соблюдения требований к качеству обслуживания системы.

В работе исследуется система, основанная на технологиях виртуализации (далее - СОТВ), в которой для ресурсного обеспечения используется механизм, автоматически адаптирующийся к изменениям рабочей загрузки. Адаптация заключается в балансировке количества запущенных в системе виртуальных машин (далее - ВМ), необходимых для обеспечения работы виртуальных приложений.

Виртуализация, одна из самых современных технологий, которая допускает выполнение отдельных экземпляров операционной системы в среде виртуальной машины. Часто технологии виртуализации используются для создания облачной инфраструктуры. Однако, существует значительная проблема с расчетом оптимального плана распределения ресурсов, которые используются системами, основанными на технологиях виртуализации.

Если данная проблема будет решена, тогда приложения, запускаемые в виртуальной среде смогут работать более эффективно, с уменьшением финансовых затрат, получаемых за счет перераспределения не используемых ресурсов и увеличения объемов предоставляемых системой ресурсов, в минуты наибольшей загрузки.

В результате проведенного в рамках, диссертационного исследования, анализа алгоритмов предоставления ресурсов в СОТВ выявлено:

• Отсутствие универсального подхода к решению задачи оценки распределения вычислительных ресурсов. Задача распределения ресурсов решается для каждой СОТВ на основе особенностей ее структуры, что не позволяет выполнить оптимальное распределение при динамической вычислительной нагрузке.

• Отсутствие формализованных требований, предъявляемых к системам, основанным на технологиях виртуализации и связанных с ними параметров, позволяющих использовать критерии оптимизации. В тоже время нагрузка на вычислительные системы постоянно возрастает, что приводит к необходимости выделения новых ресурсов.

• Что использование существующих методов распределения ресурсов приводит к проблемам отказа в обслуживании конечных пользователей или простоя вычислительных ресурсов.

Возникает необходимость разработки нового метода распределения виртуальных вычислительных ресурсов в системах, максимально

соответствующих распределенной топологии железнодорожной отрасли, с использованием адаптивного алгоритма, основанного на критериях оптимизации.

Объект исследования: Процесс распределения ресурсов в системах, основанных на технологиях виртуализации, адаптированных под задачи и топологию железнодорожной отрасли, в условиях необходимости выполнения требований к качеству обслуживания системы, а также минимизации стоимости технического решения.

Предмет исследования: Механизм оптимизации ресурсного обеспечения в СОТВ, соответствующих распределенной топологии железнодорожной отрасли.

Теории и методы, лежащие в основе исследования.

В данной диссертационной работе используются методы аналитического моделирования, методы оптимизации, и теории систем массового обслуживания. При построении имитационных моделей использованы современные методы моделирования работы систем построенных на виртуальных платформах с использованием пакета Ооис^т и системы автоматизированного проектирования МаШСаё 12.

Цель исследований. Целью диссертационной работы является разработка методов и алгоритмов, решения задачи оптимизации процесса ресурсного обеспечения сложных информационно-вычислительных систем, адаптированных под топологию и задачи железнодорожной отрасли, для повышения эффективности их функционирования.

Научная новизна работы.

1. Разработан механизм оптимизации ресурсного обеспечения сложных информационно-вычислительных систем, снижающий стоимость эксплуатации СОТВ, адаптированных для внедрения в железнодорожной отрасли.

2. В результате проведения исследовательской работы построена и решена задача оптимизации процесса предоставления виртуальных ресурсов. Так, зная минимальные системные требования одного экземпляра приложения, а также соотношения технических и ценовых характеристик виртуальных машин, можно вычислить оптимальный с точки зрения стоимости

ресурсов план предоставления виртуальных ресурсов для любого конечного множества пользователей на сессию с конечным временем.

3. Сформулировано понятие эффективности механизма ресурсного обеспечения информационно-вычислительных систем, основанных на технологиях виртуализации.

4. Построена функция снижения стоимости и оценка эффективности СОТВ.

5. Разработана имитационная модель работы СОТВ, оценивающая количество запросов, получивших отказ в обслуживание, а также время отклика на запрос ресурсов при изменении количества выполняемых в системе экземпляров приложений, или объемов запрашиваемых ими ресурсов.

6. Определены и формализованы требования, предъявляемые к СОТВ и связанные с ними параметры.

В соответствии с указанной целью в рамках диссертационной работы поставлены и решались следующие задачи:

• исследование работы механизма предоставления ресурсов в СОТВ;

• проведение анализа существующих механизмов предоставления ресурсов для различных сценариев использования технологий виртуализации;

• разработка механизма снижения стоимости ресурсного обеспечения сложных информационно-вычислительных систем, основанных на технологиях виртуализации, соответствующих топологии и задачам железнодорожной отрасли в условиях соблюдения требований к качеству обслуживания;

• разработка алгоритма перерасчета количества ВМ, необходимых для предоставления ресурсов набору виртуальных приложений, выполняемых в СОТВ;

• построение оценки эффективности СОТВ.

Практическая значимость работы

Предложенный механизм ресурсного обеспечения может применяться в рамках создания систем основанных на технологиях виртуализации, для оптимального распределения физических ресурсов как региональных ЦОД уровня железной дороги, так и всех вычислительных ресурсов железнодорожной отрасли.

Разработанный подход к оценке оптимальности распределения виртуальных ресурсов, может быть применен к анализу существующих механизмов распределения виртуальных ресурсов, при выборе оптимальных механизмов предоставления, при разработке новых технологий виртуализации, а также при принятии решения о целесообразности использования средств виртуализации для решения определенного круга задач.

Наряду с этим, важно отметить, что для обеспечения безопасности и обороноспособности Российской Федерации, а также защиты внутреннего рынка государства, развития национальной экономики и поддержки российских товаропроизводителей, при построении информационно-вычислительных систем, в том числе, основанных на технологиях виртуализации, приоритет по отношению к техническим решениям иностранного производства, должны иметь вычислительные системы российского производства.

Обеспечение минимальной стоимости вычислительных систем российского производства, в условиях их высокой надежности и производительности, полученных за счет перераспределения неиспользуемых ресурсов, исключающего простои системы в периоды снижения загрузки, а также увеличения объемов предоставляемых ресурсов в минуты наибольшей загрузки, повысит рентабельность, и как следствие географию внедрения технических решений.

Исследован сценарий решения проблемы производительности автоматизированного рабочего места по подготовке перевозочных документов (далее - АРМ ППД) автоматизированной системы централизованной подготовки и оформления перевозочных документов на железнодорожные грузоперевозки (далее - АС ЭТРАН).

Реализация результатов работы. Результаты работы впервые использованы при построении вычислительных систем международной транспортно-логистической компании ООО ТОП ТРАНС в виде:

1. метода принятия решения о целесообразности использования средств виртуализации для решения определенного круга задач;

2. подхода к оценке оптимальности распределения виртуальных ресурсов, использованного при анализе существующих виртуальных платформ;

3. метода расчета стоимости технического решения, при использовании технологий виртуализации.

Апробация работы. Основные результаты работы были доложены на научно-практических конференциях: Неделя науки (Москва, МИИТ, 2012г.), Неделя науки (Москва, МИИТ, 2013г.), Неделя науки (Москва, МИИТ, 2014г.).

Структура и объем работы. Диссертация состоит из введения, пяти глав, заключения, списка использованной литературы. Она содержит (126) страницы машинописного текста, (21) рисунок, (6) таблиц и список цитируемой литературы из (78) наименований.

Публикации. По теме диссертации опубликовано 6 печатных работ, из них 3 — в журналах из списка ВАК.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, определены предмет, цель и задачи исследования.

В первой главе рассмотрены основные концепции виртуализации и облачных технологий. Проведен анализ существующих практических реализаций технологий виртуализации, с точки зрения, изучения особенностей которые необходимо учесть при разработке механизмов ресурсного обеспечения СОТВ.

Важно отметить, что над проектированием, реализацией, внедрением и модификацией СОТВ иностранного производства работает огромный штат высококлассных специалистов, но существует весомый недостаток в использование данных решений в стратегически важных отраслях и сферах государственного управления, это отсутствие гарантии информационной безопасности, обусловленное возможным наличием недокументированных возможностей. Данный факт обуславливает необходимость разработки технических решений российского производства в области информационных технологий в общем, а в частности в области технологий виртуализации.

Наряду с этим проанализированы особенности выделения виртуальных ресурсов из суммарного количества физических ресурсов ЦОД (рис.1).

Количество виртуальных ресурсов, которые могут быть выделены из ресурсов физического оборудования непосредственно для обеспечения работы виртуальных приложений можно рассчитать по формуле:

Яез^Ру, ЕС1!у, Му, Л/е^) = йе5Ян,(^РНи„ ЕСиИш, М„„, StHvl„Netf,u,) -Де5н(РР„, ЕСи„, Ми, 5С„, - Дезум(РРум, ЕСиУМ, Мум,Ые^м)т,

где: Resv — общее количество ресурсов, которые могут быть выделены под виртуализацию; ResHW - суммарное количество вычислительных ресурсов физического оборудования всех серверов в инфраструктуре; ResVMH -суммарное количество ресурсов, требуемых для обеспечения работы всех элементов распределения ресурсов физических серверов (гипервизоров); ResVM - количество ресурсов, требуемых для обеспечения работы одного экземпляра ВМ; т - количество экземпляров ВМ любого типа, запущенных в системе в момент времени t.

Каждая группа ресурсов характеризуется такими атрибутами как: FP — количество виртуальных процессоров, ECU - мера производительности процессора, М - объем оперативной памяти в Гб, St - устройство хранения данных в Гб, Net - мера производительности сети. О принадлежности атрибута к определенной группе ресурсов говорит индекс V, Hw, Н и VM соответственно.

Рис. 1. Схема ресурсного обеспечения СОТВ

В рамках научного исследования предполагается, что распределяемые задачи неделимы, распараллеливание не рассматривается.

Так же важно отметить, что для ресурсного обеспечения экземпляра приложения, выделяется не ВМ, а часть ее ресурсов, в пределах разделяемой ВМ. В данном случае ресурсы выделяются на более высоком логическом уровне. Такой подход требует меньше времени, так как выделить часть ресурсов, из работающей ВМ проще, чем создать отдельную виртуальную машину.

При анализе вычислительных систем необходимо учитывать такие критерии как: С$ - стоимость системы, Р5 - производительность системы, -

надежность системы. В условиях максимизации производительности и

надежности системы необходимо минимизировать ее стоимость:

Rs -> max, Ps -» max, Cs -» min. (1)

В процессе предоставления ресурсов виртуальным приложениям,

выполняемым в облачной среде, под надежность системы будем понимать

поддержание работоспособности виртуального приложения со всей заложенной

в него функциональностью, обеспечиваемое за счет стабильного ресурсного

обеспечения, которое достигается по средствам сведения к нулю количества

отказов в предоставление ресурсов на запросы конечных пользователей.

Данный факт обусловлен тем, что в соответствии с теорией надежности систем:

надежность системы характеризуется надежностью ее слабейшего элемента, а в

исследуемом случае элементом системы является экземпляр виртуального

приложения. Данное утверждение можно записать в формализованном виде:

Rej(Gs) -> 0, где Gs - рабочая нагрузка приложения, Rej(Gs) - количество

запросов из Gs, получивших отказ в обслуживание.

Наряду с этим, производительность системы, с точки зрения ресурсного

обеспечения будет характеризоваться обеспечением виртуального приложения

таким объемом ресурсов, который прописан в паспорте приложения, как

системные требования приложения, необходимые для поддержания его

высокопроизводительной работы.

Исходя из задачи диссертационного исследования, заключающейся в

разработке механизма снижения стоимости ресурсного обеспечения сложных

информационно-вычислительных систем, в условиях соблюдения требований к

качеству обслуживания, целевую функцию научного исследования, в

соответствии с которой, будет проводиться дальнейшая работа, можно

представить в следующем виде: Cs -» min, Rej{Gs) -» 0,PS > Р/^.где Cs -

стоимость ресурсного предоставления, а суммарная производительность

Ах>

виртуальных приложений Pt , запускаемых в системе, выступает в виде ограничений на Ps — общую производительность системы.

Основными требованиями качества обслуживания СОТВ (QoS) являются: поддержание высокопроизводительной работы виртуальных приложений, запускаемых в системе и исключение отказов на предоставление виртуальных ресурсов.

Во второй главе рассмотрены существующие механизмы предоставления ресурсов в виртуальных средах. В процессе анализа механизмов ресурсного обеспечения были выявлены основные элементы, отвечающие за процесс распределения ресурсов, которые в дальнейшем были учтены при разработке архитектуры адаптивного механизма оптимизации ресурсного обеспечения информационно-вычислительных систем (далее -АМОРО).

Наряду с этим, учитывая особенности существующих механизмов, влияющие на процесс распределения ресурсов, при разработке механизма ресурсного обеспечения СОТВ, необходимо:

• рассчитывать не только количество экземпляров ВМ требуемых для ресурсного обеспечения СОТВ, но также производить расчет вычислительных характеристик ВМ;

• реализовать правило перераспределения нагрузки между запущенными экземплярами ВМ;

• учесть функцию прогнозирования ожидаемого уровня загрузки системы;

• учесть, что бы система осуществляла мониторинг текущей загрузки, производительности системы, а также наличия физических ресурсов инфраструктуры;

• минимизировать время расчета количества экземпляров ВМ требуемого для ресурсного обеспечения системы, после поступления пользовательских запросов на предоставление ресурсов в систему;

Сформулировано понятие эффективности механизма ресурсного обеспечения информационно-вычислительных систем, основанных на технологиях виртуализации. Более эффективным будем называть тот механизм ресурсного обеспечения СОТВ, при использовании которого необходимо запустить набор ВМ с наименьшей суммарной стоимостью, в условиях соблюдения требований к качеству обслуживания информационной системы.

Пусть стоимость ресурсов, необходимых для решения задачи А в СОТВ составляет С, при условии выполнения требований к качеству обслуживания. Пусть стоимость решения задачи А одним физическим сервером равно С0, при условии что для решения задачи А задействованы все ресурсы физического сервера, за исключением ресурсов, требуемых для работы самого сервера.

С учетом определения ускорения параллельной системы получена функцию снижения стоимости 5е, определяется соотношением 5е = Таким образом, снижение стоимости показывает, во сколько раз можно уменьшить стоимость ресурсов, которые потребуются для решения задачи с помощью применения СОТВ.

А с учетом определения эффективности параллельной системы

эффективность СОТВ по стоимости ресурсов можно определить как: Ес = —

тС '

где т - количество ВМ, которые были запущенны в СОТВ для решения задачи А.

Исходя из определения эффективности СОТВ по стоимости ресурсов, введем критерий эффективности СОТВ по стоимости ресурсов: Будем говорить, что СОТВ эффективна по стоимости ресурсов, если Е° > 1 и неэффективна, если Ес < 1.

В третьей главе описан разработанный АМОРО (Рис. 2), проанализирована работа алгоритма перерасчета параметров ресурсного обеспечения, в рамках которого построена задача оптимизации процесса предоставления ресурсов в облачных системах.

Рис. 2. Архитектура АМОРО

АМОРО содержит элемент управления допуском, основная задача которого заключается в допуске к дальнейшей обработке поступающих в систему запросов конечных пользователей.

Поставщик приложения принимает запросы конечных пользователей от элемента управления допуском и предоставляет виртуальные машины, основываясь на данных поступающих от анализатора рабочей загрузки и проектировщика производительности и прогнозирования загрузки системы (далее-ППЗС).

Анализатор рабочей загрузки это компонент, работа которого заключается в прогнозировании количества запросов, которые поступят в систему.

Проектировщик производительности и прогнозирования загрузки системы, который производит аналитическое моделирование, основанное на наблюдениях за производительностью системы, и осуществляет прогнозирование ожидаемого уровня загрузки. Работа ППЗС заключается в вычисление требуемого количества экземпляров ВМ соответствующих задачам QoS.

Взаимодействуя с основными компонентами, поставщик ресурсов осуществляет работу по запуску и остановке экземпляров ВМ, на основании команд, поступающих от поставщика приложений, а также осуществляет расчет: соотношения физических ресурсов к виртуальным ресурсам, количества экземпляров ВМ определенного типа, которые возможно запустить, исходя из объема свободных физических ресурсов.

Если время отклика или уровень отказа оцениваются как понижающие QoS, или если прогнозируется уровень использования общего объема ресурсов ниже минимального порогового значения, то количество экземпляров ВМ обслуживающих приложения обновляется, в соответствии с алгоритмом перерасчета параметров ресурсного обеспечения. Алгоритм перерасчета параметров ресурсного обеспечения.

Алгоритм перерасчета параметров ресурсного обеспечения (рис. 3) осуществляет перерасчет коэффициента нагрузки системы (TOS), как разность требуемого системе объема ресурсов и суммарного количества свободных ресурсов всех запущенных в системе ВМ - FreeRes VMt, где т -количество ВМ, запущенных в системе. Входными параметрами алгоритма

являются: - количество виртуальных ресурсов, которые предоставлены системе в данный момент, ¡^еяц - количество виртуальных ресурсов, которые требуются системе для работы в рамках выполнения требований (^оБ, Де<гг -общее количество виртуальных ресурсов, которыми характеризуется система, Хш - количество ВМ, работающих в системе в данный момент.

Рис. 3. Алгоритм перерасчета параметров ресурсного обеспечения.

Если значение TOS < 0, то перерасчет ресурсов не требуется, ресурсное обеспечение осуществляется за счет свободных ресурсов ВМ, работающих в системе. Если значение TOS > 0, то алгоритм осуществляет перерасчет, требуемого, для обеспечения работы системы, количества ВМ, по средствам построения и решения задачи оптимизации и рассчитывает выходные параметры: Хт - максимальное количество ВМ, которые могут работать в системе в данный момент, Xs - количество ВМ, которые необходимо запустить, для предоставления системе ресурсов ResN, F(XS) - стоимость ВМ Xs.

Построение задачи оптимизации

F1,F2, ...,Fn - перечень разновидностей ВМ из п штук. N1,NZ, ...,Nm -характеристики ВМ. Предположим, что для любого типа ВМ Fh где i = 1, ...,п, известны его технические характеристики.

F1 ... Fn öi.i - я1п

Nm атпЛ ••■ arnn

Составили матрицу виртуальных ресурсов (2), содержащую характеристики типов ВМ.

хт = (лг^Хг, ...,*„) - распределение мощностей на некоторый промежуток времени, для которого известно точное количество пользователей (далее - сессия).

ал*1 + «12*2 -----атхп ~ количество характеристик ЛГ,-, где I = 1, ...,т

в составленном распределении мощностей хТ = (хг, х2, —, хп).

Ьт = (Ь^,Ьг, ...,Ьт) - вектор ¿, компонента которого указывает минимально необходимое содержание характеристики Ы1 в распределении мощностей. Это означает, что координаты х1 вектора хт должны удовлетворять следующей системе ограничений:

ам*1 + а12^2 + - + ащХп ^ К

а21хг + а22х2 + - + а2пхп > Ь2, (3)

+ От2*2 + - + ОтпХп ^ Ът. Из смысла задачи, очевидно, что все переменные х1,х2,...,хп неотрицательны. На основании этого к ограничениям (3) добавляются неравенства: х1 >0,х2> 0,... ,х„ > 0. (4)

Любое распределение мощностей хТ = (х1,х2, ...,*„) должно удовлетворять условиям (3) и (4).

Пусть стоимость ВМ типа ...,равна соответственно с1(с2, ...,сп. Следовательно, стоимость всего распределения мощностей хт = (х1,х2, —,хп) может быть записана в виде ценовой функции:

с1х1+с2х2 + - + спхп. (5)

Окончательная формулировка задачи о распределении виртуальных ресурсов: среди всех векторов хт — (х1,х2, ...,*„), удовлетворяющих ограничениям (3) и (4), необходимо выбрать такой вектор, для которого выражение (5) принимает минимальное значение. Задачу поиска наиболее дешевого распределения виртуальных ресурсов можно кратко выразить в следующей матрично-векторной форме:

стх -> тпт, Ах>Ь, х > 0, (6)

где А — матрица размерности тхп, Ь, с, х - вектора-столбцы соответствующей размерности.

Представленные в (4) целевая функция и функции ограничений, являются функциями линейного вида, поэтому исследуемая задача относится к классу задач линейного программирования.

В рамках исследования задача линейного программирования решалась с использованием Симплекс-метода.

Симплексный метод в отличие от геометрического универсален. С его помощью можно решить любую задачу линейного программирования.

Пространство сложности алгоритма постоянно, и зависит только от количества типов ВМ используемых в виртуальной среде.

Эффективность по стоимости алгоритма перерасчета параметров ресурсного обеспечения обусловлена сведением задачи оптимизации распределения ресурсов к задаче линейного программирования, а также поиском ее решения с применением симплекс-метода, позволяющим за конечное число шагов найти оптимальное по стоимости значение распределения ресурсов ВМ установленного типа, необходимых для обеспечения работы набора экземпляров виртуальных приложений, запускаемых в облачной инфраструктуре, в условиях соблюдения требований к качеству обслуживания.

В четвёртой главе исследуется имитационная модель предоставления ресурсов с применением программного пакета СЬис^т для расчета рабочих параметров облачной инфраструктуры, а также производится расчет работы алгоритма ресурсного обеспечения с применением программного пакета Ма&Сай 12.

Проведен сравнительный анализ работы АМОРО и статического механизма предоставления виртуальных ресурсов.

В рамках исследования была построена имитационная модель ЦОД содержащего 200 хостов, каждый хост имеет четырехъядерный центральный процессор и 32 Гб оперативной памяти. Элементами имитационной модели являются: хосты ЦОД, экземпляры приложений и механизм предоставления ресурсов.

В процессе проведения экспериментов, собирались выходные показатели: минимальное и максимальное число запущенных ВМ; уровень отказа в обслуживание; ВМ-часы - суммарное время работы каждого экземпляра ВМ;

среднее время отклика, системы. Произведен анализ двух сценариев использования облачных сервисов:

1. «Web». Рабочая загрузка web-сервиса, который характеризуется большим количеством запросов на небольшие объемы ресурсов. Для сравнения рассматривались ЦОД со статическими механизмами предоставления состоящих из 50, 75, 100, 125 и 150 постоянно работающих экземпляров ВМ. Каждый запрос требует 100 мс для обработки на сервере. Максимальное допустимое время отклика было установлено 250 мс и максимальный отказ обработки 0%, системе необходимо обрабатывать все запросы.

Таблица 1. Результаты рабочей загрузки имитационной модели «Web»

Механизм/Параметр Мин. Макс. Отказ в Общее ВМ-часы, Среднее

ВМ ВМ обслужи использ. часы время

вание, ресурсов, отклика,

% % мс

АМОРО 53 151 0 87 18480 106

Статический 50 ВМ 50 50 56 76 8400 106

Статический 75 ВМ 75 75 40 70 12600 106

Статический 100 ВМ 100 100 22 69 16800 105

Статический 125 ВМ 125 125 2 69 21000 104

Статический 150 ВМ 150 150 0 59 25200 105

Требования QoS - - 0 £80 - <250

2. «Научный». Рабочая загрузка приложений, которые состоят из

небольшого количества запросов на большие объемы ресурсов. Для сравнения рассматривались ЦОД со статическими механизмами предоставления состоящих из 15, 30, 45, 60 и 75 экземпляров ВМ. Каждый запрос требует 300 секунд для обработки на сервере. Максимальное время отклика было установлено 700 секунд и максимальный отказ обработки 0%. Минимальное использование ресурсов было установлено 80%.

Таблица 2. Результаты имитации рабочей загрузки «Научной модели»

Механизм/Параметр Мин. Мак Отказ в Общее ВМ-часы, Среднее

ВМ с. обслужива использ. часы время

ВМ ние, % ресурсов, % отклика, сек

АМОРО 16 76 0 81 984 310

Статический 15 ВМ 15 15 69 99 360 490

Статический 30 ВМ 30 30 51 80 720 500

Статический 45 ВМ 45 45 34 73 1080 490

Статический 60 ВМ 60 60 16 64 1440 480

Статический 75 ВМ 75 75 0 42 1800 325

Требования QoS - - 0 >80 - <700

80 60

¿Г«? Л? ^

г ,ф кЛ

Механизм ресурсного обеспечения

(а)

2 20 е о

- >9

34_

16

0 «И 0

v/cW

Механизм ресурсного обеспечения

(б)

Рис. 4. Отказ в ресурсном обеспечение «Web» (а), «Научной модели» (б), %

^ «а .(?

^ с/

с- с-

Механизм ресурсного обеспечения

(а)

VVVVo/

Механизм ресурсного обеспечения (б)

Рис. 5. Общее использование ресурсов ЦОД «Web» (а), «Научной модели» (б),%

Ж0*

^Р ífi Л ^

2000 1500 -1000 500 0

-А800-

V-- -i' ч"" <*>

VcVc//

Механизм ресурсного обеспечения

Механизм ресурсного обеспече

(а) (б)

Рис. 6. Количество затраченных ВМ-часов «Web» (а), «Научной модели» (б)

Результаты моделирования, проводимого на основе параметров рабочей загрузки, демонстрируют, что АМОРО исключает отказ обработки запросов по средствам динамического увеличения числа экземпляров ВМ, и эффективного распределения ресурсов в облачной среде, как в системе распределенной обработки математических моделей, так и при организации доступа к web-ресурсу.

В пятой главе представлено альтернативное решение проблемы ресурсного обеспечения АРМ ППД АС ЭТРАН за счет оптимального распределения ресурсов между экземплярами приложения АРМ ППД. На сегодняшний день к АС ЭТРАН подключено свыше 32 ООО пользователей, из более чем 13400 организаций. В месяц оформляется свыше 136 ООО заявок и более 1 500 ООО накладных.

Однако, АРМ ППД является чувствительным к качеству каналов связи. Так, например, при оформлении накладных в АРМ ППД в утреннее время может отмечаться отказ в обслуживании или увеличение времени выполнения операции.

На рисунке 7 представлен альтернативный план вычисления требуемого объема ресурсов с наименьшей стоимостью, удовлетворяющего системным требованиям приложения АРМ ППД, выполняемого в ЦОД, основанном на облачных технологиях. В рассматриваемой системе используется пять типов виртуальных машин, применяемых для обеспечения работы конечного множества экземпляров приложения АРМ ППД, требующих одинаковых объемов ресурсов. Объем ресурсов, необходимых для обеспечения работы 5000 экземпляров приложения АРМ ПДД, с учетом системных требований 1 экземпляра представлены рисунке 7.

Шлилиио vCPU ECU ОЗУ. Гб Vetpeaewo Tß II|i<UIir.ti,Urrt"B. кость «ил (OWHKJ) CieiBi»ift Е Ч!М. pvÄ

mJanoJI 1 J 1? 160 H какая (3) 2Я

mlift^lisiu 1 2 375 410 Срсдкяч (3) 468

ш И-»so 2 4 75 820 СрСДНЯД(3> 936

»I Ini'VO 2 s 1.7 sso Средняя (3> 5.94

el mwimio 1 5 0il5 0 Оч«вь ebska(I) 0.72

ГйБ

r\ F, F, f« 1% 1 i г 2 1

>N: 1 2 4 S J К, 1.73.757,5 1.7 0.615 %1«4№820 350 0 Щ 2 3 3 3 1

зццтаяшн для Г!ЗД9Ж> «АШ

11.ЧТ"-

> OiJ/l'JOvCPU. >1 5000 ECU. >0-256/1180 Г903У. >2110000 Г5 Диск rqi-.

>'•«» иааядвадааа а ШШ

'ff

Запрос р есурсов

у> 0'

Ст = сг. 34.4.68.9.36. S. 94.0.72) • <1750.5000,128!). 101Ш0.10000)

5000 экземплярам «АРМ ППД» предоставить:

>62.5 9К9. ВМ uil-sm alt: >9875 9кэ. ЕМ типа < 1 ntrdiiim; Минимальная стоимость: 7256.25 руб./ч)

2.34*i + 4-68*2 + 9.36Жз + 5.'Их, + 0.72дг:; -. milt,

1*, + 1*г + 2*з + 2х, * l*s > 1750.

1*, + 2*г + 4*з + S*4 + l*s > 5000. 1 7*, +3.75*2 + 7.5*, + 1.7*, + 0.615*5 2 1280, 160*, + 410*2 + 820*з 4- 350*, + 0*s > 10000, 2x, + 3*2 + 3*3 + 3*4 + 1*5 > 10000,

Xj 2 0,*2 2 0.....*s 2 o.

SfSüSäT}

X, = 6J5. *2 = 0, *> 0, = 0, *3 ж 9875,

F{x) = 2.34 X 62. S +0.72 x 9875 = 7256>2Sra«i./W

Рис.7. Схема расчета ресурсов АРМ ППД

Оптимальный план предоставления виртуальных ресурсов, полученный с помощью алгоритма перерасчета параметров ресурсного обеспечения можно записать так: х1 = 62.5, х2 = 0, х3 = 0, х4 = 0, х5 = 9875, F(x) = 2.34 х 62.5 + 0.72 X 9875 = 7256.25 руб./час. Полученное решение может говорить о том, что для обеспечения наиболее дешевого предоставления ресурсов в условиях соблюдения требований по качеству обслуживания, необходимых для работы 5000 экземпляров приложения АРМ ППД, потребуется 62.5 экземпляра ВМ типа 1 и 9875 экземпляров ВМ типа 5, а минимальная стоимость такого предоставления составит 7256.25 рублей в час.

Для построения физической среды под управлением Windows Server 2012, а также для предоставления необходимого для работы 5000 экземпляров приложения АРМ ППД потребуется 57 серверов типа HP Proliant DL580 G7, 32 ядра ЦП IntelXeon Е7-4830, 512 ГБ ОЗУ, гарантийный срок 3 года. С учетом стоимости одного такого сервера, которая на момент 20 апреля 2014 года составляет 1.300.000 рублей, стоимость 57 серверов, без вспомогательного оборудования, составит 74.100.000 рублей.

Рассчитаем стоимость ресурсов 5000 приложений, при использовании облачных вычислений исходя из плана работы системы: 8 часов в день, 22 рабочих дня в месяце (таблица 3).

№ Период работы Период работы, час Цена 1 час работы, руб. Стоимость тС, млн. руб. Стоимость С0, млн. руб. Яс

1. 1 год 2112 7256,25 15,3252 74,1 4,84

2. 2 года 4224 7256,25 30,6504 74,1 2,42

3. 3 года 6336 7256,25 45,9756 74,1 1,61

4. __4 года 8448 7256,25 61,3008 74,1 1,21

5. 5 лет 10560 7256,25 76,6260 74,1 0,97

Ес — можно рассчитать эффективность технического решения, а также

целесообразность применения облачных технологий для организации ресурсного обеспечения АРМ ПДД.

я 6 74,84

1 год 2 года 3 года 4 года 5 лет-Время работы

Кривая эффективности СОТВ по стоимости

Рис.8. Стоимость эксплуатации и кривая эффективности СОТВ

Данный подход к оценке эффективности распределения виртуальных ресурсов показывает, что применение алгоритма перерасчета параметров ресурсного обеспечения является эффективным, а оптимальность данного технического решения снижается через 5 лет функционирования системы. Наряду с этим можно сделать вывод, что применение облачных технологий для построения АС ЭТРАН, а также организация распределения ресурсов с использованием алгоритма перерасчета параметров ресурсного обеспечения является целесообразным.

ЗАКЛЮЧЕНИЕ. ОСНОВНЫЕ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ

На основе проведенных исследований можно сделать следующие выводы:

1. Определены требования, предъявляемые к системам, основанным на технологиях виртуализации и связанные с ними параметры.

2. Проведен анализ текущего состояния исследований в области оптимизации распределения вычислительных ресурсов в СОТВ, выявлены основные системообразующие факторы.

3. Разработан механизм оптимизации ресурсного обеспечения сложных информационно-вычислительных систем, соответствующих топологии и задачам железнодорожной отрасли, минимизирующий стоимость эксплуатации СОТВ, в условиях выполнения требований к качеству обслуживания.

т

0 80 и

¡60

1

|40 120 I 0

£ 1 год 2 года 3 года 4 года 5 лет О

Время работы ■ СОТВ с алгоритмом перерасчета параметров

ресурсного обеспечения я Система без виртуализации

4. Сформулировано понятие эффективности механизма ресурсного обеспечения информационно-вычислительных систем, основанных на технологиях виртуализации.

5. Построена функция снижения стоимости и оценка эффективности СОТВ.

6. Разработана имитационная модель работы СОТВ, оценивающая количество запросов, получивших отказ в обслуживание, а также время отклика на запрос ресурсов при изменении количества выполняемых в системе экземпляров приложений, или объемов запрашиваемых ими ресурсов. При построении имитационных моделей применены современные методы моделирования работы систем построенных на виртуальных платформах с использованием пакета имитационного моделирования облачных инфраструктур Ооис^йп и системы автоматизированного проектирования МаЛСаё 12.

7. Построена и решена задача оптимизации процесса предоставления виртуальных ресурсов. Так, зная минимальные системные требования одного экземпляра приложения, а также соотношения технических и ценовых характеристик виртуальных машин, можно вычислить оптимальный с точки зрения стоимости ресурсов план предоставления виртуальных ресурсов для любого конечного множества пользователей на сессию с конечным временем.

8. Разработан сценарий решения проблемы производительности АРМ ППД автоматизированной системы централизованной подготовки и оформления перевозочных документов на железнодорожные грузоперевозки.

9. Предложенный адаптивный механизм оптимизации ресурсного обеспечения может применяться в рамках создания систем основанных на технологиях виртуализации, соответствующих распределенной топологии железнодорожной отрасли, как средство оптимального распределения физических ресурсов ЦОД.

10. Разработанный подход к оценке оптимальности распределения виртуальных ресурсов может быть применен к анализу существующих механизмов ресурсного обеспечения СОТВ, при выборе: оптимальных механизмов предоставления, при разработке новых технологий виртуализации, а также, при принятии решения о целесообразности

использования средств виртуализации для решения определенного круга задач.

11. Наряду с проведенной работой, интерес для дальнейшего исследования представляет разработка инструмента прогнозирования ожидаемой загрузки системы, используемого в анализаторе рабочей загрузки адаптивного механизма оптимизации ресурсного обеспечения. ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Публикации в изданиях, рекомендованных ВАК России:

1. Игнатов, Н. А. Анализ алгоритмов обработки очередей с понижающей задержкой / H.A. Игнатов // Мир Транспорта - М.- 2013. - № 3. - С. 32 -37.

2. Игнатов, Н. А. Поддержка вычислительных ресурсов на железнодорожном транспорте / H.A. Игнатов // Мир Транспорта - М. - 2014. - № 2/2014. - С. 115-120.

3. Игнатов, Н. А. Построение задачи оптимизации предоставления виртуальных ресурсов в центрах обработки данных, основанных на облачных технологиях / H.A. Игнатов // Известия Петербургского университета путей сообщения - Санкт-Петербург. - 2014. - № 1(38). — С. 69-74.

В других изданиях:

1. Игнатов, Н. А. Актуальность применения аппарата нейронных сетей в аналитических подразделениях торговых организаций / H.A. Игнатов // Труды научно-практической конференции Неделя науки - 2012 «Наука МИИТа - транспорту». - М.: МГУПС(МИИТ). - 2012.

2. Игнатов, Н. А. Оценка эффективности ресурсного обеспечения информационно-вычислительных систем на железнодорожном транспорте / H.A. Игнатов // Труды научно-практической конференции Неделя науки -2014 «Наука МИИТа-транспорту».-М.: МГУПС(МИИТ).-2014.

3. Игнатов, Н. А. Проблемы распределения ресурсов систем, основанных на облачных технологиях / H.A. Игнатов // Труды научно-практической конференции Неделя науки - 2013 «Наука МИИТа - транспорту». - М.: МГУПС(МИИТ). -2013.

Игнатов Николай Александрович

Методы и алгоритмы оптимизации ресурсного обеспечения сложных информационно-вычислительных систем на железнодорожном транспорте

05.13.01- Системный анализ, управление и обработка информации (транспорт)

Автореферат диссертации на соискание ученой степени кандидата технических наук

Подписано к печати 12.Л 3.044-, Формат 60x90 1/16 Заказ № /с ¿в Объем 1,5 п.л. Тираж 80 экз.

УПЦ ГИ МИИТ, Москва, 127994, ул Образцова, д 9, стр. 9