автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.15, диссертация на тему:Разработка модели и методов управления ресурсами в виртуальных организациях распределенных вычислительных сред

48503иЬ

На правах рукописи

Бобченков Александр Викторович ^^рл^^

РАЗРАБОТКА МОДЕЛИ И МЕТОДОВ УПРАВЛЕНИЯ РЕСУРСАМИ В ВИРТУАЛЬНЫХ ОРГАНИЗАЦИЯХ РАСПРЕДЕЛЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ СРЕД

Специальность 05.13.15 - Вычислительные машины, комплексы и компьютерные сети

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

1 6 ИЮН 2011

Москва-2011

4850306

Работа выполнена в Московском энергетическом институте (техническом университете) на кафедре Вычислительной техники.

Научный руководитель: - доктор технических наук, профессор

Топорков Виктор Васильевич Официальные оппоненты: - доктор технических наук, профессор

Дзегеленок Игорь Игоревич - кандидат технических наук, ст. н. с. Костенко Валерий Алексеевич, ВМиК МГУ

Ведущая организация: ОАО "Институт электронных управляющих машин им. И.С. Брука" (ИНЭУМ).

Защита состоится 24 июня 2011 г. в 16 часов 00 минут на заседании диссертационного совета Д 212.157.16 при Московском энергетическом институте (техническом университете) по адресу: 111250, Москва, ул. Красноказарменная, д. 14, Малый актовый зал.

С диссертацией можно ознакомиться в библиотеке Московского энергетического института (технического университета).

Отзывы на автореферат в двух экземплярах, заверенные печатью организации, просим направлять по адресу: 111250, Москва, ул. Красноказарменная, д. 14, Учёный совет МЭИ (ТУ).

Автореферат разослан «¿3» мая 2011 года.

Учёный секретарь

диссертационного совета Д 212.157.16,

к.т.н., доцент & о Г ! Чернов С.А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования.

Две важные проблемы, решаемые распределенными вычислительными средами (РВС), главным представителем которых являются грид-системы, -повышение отдачи от вычислительных ресурсов в случае их недостаточной загрузки, а также обеспечение необходимой вычислительной мощности для решения масштабных научных и инженерных задач. Организация РВС во многих случаях обходится гораздо дешевле разработки высокопроизводительных компьютерных комплексов. С появлением такой технологии распределенных вычислений, как облачные вычисления, средняя стоимость вычислений снизилась еще больше. Недавно возникшие в рамках облачных вычислений парадигмы «программное обеспечение как услуга» (БааБ), «платформа как услуга» (РааБ), «рабочее место как услуга» предназначены для избавления конечного пользователя от проблем, связанных с подбором оборудования, организацией и настройкой инфраструктуры сети. В конечном итоге, пользователь платит только за необходимые ему ресурсы, выделяемые для него «виртуальным суперкомпьютером».

Сложность администрирования среды, в рамках которой объединяются разнородные вычислительные платформы, а также люди и стоящие за ними организации, пользующиеся совместным доступом к ресурсам, резко возрастает. Механизм доступа к ресурсам, реальная сложность среды при этом скрываются от конечного пользователя, становятся виртуальными, сходным образом виртуализируется и абстрагируется набор принципов, регулирующих работу всей системы, который носит название виртуальной организации (ВО).

В условиях коллективного характера функционирования РВС наиболее сложным и критически важным механизмом обеспечения качества обслуживания помимо прочих, например, обеспечения безопасности, является эффективное планирование с точки зрения баланса загрузки ресурсов. Дополнительную сложность данной задаче придает то, что осуществляющий планирование механизм РВС (грид-диспетчер, метапланировщик, брокер ресурсов) фактически не имеет полного контроля над ресурсами среды (которые являются неотчуждаемыми) и скорее вынужден вести переговорный процесс с контрагентами, в данном случае с локальными планировщиками вычислительных узлов.

В случае, если РВС используется коммерчески (как упомянутые облачные вычисления) и ВО, кроме пользователей, включает в себя собственников ресурса, то экономические интересы собственников (максимальный доход, обеспечение определенного уровня загрузки ресурсов) противоречат интересам пользователей (получить результаты вычислительных заданий как можно скорее и с минимальными затратами). Таким образом, помимо задачи балансирования загрузки ресурсов, возникает необходимость внесения экономических принципов в процесс управления ресурсами, а именно учет экономических интересов сторон, обеспечение

качественного обслуживания пользователей, а также обеспечение прибыли организации, создавшей необходимую инфраструктуру самой РВС, -администраторов ВО.

Во множестве существующих реализаций систем управления ресурсами РВС (планировщиков) вышеперечисленные вопросы не рассматриваются. Одним из немногих исключений является брокер ресурсов МтгосШ, основанный на рыночной модели распределения ресурсов. Однако, подход, примененный в алгоритме данного планировщика, сводится к оптимизации планирования приложений отдельного пользователя по заданным им критериям. Данное решение построено децентрализованно (каждый пользователь запускает свой экземпляр брокера) и не решает задачу балансирования экономических интересов в масштабе всей ВО, а также задачу оптимального планирования для набора (пакета) заданий, составленного из заданий различных пользователей. Кроме того, алгоритм №тгос1ЛЗ не включает детальное решение проблемы отбора вычислительных ресурсов, необходимых для выполнения пользовательских заданий. Другие планировщики РВС также основаны на довольно упрощенной модели распределения ресурсов.

Учитывая все вышеприведенные аргументы, представляется актуальной разработка и исследование модели ВО коммерчески используемой РВС, включающей в себя пользователей и собственников ресурсов, а также прослойку посредников - администраторов ВО. В рамках новой модели ВО необходима разработка комплексного механизма управления ресурсами, основанного на экономических принципах и обеспечивающего баланс экономических интересов участников ВО путем оптимизации распределения ресурсов на уровне целого пакета заданий нескольких независимых пользователей на произвольно заданном наборе частично доступных вычислительных узлов.

Объектом исследования является управление ресурсами в РВС, предметом исследования - модель и методы управления и планирования ресурсов в рамках виртуальной организации РВС.

Целью работы является разработка модели виртуальной организации коммерчески используемой распределенной вычислительной среды и механизма управления неотчуждаемыми вычислительными ресурсами в рамках данной модели виртуальной организации.

Для достижения указанной цели в диссертационной работе решаются следующие задачи:

1. Исследование моделей организации распределенных вычислений, существующих алгоритмов планирования и реализаций планировщиков.

2. Разработка модели ВО коммерчески используемой РВС, включающей независимых пользователей, собственников ресурса и прослойку администраторов ВО, разработка модели ценообразования вычислительных услуг в ВО.

3. Разработка механизма управления неотчуждаемыми ресурсами ВО РВС, реализуемого системой распределения ресурсов РВС -

метапланировщиком, построенным по иерархической схеме организации распределения ресурсов.

4. Разработка системы имитационного моделирования, реализующей программно работу модели ВО для исследования ее поведения и свойств.

5. Экспериментальное исследование модели ВО и механизма управления ресурсами при помощи программной реализации для изучения свойств и поведения модели, а также анализа эффективности алгоритмов метапланировщика.

Методы исследования.

Для решения поставленных задач в работе использовались методы теории расписаний, исследования операций, системного анализа, для исследования свойств модели виртуальной организации и анализа метода управления ресурсами использовалось имитационное моделирование на ЭВМ.

Научная новизна диссертации определяется получением следующих результатов, которые выносятся на защиту:

• Разработан комплексный подход к процессу распределения и планирования неотчуждаемых вычислительных ресурсов . РВС, обеспечивающий более эффективную обработку потока пользовательских заданий и использование доступных ресурсов за счет динамической приоритизации заданий, подбора альтернативных наборов ресурсов для каждого задания и оптимизации плана выполнения пакета заданий с применением временных и стоимостных критериев.

• Разработан алгоритм формирования и ранжирования пакета заданий, реализующий политику приоритетной обработки заданий, устанавливаемую администраторами ВО, а также повышающий пропускную способность метапланировщика, выраженную в соотношении обработанных заданий к общему числу поступивших в очередь.

• Проведен сравнительный анализ алгоритма поиска эффективного плана выполнения в рамках метода управления ресурсами, а также режима случайного подбора ресурсов, имитирующего работу других реализаций метапланировщиков без оптимизации на уровне пакета заданий, для различных модельных задач. В результате эксперимента показано преимущество разработанного алгоритма по сравнению со случайным подбором вычислительных ресурсов по интегральным результатам планирования пакета заданий (общая стоимость и время использования ресурсов).

Достоверность научных положений, выводов и практических рекомендаций, сформулированных в диссертации, подтверждается данными, полученными при имитационном моделировании.

Практическая значимость.

Разработанная в диссертации система имитационного моделирования, имеющая в основе предложенную модель ВО, позволяет моделировать условия работы метапланировщика в РВС с широким диапазоном параметров среды и поступающих заданий (настраиваемый генератор заданий и среды). Данная программная реализация была использована для исследования свойств модели и анализа разработанных алгоритмов метапланировщика. На основе данного прототипа возможна реализация системы управления ресурсами РВС, в частности, облачных вычислений или коммерчески используемого грида. Указанное программное обеспечение зарегистрировано в государственном реестре программ для ЭВМ: свидетельство № 2011611541 от 10.03.2011 г.

Теоретические и практические результаты исследования были использованы при подготовке лекционных курсов «Вычислительные системы» на кафедре ВТ МЭИ (ТУ), а также курсов «Моделирование систем», «Информационные технологии» кафедры АИПУ МИЭМ (ТУ), о чем имеются соответствующие акты.

Исследования, проводимые по теме диссертации, были проведены при поддержке Совета по грантам Президента РФ для поддержки ведущих научных школ (грант НШ-7239.2010.9), РФФИ (проект № 09-01-00095), Минобрнауки в рамках аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы» (проекты № 2.1.2/6718; 2.1.2/13283) и федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы (государственные контракты № П2227; № 16.740.11.0038).

Апробация работы

Основные положения и результаты работы докладывались и обсуждались в рамках научных конференций «Информационные средства и технологии» в МЭИ (ТУ) в 2009 и 2010 гг.; ACS/ШЕЕ International Conference on Computer Systems and Applications, Тунис, Хаммамет; 16-19 мая 2010, XXXVII «Информационные технологии в науке, образовании, телекоммуникации и бизнесе», май 2010 г., Крым; 5th International Conference on Dependability of Computer Systems DepCoS-RELCOMEX 2009. Брунов -Вроцлав, Польша, июль 2010 г., "Суперкомпьютерные технологии: разработка, программирование, применение" СКТ-2010. г. Таганрог; "Научный сервис в сети Интернет: суперкомпьютерные центры и задачи", 2025 сентября 2010 г., г. Абрау-Дюрсо; «Суперкомпьютерные технологии: разработка, программирование, применение», г. Дивноморское, Геленджикский район, сентябрь 2010 г.

Публикация результатов работы. По теме диссертации опубликовано 10 печатных работ, из них одна на английском языке, две работы в изданиях, рекомендуемых ВАК.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения и библиографического списка из 66 наименований.

Работа содержит 156 страниц машинописного текста содержательной части, 31 рисунок, 29 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность исследуемой проблемы, сформулированы цели и задачи диссертационной работы, перечислены полученные в диссертации новые результаты, представлена их практическая ценность, перечислены апробации работы.

В первой главе проведено исследование проблемы управления ресурсами РВС, показано место планирования ресурсов в архитектуре РВС (на примере грид), проведена классификация подходов к распределению ресурсов с точки зрения разделения компетенции и по уровню контроля над ресурсами, обсуждены характеристики ряда известных и используемых в настоящее время систем распределения ресурсов РВС (планировщиков, метапланировщиков, грид-диспетчеров).

В настоящее время выделяют четыре уровня архитектуры РВС: прикладной, пользовательское промежуточное ПО, системное промежуточное ПО и ресурсный уровень. Место систем управления ресурсами находится на уровне пользовательского промежуточного ПО, в то время как системное ПО грид де-факто уже стандартизовано (Globus Toolkit).

Существует несколько схем организации распределения вычислительных ресурсов в РВС:

• Децентрализованное распределение ресурсов. Реализовано в системах AppLes, PAUA. Информация о текущем состоянии всех ресурсов и глобальная очередь заданий отсутствуют. Пользовательские агенты-диспетчеры взаимодействуют с вычислительными узлами непосредственно, либо с помощью общего пула ресурсов.

• Рыночная модель распределения ресурсов. Реализовано в системе управления ресурсами GRACE и брокере ресурсов Nimrod/G. Брокеры ресурсов, представляющие пользователей, ведут торг за вычислительные ресурсы с использованием одной из экономических моделей: простого рынка, аукционов, в условиях спроса и предложения.

• Централизованное распределение ресурсов. Распределение вычислительных ресурсов осуществляется из единого центра -планировщиком или диспетчером.

• Иерархическое распределение ресурсов, сочетающее в себе признаки централизованного и децентрализованного подходов, при котором центральный метапланировщик (метадиспетчер) взаимодействует с планировщиками локального уровня, работающих на вычислительных узлах среды. Такой подход характерен для современных РВС и наиболее перспективен в условиях планирования неотчуждаемых вычислительных ресурсов.

Отдельно обсуждаются подходы к распределению ресурсов с точки зрения контроля над ресурсами: работа с отчуждаемыми ресурсами

(выделенные узлы) и с неотчуждаемыми. Показано, что при работе с неотчуждаемыми ресурсами необходимо предварительное резервирование, а также работа с локальными расписаниями вычислительных узлов.

В ходе анализа обсуждено понятие виртуальной организации как совокупности правил доступа и предоставления различного вида ресурсов (в том числе вычислительных), объединяющей пользователей, организации и собственников ресурсов. Ценообразование на вычислительные услуги рассматривается как одно из правил в ВО коммерчески используемой РВС.

В главе рассматривается ряд применяемых методов планирования заданий, как в средах с полным контролем над ресурсами (непосредственное назначение на выполнение), так и в средах с неотчуждаемыми ресурсами и предварительным резервированием (алгоритм бэкфиллинга). Рассматриваются основные характеристики, механизм работы и особенности ряда существующих реализаций метапланировщиков: AppLes, Maui, GARA, HARC, G-Lambda, Grid Capacity Planning, Nimrod/G. Перечисленные системы являются представителями различных классов в аспекте организации распределения ресурсов. В большинстве из них осуществляется оптимизация на уровне приложений. Основная идея такого подхода состоит в том, что агенты-планировщики подбирают ресурсы для эффективного выполнения конкретного программного приложения. Пользователи стремятся оптимизировать свои приложения, разделяющие общие ресурсы, по различным критериям, что может привести к ухудшению таких интегральных характеристик планирования, как пропускная способность среды, загрузка ресурсов, время выполнения пакета заданий, общая стоимость проданного процессорного времени.

В результате анализа существующих реализаций планировщиков установлено, что не имеется приемлемой системы управления ресурсами РВС, сочетающей следующие признаки:

• централизованная работа в рамках ВО РВС;

• иерархическая схема организации распределения ресурсов РВС (метапланировщик - локальные планировщики);

• экономическая модель (продажа вычислительных услуг) для работы в условиях коммерческого использования РВС;

• оптимизация подбора ресурсов на уровне потоков заданий для обеспечения баланса экономических интересов участников ВО, в том числе организаторов самой РВС (администраторов ВО).

Разработка модели виртуальной организации, учитывающей вышеперечисленные особенности, и метода управления ресурсами РВС в рамках виртуальной организации составляет постановку задачи диссертационной работы.

Во второй главе описана разработка модели виртуальной организации коммерчески используемой РВС и метода управления ресурсами среды, осуществляемого метапланировщиком, введен необходимый понятийный аппарат модели, приведены модельные примеры.

Участниками виртуальной организации являются:

1) Пользователи ВО, которые приобретают услуги вычислительных ресурсов для выполнения заданий. Пользователи направляют в среду поток заданий совместно с ресурсными запросами.

2) Администраторы ВО, которые устанавливают политику распределения и предоставления ресурсов пользователям, а также контролируют инфраструктуру РВС и администрируют на некотором выделенном узле среды метапланировщик - часть ПО РВС, ответственную за управление ресурсами вычислительной среды и обработку потока пользовательских заданий.

3) Собственники вычислительных ресурсов, частично предоставляющие их для работы пользователей ВО за плату (рис. 1).

Польз

Пользовате

С

ик У

Пользовате

Собственник Z

Рис. 1. Общая схема моделируемой виртуальной организации

Вычислительные узлы РВС {ресурсные линии) абстрагируют широкий спектр вычислительных систем и объединяются метапланировщиком в группы - домены среды. Вычислительный узел характеризуется производительностью р и базовой удельной стоимостью за единицу времени / Производительность узла, а также базовая удельная стоимость за единицу времени измеряются в условных единицах. Оба этих параметра задаются статически. Динамический параметр узла - его локальное расписание занятости, которое представляется в виде списка слотов - промежутков времени, когда соответствующий вычислительный узел доступен для предварительного резервирования для выполнения пользовательского задания. Локальные расписания узлов предоставляются метапланировщику на определенный период времени в будущем, называемый периодом опроса среды.

Ценовая политика ВО заключается в применении модификаторов (функций ценообразования) к удельной стоимости слота и к общей стоимости слота. В модели используются следующие функции ценообразования:

1) конечная удельная стоимость слота F как функция от производительности узла р и базовой удельной стоимости/(функция наценки)

Р(р) = / Р1< р < , пороговые значения Р,- и коэффициенты задаются администраторами ВО (рис. 2а)

2) конечная стоимость слота С как функция от времени резервирования или длины слота (функция скидок)

С(0 = с(Тд + б', с6(1 - Г), Г < Г < Г+/ Сб(1)=П,

пороговые значения Г и коэффициенты задаются администраторами ВО. (рис. 26)

^ г 1 г2 р, производительность ^^ Т; Т2 1, длина слота (время)

Рис. 2. Функции ценовой политики ВО: а) функция наценки, б) функция скидок

Пользовательские задания представлены в модели ВО своими метаданными - ресурсными запросами. Ресурсный запрос включает следующие атрибуты:

1) номер ресурсного запроса;

2) идентификатор пользователя ВО;

3) требования к вычислительному ресурсу: минимально допустимая производительность вычислительного узла;

4) максимально допустимая удельная стоимость слота;

5) количество одновременно резервируемых слотов, в случае параллельного задания;

6) время резервирования слотов.

Под параллельным заданием мы понимаем задание одного пользователя, состоящее из нескольких независимых частей (подзаданий).

Под управлением ресурсами ВО мы понимаем поиск, подбор и планирование использования частично доступных вычислительных узлов, принадлежащих собственникам, входящим в ВО, для выполнения пользовательских заданий. Разработанный метод управления ресурсами представляет собой механизм работы метапланировщика в моделируемой ВО. Отличие предложенного метода управления ресурсами от существующих реализаций метапланировщиков - комплексный подход, включающий динамическую приоритизацию заданий, поиск нескольких альтернативных наборов слотов для каждого задания и оптимизация плана выполнения - поиск эффективной комбинации наборов слотов с точки зрения прохождения всего пакета заданий.

Цикл работы метапланировщика (цикл планирования) заключается в последовательном прохождении нескольких этапов:

1. распределение задания из глобальной очереди заданий в поток;

2. формирование и ранжирование пакета заданий - алгоритм BFR;

3. подбор потенциальных слотов для выполнения заданий - алгоритм SP;

4. поиск эффективного плана выполнения для пакета заданий по одному или нескольким критериям - алгоритм AS.

Алгоритм формирования и ранжирования пакета заданий, BFR (Batch forming and ranking). Данный алгоритм служит для динамической приоритизации очереди потока заданий. Вследствие последовательной схемы перебора заданий при подборе слотов положение задания в пакете имеет принципиальное значение. При обработке очереди каждому заданию назначается динамический приоритет R, на величину которого оказывают влияние следующие факторы:

• исходное положение задания в очереди потока - номер X;

• количество неудачных попыток распределения ресурсов для задания в предыдущих циклах планирования, Е\

• приоритет задания, определяемый уровнем привилегии пользователя, U;

• параметр ресурсного запроса, максимальная удельная стоимость слота, на которую согласен пользователь, Fmax.

Выражение для расчета динамического приоритета - взвешенная сумма: R = wxX +weE + wuU +wJFmax, Е < Етах, R = О, Е> Ещах

где wx, we, wu, viу - веса соответствующих компонентов динамического приоритета, которые задаются администратором метапланировщика, а Етах -ограничение на число неудачных попыток планирования задания (порог возвратов задания в очередь) для предотвращения «зависания» заданий, которые не могут получить ресурсы по тем или иным причинам. Таким образом, алгоритм BFR включает 2 шага:

1. Расчет приоритета R для всех заданий очереди потока.

2. Выборка L заданий с наивысшим приоритетом и сортировка по неубыванию значения приоритета внутри пакета.

Следующим шагом в процессе планирования является подбор слотов для заданий пакета.

Алгоритм подбора слотов, SP (Slot Processing). Так же, как и в алгоритме бэкфиллинга, задача подбора слотов сводится к сканированию пространства доступных слотов и поиску окна шириной в необходимое число параллельных слотов и длиной, равной требуемому в ресурсном запросе времени резервирования.

В процессе поиска окна (набора слотов) для одного задания последовательно просматривается упорядоченный по времени начала список слотов, полученный от всех вычислительных узлов домена. Для задания, в ресурсном запросе которого указаны следующие требования: N параллельных слотов с производительностью ресурсной линии не ниже Р и

максимальной удельной стоимостью Ртах должны быть зарезервированы на время г, слот а является приемлемым, если соблюдаются следующие условия:

a) производительность вычислительного узла слотар(а) > Р

b) длина слота не менее требуемой в ресурсном запросе, с учетом производительности вычислительного узла слота 1(а) > ¡Р/р(ст)

c) удельная стоимость слота Р(а) < Ртах

1 1

!_ _

I 3

I 4 |

[ i

6 I

I ^ I

. 1

I

1

Время, t

Рис. 3. Результаты работы алгоритма подбора слотов

Алгоритм SP формирует такое окно из N требуемых слотов, чтобы совпадало время их начала (рис. 3). Как только окно сформировано, считается, что потенциальный набор слотов для выполнения задания найден.

После формирования окна задействованные в нем слоты вычитаются из исходного списка слотов, и поиск продолжается для следующего задания в пакете, причем после последнего задания алгоритм снова возвращается к первому. Если окно не найдено, подбор слотов для данного задания останавливается. Работа алгоритма продолжается до тех пор, пока возможно подобрать набор слотов хотя бы для одного задания пакета.

Алгоритм поиска эффективного плана выполнения, AS (Alternative Selection). Последний этап обработки заданий метапланировщиком, этап оптимизации, заключается в выборе такой комбинации из найденных на этапе подбора слотов альтернативных наборов слотов (альтернатив), которая бы обеспечивала оптимальное или близкое к оптимальному значение некоторого критерия с точки зрения прохождения всего пакета. Разработанный алгоритм поиска эффективного плана выполнения основан на методах динамического программирования.

Мы рассматриваем два типа критериев в рамках нашей модели. Это стоимостные и временные показатели эффективности прохождения пакета заданий J = {j\,...,jn) с использованием одной из допустимых комбинаций альтернатив, плана выполнения s = (ii,...,s„). К первой группе критериев относится суммарная стоимость выполнения пакета заданий при использовании данного плана:

Ф)=£<Ж,). (1)

Для того чтобы не допустить монополизации использования того или иного ресурса отдельными пользователями и реализовать принцип справедливого распределения ресурсов, вводится ограничение на суммарную стоимость (бюджет цикла) В*.

Интересы собственников отражаются в таком критерии, как потери от недоиспользования бюджета цикла:

(2)

Политика администрирования в ВО и, отчасти, интересы пользователей, отражаются в таком критерии как суммарное зарезервированное время выполнения пакета заданий:

Г(?)= £/,-(*,). (3)

1=1

Недоиспользование (простой) ресурсов в цикле:

1(1)=Т*-Т(1), (4)

Следует отметить, что разработанный алгоритм также возможно применять в многокритериальном режиме для более эффективной реализации политики справедливого распределения ресурсов (например, с использованием вектора вышеописанных критериев (1 )-(4)), в таком случае обеспечивается возможность выбора плана выполнения из семейства условно-оптимальных стратегий.

Формализуем задачу поиска эффективного по частному критерию плана выполнения. Через я,-(я,-) обозначим частную функцию, определяющую эффективность использования выбранного альтернативного набора слотов я,-для /-го задания. Иными словами, £, (•?, ) = £,■($,•) либо Я,-) =)•

Пусть /¡(г,) - экстремальное значение частного критерия при использовании набора sl■ для выполнения заданий 1,1 + 1,..., и, где г,- -суммарное время использования или стоимость использования слотов для заданий ./,-,_/,•+!,...,./'л.

Обозначим через допустимое значение времени или стоимости

использования слотов. Таким образом, г,(.?,•)< 2^ <2*, где 2* - заданное ограничение (соответственно В* или Г*). Функциональное уравнение для отыскания условного (при заданном г,-(.$,•)) экстремума f^ (г,- (.?,•)) процедуры обратной прогонки может быть записано следующим образом: /¡•(г/)=ехй-{г/(5/)+у;+1(г/ -г,-^/))}, /=1,...,я,

/п+\(2п+\) = ^-

Экстремум данной функции отыскивается по альтернативным наборам слотов для ¡-го задания пакета. В соответствии с терминологией, традиционно принятой в динамическом программировании, 2^ называется состоянием системы. Условно-оптимальные (при заданном 2{) значения времени или стоимости использования ресурсов пакетом заданий определяются в соответствии с рекуррентным соотношением:

z'= arg extr f{Zj),

Zj(Sj)<Zi

Zj = z *.

Условно-оптимальный план выполнения s' =(s*,...,s*j для пакета заданий J образуется альтернативными наборами слотов для отдельных заданий, которые имеют следующий вид:

s' = arg extr \ft (г* (s,- )|, i = 1,..., n.

В третьей главе диссертации приводится детальное описание разработки системы имитационного моделирования и скриптового языка конфигурации экспериментов.

Система полностью реализована на платформе Java без привлечения сторонних библиотек. Архитектура ядра системы показана на рис. 4.

настрю«и гатораци* эагоосм

Ксыпонгнт PequeetOeie.-atoi;

На(тро»м cröopa

Настрорги

ОПТИ1А13ЭЦ№

компонент штатшаийрйвцнка

Коыломе-iT

отбора епотое

Компонент оптиматьносо покка набэра стогов (AlenativeSoSwi

Ксытзнент герерадия

средь: £nvionrtTenlöerera!oö

Высоднгй; реультг' (SolPtoies»'

аыхсдфйГ|Щ

... "ь .

(AttemaHveSiSM

:::: -е

НЭСТРЕЙКИ «iTt'Tiiij, ti^pAjw "'„"^ j еоад ■ ^ ■ —

Рис. 4. Архитектура ядра системы имитационного моделирования

Ядро системы состоит из 5 компонентов:

Компонент генерации ресурсных запросов (КециеБ1Сепега1ог);

Компонент генерации среды (Егтгоптеп1Сепега1ог);

Компонент подбора слотов (БЫРгосеззог);

Компонент поиска эффективного плана выполнения (АкегпайуеБоЬег);

Компонент метапланировщика (МйаБсЬеёи^г) (рис. 4).

Таким образом, программная реализация включает в себя имитацию вычислительной среды, потока заданий и метапланировщика, работающего в условиях ВО.

В главе приводятся форматы объектов параметров и выходных результатов отдельных компонентов. Подробно описан разработанный скриптовый язык моделирования компонента планирования экспериментов

(Experiment Manager), взаимодействующий с ядром. Всего описано 52 входных и 20 выходных параметров системы имитационного моделирования.

В четвертой главе приведены результаты экспериментального исследования разработанной модели виртуальной организации и метода управления ресурсами в рамках работы метапланировщика.

В рамках диссертационной работы было проведено 5 тестов (серий экспериментов):

1. Исследование устойчивости генерации входных данных и распределения выходных параметров.

2. Исследование влияния входных данных модели (поток заданий, параметры узлов) на выходные параметры планирования.

3. Исследование влияния длины цикла планирования и длины пакета заданий на выходные параметры планирования.

4. Сравнительный анализ эффективности алгоритма BFR и последовательного выбора заданий из очереди потока.

5. Сравнительный анализ эффективности алгоритма AS и случайного выбора альтернатив.

В результате теста 1 было установлено, что большинство выходных параметров модели (число обработанных слотов, число найденных альтернатив, суммарная стоимость слотов, суммарное время резервирования слотов) имеют приближенно нормальный закон распределения.

В результате теста 2 были установлены наиболее значимые входные параметры модели, относящиеся к имитации потока заданий и вычислительной среды, такие как: количество ресурсных линий домена среды, средний уровень загруженности среды, минимальное ограничение на производительность, максимальное ограничение на время в ресурсном запросе, максимальное ограничение на удельную стоимость слота в ресурсном запросе.

В ходе теста 3 было исследовано влияние на результаты планирования таких параметров работы метапланировщика, как длины цикла планирования (временные рамки, определяющие список доступных слотов) и длины пакета заданий (количества заданий в пакете). Показано, что значения ключевых выходных параметров модели растут с замедлением при увеличении значений соответствующих параметров метапланировщика.

В тесте 4 рассматривается сравнение режима планирования метапланировщика с включенным этапом динамической приоритизации очереди заданий (алгоритм BFR), а также режима последовательной обработки потока заданий. Показано, что включение алгоритма формирования и ранжирования пакета (BFR) заданий в цепочку обработки метапланировщика примерно в 2,5 раза увеличивает распределяемость потока заданий в течение 50 циклов (см. таблицу 1), а также значительно (более 5 раз) повышает долю распределенных заданий, имеющих более высокий порог максимальной удельной стоимости слота Fmax в ресурсном запросе при используемых при генерации пределах 12-35 (таблица 2). Таким образом, алгоритм BFR служит для реализации политики приоритетной

обработки заданий в условиях применения экономических принципов, а также повышает общую эффективность обработки потока заданий. Таблица 1. Результаты сравнительного анализа алгоритма ВРИ. и

Без алгоритма BFR С использованием BFR

Количество распределенных заданий 88 284.8

Средняя суммарная стоимость слотов (на цикл) 6144.5 6602.7

Общая стоимость слотов 64517 210627

Таблица 2. Доля распределенных заданий в зависимости от ограничения ресурсного запроса на максимальную удельную стоимость слота_

Порог Без алгоритма BFR С использованием BFR

Fmax >15 18,5% 58%

Fmax > 20 21,8% 63%

F >25 1 max 20,7% 56,9%

12% 63%

Рис. 5. Зависимость числа распределенных заданий в 50 циклах от порога возвратов задания в очередь (Етах) и длины пакета заданий (L)

Исследована зависимость распределяемости потока заданий от параметра Етах - порога возвратов задания в очередь в результате неудачного распределения, а также длины пакета (количества заданий в пакете). Показано, что для максимальной распределяемости потока заданий в течение 50 циклов необходимо устанавливать порог возвратов на величину, составляющую 15-20% от длины пакета заданий (рис. 5).

В тесте 5 был проведен сравнительный анализ эффективности алгоритма AS в рамках метода управления ресурсами ВО и метода планирования Maui, в котором заданию назначается первый подходящий набор слотов. В нашем

случае мы моделируем такое поведение путем формирования плана выполнения случайным выбором из нескольких предварительно найденных альтернативных наборов слотов для каждого из заданий.

Было проведено 5000 циклов планирования в двух режимах:

• с использованием алгоритма АБ;

• случайного выбора комбинации альтернатив, но не превышающей по суммарным показателям (стоимость, время использования слотов) соответствующее ограничение цикла планирования.

Данный эксперимент был поставлен в условиях четырех модельных задач:

• Задача 1. Максимизация доходов собственников ресурсов при ограничении на суммарное время использования слотов.

• Задача 2. Минимизация суммарного времени завершения пакета заданий при ограничении на бюджет виртуальной организации.

• Задача 3. Минимизация суммарной стоимости выполнения пакета заданий при ограничении на суммарное время использования слотов.

• Задача 4. Максимизация загрузки слотов при ограничении на время их использования.

В каждой серии циклов планирования были получены следующие существенные выходные параметры (на примере задачи 1):

Таблица 3. Результаты (Задача 1)

Режим Число Суммарная Суммарное Ограничение на

обработанных стоимость время суммарное

задании слотов С(.<;), использо- время

ед. вания использования

стоимости слотов слотов Г*,

ед. времени ед. времени

АБ 20,08 11628,63 421,22 471,14

Случайный 20,09 10588,53 459,36 471,85

выбор

Из таблицы 3 можно видеть, что, в условиях модельной задачи 1, где критерием эффективности является суммарная стоимость слотов, применение алгоритма АБ дает существенный выигрыш в стоимости слотов при меньшем суммарном времени резервирования слотов, что делает его применение более выгодным для собственников ресурсов. Выигрыш в эффективности планирования по целевому критерию был достигнут во всех модельных задачах. Таким образом, на основе полученных данных можно утверждать, что оптимизация плана выполнения с помощью алгоритма АБ, являющаяся последним этапом в рамках разработанного метода управления ресурсов, дает результаты не хуже случайного подбора ресурсов при различных наборах входных данных и условиях задачи оптимизации.

В таблице 4 сведены полученные значения оценки выигрыша алгоритма АБ по сравнению с режимом случайного выбора альтернатив:

Таблица 4. Оценка выиг] рыша алгоритма АБ

Задача 1 Задача 2 Задача 3 Задача 4

Тип оптимизации максимизация минимизация минимизация максимизация

Целевой критерий Суммарная стоимость слотов Суммарное время использования слотов Суммарная стоимость слотов Суммарное время использования слотов

Выигрыш по целевому критерию 12,82% 10,6% 6,18% 2,9%

В заключении приведены основные теоретические и практические

результаты диссертационной работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. На основе анализа существующих методов и средств распределения и планирования ресурсов в РВС определена наиболее перспективная схема организации распределения ресурсов в РВС - иерархическая, проведена классификация и отмечены недостатки в существующих реализациях планировщиков.

2. Разработана модель ВО коммерчески используемой РВС, включающей пользователей, собственников вычислительных ресурсов, а также администраторов ВО. Разработаны функции ценообразования, моделирующие ценовую политику ВО, учитывающую интересы администраторов ВО как посредников при продаже вычислительных услуг.

3. Разработан метод управления ресурсами ВО, реализуемого в среде метапланировщиком, обеспечивающий комплексный подход к обработке пользовательских заданий и включающий несколько этапов: помещение задания в поток, формирование и ранжирование пакета заданий, отбор ресурсов для заданий пакета с установлением нескольких альтернативных наборов слотов и оптимизация плана выполнения (выбор эффективной комбинации наборов слотов) по одному или нескольким критериям для баланса экономических интересов сторон-участников ВО.

4. Разработан алгоритм формирования и ранжирования пакета заданий, реализующий политику приоритетной обработки потока заданий, а также повышающий пропускную способность метапланировщика. Действенность данного алгоритма была исследована и подтверждена экспериментально.

5. В ходе экспериментов эмпирически было определено оптимальное значение параметра алгоритма формирования и ранжирования пакета

заданий -числа повторных попыток планирования для заданий - в зависимости от числа заданий в пакете.

6. Разработан алгоритм поиска эффективного плана выполнения пакета заданий, основанный на методах динамического программирования, который дает возможность гибкого регулирования политики распределения ресурсов в пользу одного из участников ВО (пользователей РВС, собственников ресурса, администраторов ВО), либо баланса экономических интересов всех участников. Описано применение данного алгоритма для однокритериальной и многокритериальной оптимизации плана выполнения. Путем модельных экспериментов подтверждена эффективность данного алгоритма в сравнении со случайным подбором ресурсов (как имитации работы других метапланировщиков).

7. На основе предложенной модели ВО и метода управления ресурсами ВО была разработана программная реализация - система имитационного моделирования, включающая специально разработанный скриптовый язык конфигурации экспериментов. С помощью данной программы было осуществлено масштабное экспериментальное исследование поведения и свойств модели, а также анализ работоспособности и эффективности алгоритмов работы метапланировщика. Теоретические результаты и программные средства, полученные в диссертации, нашли применение в учебном процессе МЭИ (ТУ) и МИЭМ.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в периодических изданиях, рекомендованных ВАК

1. Топорков В.В., Топоркова A.C., Бобченков A.B. Стратегии организации и поддержки масштабных вычислений в распределенных средах. // Открытое образование. 2011. № 2 (85), 4.2. С. 15-18.

2. Бобченков A.B., Топорков В.В. Метод оптимального планирования управляемых потоков заданий в распределенных вычислительных средах. // Информационные технологии. 2011. № 5. С. 27-31.

Публикации в других изданиях

3. Целищев A.C., Бобченков A.B., Емельянов Д.М. Модифицированный метод критических работ в решении задачи планирования распределенных вычислений // Труды XVTI Международной научно-технической конференции «Информационные средства и технологии». 20 - 22 октября 2009г.; Москва. В 3 томах. Т. 1. - М.: Издательский дом МЭИ. С. 84-90.

4. Топорков В.В, Топоркова A.C., Целищев A.C., Бобченков A.B., Емельянов Д.М. Масштабируемые модели планирования и управления потоками заданий в распределенных вычислениях // Научный сервис в сети Интернет: масштабируемость, параллельность, эффективность:

4 0 20

Труды Всероссийский суперкомпьютерной конференции. - М.: Изд-во МГУ, 2009. С. 335-339.

5. Toporkov V.V., Toporkova A., Tselishchev A., Yemelyanov D., Bobchenkov A. Economic Models of Scheduling in Distributed Systems // In: T. Walkowiak, J. Mazurkiewicz, J. Sugier, and W. Zamojski (eds.), Monographs of System Dependability. Dependability of Networks (Vol. 2). - Wroclaw: Oficyna Wydawnicza Politechnki Wroclawskiej, 2010. - P. 143-154.

6. Топорков В.В., Топоркова A.C., Бобченков A.B., Емельянов Д.М., Целищев A.C. Экономические модели организации распределенных вычислений // Труды международной конференции «Информационные технологии в науке, образовании, телекоммуникации и бизнесе», Май 2010 г., Крым. М.: Открытое образование, 2010. С. 7-10.

7. Топорков В.В., Топоркова A.C., Бобченков A.B., Емельянов Д.М., Целищев A.C. Организация распределенных вычислений на основе экономических принципов // Труды Конгресса по интеллектуальным системам и информационным технологиям «AIS-IT'10», Сентябрь 2010 г. М.: ФИЗМАТЛИТ, 2010. Т. 1. С. 563-570.

8. Топорков В.В., Топоркова A.C., Бобченков A.B., Емельянов Д.М., Целищев A.C. Планирование вычислений в распределенных средах на основе экономических принципов // Труды всероссийской конференции "Научный сервис в сети Интернет: суперкомпьютерные центры и задачи", 20-25 сентября 2010 г., Абрау-Дюрсо. М.: Изд-во МГУ им. М.В. Ломоносова. 2010. С. 258-263.

9. Топорков В.В., Топоркова A.C., Бобченков A.B., Емельянов Д.М., Целищев A.C. Экономические принципы организации распределенных вычислений ■// Труды международной научно-технической конференции "Суперкомпьютерные технологии: разработка, программирование, применение" СКТ-2010. Таганрог: Изд-во ТТИ ЮФУ. 2010. Т. 2. С. 9296.

10. Бобченков A.B., Топорков В.В, Целищев A.C. Система имитационного моделирования планирования потоков независимых заданий в распределенных вычислительных средах. // Труды научно-технической конференции «Информационные средства и технологии» в трех томах. М. МЭИ, 2010. Том 1. С. 11—17

11. Бобченков A.B., Топорков В.В. Целищев A.C. Система имитационного моделирования распределенной вычислительной среды. Свидетельство о регистрации программы для ЭВМ № 2011611541 от 10.03.2011. Правообладатели: Государственное образовательное учреждение высшего профессионального образования Московский энергетический институт (технический университет) ,

Подписано в печать/If. Cö~№f?r, Зак. -¡Ct Тир. fQO П.л. ftfd

Полиграфический центр МЭИ (ТУ)

Москва, ул. Красноказарменная, д. 13

ВВЕДЕНИЕ.

1.1. Архитектура распределенных вычислительных сред.

1.1.1. Особенности больших распределенных вычислительных сред.

1.1.2. Архитектура и состав программного обеспечения РВС.

1.1.3. Виртуальная организация.

1.2. Подходы к распределению ресурсов в РВС.

1.3. Обзор методов отбора и планирования ресурсов в РВС.

1.3.1. Непосредственное назначение ресурсов (мэппинг).

1.3.2. Алгоритм бэкфиллинга (Backfill).

1.4. Обзор существующих реализаций планировщиков в РВС.

1.4.1. Планировщик AppLes.

1.4.2. Планировщик Maui.

1.4.3. Планировщик Globus Architecture for Reservation and Allocation (GARA).

1.4.4. Планировщик Highly-Available Resource Co-Allocator.

1.4.5. Планировщик G-lambda Grid Scheduling System.

1.4.6. Метаброкер Grid Capacity Planning.

1.4.7. Брокер ресурсов Nimrod/G.

1.4.8. Особенности реализаций планировщиков.

Актуальность темы

Создание сред распределенных вычислений стало возможным в последнее время благодаря впечатляющим достижениям в следующих направлениях: существенному повышению производительности процессоров, появлению широких каналов связи, глобализации обмена информацией и развитию методов метакомпьютинга - дисциплины, изучающей организацию распределенных вычислительных процессов. Немаловажным также является выработка единых протоколов организации вычисления и обмена данными, без которых объединение разнородных вычислительных систем и платформ трудно себе представить.

Две важных проблемы, решаемые при помощи распределенных вычислительных сред (РВС), главным представителем которых являются грид-системы, - повышение отдачи от вычислительных ресурсов, в случае их недостаточной загрузки, и обеспечение необходимой вычислительной мощности для решения масштабных научных и инженерных задач.

С одной стороны, очевидно, что РВС могут потенциально иметь совокупную вычислительную мощность на порядки выше, чем любой спроектированный и построенный суперкомпьютер. Более того, можно утверждать, что превосходство РВС еще более существенно, если мы рассмотрим среднюю производительность того и другого типа вычислительных систем как динамическую характеристику. Продолжающееся действие закона Мура заставляет периодически строить все новые и новые высокопроизводительные машины из-за ограничений, накладываемых технологией производства и не позволяющих постепенное обновление оборудования. Распределенные среды, в которых связующим звеном является их промежуточное программное обеспечение (middleware), не имеют подобных проблем.

С другой стороны, сильно возрастает сложность управления средой, в рамках которой объединяются разнородные вычислительные платформы, а также люди и стоящие за ними организации, пользующиеся совместным доступом к ресурсам. Доступ к ресурсам, реальная сложность среды при этом виртуализируется, сходным образом виртуализируется и набор принципов, структурирующий работу среды, который носит название виртуальной организации (ВО).

В условиях коллективного характера функционирования РВС наиболее сложным и критически важным механизмом обеспечения качества обслуживания помимо прочих (например, обеспечения безопасности) является эффективное планирование с точки зрения баланса загрузки ресурсов. Дополнительную сложность придает то, что, в отличие от монолитных суперкомпьютерных или кластерных систем, осуществляющий планирование механизм РВС (грид-диспетчер, метапланировщик, брокер ресурсов) не имеет полного контроля над ресурсами среды (поэтому они являются неотчуждаемыми) и скорее вынужден вести переговорный процесс с контрагентами, в данном случае с локальными планировщиками вычислительных узлов.

В последнее время, с появлением таких парадигм распределенных вычислений, как «платформа как сервис» (РааБ, р1а1Гогт-а8-а-зегуюе) и «программное обеспечение как сервис» (БааБ, БоАлуаге-аз-а-зепасе) существенным аспектом является также экономическая эффективность планирования. Таким образом, появляется третья возможная функция РВС -бизнес по продаже вычислительных услуг. Тогда, если ВО кроме пользователей включает в себя собственников ресурса, то экономические интересы собственников (максимальный доход, обеспечение определенного уровня загрузки ресурсов) противоречат интересам пользователей (получить результаты вычислительных заданий как можно скорее и с минимальной стоимостью). Возникает необходимость внесения экономических факторов в процесс планирования, таких как: учет экономических интересов сторон, предоставление качественного сервиса пользователям, а также обеспечение прибыли организации, создавшей необходимую инфраструктуру самой РВС, - администраторов ВО [3].

Во множестве существующих реализаций* планировщиков [15, 40-45] данные вопросы не рассматриваются. Одним из немногих исключений является метапланировщик - брокер ресурсов МтгоёЛЗ [25], основанный на рыночной модели распределения ресурсов. Однако, подход, примененный в алгоритме данного планировщика, сводится к оптимизации планирования приложений отдельного пользователя по заданным им критериям [25,.26- 32]. Подобное решение не может обеспечить ни баланс экономических интересов в масштабе всей ВО, ни оптимизацию планирования для пакета; сформированного из заданий, принадлежащих произвольной группе пользователей. Кроме того, реализация планировщика №тгос1/0 не включает детальное решение проблемы отбора ресурсов, необходимых для выполнения пользовательских заданий.

Учитывая все вышеприведенные аргументы, представляется актуальной разработка и исследование модели ВО РВС, включающей пользователей и собственников ресурсов, а также прослойки; посредников, представляющей администраторов ВО. Необходима также разработка механизма управления ресурсами, осуществляемого в рамках ВО метапланировщиком, включающего подбор, планирование вычислительных ресурсов, основанных на экономических принципах и обеспечивающих баланс экономических интересов участников виртуальной организации путем оптимизации распределения ресурсов на уровне целого пакета заданий нескольких независимых пользователей.

Объектом исследования является управление ресурсами в РВС, предметом исследования — модель и механизмы распределения и планирования ресурсов в рамках виртуальной организации РВС.

Цели и задачи работы

Целью работы является разработка и исследование модели виртуальной организации коммерчески используемой распределенной вычислительной среды и метода управления неотчуждаемыми вычислительными ресурсами в рамках данной виртуальной организации.

Для достижения указанной цели решаются следующие задачи:

1. Исследование моделей организации распределенных вычислений, существующих алгоритмов планирования и реализаций планировщиков.

2. Разработка модели ВО коммерчески используемой РВС, включающей независимых пользователей, собственников ресурса и прослойку администраторов ВО, разработка модели ценообразования вычислительных услуг в ВО.

3. Разработка механизма управления неотчуждаемыми ресурсами ВО РВС, реализуемого метапланировщиком, построенным по централизованно-иерархической схеме организации распределения ресурсов.

4. Разработка системы имитационного моделирования, реализующей программно работу модели ВО для исследования ее поведения и свойств.

5. Экспериментальное исследование разработанной модели и механизма управления ресурсами при помощи программной реализации для изучения свойств и поведения модели, а также анализа эффективности алгоритмов метапланировщика.

Методы исследования

Методы теории расписаний, исследования операций, системного анализа; для исследования свойств модели виртуальной организации и анализа метода управления ресурсами было использовано имитационное моделирование на ЭВМ. Научная новизна

Научная новизна диссертации определяется получением следующих результатов:

• Разработан комплексный подход к процессу распределения' и планирования неотчуждаемых вычислительных ресурсов РВС, обеспечивающий более эффективную обработку потока пользовательских заданий и использование доступных ресурсов за счет динамической приоритизации заданий, подбора альтернативных наборов ресурсов для каждого задания и оптимизации плана выполнения пакета заданий с применением временных и стоимостных критериев.

• Разработан алгоритм формирования и ранжирования пакета заданий, реализующий политику приоритетной обработки заданий, устанавливаемую администраторами ВО, а также повышающий пропускную способность метапланировщика, выраженную в соотношении обработанных заданий к общему числу поступивших в очередь.

• Проведен сравнительный анализ алгоритма поиска эффективного плана выполнения в рамках метода управления ресурсами, а также режима случайного подбора ресурсов, имитирующего работу других реализаций метапланировщиков без, оптимизации на1 уровне пакета заданий, для различных модельных задач. В результате эксперимента показано преимущество разработанного алгоритма по сравнению со случайным подбором вычислительных ресурсов по интегральным выходным параметрам планирования (суммарная стоимость и время использования ресурсов).

Практическая ценность работы

Система имитационного моделирования, имеющая в основе предложенную модель ВО, которая позволяет производить подбор и планирование ресурсов для потоков пользовательских заданий. Данная программная реализация была использована для исследования свойств модели и анализа разработанных алгоритмов метапланировщика. На основе данного прототипа возможна реализация системы управления ресурсами РВС, в частности, облачных вычислений или коммерчески используемого грид. Теоретические и практические результаты исследования были использованы при' подготовке лекционных курсов «Вычислительные системы» на кафедре ВТ МЭИ (ТУ), а также курсов «Моделирование систем», «Информационные технологии» кафедры АИЛУ МИЭМ (ТУ), о чем имеются соответствующие акты.

Апробации

Основные положения и результаты работы докладывались и обсуждались в рамках научных конференций «Информационные средства и технологии» в МЭИ (ТУ) в 2009 и 2010 гг.; ACS/IEEE International Conference on Computer Systems and Applications, Тунис, Хаммамет; 16-19 мая 2010, XXXVII' «Информационные технологии в науке, образовании, телекоммуникации и бизнесе», май 2010 г., Крым; 5th International Conference on Dependability of Computer Systems DepCoS-RELCOMEX 2009. Брунов -Вроцлав, Польша, июль 2010» г., "Суперкомпьютерные технологии: разработка, программирование, применение" СКТ-2010. г. Таганрог; "Научный сервис в сети Интернет: суперкомпьютерные центры и задачи", 2025 сентября 2010 г., г. Абрау-Дюрсо; «Суперкомпьютерные технологии: разработка, программирование, применение», г. Дивноморское, Геленджикский район, сентябрь 2010 г.

Работа выполнена при частичном содействии Совета по грантам Президента РФ для поддержки ведущих научных школ (грант НШ-7239.2010.9), РФФИ (проект № 09-01-00095), Минобрнауки в рамках аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы» (проекты № 2.1.2/6718; 2.1.2/13283) и федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы (государственные контракты № П2227; № 16.740.11.0038).

Публикации по теме диссертации

Основные результаты, полученные при выполнении диссертационной работы, опубликованы в 10 печатных работах, включая 9 статей; из'них 2 в изданиях, рекомендуемых ВАК, и 1 главу в монографии (в соавторстве).

Разработанная система имитационного моделирования зарегистрирована в государственном реестре программ для ЭВМ, свидетельство № 2011611541 от 10.03.2011.

1. Целищев A.C., Бобченков A.B., Емельянов Д.М. Модифицированный метод критических работ в решении задачи планирования распределенных вычислений // Труды XVII Международной научно-технической. конференции «Информационные средства и технологии». 20 - 22 октября 2009 г.; Москва. В 3 томах. Т. 1. — М.: Издательский дом МЭИ. С. 84-90.

2. Топорков В.В, Топоркова A.C., Целищев A.C., Бобченков A.B., Емельянов Д.М. Масштабируемые модели планирования и управления потоками заданий в распределенных вычислениях // Научный сервис в сети Интернет: масштабируемость, параллельность, эффективность: Труды Всероссийской суперкомпьютерной конференции: - М.: Изд-во МГУ, 2009. С. 335-339.

3. Toporkov V.V., Toporkova A., Tselishchev A., Yemelyanov D., Bobchenkov A. Economic Models of Scheduling in Distributed' Systems // In: T. Walkowiak, J. Mazurkiewicz, J. Sugier, and W. Zamojski (eds.), Monographs of System Dependability. Dependability of Networks (Vol. 2). - Wroclaw: Oficyjna Wydawnicza Politechnki Wroclawskiej, 2010. - P. 143-154 (монография на англ. яз.).

4. Топорков В.В., Топоркова A.C., Бобченков A.B., Емельянов Д.М., Целищев A.C. Экономические модели организации распределенных вычислений // Труды международной конференции-«Информационные технологии в науке, образовании, телекоммуникации и бизнесе», Май 2010 г., Крым. М.: Открытое образование. 2010; С. 7-10.

5. Топорков В.В., Топоркова A.C., Бобченков A.B., Емельянов Д.М., Целищев A.C. Организация распределенных вычислений на основе экономических принципов // Труды Конгресса по интеллектуальным системам и информационным технологиям «AIS-IT'IO», Сентябрь 2010 г. М.: ФИЗМАТЛИТ, 2010. Т. 1. С. 563-570:

6. Топорков В.В., Топоркова A.C., Бобченков A.B., Емельянов Д.М., Целищев A.C. Планирование вычислений в распределенных средах на основе экономических принципов // Труды всероссийской конференции "Научный сервис в сети Интернет: суперкомпьютерные центры и задачи", 20-25 сентября 2010 г., Абрау-Дюрсо. М.: Изд-во МГУ им. М.В. Ломоносова. 2010. С. 258-263.

7. Топорков В.В., Топоркова A.C., Бобченков A.B., Емельянов Д.М., Целищев A.C. Экономические принципы организации распределенных вычислений // Труды международной научно-технической конференции "Суперкомпьютерные технологии: разработка, программирование, применение" СКТ-2010. Таганрог: Изд-во ТТИ ЮФУ. 2010. Т. 2. С. 9296.

8. Бобченков A.B., Топорков В.В, Целищев A.C. Система имитационного моделирования планирования потоков независимых заданий1 в распределенных вычислительных средах. // Труды научно-технической конференции «Информационные средства и технологии» в трех томах. М: МЭИ, 2010. Том 1. С. 11-17

9. Топорков В.В., Топоркова A.C., Бобченков A.B. Стратегии, организации и поддержки масштабных вычислений в распределенных средах // Открытое образование, 2011. №2(85). Ч. 2. С.15-18.

10. Бобченков А. В., Топорков В. В. Метод оптимального планирования в модели управляемых потоков заданий в распределенных вычислительных средах. // Информационные технологии, 2011. №5. С.27-31.

1. АНАЛИЗ ПРОБЛЕМЫ УПРАВЛЕНИЯ РЕСУРСАМИ В РАСПРЕДЕЛЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ СРЕДАХ

В данной главе приведен обзор современных моделей организации распределенных вычислений, рассмотрены подходы к распределению и планированию ресурсов в распределенных вычислительных средах (РВС). Рассмотрены основные используемые методы и средства подбора и планирования ресурсов РВС, а также проанализированы характеристики ряд существующих реализаций планировщиков распределенных РВС, и обоснован выбор модели управления ресурсами в рамках виртуальной организации (ВО).

4.7. Основные результаты и выводы

В данной главе было проведено экспериментальное исследование свойств модели и эффективности алгоритмов планирования метапланировщика при помощи реализованной' системы имитационного моделирования, описанной в главе 3. Основные результаты, полученные в данной главе, следующие:

1. Исследована устойчивость генерации входных параметров и распределение выходных параметров модели. Установлено, что большая часть выходных параметров приближенно распределена по нормальному закону распределения.

2. Исследована степень влияния входных параметров модели (параметров ресурсных запросов, параметров среды) на выходные (число найденных альтернатив, число распределенных заданий, суммарные стоимость и время использования слотов). В результате эксперимента установлено, что наиболее значимыми параметрами модели являются количество ресурсных линий домена, уровень загруженности среды, минимальное ограничение на производительность, максимальное ограничение на время, максимальное ограничение на удельную стоимость слота.

3. Исследовано влияние таких параметров работы метапланировщика, как длины- цикла планирования и длины пакета заданий. Показано, что ключевые выходные параметры модели растут с замедлением при увеличении значения соответствующих параметров. Распределяемость пакета заданий остается на приемлемом уровне при* больших значениях длины цикла планирования и при меньших значениях длины пакета (до 100).

4. Исследован разработанный в главе 2 алгоритм формирования и ранжирования пакета заданий ВР11. В ходе экспериментов показано, что включение данного алгоритма в цепочку обработки заданий метапланировщика в 2,5 раза увеличивает распределяемость потока заданий в течение 50 циклов, а также значительно (более 5 раз) I повышает вероятность распределения задания, имеющего более высокое ограничение удельной стоимости слота в ресурсном запросе. Исследована зависимость распределяемости потока заданий от параметра алгоритма ВРЯ - порога возвратов задания в очередь в результате неудачного распределения, а также длины пакета заданий. Показано, что для максимальной распределяемости потока заданий в течение 50 циклов необходимо устанавливать порог возвратов на величину, составляющую 15-20% от длины пакета заданий.

5. Проведен сравнительный анализ алгоритма поиска эффективного плана выполнения А8 и режима случайного выбора альтернатив, имитирующего работу других реализаций метапланировщиков без оптимизации на уровне пакета заданий, для различных модельных задач. Показано преимущество алгоритма А8 по сравнению со случайным выбором альтернатив (до 13%) по целевому критерию (суммарная стоимость слотов, суммарное время использования слотов, в зависимости от модельной задачи) во всех модельных задачах.

ЗАКЛЮЧЕНИЕ

В работе было показано, что на сегодняшний день не существует приемлемой реализации системы управления ресурсами для РВС, сочетающей следующие признаки:

• централизованная работа в рамках ВО РВС;

• работа с неотчуждаемыми ресурсами среды с использованием иерархической схемы организации распределения ресурсов (метапланировщик — локальные планировщики);

• экономическая модель (продажа вычислительных услуг) для работы в условиях коммерческого использования РВС;

• оптимизация на уровне пакетов заданий для обеспечения баланса экономических интересов участников ВО, в том числе организаторов самой РВС (администраторов ВО).

В ходе диссертационной работы была разработана модель виртуальной организации РВС и метод управления неотчуждаемыми ресурсами в рамках работы системы управления ресурсами среды (метапланировщика), удовлетворяющие вышеперечисленным требованиям.

Область применения разработанной модели — коммерчески используемые РВС, в частности, облачные вычисления и коммерческий, грид («грид по требованию, utility grid). Модель была реализована программно, с помощью разработанной системы имитационного моделирования свойства модели и эффективность метода управления ресурсами были экспериментально исследованы. Новизна разработанного метода управления ресурсами ВО выражается в комплексном многоэтапном подходе к процессу обработки потока заданий, включающем динамическую приоритизацию заданий, подбор альтернативных вариантов набора необходимых ресурсов для каждого задания и поиск эффективного плана выполнения пакета заданий с точки прохождения всего пакета. Показано, что гибкость разработанного метода управления ресурсами позволяет использовать его как для обеспечениями усиления экономических интересов одной из сторон, так и для балансирования экономических интересов всех участников! и организации справедливого распределения ресурсов. Разработанный' метод обеспечивает более эффективное обслуживание потока заданий; а также больший контроль над процессом распределения ресурсов для администраторов ВО, чем в существующих реализациях метапланировщиков.

В рамках диссертационной работы были получены следующие основные результаты и выводы:

1. Рассмотрены задачи, решаемые средствами РВС, а также показано место и роль эффективного планирования в архитектуре распределенных сред. Приведен краткий обзор подходов к распределению ресурсов в РВС, обоснован выбор иерархической схемы организации управления ресурсами, при которой центральный метапланировщик осуществляет планирование пользовательских заданий для выполнения на частично доступных неотчуждаемых вычислительных ресурсах ! ВО, взаимодействуя с локальными планировщиками. Проведена классификация* и отмечены* недостатки в существующих реализациях планировщиков.

2. Разработана модель виртуальной организации коммерчески используемой распределенной вычислительной среды, включающая пользователей, администраторов ВО и собственников вычислительных узлов. Разработаны функции ценообразования, моделирующие ценовую политику ВО, учитывающую интересы* администраторов ВО как посредников при продаже вычислительных услуг.

3. Разработан метод управления ресурсами ВО, включающий четыре последовательных этапа обработки» задания: помещение задания в поток, формирование и ранжирование пакета заданий, подбор ресурсов для пакета заданий с поиском нескольких альтернативных наборов слотов и оптимизация плана выполнения (комбинации наборов слотов) по одному или нескольким критериям. В рамках метода управления ресурсами разработаны необходимые алгоритмы работы метапланировщика:

• алгоритм формирования и ранжирования пакета заданий (Batch Forming and Ranking, BFR);

• алгоритм подбора слотов (Slot Processing, SP);

• алгоритм поиска эффективного плана выполнения (Alternative Selection, AS) для многокритериальной оптимизации найденных наборов слотов. Для алгоритма AS формализована задача оптимизации, описан однокритериальный и многокритериальный режим работы.

4. Разработана система имитационного моделирования, реализующая предложенную модель управления ресурсами ВО; включающая специально разработанный скриптовый язык для гибкого планирования модельных экспериментов. Предложена модификация алгоритма SP, принесшая существенный выигрыш в производительности системы имитационного моделирования.

5. При помощи- разработанной системы имитационного моделирования проведено масштабное экспериментальное исследование поведения модели в различных режимах работы. Исследована устойчивость генерации входных данных и влияние входных параметров модели (параметры среды, заданий, планирования, критерии оптимизации) на результаты работы метапланировщика.

6. Получены экспериментальные результаты, подтверждающие эффективность алгоритма формирования и ранжирования пакета заданий (BFR) в сравнении с последовательной обработкой очереди потока в многоцикловом режиме работы метапланировщика. Включение данного алгоритма в цепочку обработки заданий метапланировщиком повышает распределяемость потока заданий и экономическую отдачу от продажи слотов более чем вдвое, а также значительно повышает вероятность выполнения задания, для которого пользователь устанавливает более высокий бюджет, таким образом реализуется политика приоритетной обработки заданий. Установлено оптимальное значение параметра алгоритма ВРЯ - порога возвратов задания в очередь, величина которого должна составлять 15-20% от длины пакета заданий.

7. Показана эффективность алгоритма поиска эффективного плана выполнения (А8) в сравнении с режимом случайного выбора альтернативных наборов ресурсов для выполнения пользовательских заданий, имитирующим работу других реализаций метапланировщиков, способных планировать параллельные задания. Полученное экспериментально максимальное значение сравнительной эффективности алгоритма АБ составила величину порядка 13%.

8. Теоретические и практические результаты исследования были использованы при подготовке лекционных курсов «Вычислительные системы» на кафедре Вычислительной техники МЭИ (ТУ), а также курсов «Моделирование систем», «Информационные технологии» кафедры Автоматизации и интеллектуализации процессов убавления МИЭМ (ТУ).

В качестве дальнейшего развития модели, разработанной в настоящей диссертации, можно указать следующие направления:

• развитие алгоритма поиска эффективного плана выполнения в многокритериальном режиме, например, при помощи методов теории игр;

• введение в модель понятия спроса и предложения;

• развитие механизма динамического перераспределения заданий по потокам, в случае повторяющихся отказов на распределения (превышения порога возвратов задания в очередь);

• расширение формата ресурсного запроса, введение дополнительных параметров;

• расширение метода управления ресурсами для взаимодействия с другими типами ресурсов РВС, помимо вычислительных. •

1. Ferreira L., Berstis V., Armstrong J. Introduction to Grid computing with Globus. IBM Redbooks, electronic book, 2003. P.35.

2. Kurowski K., Nabrzyski J., Oleksiak A.,' Weglarz J. Multicriteria aspects of Grid resource management // Grid resource management. State of the art and future trends / Eds. J. Nabrzyski, J.M. Schopf, and J. Weglarz. Kluwer Acad. Publ., 2003. P. 271-293.

3. Pearlman L., Welch V., Foster I., Kesselman C, Tuecke S. A community authorization service for group collaboration. // In Proceedings of the IEEE 3rd International Workshop on Policies for Distributed Systems and Networks. P 50-59.

4. World Wide Telescope, 2011. URL: www.worldwidetelescope.org

5. Кирьянов А. К., Рябов Ю. Ф. Введение в технологию Грид. СПб.: Гатчина, 2006. - 40 с.

6. Foster I., Kesselman С., and Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations // Int. J. of High Performance Computing Applications. 2001. - Vol. 15. - No. 3. P. 200-222.

7. Коваленко B.H., Коваленко Е.И., Корягин Д.А. и др. Управление параллельными заданиями в гриде с неотчуждаемыми ресурсами. Препринт № 63. М.: ИПМ им. М.В. Келдыша РАН, 2007. - 28 с.

8. Коваленко В. Н., Коваленко Е. И., Корягин Д. А., Любимский Э. 3., Хухлаев Е. В. Управление заданиями в распределенной вычислительной среде // Открытые системы, 2001. №5-6. С. 22-28.

9. Коваленко В. Н., Семячкин Д. А. Использование алгоритма Backfill в грид // Труды международной конференции «Распределенныевычисления- и Грид- технологии в науке и образовании» (Дубна, 29 июня 2 июля 2004 г.) - Дубна: ОИЯИ, 2004. С. 139-144.

10. Buyya R., Abramson D., Venugopal S. The Grid Economy // Proceedings of the IEEE, 93(3):698714, 2005. URL: http://www.buyya.com/papers/ieee-grideconomy.pdf

11. Snell Q., Clement M., Jackson D;, Gregory C. The Performance Impact of Advance Reservation; Meta-scheduling. Computer Science Department Brigham Young University Provo, Utah, USA, 2000. P. 3-5. URL: http://supercluster.org/research/papers/ipdps2000.pdf

12. Magoules F., Pan J., Tan K., Kumar A. Introduction to Grid Computing. CRC Press, Inc. Boca Raton, FL, USA, 2009. P. 46-49.

13. LCG: LHC Computing Grid, 2011. URL: http://grid-deployment.web.cern.ch/

14. Киселев А., Корнеев В., Семенов Д., Сахаров И. Управление метакомпьютерными системами // Открытые системы, 2005. №2. С. 1116

15. Богданов С.А., Коваленко В.Н., Хухлаев Е.В., Шорин О.Н. Метадиспетчер: реализация средствами метакомпьютерной системы Globus // препринт ИПМ им. М.В.Келдыша РАН №30.- М., 2001.

16. Siegel Н. J., АН S. Techniques for mapping tasks to machines in heterogeneous computing systems // Journal of Systems Architecture,46(8). P. 627-639,2000.

17. Maheswaran» M., Ali S., Siegel H. J., Hengsen D., Freund R. Dynamic Mapping of a Class of Independent Tasks onto Heterogeneous Computing Systems. URL: www.cisr.us/projects/downloads/MSHN/dynamicjpdcspeci al.pdf

18. Feitelson D. G., Jette M.A. Improved Utilization and Responsiveness with Gang-scheduling // IPPS '97 Proceedings of the Job Scheduling Strategies for Parallel Processing, Springer-Verlag London, UK, 1997. P. 67-72.

19. Buyya R., Abramson D., Giddy J. A computational economy for grid computing and its implementation in the Nimrod/G resource broker // Future eneration Computer Systems 18(8), 1061- 1074. P 384-406.

20. Foster I., Kesselman C. The Grid: Blueprint for a Future Computing Infrastructure. Morgan Kaufmann Publishers, USA, 1999. P. 34.

21. A. Oram (editor). Peer-to-Peer: Harnessing the Power of Disruptive Technologies, O'Reilly Press, USA, 2001. P. 47-58.

22. Foster I., Kesselman C. Globus: A Metacomputing Infrastructure Toolkit // International Journal of Supercomputer Applications, 11 (2): 1997. P. 115-128

23. Grimshaw A., Wulf W. et al. The Legion Vision of a Worldwide Virtual Computer // Communications of the ACM, vol. 40(1), January 1997.

24. Abramson D., Giddy J., Kotler L. High Performance Parametric Modeling with Nimrod/G: Killer Application for the Global Grid? // Proc. of the International Parallel and Distributed Processing Symposium. New York: IEEE Press, 2000. P. 520-528.

25. In J., Avery P., Cavanaugh R., Ranka S. Policy Based Scheduling for Simple Quality of Service in Grid Computing // Proc. 18th International Parallel and Distributed Processing Symposium (IPDPS'04), Santa Fe, Mexico, 2004.

26. Siddiqui M., Fahringer T. Grid Resource Management. Springer-Verlag Berlin-Heidelberg, Germany, 2010. P: 267.

27. Sulistio A. Advance Reservation and Revenue-based Resource Management: for Grid Systems. LAP LAMBERT Academic Publishing, Germany, 2008. P. 65.

28. F. Berman, A. Chien, K. Cooper, J. Dongarra, I. Foster, R. Wolski et al.

29. The GrADS Project: Software Support for High-Level Grid Application

30. Development // International Journal of High Performance Applications and Supercomputing, Vol. 15, number 4 (Winter 2001): P. 327-344.

31. Garg S., Venugopal S., Buyya R. Market-oriented Meta-scheduling for Utility Grids // Doctoral Student Research Symposium, The 15th International Conference on High Performance Computing (HiPC 2008), Bangalore, India, December 2008.

32. Berman F., Wolski R. The AppLeS Project: A Status Report // Proceedings of the 8th NEC Research Symposium, Berlin, Germany, May 1997

33. Maui Cluster Scheduler // Интернет-ресурс Cluster Resources, 2010. URL: http://www.clusterresources.com/pages/products/maui-clusterscheduler.php.

34. MacLaren J. HARC: The Highly-Available Resource Co-allocator // Proceedings of the International Conference on Grid computing, highperformAnce and Distributed Applications (GADA'07), Vilamoura, Algarve, Portugal, Nov. 29,2007.

35. Takefusa A., Hayashi M., Nagatsu N., Nakada H., Kudoh Т., Miyamoto T. et al. G-lambda: Coordination of a Grid Scheduler and Lambda Path Service over GMPLS. // Future Generation Computer Systems, 22(8):868{875}, Oct. 2006. P. 377-389.

36. Siddiqui M., Villazon A., Fahringer T. Grid capacity planning with negotiation-based advance reservation for optimized QoS. // Proceedings of the 2006 ACM/IEEE conference on Supercomputing (SC'06), Florida, USA, Nov. 2006. P. 417-419.

37. Abramson D., Roe P., Kotler L., Mather D. ActiveSheets: SuperComputing with Spreadsheets. // 2001 High Performance Computing Symposium (HPC'01), Advanced Simulation Technologies Conference, April 2001.

38. Jones J.P., Nitzberg B. Scheduling for Parallel Supercomputing:A Historical* Perspective of Achievable Utilization // Job Scheduling Strategies for Parallel Processing, D.G. Feitelson and L. Rudolph, eds., 6, Springer-Verlag, 1999. P. 11-17.

39. Lifka D. The ANL/IBM SP Scheduling System // Job Scheduling Strategies for Parallel Processing, D.G. Feitelson and.L. Rudolph, eds., Springer-Verlag, 1995. P. 295-303

40. Srinivasan S., Kettimuthu R., Subramani V., Sadayappan P: Selective reservation strategies for backfill job scheduling // JSSPP'02: 8th International Workshop on Job Scheduling Strategies for Parallel Processing, SpringerVerlag, 2002. P. 55-71

41. Юдин Д.Б. Вычислительные методы теории принятия решений. М.: Наука, 1980.-320 с.

42. Топорков В.В. Опорные планы согласованного выделения ресурсов при организации распределенных вычислений на масштабируемых системах //Программирование. 2008. № 5. С. 50-64.

43. Таха X. Введение в исследование операций. В 2-х книгах. Кн. 1. М.: Мир, 1985.-479 с.

44. Yeo С. S., Venugopal S., Chu X., Buyya R. Autonomic Metered Pricing for aUtility Computing Service // Future Generation Computer Systems Volume 26, Issue 8, October 2010, P. 1368-1380.

45. Bredin J., Kotz D., Rus D. Economic markets as a means of open mobileagent systems // Proc. of the workshop "Mobile agents in the context of competition and cooperation (mac3)'\ 1999. P. 43-49.

46. Топорков B.B. Модели распределенных вычислений. M.: ФИЗМАТЛИТ. 2004. 320 с.

47. Jackson D., Snell Q., Clement M. Core Algorithms of Maui Scheduler. // Proceeding JSSPP '01 Revised Papers from the 7th International Workshop on Job Scheduling Strategies for Parallel Processing Springer-Verlag, London, UK, 2001.

48. Топорков В.В. Управление ресурсами при организации распределенных вычислений на основе опорных планов // Избранные доклады Третьей междунар. конф. «Параллельные вычисления и задачи управления», Москва, 2-4 октября 2006 года, ИПУ РАН, 2006. С. 49 58.

49. Топорков В.В., Топоркова А.С., Бобченков А.В. Стратегии организации и поддержки масштабных вычислений в распределенных средах // Открытое образование, 2011. №2(85). 4.2. С. 15-18.

50. Московского энергетического института (технического университета)

51. Бобченкова Александра Викторовича «Разработка модели и методов управления ресурсами в виртуальных организациях распределенных вычислительных сред»

52. Материалы проведенных в диссертационной работе исследований были использованы при подготовке лекционного курса «Вычислительные системы» на кафедре ВТ.

53. Программная реализация разработанной модели виртуальной организации нашла применение в учебном процессе при проведении лабораторных работ по курсу «Вычислительные системы».

54. Андреева И.Н./ ¿Пирогова М.А./157

55. УТВЕРЖДАЮ юректор МИЭМ по >те, д.т.н., проф. А.Ф.Каперко1. АКТоб использовании результатов кандидатской диссертационной работыаспиранта кафедры Вычислительной техники Московского энергетического института (технического университета)

56. Бобченкова Александра Викторовича «Разработка модели и методов управления ресурсами в виртуальных организациях распределенных вычислительных сред»

57. Материалы проведенного в диссертационной работе исследования внедрены в учебный процесс подготовки специалистов с высшим образованием по специальности 23.01.02 «Автоматизированные системы обработки информации и управления» по следующим курсам:

58. Моделирование систем» «Информационные технологии».

59. Использование в учебном процессе вышеуказанных результатов обеспечило повышение качества подготовки специалистов с высшим образованием по специальности 23.01.02 «Автоматизированные системы обработки информации и управления».

60. Начальник учебного управления МИЭМ В.С.Ершов

61. Зам.декана по учебной работе1. Ю.Д.Плотников

62. Зав.кафедрой «Автоматизация и интеллектуализация процессов управления»д.т.н., С.Н.Никольскийдессов уд яот1. Профессо^Якафедры АИПУ1. Д.т.н., проф. В.Г. СёминJ