автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Исследование и разработка методов повышения эффективности управления вычислительными мощностями в кластерах рабочих станций

На правах рукописи

004Ы

ПОДКОПАЕВ ИЛЬЯ ВИКТОРОВИЧ С1Ж

ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОВ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ УПРАВЛЕНИЯ ВЫЧИСЛИТЕЛЬНЫМИ МОЩНОСТЯМИ В КЛАСТЕРАХ РАБОЧИХ СТАНЦИЙ

Специальность 05.13.01. Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва 1 2

2010

004617420

Работа выполнена на кафедре Вычислительная техника при Московском государственном институте электронной техники (техническом университете).

Научный руководитель

кандидат технических наук, профессор Лупин Сергей Андреевич

Официальные оппоненты

доктор технических наук, профессор; Гагарина Лариса Геннадьевна кандидат физико-математических наук,

Посыпкин Михаил Анатольевич

Ведущее Учреждение Российской академии

предприятие наук Межведомственный

суперкомпьютерный центр РАН

Защита состоится ¿7 ёеслщЬ^ 2010 года на заседании

диссертационного совета ^ Д212.134.02 при Московском

государственном институте электронной техники (техническом университете).

124498, Москва, МИЭТ, проезд 4806 д. 5

С диссертацией можно ознакомиться в библиотеке МИЭТ.

Автореферат разослан " ¿Л " _ 2010 года.

Общая характеристика работы

Актуальность_проблемы. В настоящее время

высокопроизводительные вычисления занимают все более важное место в промышленности, науке, образовании. В июле 2009 года на заседании Совета безопасности России президент Д.А.Медведев заявил о важности суперкомпьютеров для страны. Современные суперкомпьютеры в подавляющем большинстве являются дорогостоящими Ыас1е-кластерами. Ведущие университеты устанавливают у себя подобные системы для обеспечения НИР, а также для обучения студентов параллельному программированию и навыкам работы с высокопроизводительными вычислительными системами. В подавляющем большинстве случаев подобные ресурсы используются в режиме разделения. Система управления, тем или иным образом выделяет время и процессорные мощности для каждой задачи, поступающей на выполнение. При этом каждый пользователь получает в свое распоряжение только часть системы производительностью порядка нескольких сотен GFlops. Этого оказывается достаточно для большинства приложений.

Для проведения высокопроизводительных вычислений можно использовать и гораздо более дешевые вычислительные комплексы типа кластеров рабочих станций (Cluster of Workstations, CoWS). Их можно создавать на основе учебных компьютерных классов, без которых не обходятся ни одно высшее учебное заведение. Считалось, что подобные системы могут использоваться в режиме высокопроизводительных вычислений (High Performance Computing, НРС) только в свободное от учебных занятий время, когда на рабочих станциях никто не работает.

В работе решаются вопросы, связанные с возможностью запуска параллельных приложений на кластерах CoWS в то время, когда на рабочих станциях - узлах кластера решаются локальные задачи пользователей.

Для этого в общем случае, надо знать ответы на следующие вопросы:

- каков объем свободных вычислительных мощностей на рабочих станциях;

- может ли существующая сетевая инфраструктура обеспечить межузловой обмен при запуске параллельных приложений;

- каков должен быть механизм управления свободными вычислительными ресурсами?

Предлагаемый подход, позволит реализовывать на базе компьютерных классов суперкомпьютеры типа Со\¥Б с пиковой производительностью 1-2 ТБЬрз, доступные в течение 24-х часов в сутки.

Цель работы и задачи исследования. Цель работы: создание эффективной системы управления свободными вычислительными ресурсами узлов кластеров рабочих станций с многоядерными процессорами.

Для достижения поставленной цели в работе решаются следующие основные задачи:

1. Сравнительный анализ архитектур существующих высокопроизводительных вычислительных систем, процессоров, коммутационных решений.

2. Анализ загрузки узлов вычислительной системы типа Со\\^8.

3. Анализ загрузки коммуникаций вычислительной системы типа

4. Разработка структуры и схемы управления кластером.

5. Построение модели вычислительной системы и оптимизация управления потоком поступающих заявок.

6. Проведение испытаний и анализ эффективности предложенного решения.

Объект и предмет исследования. Объектом исследований являются высокопроизводительные вычислительные системы.

Предметом исследования являются методы управления ресурсами кластерных систем с многоядерными узлами.

Методы исследования. При решении поставленных задач были использованы положения теории систем массового обслуживания, теории сетей Петри и событийного моделирования, теории вероятности и математической статистики, теории параллельного программирования.

Научная новизна. Теоретически обоснована возможность использования свободных мощностей рабочих станций компьютерных классов для создания на их основе суперкомпьютеров типа СоХУЗ с пиковой производительностью 1-2 ТР]орБ. Создана модель, позволяющая определить допустимые характеристики входного потока заявок и оптимальную с точки зрения показателей качества обслуживания стратегию управления.

Практическая значимость.

Работа выполнена при поддержке аналитической ведомственной целевой программы "Развитие научного потенциала высшей школы" министерство образования и науки РФ в рамках проекта «Решение прикладных комбинаторных и оптимизационных задач большой размерности в среде параллельных и распределенных вычислений». Регистрационный номер: 2.1.2/6394.

Предлагаемый подход позволяет создавать экономичные кластерные вычислители на основе свободных мощностей рабочих станций компьютерных классов. Разработанная модель, позволяет определять параметры системы управления кластером, обеспечивающие заданный уровень обслуживания потоков задач.

Положения, выносимые на защиту.

1. Модель кластерной вычислительной системы под управлением MS НРС Server 2008, позволяющая определять параметры системы управления, обеспечивающие заданный уровень обслуживания потоков задач.

2. Программная реализация модели кластерной вычислительной системы в среде AnyLogic.

3. Результаты исследований реальной производительности кластерной вычислительной системы на тесте Linpack и при решении комбинаторных задач, подтверждающие эффективность управления.

Реализация результатов работы. Теоретические и практические результаты диссертационной работы внедрены на кафедре Вычислительной техники в Московском институте электронной техники и на предприятии ОАО ЗИТЦ. Разработанный CoWS вычислитель с пиковой производительностью 1,6 и реальной (на тесте Linpack) 0,874 TFlops используется как в учебном процессе, так и при выполнении НИР. Параметры системы управления кластером, найденные при помощи предложенной модели, обеспечивают время реакции системы на уровне 1-2 минуты, как для локальных, так и для внешних заявок. При этом загрузка узлов кластера локальными приложениями составляет около 50 часов в неделю, а параллельными приложениями до 120 часов.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на Всероссийских межвузовских научно-технических конференциях студентов и аспирантов "Микроэлектроника и информатика - 2007", "Микроэлектроника и информатика - 2009", "Микроэлектроника и информатика - 2010", Международной научно-практической конференции "Современные информационные

технологии в ИТ-образовании", третьей Всероссийской научной конференции "Методы и средства обработки информации", Всероссийской ежегодной научно-технической конференции "ОБЩЕСТВО, НАУКА, ИННОВАЦИИ".

Публикации. По материалам диссертации опубликовано семь тезисов докладов и шесть статей (из них 3 в журналах, входящих в перечень ВАК), получено свидетельство о государственной регистрации программы для ЭВМ.

Структура и объём диссертационной работы. Рукопись диссертационной работы состоит из введения, четырех глав, заключения, списка литературы и пяти приложений. Она изложена на 124 страницах основного машинописного текста, содержит 54 рисунка, 22 таблицы и включает библиографию из 44-х наименований.

Содержание работы

Во введении сформулированы актуальность, цель работы, ее научная новизна и практическая значимость; представлены применяемые методы исследования, внедрение результатов, апробации и структура диссертации.

В первой главе рассмотрены архитектуры и системы управления высокопроизводительными вычислителями, проанализированы основные тенденции суперкомпьютерной отрасли.

Рассмотрены некоторые из наиболее распространенных высокопроизводительных решений иностранных (SGI, IBM, CRAY) и российских (Т-Платформы, Крафтвей) производителей. В ходе анализа отмечены достоинства и недостатки предлагаемых систем с точки зрения используемых архитектур, коммутационных решений и систем управления.

Показано, что в настоящее время доминирующее положение занимает гибридная архитектура, в которой SMP узлы объединены в кластерную систему (рис. 1).

Рис. 1. Структура гибридной вычислительной системы

Переход отрасли на стандартные, серийно выпускаемые компоненты в целом обусловил рост кластерных решений, в частности достаточно популярными стали кластеры типа CoWS, производительность которых хотя и не позволяет попадать в верхние строчки рейтингов суперкомпьютеров, тем не менее, достаточна для проведения наукоемких вычислений. Проведен анализ влияния основных компонентов кластеров рабочих станций на эффективность вычислений.

С точки зрения коммутации, стандартом для ВВС стало разделение вычислительной и управляющих сетей с целью устранения влияния паразитного трафика на производительность системы коммуникаций.

В качестве основной сети в крупных многоузловых кластерах используется InfiniBand, в кластерах меньшего размера достаточно часто встречается Gigabit и 10 Gigabit Ethernet за счет своей существенно меньшей цены. Gigabit Ethernet так же повсеместно используется и в качестве управляющей сети.

С точки зрения систем управления наиболее распространенным подходом является использование программного обеспечения от производителя кластера и ОС Linux. Анализ показал, что хотя еще 10 лет назад подавляющее большинство ВВС работало под ОС Unix, современные кластерные системы ввиду использования стандартных процессоров, используют широкий диапазон операционных систем.

В частности, можно отметить набирающее популярность решение от Microsoft - MS НРС Server. К его достоинствам можно отнести гибкость в управлении различными топологиями и архитектурами ВВС, а так же развитую систему планирования задач и мониторинга состояния системы.

Во второй главе анализируется возможность использования оборудования компьютерного класса в качестве кластерной вычислительной системы типа CoWS.

Исследования предлагаемого подхода проводились на кластерной системе МИЭТ-2008, установленной в ходе реализации Инновационной образовательной программы в Московском институте электронной техники. Система состоит из 26 двухпроцессорных узлов на основе Intel XEON Е5335 с 4GB RAM под управлением ОС MS НРС Server 2008. Все узлы объединены двумя сетями Gigabit Ethernet с помощью двух коммутаторов Hewlett-Packard. Пиковая производительность кластера составляет 1,6 Тфлопс, производительность на тесте Linpack достигает 871,5 Гфлопс (64,4%). Данный результат позволил кластеру занять 43-е

место в списке ТОП50 суперкомпьютеров России и СНГ (редакция от 23.09.2008). Это подтверждает возможность использования CoWS в качестве платформы для проведения высокопроизводительных вычислений в свободное от занятий время. Эффективность CoWS кластеров несколько ниже систем на blade-массивах при равном числе узлов, но за счет стоимости и простоты внедрения они являются приемлемым НРС решением для вузов. Целью настоящей работы является повышение эффективности использования вычислительных ресурсов кластера CoWS за счет одновременного запуска локальных и параллельных приложений. Для ответа на вопрос о наличии свободных вычислительных ресурсов при решении на узлах локальных задач был проведен мониторинг с помощью средств НРС Cluster Manager. Он показал, что загруженность процессоров рабочих станций не превышает 10-12%, т.е. 7 из 8 ядер остаются свободными. При этом на узлах использовалось следующее программное обеспечение: Altium Designer, Microsoft Office, Visual Studio.

Второй аспект проблемы связан с используемой в классах коммуникацией. В большинстве случае сегодня это Gigabit Ethernet.

Проанализируем, как влияет на производительность кластера наличие сетевых помех в виде широковещательного трафика.

Для оценки производительности сети использовалась кроссплатформенная клиент-серверная программа Jperf - генератор TCP и UDP трафика для тестирования пропускной способности сети. Для создания широковещательного трафика один из узлов кластера, не участвующий в вычислениях, генерировал 16000 UDP пакетов в минуту размером 1500 байт. Проведенные исследования показали, что реальную производительность кластера в большей степени ограничивает высокая латентность Ethernet, а не пропускная способность этой среды. Тем не менее, высокие результаты на тесте Linpack, весьма интенсивно использующем пересылки между узлами, говорят о том, что коммуникационная среда класса позволяет реализовывать параллельные расчеты. Результаты выполнения теста

Число узлов Размерность задачи Время выполнения (с) Производительност ь (GFlops)

8 40000 189 225,7

8 48000 295 249,8

16 62400 359 450,0

Результаты выполнения теста Ьтраск без широковещательного трафика:____

Число узлов Размерность задачи Время выполнения (с) Производительност ь ^орв)

8 40000 182 234,8

8 48000 279 264,8

16 62400 330 489,8

Из приведенных тестов можно сделать вывод о том, что при наличии широковещательной загрузки сети производительность вычислений падает менее чем на 8%.

Другими словами, производительность сети кластера позволяет проводить высокопроизводительные вычисления даже при наличии интенсивной сетевой активности со стороны пользователей.

Исследования подтвердили, что при решении на узлах локальных задач остаются незадействованными сетевые и вычислительные ресурсы, которые могут быть использованы для параллельных вычислений.

Проведен анализ того, как влияет на производительность параллельных вычислений нагрузка, создаваемая локальными приложениями пользователей, а так же, насколько снизится субъективная длительность отклика пользовательских узлов при выполнении вычислений.

В ходе исследований было выяснено, что запуск на узлах параллельных и локальных приложений в режиме разделения времени приводит к увеличению времени отклика для интерактивных приложений пользователей.

Однако, если для параллельных приложений использовать на каждом узле не все доступные вычислительные ядра, а, допустим, семь из восьми, то это позволит обеспечить время реакции системы на приемлемом уровне при сохранении доступа к весьма существенным вычислительным мощностям с пиковой производительностью:

^64-25 = 1400 ОИорз,

где пл - число доступных для проведения вычислений ядер на каждом узле. Задача ограничения использования кластерных ресурсов - это задача управления потоком задач, поступающих на кластер.

С этим связан третий аспект проблемы. Использование распределенных вычислительных ресурсов для запуска параллельных приложений возможно только при наличии в системе соответствующего менеджера. Отметим, что он должен управлять только заданиями, претендующими на свободные ресурсы узлов. Локальные задачи администрируются операционной системой рабочих станций.

Одним из возможных инструментов управления потоками задач в кластерных системах является ОС MS НРС Server 2008, важным преимуществом которой является встроенный планировщик НРС Scheduler. MS НРС Server, устанавливается на сервер класса и обеспечивает управление заданиями, поступающими на кластер через сеть Internet.

НРС Job Scheduler предоставляет широкий выбор стратегий управления:

• FIFO с использованием приоритетов.

• С вытеснением.

• Адаптивное выделение ресурсов.

• Утилизация свободных ресурсов.

• Монопольное использование многоядерного узла.

Кроме того, существует возможность разделения кластера на подкластеры с целью разделения очереди и ограничения максимально доступного каким-либо источникам заявок числа узлов или ядер. Внутри очереди для каждого подкластера также может быть применена одна из стратегий, но стратегия эта должна быть едина для всех подкластеров.

Таким образом, НРС Server 2008 предоставляет широкие возможности по обработке потока поступающих заявок. В зависимости от используемой стратегии управления, ее настроек, а так же характеристик поступающего потока заявок (интенсивность, характер распределения параметров ; и интервала между заявками), будут меняться показатели качества обслуживания данного потока, а так же средняя загруженность кластерной системы и, как следствие, время отклика узлов на действия пользователей.

Определение допустимых характеристик входного потока и оптимальной стратегии управления, является одной из важнейших задач при использовании кластера.

В третьей главе рассматриваются вопросы моделирования и расчета параметров кластерной вычислительной системы как системы массового обслуживания.

Кластеры CoWS можно отнести к системам массового обслуживания, поскольку их структура ориентирована на исполнение группой функциональных узлов запросов, поступающих извне или изнутри системы. В типичном CoWS можно выделить следующие структурные элементы, присущие СМО:

• Заявки (задачи, требования) - пользовательские приложения, требующие выполнения на кластерной системе. Каждой заявке сопоставляется в качестве параметра необходимое число вычислительных ядер, а так же ориентировочное время выполнения и ряд других опций.

• Источники заявок — пользователи, находящиеся за терминалами вне системы или использующие в качестве терминалов вычислительные узлы кластера.

• Внутренние и внешние заявки, составляющие вместе входной поток требований, поступают на распределительный узел кластера (НРС Head Node), где формируют очередь задач.

• После выборки из очереди задания попадают на вычислительные узлы кластера (обслуживающие устройства). Причем в зависимости от разделения кластера на подкластеры и выбранной дисциплины обслуживания структура и тип СМО могут изменяться.

• Дисциплина обслуживания — одна из возможных схем обслуживания очереди задач в планировщике заданий.

Согласно принятой классификации СМО CoWS будет являться системой с ограниченной длинной очереди, поскольку НРС Job Scheduler позволяет накапливать поступающие задания и выбирать из них первоочередные с точки зрения выбранной стратегии управления. Поскольку, максимальное число заявок в очереди конечно, в случае превышения некоторого порога, вновь прибывшие заявки получат отказ в обслуживании.

Обслуживающими приборами будут являться процессорные ядра кластера, входящие в состав процессоров рабочих станций, с которых и производится отправка заданий на кластер. Наличие нескольких исполнительных устройств позволяет считать систему многоканальной с тем замечанием, что одна и та же заявка может занимать более одного канала (ядра).

Данная система является однофазной, поскольку выполнение задач нельзя разделить на этапы.

Рассмотрим входной поток требований - совокупность всех поступающих на кластер заявок. В соответствии с принятой классификацией, поток может обладать одним или несколькими из следующих свойств:

1. Стационарность потока означает его однородность по времени; вероятностные характеристики такого потока не меняются в зависимости от времени. В реальной ситуации входной поток можно считать стационарным только на определенном промежутке времени, например в ходе лабораторной работы. Поскольку именно такой период и является наиболее трудным для системы управления, в дальнейшем в основном будет рассмотрен именно такой случай, если явно не указано иное.

2. Отсутствие последействия. Поток событий называется потоком без последействия, если для любых непересекающихся участков времени число событий, попадающих на один из них, не зависит от того, сколько событий попало на другие. Поскольку отсутствует явная связь между заявками, поступающими от различных узлов кластера в ходе лабораторной работы и внешними источниками ресурсоемких задач, входной поток требований на кластер является потоком без последействия.

3. Ординарность. Поток событий называется ординарным, если вероятность попадания на элементарный участок двух или более событий пренебрежимо мала по сравнению с вероятностью попадания одного события. Для ввода в систему поступающих задач используется механизм прерываний, что исключает их одновременное появление и позволяет считать входной поток заявок ординарным.

Поток заявок, обладающий свойствами стационарности, ординарности и отсутствия последействия является простейшим. Большинство зависимостей, выведенных для СМО разных типов, исходят из предположения, что входной поток требований является простейшим.

Указанные выше соображения позволяют считать входной поток заявок пуассоновским, а систему в целом - Марковской. Эти характеристики потока не могут быть как-либо изменены, поскольку они специфичны для решаемой задачи. Тогда на характеристики кластера как СМО, будут оказывать влияние лишь плотность (интенсивность) потока заявок и время обслуживания каждой заявки в системе.

Если рассматривать кластер Со\У8, как систему с ограниченной длиной очереди, то:

• Вероятности состояний (т.е. занятости исполнительных устройств, где ^ - их общее число) находят по

1

формуле ^ , где ^ ~~ _

• Вероятности состояний 5,ЛГ+1,...,5'Л,+; определяют с помощью

формулы где

максимальная длина очереди.

k = N+\,N + 2,...,N+l I

Вероятность

Р0 =

Е—+ S к\ ^

N -NI

подсчитывают по формуле . В большинстве случаев верно

отношение < 1, тогда выражение для Р0 можно переписать в

следующем виде Р0 =

J Y1

1 —

у PL+Zl-Ut

Uk\ N-Nl Х_Р_ N

Вероятность отказа в обслуживании определяется из выражения

р =Р -¿qv'

Ро-

Среднее число каналов, занятых в обслуживании можно

N

I

определить из выражения МЬту =^кРк + Л/^ , а

Мк,

коэффициент занятости из выражения Кь = ■

busy

N

Среднее число свободных обслуживающих устройств и коэффициент простоя определяются: М/гее = N - МЬшу - N (1 - Кь),

Г,.0*.

1 N

• Средняя длина очереди определяется с помощью

I N I ( N*

выражения:М?це ='pkPH+t =

Тип и характеристики полученной СМО существенно зависят от ряда настроек вычислительной системы, а именно от разбиения кластера на подкластеры и опции эксклюзивного выделения задаче кластерного узла. Это означает, что занятость системы определяется не только количеством задач, поступивших на выполнение, но и их требованиями к ресурсам. Следовательно, для CoWS с многоядерными узлами, необходимо определять не только число свободных узлов, но и количество свободных ядер, доступных поступающим задачам.

Аналитический аппарат классической теории СМО позволяет рассчитать показатели качества обслуживания только в нескольких простейших случаях (каждая задача претендует на одно или к = const ядер, интенсивность входного потока и интенсивность выполнения заданий постоянны), а в реальной ситуации характер и параметры распределения характеристик входного потока могут быть самыми различными и, кроме того, в большинстве случаев задача претендует на случайное число вычислительных ядер. Определение показателей качества обслуживания в широком диапазоне характеристик входных потоков заявок возможно только с помощью имитационной модели.

На основе сетей Петри в диссертации разработана модель кластера CoWS с многоядерными узлами, управляемого MS НРС Server 2008.

Рассмотрим работу модели. Обозначим получившуюся сеть как N = (S,T,F), где

-О-

i

■н>

4>

-О

£ f*

д*

■о-

3-

Рис. 2. Модель кластерной вычислительной системы под управлением MS НРС Server 2008

1. lS" — igji^,^],...,^^ J;

T = {t\i—,t2,tz^,tSch,t^h} ,

F \(^,St),(0,t2,S2).....(0,tz,sz),(st + ... + sz,tz+l>sQ),

+ SSch>tsch>SSch + SEN' } ' {SEl + S E N' Exit'

Позиции i, —sz представляют собой источники входных заявок (узлы кластера), генерируемых переходами -tz, где Z - общее число источников. Позиция sQ - некоторая предварительная входная очередь,

где заявки ожидают попадания во внутреннюю очередь планировщика, представленную позицией sSch. Исполнительные устройства представлены позициями sEt,...,sEN., где N' - текущее число исполнительных устройств, зависящее от требований текущих заявок. Фактически N' е {0,1,.,.,N}, где N - общее число ядер в кластере. Поступающие заявки представлены фишками одного типа:

(minCores,maxCores,alCores,exTime,timeInProc, priority, Л Token A >r s> .

^exclusivity, subClusterN, subTasks j

enum{l,...,N} minCores, enum{l,...,N} maxCores,integer timelnProc,

integer exTime, emim{ 0,...,4} priority,boolean exclusivity, array of

enum{0,...,Ns} subClusterN,array of SubTask subTasks , где

• minCores и maxCores - соответственно минимальное и максимальное число ядер, требуемых для заявки. Параметр minCores может быть однозначно определен как minCores = max {token.subTasb[i].exCores}. В случае с maxCores

однозначного определения нет, поскольку пользователь может намеренно ограничить ресурсоемкость задачи, однако, в случаях, когда требуется минимальное время выполнения заявки, целесообразно устанавливать

maxCores = ^token.subTasks\i].exCores . i

• alCores - число ядер, выделенных задаче планировщиком. В момент появления заявки в системе alCores = 0. Очевидно, что

при помещении задачи на выполнение

minCores < alCores < maxCores.

• exTime- максимальное время, требующееся для заявки, чтобы быть выполненной. Данный параметр может быть определен не для каадой задачи, но использование опции backfilling возможно только в случае наличия положительного значения у данного

параметра. В худшем случае maxTime < "£subTask[i].exTimeT

i

• timelnProc - длительность пребывания заявки в системе в тактах модельного времени. В момент поступления заявки timelnProc = 0 .

• priority - приоритет заявки от наивысшего (0) до наименьшего (4).

• exlusivity - использовать узлы только для данной задачи.

• subClusterN - массив номеров подкластеров, Ns - общее число подкластеров, если subClusterN = {0}, то заявка может быть запущена на любом узле кластера.

• subTasks - массив подзадач, представленных объектами типа SubTask: exCores,exTimeT, где integer exCores - число ядер, необходимых подзадаче, integer exTimeT - время, требуемое подзадаче для выполнения. В начальный момент времени маркировка сети пустая, т.е. М0 = 0 .

Переходы tv...,tz генерируют заявки с интервалами, заданными

соответствующими функциями распределения f (•*),.«, f, (i) •

Параметры заявки также имеют соответствующие законы распределения:

• exCores = /minC (пс), где пс е {0,...,N}

• exTimeT = f, (i)

• priority = fpr (p), где p e {0,...,4}

• exclusivity = fed {ex), где ex e [true, false}

• subClusterN = fsc («sc), где nsc e {0,...,//s}

Обозначим число заявок в позиции через s.count, тогда переход i2+1 срабатывает, если (Зг е {l,...,Z} : s, е М ) л [sQ.count < К^, т.е. при появлении во входных позициях хотя бы одной заявки от какого-либо

источника и наличии места во входной очереди (число заявок в позиции SQ не превышает оговоренного значения К).

Переход срабатывает в случае, если

sEi [j].subTasks£ount

3ie{l,...,iV'}3/ei\0,...,sErcount}: ^ sEi[j].subTasks[l].exTime = 0

1=0

т.е. в какой-либо из позиций sEt,...,sE/r существует токен, у которого

выполнены все подзадачи.

Функционирование перехода tSch, представляющего собой планировщик, существенно зависит от используемой дисциплины обслуживания.

В случае FIFO без включенной опции backfilling и при exclusivity- false его можно представить в виде следующего алгоритма:

WHILE (se£0unt >0 Л sSch.count<К ^

Ssch -add -Set (sQ -count -1)) XP (sscb -count > 0 THEN

IF (.?ÜA[0].min Cores < ^(и,-.cores -ni.busy), где (1)

i=0

n, e {[)(sSch[0].subClusterN.nodes)}, к = ^{J(sSch[0].subClusterN.nodes)]ji)

THEN sE f.add(sSch[ 0]), где f e{l,...,N'} - номер исполняемой очереди, определяемый объединением \J(sSch[0].subClusterN.nodes).

В случае exclusivity = true условие (1) можно переписать в виде

SSch [OJ.min Cores < j^] nrcores n.t busy = 0

Обозначим г = 1 + log2 К , dp = r« {token.priority) + w, где w -номер токена в позиции sSch, « - операция логического сдвига влево, тогда с учетом приоритетов, необходимо выбирать из очереди не первый токен, а SSch[h]: SSch[h].dp = min {SSch\ildp).

В случае, если условие (1) не выполняется, то при включенной опции backfilling, возможен запуск задачи, расположенной в очереди после текущей с учетом приоритета. Для этого нужно посчитать «окно»:

window = StartTime(sSchОТ) • ^(и, -cores - ni.busy), где StartTime [sSch[h])

i

- расчетное время, оставшееся до старта текущей задачи, определяемое из текущей загрузки узлов и ориентировочного времени завершения текущей задачи.

После этого WHILE (list.count < sSch .count)

IF (ЗА': Ssch[h'].dp = min {^И-Ф} л

1Ф1Ш

sSch[h'].maxTime-sSch[h'].minCores < window ) (2)

THEN { sEfMdd(sSch[h']), break;}

ELSE list = list и ti, Другими словами, внутри очереди в порядке, установленном стратегией FIFO с приоритетами, ищется задача, работа которой на доступном числе ядер будет завершена до истечения StcirtTime(sSch[h]).

В случае если извлеченная из очереди задача требует эксклюзивного выделения ресурсов, условие (2) можно переписать следующим образом:

3h' Ssc)Xh'ldP = mfn {5&аИ-Ф} л sSch[h'].maxTimex

sSch[h'].minCores < window л SSch[b'].minCores < j^w^way nrbusy ~ 0 j

Функционирование стратегии адаптивного разделения ресурсов можно разделить на два этапа:

1. Освобождение ресурсов. Поиск среди выполняющихся заявок задач, оставшимся подзадачам которых требуется меньше ресурсов, чем уже выделено.

Другими словами, можно освободить ресурсы, если

3/ [у],subTask[k].exCores\sEi [ j].subTask[k].exTime > о)

к

< sEi[j].alCores

Обозначим число освободившихся ресурсов через I. Тогда

1 = se, [j\.alCores

Г sEi [ i] -subTask[k] ,exCores\ ^ ys£i [ j\subTask[lc\.exTime >

2. Выделение ресурсов выполняющимся задачам. Аналогично (2) среди выполняющихся задач ищется наиболее приоритетная задача, подзадачам которой требуются дополнительные ресурсы, т.е.

3/ [ j].subTask[k].exCores\sEi [ j].subTask[k].exTime > Oj

к

> sEi [ j].alCores

.И выделяется необходимое (или максимально возможное) количество ресурсов R , определяемое следующим образом: G,G<1< sEj [ j}.maxCores

R = • sEi [ j\.maxCores,sEi [ j].maxCores <G<1, где 1,1 <G

G = [ j]subTask\k'].exCores\sE! [ j].subTusk[k].exTime > 0 j

к

- sEi [j\.alCores

Описанная модель программно реализована в среде AnyLogic. Она позволяет определять параметры планировщика НРС Job Scheduler, которые обеспечивают эффективное использование свободных вычислительных ядер всех узлов кластера.

В четвертой главе описываются результаты проведения сравнительных экспериментов. Их целью являлась верификация предложенной модели.

В ходе симуляций было проведено исследование влияния различных характеристиках поступающего потока задач на качество обслуживания. Были определены критические значения нагрузки, при превышении которых показатели качества обслуживания выходили за допустимые пределы (время реакции более 1 минуты). Проведенные исследования позволили построить номограммы, позволяющие определить допустимые характеристики поступающего на кластер потока задач, при которых время отклика узлов системы остается приемлемым для пользователей.

Рис. 3. Номограммы для 1ож < 1 мин

Рис. 4. Номограммы для 1ож < 2 мин

Для верификации предложенной модели и проверки корректности результатов теоретических расчетов, были проведены практические эксперименты на вычислительном кластере МИЭТ-2008. В ходе

экспериментов, на кластер подавался такой же поток заданий, что и при симуляции. Полученные результаты подтверждают адекватность и приемлемую для использования точность модели (5-19%).

Таблица 1. Сравнительные характеристики среднего времени ожидания при модельном и реальном экспериментах.__

Характеристики потока задач Время ожидания, (сек) Разница, %

alCores exTime интервал Эксперимент Модель

40 60-120 8-28 22 18,5 19%

20 70-110 8-20 31,5 30,6 2,9%

10 160-20 5-13 21 20,7 1,5%

Таблица 2. Сравнительные показатели модельного эксперимента и аналитического решения___

Порог занятости кластера Теоретическая оценка Результаты модельного эксперимента Разница, %

90 0,093 0,107 15%

95 0.187 0,201 7%

Эксперименты по использованию свободных ресурсов кластерной вычислительной системы непосредственно в ходе лабораторной работы подтвердили, что при полученных в ходе модельных экспериментов характеристиках потока ресурсоемких задач, время реакции узлов системы по субъективным оценкам пользователей остается на приемлемом уровне.

Таким образом, полученные результаты теоретически и практически подтверждают, что свободные вычислительные ресурсы рабочих станций компьютерных классов можно использовать для проведения ресурсоемких параллельных вычислений и в то время, когда на узлах решаются локальные задачи. При этом среднесуточный коэффициент загрузки узлов кластера повышается на 66%, с 0,56 до 0,93.

Защищаемые в работе положения подтверждены актом о внедрении, свидетельством о государственной регистрации программы для ЭВМ и сертификатом о включении вычислительной системы МИЭТ-2008 в рейтинг ТОР-50.

В заключении приведены основные результаты работы:

1. Проведен анализ архитектур вычислительных систем и обоснована возможность реализации параллельных ресурсоемких приложений на кластерах рабочих станций.

2. Проведен анализ загрузки вычислительной системы типа CoWS, который подтвердил наличие значительных (до 83%) свободных мощностей узлов.

3. Проведен анализ загрузки коммуникаций кластерной вычислительной системы, который подтвердил возможность выполнения параллельных приложений при наличии широковещательного межузлового трафика.

4. Построена модель кластерной вычислительной системы, позволяющая определять параметры планировщика НРС Job Scheduler, которые обеспечивают эффективное использование свободных вычислительных ядер всех узлов кластера.

5. Практически реализована 24-х узловая кластерная вычислительная система с пиковой производительностью 1,6 и реальной (на тесте Linpack) 0,874 TFlops, доступная 24 часа в сутки.

6. Проведены испытания, которые подтвердили эффективность предложенного метода использования свободных вычислительных ресурсов кластеров CoWS для реализации ресурсоемких параллельных вычислений.

Основные результаты диссертации изложены в работах:

1. Дорошенко Е.С., Подкопаев И.В., Лупин С.А., Исследования производительности кластера типа СоРС // Системный анализ и информационно-управляющие системы: Сборник научных трудов / Под ред. В.А. Бархоткина. -М.: МИЭТ, 2006. - С. 62-69

2. Подкопаев И.В. Пиковая и реальная производительность кластерных систем // Микроэлектроника и информатика - 2007. 14-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов: Тезисы докладов. - М.: МИЭТ, 2007. - С. 266.

3. Дорошенко Е.С., Лупин С.А., Подкопаев И.В. Повышение эффективности использования кэш-памяти при программировании матричных операций II Моделирование, алгоритмизация и программирование при проектировании информационно-управляющих систем: Сборник научных трудов / Под ред. В.А. Бархоткина. - М.: МИЭТ, 2008.-С. 155-163.

4. Тей Зар Хтун., Подкопаев И.В. Особенности программной реализации алгоритма имитационного моделирования на многопроцессорной вычислительной системе // Моделирование, алгоритмизация и программирование при проектировании

информационно-управляющих систем: Сборник научных трудов / Под ред. В.А. Бархоткина. -М.: МИЭТ, 2008. - С. 169-176.

5. Лупин С.А., Подкопаев И.В., Дорошенко Е.С. Кластеры СоРС в учебном процессе университета // Современные информационные технологии в ИТ-образовании: III Межд. науч.-практич. конф.: Сб. докладов: Учебно-методическое пособие. / Под ред. В.А. Сухомлина. -М.: МАКС Пресс, 2008. - С. 503-508.

6. Подкопаев И.В., Дорошенко Е.С. Настройка кластерных систем при проведении тестов Linpack // Микроэлектроника и информатика -2009. 16-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов: Тезисы докладов. - М.: МИЭТ, 2009.-С. 217.

7. Дорошенко Е.С., Лупин С.А., Подкопаев И.В. Использование высокопроизводительных вычислительных систем в университетах // Известия высших учебных заведений. Электроника,- М.: МИЭТ, 2009. -№2.-С. 74-81.

8. Дорошенко Е.С., Подкопаев И.В., Лупин С.А. Анализ функционирования кластерных вычислительных систем под управлением MS НРС Server 2008 // Методы и средства обработки информации: Третья Всероссийская научная конференция, Москва, 6-8 октября 2009 г.: Труды конференции / Под ред. Л.Н. Королева. - М.: Издательский отдел факультета ВМиК МГУ имени М.В. Ломоносова; МАКС Пресс, 2009. - С. 324-329.

9. Дорошенко Е.С., Лупин С.А., Подкопаев И.В. Использование свободных вычислительных ресурсов в многоядерных кластерах CoWS // Телекоммуникации. - М.: Наука и технологии, 2010. - № 2. - С. 16-20.

10. Свидетельство об официальной регистрации программы для ЭВМ № 2010611348. Программный комплекс для оптимизации параметров кластерной вычислительной системы под управлением НРС Server 2008 / Лупин С.А., Подкопаев И.В., Дорошенко Е.С.; заявитель и правообладатель ГОУ ВПО Московский государственный институт электронной техники (технический университет) - заявка № 2009617175, заявл. 17.12.2009; зарег. 16.02.2010.

П.Дорошенко Е.С., Лупин С.А, Подкопаев И.В. Моделирование процессов обработки заявок в кластерной системе с Gigabit Ethernet коммутацией. // Всероссийская научно-техническая конференция "Общество - наука - инновации" : Сб. материалов 4 т.- Киров: Изд-во ГОУ ВПО "ВятГУ", 2010. - Т. 2.ФАВТ, ФПМТ, ЭТФ. - С. 202-203.

12. Подкопаев И.В., Лупин С.А., Дорошенко Е.С. Реализация ресурсоемких приложений на кластерах CoWS под управлением MS НРС Server 2008. // Всероссийская научно-техническая конференция "Общество - наука - инновации": Сб. материалов в 4 т. - Киров: Изд-во ГОУ ВПО "ВятГУ", 2010. - Т. 2. ФАВТ, ФПМТ, ЭТФ. - С. 204-205.

13. Дорошенко Е.С., Подкопаев И.В. Повышение устойчивости вычислительной системы CoWS за счет гибридизации ее структуры // Микроэлектроника и информатика - 2010. 17-я Всероссийская научно-техническая конференция студентов и аспирантов: Тезисы докладов. -М.: МИЭТ, 2010. - С. 198.

14. Гончаров В.А., Балдина Н.А., Дорошенко Е.С., Подкопаев И.В.. Численное моделирование процесса кристаллизации полупроводников с использованием параллельных вычислений // Известия высших учебных заведений. Электроника. - М.: МИЭТ, 2010. - № 6.

Автореферат

Подкопагва Ильи Викторовича

тема: Исследование и разработка методов повышения эффективности управления вычислительными мощностями в кластерах рабочих станций.

Подписано в печать: Заказ №

Формат 60x84 1/16. Уч.-изд. л. Л Тираж 60 экз.

Отпечатано в типографии ИПК МИЭТ(ТУ)

124498, Москва, Зеленоград, проезд 4806 д.5, МИЭТ(ТУ)

Введение.

Глава 1. Архитектуры и системы управления высокопроизводительными вычислителями.

1.1. Процессоры и архитектуры.

1.1.1 Вычислительный кластер Mare Nostrum.

1.1.2 Вычислительный кластер IBM Blue Gene/P.

1.1.3 Вычислительный кластер CRAY ХТбш.

1.1.4 Вычислительный кластер SGI Altix.

1.1.5. Кластеры типа Beowulf и Со WS.

1.1.6 Преобладающие тенденции в архитектурах ВВС.

1.2. Коммуникационные решения.

1.2.1 Коммуникации кластера Mare Nostrum.

1.2.2 Коммуникации кластера Blue Gene /Р.

1.2.3 Коммуникации кластера CRAY XT6m.

1.2.4 Коммуникации кластера SGI Altix.

1.2.5 Тенденции в сегменте коммуникаций.

1.3. ОС и системы управления ВВС.

1.3.1 Управление Mare Nostrum.

1.3.2 Управление Blue Gene/P.

1.3.3 Управление Cray XT6m.

1.3.4 Управление SGI Altix.

1.3.5 Тенденции в области управления ВВС.

1.4. ВВС в России.

1.5. Выводы.

Глава 2. Вычислительная система типа Со WS на базе оборудования компьютерного класса.1.

2.1. Конфигурация и архитектура.

2.2. Оптимизация системы для теста Linpack.

2.3. Анализ загруженности рабочих станций и сети кластера.

2.4. Влияние широковещательного трафика на производительность кластера.

2.4.1. Исследование влияния широковещательной нагрузки сети на производительность вычислений на 8 узлах кластера (N=40000).

2.4.2. Исследование влияния широковещательной нагрузки сети на производительность вычислений на 8 узлах кластера (N=48000).

2.4.3. Исследование влияния широковещательной нагрузки сети на производительность вычислений на 16 узлах кластера (N=62400).

2.5. Исследование влияния пользовательских приложений на производительность кластерных вычислений.

2.6. Управление потоком заявок в НРС Server 2008.

2.7. Кластер типа CoWS, ка£ система массового обслуживания.

2.8. Выводы.

Глава 3. Модель вычислительной системы типа CoWS.

3.1. Элементы теории систем массового обслуживания.

3.2 Аналитический расчет основных параметров СМО.

3.2.1. Системы массового обслуживания с отказами.

3.2.2. Система массового обслуживания с ограниченной длиной очереди.

3.2.3. Системы массового обслуживания с ожиданием.

3.2.4. Система массового обслуживания с ограниченным временем ожидания.

3.2.5. Замкнутые системы массового обслуживания.

3.2.6. Аналитический расчет параметров кластера.

3.3. Имитационное моделирование кластерной системы типа CoWS.

3.3.1 Элементы теории сетей Петри.

3.3.2 Модель кластерной системы в терминологии сетей Петри.

3.4. Среда моделирования.

3.5. Выводы.

Глава 4. Моделирование кластера МИЭТ-2008.

4.1. Реализация имитационной модели.

4.2. Модельный эксперимент.

4.3. Эксперименты на кластере.

4.4. Выводы.

Актуальность проблемы. В настоящее время высокопроизводительные вычисления занимают все более важное место в промышленности, науке, образовании. В июле 2009 года на заседании Совета безопасности России президент Д.А.Медведев заявил о важности суперкомпьютеров для страны. Современные суперкомпьютеры в подавляющем большинстве являются дорогостоящими blade-кластерами. Ведущие университеты устанавливают у себя подобные системы для обеспечения НИР, а также для обучения студентов параллельному программированию и навыкам работы с высокопроизводительными вычислительными системами. В подавляющем большинстве случаев подобные ресурсы используются в режиме разделения. Система управления, тем или иным образом выделяет время и процессорные мощности для каждой задачи, поступающей на выполнение. При этом каждый пользователь получает в свое распоряжение только часть системы производительностью порядка нескольких сотен GFlops. Этого оказывается достаточно для большинства приложений.

Для проведения высокопроизводительных вычислений можно использовать и гораздо более дешевые вычислительные комплексы типа кластеров рабочих станций (Cluster of Workstations, CoWS). Их можно создавать на основе учебных компьютерных классов, без которых не обходятся ни одно высшее учебное заведение. Считалось, что подобные системы могут использоваться в режиме высокопроизводительных вычислений (High Performance Computing, НРС) только в свободное от учебных занятий время, когда на рабочих станциях никто не работает.

В работе решаются вопросы, связанные с возможностью запуска параллельных приложений на кластерах CoWS в то время, когда на рабочих станциях - узлах кластера решаются локальные задачи пользователей.

Для этого в общем случае, надо знать ответы на следующие вопросы:

- каков объем свободных вычислительных мощностей на рабочих станциях;

- может ли существующая сетевая инфраструктура обеспечить межузловой обмен при запуске параллельных приложений;

- каков должен быть механизм управления свободными вычислительными ресурсами?

Предлагаемый подход, позволит реализовывать на базе компьютерных классов суперкомпьютеры типа Со"\\^ с пиковой производительностью 1-2 ТР1орБ, доступные в течение 24-х часов в сутки.

Цель работы и задачи исследования. Цель работы: создание эффективной системы управления свободными вычислительными ресурсами узлов кластеров рабочих станций с многоядерными процессорами.

Для достижения поставленной цели в работе решаются следующие основные задачи:

1. Сравнительный анализ архитектур существующих высокопроизводительных вычислительных систем, процессоров, коммутационных решений.

2. Анализ загрузки узлов вычислительной системы типа Со\¥8.

3. Анализ загрузки коммуникаций вычислительной системы типа Со\УЗ.

4. Разработка структуры и схемы управления кластером.

5. Построение модели вычислительной системы и оптимизация управления потоком поступающих заявок.

6. Проведение испытаний и анализ эффективности предложенного решения.

Объект и предмет исследования. Объектом исследований являются высокопроизводительные вычислительные системы.

Предметом исследования являются методы управления ресурсами кластерных систем с многоядерными узлами.

Методы исследования. При решении поставленных задач были использованы положения теории систем массового обслуживания, теории сетей Петри и событийного моделирования, теории вероятности и математической статистики, теории параллельного программирования.

Научная новизна. Теоретически обоснована возможность использования свободных мощностей рабочих станций компьютерных классов для создания на их основе суперкомпьютеров типа CoWS с пиковой производительностью 1-2 TFlops. Создана модель, позволяющая определить допустимые характеристики входного потока заявок и оптимальную с точки зрения показателей качества обслуживания стратегию управления.

Практическая значимость. Работа выполнена при поддержке аналитической ведомственной целевой программы "Развитие научного потенциала высшей школы" министерство образования и науки РФ в рамках проекта «Решение прикладных комбинаторных и оптимизационных задач большой размерности в среде параллельных и распределенных вычислений». Регистрационный номер: 2.1.2/6394.

Предлагаемый подход позволяет создавать экономичные кластерные вычислители на основе свободных мощностей рабочих станций компьютерных классов. Разработанная модель, позволяет определять параметры системы управления кластером, обеспечивающие заданный уровень обслуживания потоков задач.

Положения, выносимые на защиту.

1. Модель кластерной вычислительной системы под управлением MS НРС Server 2008, позволяющая определять параметры системы управления, обеспечивающие заданный уровень обслуживания потоков задач.

2. Программная реализация модели кластерной вычислительной системы в среде AnyLogic.

3. Результаты исследований реальной производительности кластерной вычислительной системы на тесте Linpack и при решении комбинаторных задач, подтверждающие эффективность управления.

Реализация результатов работы. Теоретические и практические результаты диссертационной работы внедрены на кафедре Вычислительной техники в Московском институте электронной техники и на предприятии ОАО ЗИТЦ. Разработанный Со\¥8 вычислитель с пиковой производительностью 1,6 и реальной (на тесте Глпраск) 0,874 ТР1орБ используется как в учебном процессе, так и при выполнении НИР. Параметры системы управления кластером, найденные при помощи предложенной модели, обеспечивают время реакции системы на уровне 1-2 минуты, как для локальных, так и для внешних заявок. При этом загрузка узлов кластера локальными приложениями составляет около 50 часов в неделю, а параллельными приложениями до 120 часов.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на Всероссийских межвузовских научно-технических конференциях студентов и аспирантов "Микроэлектроника и информатика - 2007", "Микроэлектроника и информатика - 2009", "Микроэлектроника и информатика - 2010", Международной научно-практической конференции "Современные информационные технологии в ИТ-образовании", третьей Всероссийской научной конференции "Методы и средства обработки информации", Всероссийской ежегодной научно-технической конференции "ОБЩЕСТВО, НАУКА, ИННОВАЦИИ".

Публикации. По материалам диссертации опубликовано семь тезисов докладов и шесть статей (из них 3 в журналах, входящих в перечень ВАК), получено свидетельство о государственной регистрации программы для ЭВМ.

4.4. Выводы

1. Разработанная модель кластерной вычислительной системы под управлением НРС Server позволяет оценивать поведение системы в широком диапазоне входных параметров, определять допустимые характеристики потока заявок и дисциплину обслуживания, необходимые для обеспечения заданного уровня обслуживания.

2. Проведенные натурные эксперименты позволяют говорить о том, что разработанная модель кластерной вычислительной системы обеспечивает точность моделирования достаточную не только для

116 оценочных расчетов, но и для определения характеристик входных потоков, обеспечивающих высокий уровень утилизации свободных вычислительных ресурсов при сохранении заданных показателей качества обслуживания.

3. Практическое использование разработанной кластерной вычислительной системы типа CoWS показало, что предложенный метод управления вычислительными мощностями рабочих станций (узлов кластера) позволяет повысить эффективность использования оборудования до 85%, запускать ресурсоемкие приложения и в то время, когда на узлах кластера выполняются локальные задачи.

Заключение

Краткая характеристика выполненных исследований:

1. Проведен анализ архитектур вычислительных систем и обоснована возможность реализации параллельных ресурсоемких приложений на кластерах рабочих станций.

2. Проведен анализ загрузки вычислительной системы типа CoWS, который подтвердил наличие значительных (до 83%) свободных мощностей узлов.

3. Проведен анализ загрузки коммуникаций кластерной вычислительной системы, который подтвердил возможность выполнения параллельных приложений при наличии широковещательного межузлового трафика.

4. Построена модель кластерной вычислительной системы, позволяющая определять параметры планировщика НРС Job Scheduler, которые обеспечивают эффективное использование свободных вычислительных ядер всех узлов кластера.

5. Практически реализована 24-х узловая кластерная вычислительная система с пиковой производительностью 1,6 и реальной (на тесте Linpack) 0,874 TFlops, доступная 24 часа в сутки.

6. Проведены испытания, которые подтвердили эффективность предложенного метода использования свободных вычислительных ресурсов кластеров CoWS для реализации ресурсоемких параллельных вычислений.

1. Архитектуры и топологии многопроцессорных вычислительных систем. Курс лекций. Учебное пособие / A.B. Богданов, В.В. Корхов, В.В. Мареев и др..- М.: ИНТУИТ.РУ «Интернет-Университет Информационных Технологий», 2004. 176с. - ISBN 5-9556-0018-3

2. Дикарев, Н.И. Основы проектирования высокопроизводительных вычислительных систем / Н.И. Дикарев, Б.М. Шабанов.- М.: ФАЗИС, 2009. 106с. - ISBN 5-7036-0119-3

3. Тор 500 ranking offastest computers Электронный ресурс. / Электрон, дан.: 2010. Режим доступа: http://www.top500.org свободный. - Загл. с экрана

4. Букатов, А. А. Программирование многопроцессорных вычислительных систем / А. А. Букатов, В. Н. Дацюк, А. И. Жегуло.-Ростов-на-Дону: Издательство ООО «ЦВВР», 2003. 208с. - ISBN 594153-062-5

5. Описание серверных процессоров компании Intel Электронный ресурс. / Электрон, дан.: Intel corp., 2010. Режим доступа: http://www.intel.eom/p/en US/products/server/processor?iid=processors bo dy+server#sl=Server&s2=all&s3=all, свободный. - Загл. с экрана

6. Серверные платформы фирмы AMD Электронный ресурс. / Электрон, дан.: Advanced micro devices, 2010. Режим доступа: http://www.amd.com/us/products/server/processors/Pages/server-processors.aspx, свободный. - Загл. с экрана

7. Вычислительные системы МСЦ РАН Электронный ресурс. / Электрон. дан.: 2009. Режим доступа: http://www.jscc.ru/scomputers.shtml, свободный. - Загл. с экрана

8. Обзор архитектуры суперкомпьютеров серии RS/6000 SP корпорации IBM

9. Электронный ресурс. / Электрон, дан.: Лаборатория Параллельных Информационных технологий НИВЦ МГУ, 2008. Режим доступа: http://www.parallel.ru/computers/reviews/sp2 overview.htmК свободный. -Загл. с экрана

10. МРР-системы CrayT3E/CrayT3D Электронный ресурс. / Кузьминский М. Электрон, дан. - M.: Computerworld, 1996. - Режим доступа: http://www.osp.ru/cw/1996/14/11296/, свободный. - Загл. с экрана

11. The World's First TeraOps Supercomputer Электронный ресурс. / Электрон, дан. California. Sandia National Laboratories, 1997. - Режим доступа: http://www.sandia.gov/ASCI/Red/index.html, свободный. - Загл. с экрана

12. HITACHI SR8000 Series Super Technical Server Электронный ресурс. / Электрон, дан.: Hitachi, Ltd. , 2001. Режим доступа: http://www.hitachi.co.ip/Prod/comp/hpc/eng/sr81 е.html, свободный. - Загл. с экрана

13. Современные системы фирмы Parsytec Электронный ресурс. / Электрон, дан.: СМО ВЦ РАН, 1999. Режим доступа: http://www.ccas.ru/paral/parsytec/newsystems.html, свободный. - Загл. с экрана .

14. Корнеев, В.В. Параллельные вычислительные системы / В.В. Корнеев.-М.: Нолидж, 1999. 320с.

15. Суперкомпьютерные технологии в науке, образовании и промышленности / Под редакцией: академика В.А. Садовничего, академика Г.И. Савина, чл.-корр. РАН Вл.В. Воеводина / М.: Издательство Московского университета, 2009. - 232с. - ISBN 978-5211-05719-7

16. Barcelona SuperComputing Center Электронный ресурс. / Электрон, дан.: 2010. Режим доступа: http://www.bsc.es/, свободный. - Загл. с экрана

17. Overview of IBM System Blue Gene/P Solution Электронный ресурс. / Электрон. дан.: 2010. Режим доступа: http ^/www-OS.ibm.com/systems/deepcomputing/bluegene/, свободный. - Загл. с экрана

18. Cray XT6m Supercomputer Электронный ресурс. / Электрон, дан.: 2010. Режим доступа: http://www.crav.com/Products/XT/Svstems/XT6m.aspx. свободный. - Загл. с экрана

19. SGI Altix UV Silicon Graphics International Corp Электронный ресурс. / Электрон. дан.: 2009. Режим доступа: http ://w ww. s gi : с om/products/servers/altix/u у/, свободный. - Загл. с экрана

20. МСЦ 2000 (кластер класса Beowulf) Электронный ресурс. / Электрон, дан.: 2001. Режим доступа: http://www.iscc.ru/cgi-bin/show.cgi?/parall/msc2k.html%202, свободный. - Загл. с экрана

21. Message Passing Interface (MPI) standard Электронный ресурс. / Электрон. дан.: 2010. Режим доступа: http://www.mcs.anl.gov/research/proiects/mpi/mpich2/, свободный. - Загл. с экрана

22. Российский суперкомпьютер с глобально адресуемой памятью / Эйсымонт JI. Слуцкин А. // Открытые системы. 2007. - № 9. - С. 42

23. Межведомственный Суперкомпьютерный Центр Российской Академии Наук Электронный ресурс. / Электрон, дан. М.: 2010. -Режим доступа: www.jscc.ru, свободный. - Загл. с экрана

24. Overview of Windows НРС Server 2008 R2 Электронный ресурс. /

25. Электрон. дан. Redmond. 2010. - Режим доступа:121http://www.microsoft.com/hpc/en/us/default.aspx, свободный. Загл. с экрана

26. Intel Clovertown: Quad Core for the Masses Электронный ресурс. / Jason Clark, Ross Whitehead. Электрон, дан.: Anandtech, inc., 2007. - Режим доступа: http://www.anandtech.eom/show/2201/2, свободный. - Загл. с экрана

27. Intel Core 2 Architecture Электронный ресурс. / Электрон, дан. San Francisco. 2007. - Режим доступа: http://en.wikipedia.Org/wiki/File:InteI Core2 arch.svg, свободный. - Загл. с экрана

28. Intel 5000Х Chipset Memory Controller Hub (MCH) Datasheet Электронный ресурс. / Электрон, дан.: Intel corp., 2006. Режим доступа: http://www.intel.com/Assets/PDF/datasheet/313070.pdf, свободный. - Загл. с экрана

29. HP ProCurve Switch 3500 Series Электронный ресурс. / Электрон, дан.: HP inc., 2010. Режим доступа: http://hl0144.wwwl.hp.com/products/switches/HP ProCurve Switch 3500 yl Series/overview.htm#J8692A свободный. - Загл. с экрана

30. Кроссплатформенная программа — генератор TCP и UDP трафика Электронный ресурс. / Электрон, дан.: 2009. Режим доступа: http://iperf.ru/tag/iperf/, свободный. - Загл. с экрана

31. Understanding job scheduling policies Электронный ресурс. / Электрон, дан.: Microsoft TechNet, 2009. Режим доступа:http://technet.microsoft.com/en-us/librarv/ddl 97402%28 WS. 10%29.aspx свободный. Загл. с экрана

32. New features in Windows HPC Server 2008 R2 Suite Электронный ресурс. / Электрон, дан. Redmond. 2010. - Режим доступа: http://www.microsoft.com/hpc/en/us/product/windows-hpc-server2008.aspx, свободный. Загл. с экрана

33. Саати, Т. JT. Элементы теории массового обслуживания и ее приложения / Т. Л. Саати.- М.: Либроком, 2010. 520с. - ISBN 978-5397-01283-6

34. Stochastic processes occurring in the theory of queues and their analysis by the method of the imbedded Markov chain / Kendall D. G. // Ann. Math. Statistics. 1953. - № 3. - C. 338

35. Гнеденко, Б. В. Введение в теорию массового обслуживания / Б. В. Гнеденко, И. Н. Коваленко.- М.: ЛКИ, 2007. 400с. - ISBN 978-5-38200121-0

36. Ивницкий, В. А. Теория сетей массового обслуживания / В. А. Ивницкий,- М.: Физико-математическая литература, 2004. 772с. -ISBN 5-94052-064-4

37. Хинчин А. Я. Работы по математической теории массового обслуживания / А. Я. Хинчин.- М.: Либроком, 2010. 240с. - ISBN 9785-397-01037-5

38. Сети Петри. Описание системы Электронный ресурс. / Электрон, дан.

39. М.: Лаборатория «Суперкомпьютерных и распределенных вычислительных технологий» ИАПУ ДВО РАН 2000. Режим доступа: http://www.iacp.dvo.ru/lab 11 /otchet/ot2000/pn3 .html#top. свободный. -Загл. с экрана

40. Stochastic Well-Formed Colored Nets and Symmetric Modeling Applications / Chiola G., Dutheillet C., Franceschinis G. и др. // IEEE Transactions on Computers. 1993. - № 11. - C. 1343

41. Масалович A.C., Моделирование и анализ поведения бизнес-процессов (конспект лекций) / Ю.А A.C. Масалович , Шебеко.- М.: Тора-Инфо Центр, 2002. 220с.

42. Казаков, С.А. Практикум по основам имитационного моделирования бизнес-процессов / С.А. Казаков, Ю.А. Шебеко.- М.: Тора-Инфо Центр, 2002. 108с.

43. Simulation Software Survey Электронный ресурс. / Электрон, дан. -Marietta. Lionheart Publishing, Inc., 2009. Режим доступа: http://lionhrtpub.com/orms/surveys/Simulation/Simulation.html. свободный. - Загл. с экрана

44. Имитационное моделирование с AnyLogic Электронный ресурс. / Электрон, дан.: «Экс Джей технолоджис», 2010. Режим доступа: http://www.xjtek.ru/anylogic/why anylogic/, свободный. - Загл. с экрана

45. Карпов, Ю.В. Имитационное моделирование систем. Введение в моделирование с Anylogic 5 / Ю.В. Карпов.- СПб.: БХВ-Петербург, 2005. 400с. - ISBN 5-94157-148-8

46. ОТКРЫТОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО «ЗЕЛЕНОГРАДСКИЙ ИННОВАЦИОННО-ТЕХНОЛОГИЧЕСКИЙ ЦЕНТР»

47. Код по ОКПО 18324803 Код по ОКВЭД 73.10 Код по ОКАТО 45272591000

48. Код по ОКТМО 45331000 КодпоОКФС43 Код по ОКОПФ 47 Код по ОКОГУ 49014

49. УТВЕРЖДАЮ" ЗаместитеяьГё^нерального директора ОАдаФ^^^шгетпттшациям1. АКТ1. Д.Б. Рыгдйин 2010г.о внедрении результатов кандидатской диссертационной работы Подкопаева Ильи Викторовича

50. Методика оценки влияния сетевого трафика использована при анализе устойчивости работы двух ЛВС, замечаний по информативности и достоверности получаемых данных нет.

51. Методика оценки влияния сетевого трафика на работу локальных приложений может быть рекомендована в качестве средства выявления критичных к характеристикам сети пользовательских приложений.

52. Руководитель региональных проектов /О.В. Тюрин/1. Начальник отдела1. В.А. Черкашин/

53. МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ИНСТИТУТ ЭЛЕКТРОННОЙ ТЕХНИКИ1. ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ)м1. УТВЕРЖДАЮ1. АКТо внедрении результатов кандидатской диссертационной работы Подкопаева Ильи Викторовича

54. Кластерная система обеспечивает проведение занятий по курсам «Теория и основы параллельного программирования» и «Применение высокопроизводительных вычислений в научных исследованиях», читаемых магистрам факультета МП и ТК.

55. Кроме обеспечения учебного процесса, кластер МИЭТ-2008 активно используется аспирантами института для выполнения высокопроизводительных вычислений. Пиковая производительность кластера составляет 1.6 TFlops.

56. Кластер МИЭТ-2008 используется в учебном процессе в течение 2-х лет, замечаний по качеству работы системы управления нет.

57. Использование результатов диссертационной работы Подкопаева И.В. позволило внедрить в учебный процесс современные вычислительные технологии, повысить качество подготовки по направлению «Информатика и вычислительная техника».

58. Методика управления вычислительными мощностями может быть рекомендована к использованию в аналогичных кластерах рабочих станций.

59. Декан факультета МПиТК д.т.н., профессор1. Ю.В. Савченко/

60. Заведующий кафедры ВТ, д.т.н., профессор1. В.А. Бархоткин/1. СУПЕРКОМПЬЮТЕРЫ