автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка инструментария переноса и оптимизации приложений в многоплатформенной среде

Лу Мо Каинг

РАЗРАБОТКА ИНСТРУМЕНТАРИЯ ПЕРЕНОСА И ОПТИМИЗАЦИИ ПРИЛОЖЕНИЙ В МНОГОПЛАТФОРМЕННОЙ СРЕДЕ

Специальность: 05.13.11 - Математическое и программное

обеспечение вычислительных машин, комплексов и компьютерных сетей (технические науки)

АВТОРЕФЕРАТ

- 8 ДЕК 2011

диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург - 2011

005003877

Работа выполнена в Санкт-Петербургском государственном морском техническом университете (СПбГМТУ)

Научный руководитель -

доктор физико-математических наук, профессор Богданов A.B. Официальные оппоненты:

доктор технических наук, профессор Шабров H.H., профессор СПбГПУ кандидат технических наук Шульц В.В, доцент ПМ-ПУ СПбГУ.

Ведущее предприятие - ФГБУ (ДАНИИ) "Арктический и антарктический научно-исследовательский институт".

Защита диссертации состоится «JA» ДенциГучК 2011г. в 15 часов на заседании совета по защите докторских и кандидатских диссертаций Д 212.238.01 Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им. В.И. Ульянова (Ленина) по адресу: 197376, Санкт-Петербург, ул. Проф. Попова, 5.

С диссертацией можно ознакомиться в библиотеке университета. Автореферат разослан «_18 » 2011 г.

Ученый секретарь совета Д 212.238.01

кандидат технических наук

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. За последние годы развитие вычислительных технологий достигло колоссального прогресса и у многих складывается ощущение, что экстенсивное развитие и простое увеличение мощности процессоров, емкости накопителей, пропускной способности каналов уже практически исчерпало свои ресурсы, и необходим качественный, концептуальный скачок в вычислениях. Требования к вычислительным ресурсам для сложных научных, инженерных и бизнес приложений под давлением экономических факторов все больше сдвигаются в сторону распределенной вычислительной среды, которая обеспечивает доступ для пользователей к географически распределенным компьютерным ресурсам, объединённым в единую мощную вычислительную платформу для выполнения параллельных и распределённых приложений.

Целью работы является запуск приложений на виртуальном полигоне и в многоплатформенной среде. Особое внимание уделяется возможности объединения ресурсов с сильно отличающейся производительностью и интеграции в гибридную распределенную среду многопоточных процессоров. Решен вопрос о синтетическом тесте, который позволяет оценить эффективность гетерогенных распределенных систем. Для достижения поставленной цели в работе решены следующие задачи:

1. Подготовка баз данных в распределенной гетерогенной среде для поддержки распределенный вычислений.

2. Установка нужных библиотек и компиляторов в распределенной гетерогенной среде для предпроцессинга.

3. Разработка методик распараллеливания в гетерогенной среде для

комплексных задач.

4. Создание синтетического теста на базе пакета \УГ1Р для оценки эффективности.

Методы исследований базируются на технологиях проектирования программного обеспечения, теории надежности информационных систем, теории случайных процессов и потоков.

Объект исследования . Объектом исследования являются модели взаимодействия разноуровневых приложений витуального полигона для запуска приложений (\УВР), погодных сценариев и визуализации.

Научной новизну работы составляет:

• метод переноса приложений в гетерогенных распределенных вычислительных средах.

• инструментарий для переноса приложений в гетерогенных распределенных вычислительных средах и тестовый полигон для его тестирования на разных платформах

• тест для оптимизации как распределенной вычислительной среды, так и комплексных приложений .

Достоверность научных результатов и выводов тестирования алгоритмов и программного обеспечения, а также практическим использованием разработанных технологических, алгоритмических и программных методов и средств.

Основные научные результаты.

• разработана методология переноса приложений в гетерогенных распределенных вычислительных средах.

• предложен инструментарий для такого переноса и создан тестовый полигон для его тестирования на разных платформах.

• программный пакет WRF использован как модель для создания синтетического теста для оптимизации как распределенной вычислительной среды, так и комплексных приложений.

Практическая значимость составляют:

1. Инструментарий для переноса приложений в гетерогенных распределенных вычислительных средах.

2. Тест для оптимизации распределенной вычислительной среды.

Внедрение результатов работы. Результаты диссертационной работы внедрены для организации доступа пользователей в вычислительном комплексе ПМ-ПУ СПбГУ и использованы в учебном процессе кафедр ВТ и ИТ СПбГМТУ и ВТ СПбГЭТУ «ЛЭТИ».

Апробация работы. Основные результаты работы докладывались и обсуждались на национальных и международных научно-технических конференциях:

• Международная конференция МОРИНТЕХ 2009, Санкт-Петербург,2009 г.

• Международная конференция CSIT 2009 «Computer Science & Information

Technologies», Yerevan, Armenia, 2009 r.

• 4-ая Международная конференция GRID 2010 «Distributed Computing and Grid-Technologies in Science and Education». Dubna, 2010 r.

Основные положения, выносимые на защиту:

1. Алгоритмы технологий виртуального полигона.

2. Программный продукт для запуска приложении в распределённых вычислительных ресурсах.

3. Информационная модель исследования и прогнозирования погоды как синтетический тест в многоплатформенной среде .

Публикации. Основные теоретические и практические результаты диссертации опубликованы в 5 статьях и докладах, из них по теме диссертации 5, среди которых 1 публикация в ведущем рецензируемом издании, рекомендованном в действующем перечне ВАК. Доклады доложены и получили одобрение на 4 международных, всероссийских и межвузовских научно-практических конференциях.

Структура и объем диссертации. Диссертационная работа состоит из введения, 4 глав с выводами, заключения и списка литературы, включающего 80 наименования. Основная часть работы изложена на 128 страницах машинописного текста. Работа содержит 40 рисунков.

б

СОДЕРЖАНИЕ РАБОТЫ

Во введении дано описание проблемы, краткий обзор предметной области. Обоснована актуальность диссертационной работы и сформулированы ее основные цели и задачи.

В первой главе посвящена анализа походов к объединению вычислительных и информационных ресурсов и описание технологии GRID как средство межплатформенной консолидации и развития технология GRID.

В первой части дается анализ походов к объединению вычислительных и информационных ресурсов и выясняется роль GRID технологий в организации распределенных вычислительных систем. Основной проблемой широко распространённых технологий глобальных компьютерных сетей является невозможность универсально и эффективно использовать удалённые вычислительные ресурсы. Изначально так называемые "Internet-технологии" ориентировались на доступ к данным (файлам, базам данных), а не к вычислительным мощностям. Для преодоления ограничений и недоработок существующих решений была предложена новая технология, получившая название СНМ.Раньше для сложных и ресурсоёмких вычислительных задач использовали суперкомпьютеры, но теперь стало понятно, что эффективным и значительно более дешёвым решением является объединение в вычислительный комплекс большого числа персональных компьютеров. Мощности современных процессоров вполне достаточно для решения элементарных шагов большинства задач, а объединение нескольких десятков таких процессоров позволяет быстро и эффективно решать многие поставленные задачи, не прибегая к помощи мэйнфреймов и супер компьютеров.

Особый интерес такая технология представляет для организаций и учреждений, уже имеющим в своём распоряжении большой парк персональных компьютеров. Объединение их в вычислительный комплекс позволяет эффективно использовать простаивающие мощности и повысить производительность труда конечных пользователей. Также объединение географически удалённых компьютеров позволяет создавать виртуальные организации (VirtualOrganization - VO), примерами которых могут служить группы разработчиков, экспертные системы, online базы данных и т.д., предоставляющих сервис по всему миру. Идея виртуальной организации -географическая распределенность при информационной интеграции. Основной идеей Grid-технологии является централизованное и скоординированное распределение ресурсов, решение проблем создания виртуальных организаций. В данном случае под распределением ресурсов понимается не только обмен файлами, а прямой доступ к вычислительным мощностям, программному обеспечению, данным, периферийному оборудованию.

Сервис-ориентированная архитектура—модульный подход к разработке программного обеспечения (в дальнейшем ПО), основанный на использовании сервисов (служб) со стандартизованными интерфейсами. В основе SOA лежат принципы многократного использования функциональных элементов информационных технологий (в дальнейшем ИТ), ликвидации дублирования функциональности в ПО, унификации типовых операционных процессов, обеспечения перевода операционной модели компании на централизованные процессы и функциональную организацию на основе промышленной платформы интеграции.

В второй главе рассматривается запуск приложений в ИЩ), создание полигона и его основные проблемы.

Технологии распределенных вычислений и хранения данных представляют собой интерес для тех исследователей которые занимаются решением задач , требующих значительных затрат вычислительных ресурсов. В настоящее время активно развиваются различные реализации GRID -систем , увеличивается количество пользователей , имеющих доступ к системам распределенных вычислений и хранения данных. Целью данной работы являлось создание полигона для тестирования Grid продуктов как операционного окружения для больших вычислительных центров. В нашем полигоне используется промежуточное программное обеспечение и другие приложения на базе операционной системы LINUX. В результате анализа целого ряда возможных комбинаций вычислительных платформ и промежуточного программного обеспечения был сделан следующий выбор -

1.Промежуточное программное обеспечение как администратор - SGE (Sun Grid Engine).

2.Для Хранения и управления данными - приложение DB 2.

3.Создание портала и gateway - UNICORE.

4.Тестирование приложений - WRF (Weather Research and Forecast System).

Рис.1. Взаимодействие сервисов при управлении данными на платформе Sun Grid Engine и приложении WRF.

Проблема параллельных приложений в гетерогенной среде стала более очевидной после широкого развития и внедрения Grid-технологий. Большое количество вычислительных приложений в рамках проблемно ориентированных сред (PSE), разработанных для традиционных параллельных систем, требуют модификации для эффективной работы в распределенных и разнородных средах (таких как Grid). В работе на примере объединения разнородных моделей природной среды WRF (Weather Research Forecasting-модель региональной атмосферной циркуляции) и Wave Watch (модель ветрового волнения) рассматриваются проблемы построения виртуального

ю

полигона (ВР) в виде РБЕ. Эти две модели были выбраны для простейшей иллюстрации особенностей реализации ВР, поскольку каждая из них требует работы с большим объемом входных данных, серьезных вычислительных ресурсов, обработки выходной информации (ассимиляции данных, визуализации и анимации), а выходные данные одной из моделей после определенной обработки являются исходными данными для другой. Это дает возможность проверить информационные и вычислительные решения, предлагаемые для многоуровневых приложений в распределенной среде. Ключевым моментом исследования является проблема запуска параллельных приложений в условиях динамического гетерогенного ресурса, поскольку как требования к потребному ресурсу, так и сам ресурс могут измениться во время выполнения. Концепция ВР определяет организацию моделирующего комплекса, как сложной многоуровневой интеллектуальной системы, состоящей из следующих основных компонент:

• иерархии имитационных моделей, отражающих рассматриваемые проблемные области;

• аналитических моделей (иерархии аналитических моделей), дающих упрощенное (агрегированное) описание различных сторон моделируемых явлений;

• информационной подсистемы, включающей базу данных и знаний, основанную на методах и моделях

искусственного интеллекта;

• системы управления и сопряжения, обеспечивающей взаимодействие всех компонент системы и работу с пользователем (лицом, принимающим решения) в режиме интерактивного диалога.

При реализации концепции виртуального полигона важная роль принадлежит GRID-технологиям, определяющим создание инфраструктуры, обеспечивающей глобальную интеграцию информационных и вычислительных ресурсов. Однако развертывание комплекса распределенных приложений в условиях Grid-среды ставит проблемы как в области использования технических средств (компьютеров), так и в области вычислительных наук, главным образом из-за динамической и децентрализованной природы Grid.

В третьей главе приводится тестирование Grid NAS как универсальный тест в распределенных вычислительных средах. NAS Grid Benchmarks (NGB) -спецификации для вычислительных гридов. Задачи NGB основаны на NAS Parallel Benchmarks (NPB) и определяются графом потока данных (Data Flow Graph - DFG), комбинируя как модифицируемую задачу NPB на каждом узле графа, которая связывает с другим узлом по отсылке/ получению данных и инициализации. В NGB существует пять основных NPB задач ( ВТ, FT, LU, MG, SP) , характеризующих различные типы научных вычислений. Эти задачи взаимодействуют друг с другом в различных формах, и формируют четыре проблемы, представляющие четыре типичные грид приложения: Embarrassingly Distributed (ED), Helical Chain (НС), Visualization Pipeline (VP) и Mixed Bag (MB).

Цель N013 состоит в том, чтобы измерить способности вычислительного грида. Ожидается, что гриды станут более эффективными при росте производительности каждой системы, а так же числа доступных систем. Ожидаемая оптимизация будет достигнута увеличением размера проблемы ШВ. Следовательно, классы ИОВ произведут большую вычислительную нафузку и так же задействуют больше узлов графа. Ниже приведены размеры классов ИОВ.

Class

Name S W A В С D E

ED 9x1 9x1 9x1 18 x 1 36x1 72 x 1 144 x 1

HC 1x9 1x9 1x9 1 x 18 1 x 27 1x36 1 x 45

VP 3x3 3x3 3x3 3 x 6 3x9 3 x 12 3 x 15

MB 3x3 3x3 3x3 4 x 4 5x5 6x6 7x7

Рис.2.ЬСлассы NGB задач.

Экземпляр NGB включает в себя коллекцию измененных задач NPB, каждая из которых определена на фиксированной сетке методом прямолинейной дискретизации. Каждая задача NPB (ВТ, SP, LU, MG, или FT) определяется классом (размер сетки, число взаимосвязей), источником входных данных, а также формой представления данных. Таким образом, экземпляр NGB определяется графом потока данных (DFG). DFG состоит из соединенных узлов, направленных дуг. Она построена таким образом, что существует направленный путь из любого узла в приёмный узел графа. Это необходимо для обеспечения того, чтобы что-бы при сбое одного из узлов это было сразу обнаружено.

В четвертой главе приведен запуск приложений реальной ситуации в распределённой вычислительной среде. В наше время круг задач, требующих для своего решения применения мощных вычислительных ресурсов, постоянно расширяется. Это связано с тем, что произошли фундаментальные изменения в самой организации научных исследований. Вследствие широкого внедрения вычислительной техники, значительно усилилось направление численного моделирования и численного эксперимента. Численное моделирование, заполняя промежуток между физическими экспериментами и аналитическими подходами, позволило изучать явления, которые являются либо слишком сложными для исследования аналитическими методами, либо слишком дорогостоящими или опасными для экспериментального изучения. При этом численный эксперимент позволил значительно удешевить процесс научного и технологического поиска. Стало возможным моделировать в реальном времени процессы интенсивных физико-химических и ядерных реакций, глобальные атмосферные процессы, процессы экономического и промышленного развития регионов и т. д. Очевидно, что решение таких масштабных задач требует •значительных вычислительных ресурсов.

Для иллюстрации возможностей полигона выбрано тяжелое комплексное приложение пакет .

Рисунок.З. Кластерное окружение и запуск прложении с помощью 88Н

В приложении есть возможности выбрать любую территорию мира для запуска приложении \VIIF и уточнить координаты территории, для которой будут приводится детальные данные. В качестве тестового примера берется территория Кабардино-Балкарии 43° 25° О' N , 43° 32° О' Е, для которой характерен большой перепад высот и климатических условий.

REAL-TIME WRF

Init: 2011 -03-14_00ю0:00 Valid: 2011 -03-14_01 Я0:00

Surface Temperature (F) Sea Level Pressure (hPa) Wind (kts)

OUTPUT FROM WRF V3.2 MODEL

WE I» 80; SN a 76; Levels = 28; Die = 5km ; Phye Opt ■= 6 ; PBL Opt = 1 ;Cu0pt=0

Рисунок.4. Реальное предсказание температуры на территории Кабардино-Балкарии 14 го Марта 2011 года..

Модель является мезошкальной числовой моделью для предсказания

погоды следующего поколения созданной с целью обеспечить потребности как в

оперативном прогнозировании, так и в исследованиях атмосферы. Программа эта состоит из нескольких подсистем, которые выполняются последовательно с разными требованиями к ресурсам. Бхли эти подсистемы выполнять на разных вычислительных комплексах, то задача организации всего вычислительного процесса становится настолько сложной, что для многих пользователей будет непреодолимой. В связи с этим необходимо создать распределенный вычислительный комплекс, в котором задачи доступа и распределения ресурсов решаются автоматически. Мы для этого используем технологию облачных вычислений . Некоторые примеры работы этой системы показаны на Рис.2

Время (час)

14 12 10 8 б 4 2 0

Intel(R) Core 2 Quad

Intel(R) Xeon(R) E5410

Время

Выполнения

UltraSPARC T2 plus

Рис.5. Сравнение Вычислительной результаты между однородных и неоднородных среды.

Заключение. Таким образом, в настоящей диссертации была предложена методология и разработаны программные продукты для запуска приложений на распределённых гетерогенных вычислительных ресурсах. Применение этой системы показало высокую эффективность Полигона, основанного на облачных технологиях (малые накладные расходы), и возможность относительно простого управления вычислительным процессом. Кроме того, была продемонстрирована эффективность современных поточных процессоров (Ultra SparcT2+) для решения таких задач. Скомпилированное на гетерогенной распределенной системе приложение - модель WRF - показало себя эффективным синтетическим тестом для оптимизации вычислительных комплексов.

Опубликованные научные работы по теме диссертации в изданиях, определенных ВАК:

1. А. В. Богданов, E.H. Станкова, Jly Мо Каинг , Оценка Возможности Витуального Полигона для Исследования Динамики noroflbi(WRF) на Терртьории Санкт-Петербурга. Известия , СПбГЭТУ «ЛЭТИ». - 2011,- Вып. 8-С.51-55.

и в других изданиях:

2. Лу Мо Каинг. Создание полигона для тестирования GRID-продуктов как оперативного окружения для больших вычислительных центров // XV Всероссийская научно-методическая конференция "Телематика'2008".Санкт-Петербург, 2008. С.438.

3. Alexander Bogdanov, Lu Мое Khaing, Soe Мое Lwin , Создание полигона для тестирования Grid-продуктов на базе Sun Grid Engine //Proceedings of International Conference «Computer Science & Information Technologies», 28 September - 2 October, 2009, Yerevan, Armenia, pp.394-396.

4. Лу Mo Каинг. Создание полигона для тестирования GRID-продуктов как оперативного окружения для больших вычислительных центров и его приложения WRF // Материалы пятой общероссийской конференции молодых ученых и специалистов по морским интеллектуальным технологиями МОРИНТЕХ-ЮНИОР, Санкт-Петербург. 2009, С.94 - 95.

5. Alexander Bogdanov, E.N. Stankova , Lu Мое Khaing-Оценка возможности использования региональной модели исследования и прогноза погоды (WRF) для территории Кабардино-Балкарии // Распределенные вычисления и Грид-Технологии в науке и образовании .GRID '2010 , 4ft МЕЖДУНАРОДНАЯ GRID КОНФЕРЕНЦИЯ, Дубна . 2010 , С 47-48 .

Подписано в печать 16.11.11. Формат 60*84 1/16. Бумага офсетная. Печать офсетная. Печ. л. 1,0.

_Тираж 100 экз. Заказ 129.

Отпечатано с готового оригинал-макета в типографии Издательства СПбГЭТУ "ЛЭТИ"

Издательство СПбГЭТУ "ЛЭТИ" 197376, С.-Петербург, ул. Проф. Попова, 5

СОДЕРЖАНИЕ.

ВВЕДЕНИЕ.

1 Глава 1 Анализ Походов к объединению вычислительных и информационных ресурсов.

1.1 Технологии GRID как средство межплатформенной консолидации

1.2 Изменение Парадигмы допуска удаленных позователей -SOA.

1.3 Витуализация как средство консолидации сервисов.

1.4 Анализ реализаций GRID ведущих производителей вычислительной техники.

1.5 Выводы.

2 Глава 2. Запуск приложении среде GRID и создание Полигонаы.

2.1 Создание Полигона.

2.2 Проблемы создание Полигона.

2.3 Запуск приложений на вычислительной среде.

2.4 Оценка эффективности многоядерности для выполнения приложений.

2.4.1 Надобность многоядерные микропроцессоры.

2.5 Выводы.

3 Глава 3. Тестирование Распределенных вычислительных сред.

3.1 Производительности и применимость NAS GRID.

3.1.1 Embarrassingly Distributed.

3.1.2 Helical Chain (НС).

3.1.3 Visualization Pipeline (VP).

3.1.4 Mixed Bag (MB).

3.2 Тесты NAS как универсальный синтетический тест распределенных вычислительных систем.

3.3 Применения теста GRID NAS для гетерогенных вычислительных сред.

3.4 Результаты тестирования Реальной производительности.

3.5 Выводы.

4 Глава 4. Запуск Приложении Реальной Ситуации в Распределенной вычислительной среде.

4.1 Анализ комплексного приложения(Л¥КЕ) и разбиение его на подсистемы с учетом трудоемкости.

4.2 Отображение приложения на архитектуру распределенной вычислительной среды.

4.3 Оптимизация реального приложения в кластерном окружении.

4.3.1 Кластерное Окружение.

4.3.2 Точка росы воздуха.

4.3.3 Атмосферное давление и Температура.

4.3.4 Влажность.

4.4 Сравнение Вычислительной результаты на каждых процессов при запуска приложении

4.5 Выводы.

В настоящее время требования к вычислительным ресурсам для сложных научных, инженерных и бизнес приложений под давлением экономических факторов все больше сдвигаются в сторону распределенной вычислительной среды, которая обеспечивает доступ для пользователей к географически распределенным компьютерным ресурсам, объединённым в единую мощную вычислительную платформу для выполнения параллельных и распределённых приложений.Развитие вычислительных технологий достигло колоссального прогресса. Однако сегодня у многих складывается ощущение, что экстенсивное развитие — простое увеличение мощности процессоров, емкости накопителей, пропускной способности каналов уже практически исчерпало свои ресурсы, и необходим качественный, концептуальный скачок в вычислениях.

Цели, потребности и стратегию развития ИТ на предприятии необходимо учитывать на всех этапах консолидации вычислительной инфраструктуры - и в процессе физического размещения оборудования в вычислительном центре, и при проведении консолидации на уровне вычислений. Сегодня существует множество подходов и технических решений для объединения, обеспечения возможности гибкого перераспределения, виртуализации вычислительных ресурсов и консолидации вычислений. Например, размещение на одном сервере нескольких приложений дает возможность увеличить эффективность использования его вычислительных ресурсов.Но при выборе решения, помимо технологических факторов, значительную роль играет и планируемое развитие потребностей. Что лучше, купить три недорогих сервера или Ыаёе-систему с объединенным электропитанием, управлением и интегрированными сетевыми компонентами, в которую можно установить 14 серверов и в которой изначально заложены принципы унификации оборудования, снижения затрат на обслуживание и поддержку? Ответ неочевиден. «Красивые» технологии стоят денег. Если текущую потребность можно удовлетворить тремя серверами и активное развитие инфраструктуры в ближайшие годы не планируется, нет смысла покупать блейд. И, наоборот, если системы активно развиваются, и существует большая вероятность того, что в течение года понадобится еще около десятка таких серверов, экономически более эффективно инвестировать в блейд-систему. Или в «тяжелое» ТЖ1Х-оборудование с большим количеством процессоров и возможностью виртуализации ресурсов, позволяющей использовать этот сервер для поддержки сразу нескольких приложений и операционных систем. При необходимости, на таком сервере для разных задач можно определять различные объемы вычислительных ресурсов. И постепенно, по мере роста потребностей, перераспределять имеющиеся вычислительные ресурсы, предоставляя их наиболее критичным приложениям, а остальные выводя на новое оборудование. Таким образом, обеспечивается эффективное использование оборудования, и сохраняются инвестиции в инфраструктуру.

С консолидацией вычислительной инфраструктуры связана и консолидация информации на уровне систем хранения (оставим «за рамками» вопросы консолидации информации на уровне бизнес-приложений - это тема для отдельного обсуждения). Располагая информацию на выделенных устройствах хранения данных, мы получаем возможность обеспечить ее сохранность и целостность, повысить скорость доступа к информации (для приложений, оперирующих большими объемами данных, это очень критично), оптимизировать резервное копирование. Однако консолидировать системы хранения данных целесообразно только тогда, когда каким-то образом консолидированы вычислительные ресурсы. В этом случае можно, действительно, повышать надежность, скорость обработки информации, эффективность использования ресурсов.

Продуманный подход к консолидации вычислительных ресурсов дает возможность создать единую автоматизированную систему контроля и управления работой серверов и приложений. Такие системы позволяют удаленно наблюдать за всеми серверами с одного рабочего места и через единый интерфейс: администраторам не нужно подключаться к каждому серверу отдельно и отслеживать наличие сбоев, ошибок, проблем — система мониторинга в автоматическом режиме контролирует параметры работоспособности оборудования и отражает эти показатели в «одном окне» рабочего места администратора. В результате можно не только сэкономить рабочее время персонала ИТ-поддержки, но и существенно повысить скорость устранения неисправностей, в том числе за счет проактивного мониторинга и предупреждений о возможных сбоях, генерируемых на основе анализа полной информации о динамике изменения показателей.

Целью диссертации является запукс приложений на витуальном полигоне и тоже многоплатформенной сред. Данный запуск является доказательство создание витуального полигона и разные время выполнении в разных процессорах при запуске приложении.

Как часть запуска приложении , в работе предложено три варианта.

1. Запуск приложений на Полигоне для предсказания погоды любой части нашего планета.

2. Запуск приложений (\\ГКР) и визуализации на разных процессорах и так же многоплатформенной среде.

3. Сравнение Вычислительной результаты между Разными процессорами. il

Начальный вариант - Запуск приложении на Витуальном Полине который есть возможности с помощью DB 2 ,UNICORE и Sun Grid Engine.3anycK прложении - это доказательство создание виртуального Полигона.На нем можно запускать любые промежуточное программное обеспечение и другие научные исследовании.

Второй вариант - Запуск приложении на Intel Core 2 Quad ,Intel®Xeon E5410 и так же Sun Sparc Т2 Plus( Enterprise T5440) и визуализация с помощью NCL Graphic и Vapor.

Третий варант - Сравнение вычисление резуальтаты времени выполнении в каждом процессе и получается что для того чтобы запускать приложении нужно такая гивкая система(Полино) либо очень мошная система(кластер) либо мошные северы так же Sun Sparc Т2 Plus( Enterprise Т5440).

В результате работы выработана документация по развертыванию Грид среды с целью объединения высокопроизводительных ресурсов и организации доступа для пользователей так и использование виртуальных декстопов для организации безопасного удаленного доступа к персональной рабочей области.

Для достижения поставленной цели в работе решены следующие задачи:

1. Подготовка метрологические данные для запуска приложений.

2. Установка нужные библиотеки и компиляторы для препроцессировании.

3. Разработка в части npenpoueccHpoBamffl(geogrid.exe ,ungrib.exe , metgrid.exe) для действительной ситуации в приложении (WRF).

4. Разработка интерполирует данные вертикально в модуле координаты(геа1.ехе).

5. Формирование моделя для последного прогноза(wrf.exe).

6. Разработка визуализации для получение результаты на разных метрологических ситуации(скорость верета ,темпиратура , давление 7 на поверхности , температура росы и другие метрологических ситуации).

7. Запуск приложении в разных разных процессорах.

8. Сравнение вычислительной результаты между разными процессорами.

Методы исследований базируются на технологиях проектирования программного обеспечения, теории надежности информационных систем, теории случайных процессов и потоков.

Научной новизной обладают следующие результаты, полученные автором в процессе выполнения работы:

1. метод переноса приложений в гетерогенных распределенных вычислительных средах.

2. инструментарий для переноса приложений в гетерогенных распределенных вычислительных средах и тестовый полигон для его тестирования на разных платформах.

3. тест для оптимизации как распределенной вычислительной среды, так и комплексных приложений .

Достоверность научных результатов и выводов тестирования алгоритмов и программного обеспечения, а также практическим использованием разработанных технологических, алгоритмических и программных методов и средств.

Основные научные результаты.

1. Разработана методология переноса приложений в гетерогенных 8 распределенных вычислительных средах.

2. предложен инструментарий для такого переноса и создан тестовый полигон для его тестирования на разных платформах.

3. программный пакет \VIIF использован как модель для создания синтетического теста для оптимизации как распределенной вычислительной среды, так и комплексных приложений.

Научные положения, выносимые на защиту:

1. Алгоритмы технологий витуального полтгона.

2. Программный продукт для запуска приложении в расспредённых вычислительных ресурсах.

3. Информационная модель исследования а прогнозирования погоды как синтетический тест в многоплатформенной среде .

Практическая значимость составляют:

1. Программный комплекс безопасного удаленного доступа к гетерогенным распределенным вычислительным ресурсам.

2. Программный комплекс безопасного доступа к персональной рабочей области.

Внедрение результатов работы. Результаты диссертационной работы внедрены для организации доступа пользователей в вычислительном комплексе ПМ-ПУ СПбГУ и использованы в учебном процессе кафедр ВТ и ИТ СПбГМТУ и ВТ СПбГЭТУ «ЛЭТИ».

Апробация работы. Основные результаты работы докладывались и обсуждались на национальных и международных научно-технических конференциях:

- Всероссийская научно-методическая 9 конференция il till 11 Ii ШЛИ H Ulli LlillI !■ III II» II ll.ll. I III il I 1ИИИ1 II it ШШ1 111 ill! ILiitiMBIi

Телематика'2008".Санкт-Петербург 2008.

- Международная конференция МОРИНТЕХ 2009, Санкт-Петербург, 2009 г.

- Международная конференция «Computer Science & Information Technologies»,Yerevan, Armenia, 2009 г.

- 4-ая Международная конференция «Distributed Computing and Grid-Technologies in Science and Education». Dubna, 2010 r.

Публикации. Основные теоретические и практические результаты диссертации опубликованы в 5 статьях и докладах, из них по теме диссертации 5, среди которых 1 публикация в ведущем рецензируемом издании, рекомендованном в действующем перечне ВАК. Доклады доложены и получили одобрение на 4 международных, всероссийских и межвузовских научно-практических конференциях.

Структура и объем диссертации. Диссертационная работа состоит из введения, 4 глав с выводами, заключения и списка литературы, включающего 80 наименований. Основная часть работы изложена на 128 страницах машинописного текста. Работа содержит 44 рисунка.

4.5 Выводы

В данной главе описывается не тольео запуск приложений кластере и визуализации с помощью NCL Graphic но и сравнение Сравнение Вычислительной результаты между Разными процессорами, которые тестировали на разных процессорах. Предсказание Погодогы на територии Санкт-Птеребурга, а так же на территории Кабардино-Балкарии на разных метеорологических видах.

ЗАКЛЮЧЕНИЕ

В последнее время ощущается необходимость в создании глобальной сетевой инфраструктуры для интергрированного использования ресурса , расположенного в различных частях страны или планеты.Причины :

• Стоимость новых суперкомпьютерных установок чрезвычайно высока.

• Характер и обьем данных , нуждающися в обработке и анализе , могут быть разнообразными , в частности , извлекаться из устройств значительно удаленных друг от дрга.

В качестве конкретного решения проблемы можеть быть предложена тегнология GRID.

В данной работе показана запуск приложении на распределённых гетерогенных вычислительных ресурсах и необходимость для запуск приложении . На базе такого подхода создан Виртуальный полигон, который может использоваться для запуска реальных приложений, требующих больших и гетерогенных вычислительных ресурсов.Для запуска такой приложении необходимо мощные серверы или кластеры.В данной работе уже тестировали на Гриде , Кластере и тоже современом CepBepe(Ultra SparcT2+).

Таким образом, в настоящей диссертации была предложена методология и разработаны программные продукты для запуска приложений на распределённых гетерогенных вычислительных ресурсах. Применение этой системы показало высокую эффективность Полигона, основанного на облачных технологиях (малые накладные расходы), и возможность относительно простого управления вычислительным процессом. Кроме того, была продемонстрирована эффективность современных поточных процессоров (Ultra SparcT2+) для решения таких задач. Скомпилированное на гетерогенной распределенной системе приложение - модель WRF - показало себя эффективным синтетическим тестом для оптимизации вычислительных комплексов.

1. Создание европейской научной грид инфраструктуры , Российская Академиянаук , Петербургский ИнститутДдерной Физики , http://egee.pnpi.nw.ru/cgi/index.cgi?! 1=5&12=0

2. Концепция GRID , Информационые Технологии, http://technologies.su/grid

3. Iran foster ,What is The Grid, http://gridclub.ru/library/publication.2004-11-29.5830756248/publ file/

4. C.Mathew Mackenzie , Ken Laskey ,Model for Service-Oriented Architechure . http://www.oasisopen.org/committees/download.php/19679/soa-rm-cs.pdf.

5. G. Goth. Grid services arthitecture plan gaining momentum ,IEEE internet Computig , с 7-8 , 2002.

6. Андрей Коптелов, Виктор Голубев , Сервис-ориентированная архитектура: от концепции к применению http://www.bytemag.ru/articles/detail.php?ID=12160

7. Хадиев А. М., Варламов О. О ,Оверчук М. JL, Адамова JL Е, Санду Р. А , Информационные системы в образовании , III Международная научно-практическая конференция , http://it2009.petrsu.ru/

8. Биберштейн H., Боуз С. Компас в мире сервис-ориентированной архитектуры (SAO). M.: КУДИЦ-ОБРАЗ, 2007.

9. Лори Маквитти , Архитектура SOA как она есть // Сети и Системы Связы , http://www.ccc.ru/magazine/depot/06 02/read.html?0104.htm11 ) Manuel Permuy , Basic SOA ,http://www.codeproiect.com/KB/cs/InsideTrivadisFramework.aspx

10. Валерий Коржов , Витуализация и Сонсилидация ,1993. http://citforum.ru/consultmg/articles/virtualization/

11. Кузюрин H.H., Фрумкин М.А. Параллельные вычисления: теория и алгоритмы // Программирование. 1991. N 2. С. 3-19.

12. Виртуализация и консолидация ,http://www.sime.kz/content/view/21 /36/1 an», ru/

13. Шпаковский Г. И., Серикова Н. В. Программирование для многопроцессорных систем в стандарте MPI. Мн.: БГУ, 2002. 323 с.

14. В. Коваленко, Д. Корягин. Эволюция и проблемы Grid // Открытые системы, №1, январь , 2003 г.

15. Астахов Алексей Вячеславович , Распределенное моделирование задач оптимизации компьютерных сетей на вычислительном кластере , http://masters.donntu.edu.ua/2009/fvti/evdokimov/library/libl.htm

16. Коваленко В.Н., Корягин Д.А. Организация ресурсов грид, ИПМ им. М.В.Келдыша РАН, Москва 2004.http://www.keldysh.ru/papers/2004/prep63/prep2004 63.html

17. Коваленко В.Н., Коваленко Е.И., Шорин О.Н. Разработка диспетчера заданий грид, основанного на опережающем планировании, ИПМ им. М.В.Келдыша РАН, Москва. г 2005. http://www.keldvsh.ru/papers/2005/prepl33/prep2005 133.html

18. Шелестов А.Ю., Скакун C.B., Куссуль О.М , Агентный подход к реализации модели поведения пользователей Grid-систем . Институт космических исследований НАНУ-НКАУ , Москва,2004.

19. Фостер Я. Разные оттенки ГРИД. Еженедельник "Computerworld", #13, 2005 год // Издательство "Открытые системы". http://www.osp.ru/cw/2005/13/038 1 .htm

20. Гороховський С.С., Римарчук В.К. Технолопя сггки (GRID) i використання агентних платформ для задач планування // HayKOBi записки НаУКМА. Комп'ютерш науки.- 2005. http://www.library.ukma.kiev.ua/e-lib/NZ/NZV36 2005/04 gorokhovsky ss.pdf

21. David W. Emerging Distributed Computing Technologies, Department of Computer Science, Cardiff University, Cardiff, 2004. http://www.cs.cf.ac.Uk/User/David.W.Walker/IGDS/GridCourse.doc

22. В. Воеводин, Вл. Воеводин. Параллельные вычисления. СПб.: БХВ, Петербург, 2002. 609 с.

23. Тестов производительности нацеленных на проверку возможностей высокопараллельных суперкомпьютеров.http://ru.wikipedia.org/wiki/NAS Parallel Benchmarks

24. Jly Mo Каинг , Создание полигона для тестирования Grid продуктов как оперативного окружения для больших вычислительных центров , XV Всероссийская научно-методическая конференция "Телематика'2008 .

25. Weather research and Forecasting Modelhttp://www.meteolab.ru/projects/wrf/.

26. A.B. Богданов, А.Б. Дегтярев, Соэ Моэ Лвин, Проблемы Создания Комплекса Многоуровеневых Приложений в Распределенной Среде.

27. Stratis Gallopoulos, Elias Houstis and John Rice // Problem Solving Environments , IEEE Computational Science and Engineering, Summer 1994. http://www-cgi.cs.purdue.edu/cgi-bin/acc/pses.cgi.

28. Высокопроизводительные параллельные вычисления накластерных системах. Материалы Седьмой Международной конференции-семинара. Нижний Новгород: Изд-во Нижегородского госуниверситета, 2007. 443 с.

29. A.B. Дунаев, A.B. Ларченко, A.B. Бухановский , Моделирование параллельных вычислительных процессов вереде Грид на примере Intel Grid Programming Environment, http://w^ww.ict.edu.ru/vconf/files/l 1503.pdf

30. Globus® Toolkit, http://globus.org/toolkit/.37. gLite Lightweight Middleware for Grid Computing , http://glite.cern.ch/

31. Grid Programming Environment™, http://gpe4gtk.sourceforge.net.

32. SAGA, http://saga.cct.lsu.edu/.

33. Московского университета,2007. — с. 156.123

34. Каляев А.В. Многопроцессорные системы с программируемой архитектурой / А.В. Каляев. М.: Радио и Связь, 1984 - С.52.

35. Столлинг В. Структурная организация и архи-тектура компьютерных систем: пер. с англ. / В. Стол-линг. 5-е изд. - М.: Издательский дом «Вильяме», 2002 - С.32.

36. Воеводин В.В. Параллельные вычисления // БХВ, 2002 С.66.

37. С.А. Немнюгин , Законы Амдала, Поддержка курса Модели и средства программирования для многопроцессорных вычислительных систем информация.http://www.mtuit.m/department/supercomputing/modswms/l/2.html

38. Валерий Сидоров , Multi-Core vs. Many-Core, или Зачем нужны многоядерные микропроцессоры, http://netler.ru/pc/multi-core.htm

39. Многоядерные микропроцессоры.http://ru.wikipedia.org/wiki/мнoгoядepный процессор.

40. Морис Дж. Бах,Глава 12 , Многопроцессорные системы ,http://lib.ru/BACH/chap 12.txt.

41. Э.И.Ватутин , В.С.Титов , Особенности Реализации Технологии Hyper-Threading в процессорах Intel Pentium 4 на примере выполнения кода различного типа.

42. NAS Parallel Computing , NGB , http://www.nas.nasa.gov/

43. Allan Snavely, Greg Chun, Henri Casanova, Rob F. Van der Wijngaat and Michael A. Frumkin. Benchmarks for Grid Computing. University of Califonia, San Diego and NASA Ames Research Center. 2002.C.52-54.

44. D. Bailey and J. Barton. The NAS Kernel Benchmark Program. Technical Report 86711, NASA Ames Research Center, Moett Field, California, August 1985.C.30-33.

45. G. Cybenko, L. Kipp, L. Pointer, and D. Kuck. Supercomputer Performance Evaluation and the Perfect Benchmarks. Technical Report 965,CSRD, Univ. of Illinois, Urbana, Illinois, March 1990.C.14-17.

46. Marios D. Dikaiakos. Grid Benchmarking: Vision, Challenges, and Current Status. University of Cyprus. May 4, 2005.C.11-13.

47. Rob F. Van der Wijngaat and Michael Frumkim. NAS Grid Benchmarks Version 1.0. NASA Technical Report NAS-02-005. NASA Ames Research Center. July, 2002.C.17-19.

48. Rob F. Van der Wijngaart and Michael A. Frumkin. Evaluating the Information Power Grid using the NAS Grid Benchmarks. NASA Technical Report NAS-04-005. NASA Ames Research Center. May, 2004.C.8-10.

49. The Weather Research and Forecasting (WRF) Model , http://www.wrf-model. org/i ndex.php.

50. Создание вложенных областей WPS , http://www.dtcenter.org/wrf-nmm/users/overview/wps overview.php

51. Available Interpolation Options in Geogrid and Metgrid , WRF-ARW V3: User's Guide / Janaury , 2009 . с 46.

52. The sixteen pt overlapping parabolic interpolation method , WRF-ARW V3: User's Guide / Janaury , 2009 . с 47.

53. Advanced Research WRF (ARW) , Version 3.0 modelingsystem, released in April 2008.C.30-32.

54. The Weather Research and Forecasting (WRF) Modelhttp://www.mmm.ucar.edu/wrf/users/docs/arw v3.pdf.

55. The grid-cell average interpolator , WRF-ARW V3: User's Guide / Janaury , 2009 . с 48.

56. Running the WPS // Step 1: Define model domains with geogrid , WRF-ARW V3: User's Guide / Janaury , 2009 . с 3-7.

57. The WRF Preprocessing System (WPS) Preparing Input Data ,http://www.mmm.ucar.edu/wrf/users/docs/user guide/users guide chap3.html

58. Running the WPS // Step 2: Extracting meteorological fields from GRIB files with ungrib , WRF-ARW V3: User's Guide / Janaury , 2009 . с 7-11.

59. Running the WPS // Step 3: Horizontally interpolating meteorological data with metgrid , WRF-ARW V3: User's Guide / Janaury , 2009 . с 11-13.

60. Сбитнев Юрий Иванович // Параллельные вычисления, Екатеринбург , Россия , http://cluster.linux-ekb.info/

61. Бурцев.С. И., Цветков.Ю.Н. Влажный воздух. Состав и свойства , С-23.

62. Pew Point, http://en.wikipedia.org/wiki/Dew point.

63. И. П. Базаров. Термодинамика, М., Высшая школа, 1976, с. 13-14.

64. Людмила Алекандровна Авдеева синоптик Отдела метеорологических прогнозов.

65. Усольцев В. А. Измерение влажности воздуха. — Л.: Гидрометеоиздат, 1959. С 5.

66. Берлинер М. А. Измерения влажности. — Изд. 2-е, перераб. и доп. — М.: Энергия, 1973.С-10.

67. Richard Shelquist , Density Altitude Calculations , March 2011, http://wahiduddin.net/calc/densityaltitude.htm

68. А.М.Гузий , И.В.Ковалец , A.A Кущан ,М.и. Железняк , Система Численого Прогноза погоды WRF- Украина.С.14-15.

69. Модели погоды используемые на WindGURU ,http://ww\Y.vvindguru.cy/ru/helpindex.php?sec=models.

70. Создание вложенных областей WPS , http://www.dtcenter.org/wrf-nmm/users/overview/wps overview.php.

71. А. В. Богданов, E.H. Станкова, Jly Mo Каинг , Оценка Возможности Витуального Полигона для Исследования Динамики noroflbi(WRF) на Терртьории Санкт-Петербурга. Известия , СПбГЭТУ «ЛЭТИ». 2011-Вып. 8.- С.51-55.