автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Высокопроизводительный программный комплекс моделирования экстремальных гидрометеорологических явлений

На правах рукописи

Лл 7

□03457338

Ковальчук Сергей Валерьевич

ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ПРОГРАММНЫЙ КОМПЛЕКС МОДЕЛИРОВАНИЯ ЭКСТРЕМАЛЬНЫХ ГИДРОМЕТЕОРОЛОГИЧЕСКИХ ЯВЛЕНИЙ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

1 2 ЛЕН №8

Санкт-Петербург - 2008

003457338

Работа выполнена в Санкт-Петербургском государственном университете информационных технологий, механики и оптики

Научный руководитель:

доктор технических наук Бухановский А.В.

Официальные оппоненты: доктор технических наук, ст. научн. сотр.

Штейнберг Б.Я.

доктор технических наук, профессор Никифоров В.О.

Ведущая организация:

ГУ «Гидрометцентр России»

Защита состоится 24 декабря 2008 г. в 14 часов на заседании диссертационного совета Д 212.227.06 в СПбГУ ИТМО по адресу: 197101, г. Санкт-Петербург, Кронверкский пр., д. 49

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского государственного университета информационных технологий, механики и оптики.

Автореферат разослан 23 ноября 2008 г.

Ученый секретарь диссертационного совета доктор технических наук, профессор

Тарлыков В.А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Освоение пространства Мирового океана (прежде всего, шсльфовой зоны) требует информации о внешних нагрузках на морские объекты и сооружения, обусловленных совместным воздействием ветра, волнения и морских течений при определенном уровне моря. Их характеристики подразделяются на оперативные (определяющие режимы эксплуатации объектов и сооружений) и экстремальные (характеризующие режим выживания). В инженерной практике в качестве экстремальных обычно рассматриваются расчетные характеристики явлений, возможных 1 раз в Т лет, где Т соответствует классу сооружения1. В отличие от оперативных характеристик, традиционно получаемых посредством статистического анализа исторических массивов данных, экстремальные характеристики обычно не обеспечены данными наблюдений, и, как следствие, должны определяться с использованием компьютерного моделирования2. Полномасштабное решение этой задачи в настоящее время стало возможным в связи с созданием баз данных глобального реанализа атмосферных характеристик и развитием высокоточных гидродинамических моделей динамики атмосферы и океана. Однако ее практическая реализация является крайне ресурсоемкой и требует применения суперкомпьютеров терафлопной производительности и соответствующего математического обеспечения. В данной области основные результаты заложены работами В.В.Воеводина, Б.Н. Чстверушкина, J. Dongarra, I. Foster и др., и развиты в исследованиях Вл.В. Воеводина, С.М.Абрамова, В.П. Гсргеля, М.В.Якобовского, Б.Я. Штейнберга и др., посвященных методам решения больших задач и инструментарию их реализации на высокопроизводительных вычислительных системах.

Задача расчета экстремальных гидрометеорологических явлений относится к проблемам компьютерного моделирования сложных систем, обладающих многомасштабной изменчивостью, неоднородных в пространстве и нестационарных во времени. Как следствие, это требует совокупного использования различных классов гидродинамических и статистических моделей, созданных на основе разных подходов, программно реализованных на основе различных технологий и допускающих различные способы распараллеливания. Потому экстенсивное обобщение таких моделей в рамках единой вычислительной технологии затруднено с точки зрения программной реализации и неэффективно с точки зрения параллельной производительности - это не позволяет эффективно использовать ресурсы терафлопных суперкомпьютеров и решать задачу за приемлемое время. Таким образом, необходимо разработать набор методов и технологий, позволяющих организовать высокопроизводительный комплекс с оптимальной масштабируемостью, который бы позволил, получать информацию

' Обычно Т находится в диапазоне от 1 до 100 лет; однако, для некоторых объектов (например, защитные сооружения Санкт-Петербурга от наводнений) Т= 10000 лет.

2 Концепция определения экстремальных гидрометеорологических характеристик принята в рамках ФЦП «Мировой океан», раздел «Создание единой системы информации об обстановке в Мировом океане» (ЕСИМО)

об характеристиках экстремальных гидрометеорологических явлений, что и определяет актуальность темы диссертации.

Предметом исследования являются математические модели, численные методы, эффективные параллельные алгоритмы и их реализация в виде комплексов проблемно-ориентированных программ для компьютерного моделирования экстремальных гидрометеорологических явлений.

Целью работы является решение задачи, имеющей существенное значение для проектирования и разработки высокопроизводительного прикладного программного обеспечения, а именно — поиск и обоснование путей разработки вычислительно эффективных программных комплексов компьютерного моделирования сложных систем для современных суперкомпьютеров терафлопной производительности на примере проблемы расчета экстремальных гидрометеорологических явлений, возможных 1 раз в Т лет.

Задачи исследования. Достижение поставленной цели подразумевает решение следующих задач:

• Критический анализ современного математического обеспечения3 гидродинамического и статистического моделирования ветра, волнения, течений и уровня моря с целью обоснования требований к комплексу, исходя из возможностей эффективного выполнения расчетов на терафлопной вычислительной системе.

• Разработка программной архитектуры высокопроизводительного комплекса на основе совмещения различных компонентов в рамках построенной онтологии сервисов на основе БОА4, обоснование способов отображения вычислительных алгоритмов гидродинамического и статистического моделирования ветра, волнения, течений и уровня моря на многопроцессорные вычислительные архитектуры, и разработка соответствующих механизмов оптимизации их производительности.

• Разработка методической, алгоритмической и программной составляющих высокопроизводительного программного комплекса моделирования экстремальных гидрометеорологических явлений.

• Демонстрация работоспособности предложенного подхода на примере задачи создания электронных атласов экстремальных гидрометеорологических явлений.

Методы исследования включают в себя методы анализа алгоритмов и программ, аппарат теории вероятностей и математической статистики случайных величин и функций, технологии искусственного интеллекта и инженерии программного обеспечения.

Научную новизну результатов работы определяют:

• Подход к динамическому конструированию архитектуры высокопроизводительных программных комплексов компьютерного моделирования, основан-

3 Под математическим обеспечением в данной работе понимается совокупность математической модели, метода ее численной реализации, вычислительного алгоритма (и его представления в форме программного кода), рекомендаций по применению и демонстрационных приложений, наглядно иллюстрирующих его работоспособность и практическую значимость.

4 SOA- Service Oriented Architecture, сервисно-ориентированная архитектура.

ный на использовании интеллектуального механизма, позволяющего сформировать оптимальную по производительности схему взаимодействия вычислительных модулей, исходя из знаний об их производительности, характеристик данных и специфики параллельной вычислительной архитектуры.

• Новый вид информации об экстремальных гидрометеорологических явлениях в форме сочетаний скорости ветра, волнения, течений и уровня моря совместной повторяемостью 1 раз в Т лет, для всей акватории Каспийского моря5, полученный посредством компьютерного моделирования на основе предложенного подхода.

Практическую ценность работы составляют:

• Набор сервисных элементов (как ядро программного комплекса МЕ281М), применимых при создании высокопроизводительных программных комплексов моделирования сложных систем.

• Программный комплекс моделирования экстремальных гидрометеорологических явлений, эффективно функционирующий на суперкомпьютерах те-рафлопного диапазона производительности.

• Электронный атлас экстремальных гидрометеорологических явлений Каспийского моря.

На защиту выносятся следующие положения:

• Применение сервисно-ориентированной архитектуры совместно с интеллектуальным механизмом управления производительностью позволяет повысить эффективность отображения высокопроизводительных приложений на сложную иерархическую параллельную архитектуру.

• Разработанный с использованием предложенных принципов программный комплекс позволяет оперативно получать качественно новую информацию об экстремальных характеристик ветра, волнения, течений и уровня моря, возможных раз в Т лет.

Достоверность научных результатов и выводов подтверждается строгостью наложенных ограничений, обоснованностью применения математического аппарата, оценкой адекватности математических моделей, результатами тестирования алгоритмов и программного обеспечения, сопоставлением результатов работы программного комплекса с экспериментальными данными, а также практическим использованием разработанных математических, алгоритмических и программных методов и средств.

Внедрение результатов работы. Результаты работы нашли свое применение при выполнении проектов направления 1.4 «Генерация знаний» ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы»: «Высокопроизводительный программный комплекс моделирования и прогноза экстремальных гидрометеорологических явлений и расчета воздействий на морские объекты и сооружения» (НИР 2007-4-1.4-00-06-108), «Разработка инструментальной оболочки проектирования высокопроизводительных приложений для Грид-архитектур в целях создания прикладных сервисов компьютерного моделирова-

5 Аналогов таких данных в настоящее время в мире не существует

ни я и обработки данных» (НИР 2007-4-1.4-20-01-025), «Инструментальная технологическая среда для создания массовых мобильных он-лайн сервисов нового поколения» (НИР 2008-4-1.4-18-01-022). Проводимые исследования поддержаны индивидуальными грантами комитета по науке и высшей школе Правительства Санкт-Петербурга в 2007 и 2008 гг. Разработанный высокопроизводительный программный комплекс опробован и внедрен в деятельность ГУ «Гидрометцентр России». В процессе работы получено два свидетельства о государственной регистрации программ для ЭВМ: «Ядро программного комплекса имитационного моделирования экстремальных гидрометеорологических явлений «ME2SIM» (свидетельство №2008614624), «Программная система оценивания климатических спектров морского волнения «ME2SPECTRA» (свидетельство №2008614609).

Апробация работы. Изложенные в диссертации результаты обсуждались на 10 международных и российских научных конференциях, семинарах и совещаниях, включая ежегодные международные научно-практические семинары «Высокопроизводительные параллельные вычисления на кластерных системах» (2005 г., Нижний Новгород; 2008 г., Казань), ежегодные Всероссийские научные конференции «Научный сервис в сети Интернет» (2007 и 2008 гг., Новороссийск), ежегодную международную научную конференцию «Параллельные вычислительные технологии» (2008 г., Санкт-Петербург), XV Всероссийскую научно-методическую конференцию «Телематика 2008», IV и V межвузовские научные конференции молодых ученых (2006 и 2007 гг., Санкт-Петербург), совещание по международному европейскому проекту ECO-NET «Meeting on ECO-NET program No 12599PJ on Wave and Current Interaction in Coastal Environment» (2007 г., Брест, Франция), международная конференция и выставка по освоению ресурсов нефти и газа Российской Арктики и континентального шельфа СНГ «RAO/CIS Offshore» (2008 г., Санкт-Петербург), конференцию-конкурс «Технологии Microsoft в теории и практике программирования» (2008 г., Нижний Новгород).

Публикации. По теме диссертации опубликовано 17 печатных работ (из них 6 — в изданиях из перечня ведущих рецензируемых научных журналов и изданий ВАК РФ).

Личный вклад автора в работах, выполненных в соавторстве, заключается в разработанных моделях параллельной производительности, входящих в состав используемой системы моделей; предложенной онтологии сервисов и построенной на ее основе архитектуре высокопроизводительного комплекса моделирования сложных систем; сформулированной структуре знаний и процедуре логического вывода, используемых в работе интеллектуальной подсистемы программного комплекса; оценке и анализе построенной архитектуры. Из работ, выполненных в соавторстве, в диссертацию включены результаты, которые соответствуют личному участию автора.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы (57 наименований) и 1 приложения. Содержит 158 с. текста (из них 156 — основного текста и 2 — приложений), включая 63 рис. и 11 табл.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность проблемы, формулируются цель и задачи исследования, отмечаются научная новизна и практическая значимость результатов, перечисляются основные положения, выносимые на защиту.

Первая глава посвящена описанию общей концепции получения информации об экстремальных гидрометеорологических явлениях на основе математического моделирования. Применительно к задаче совместного моделирования ветра, волнения, уровня и течений, современная концепция постулирует следующие допущения:

• Основным источником данных об океанографических процессах является результаты расчетов по гидродинамическим моделям динамики океана. Такой подход позволяет, используя данные реанализа метеорологических полей как входные данные, получать информационные массивы океанографических характеристик непрерывной продолжительностью несколько десятков лет.

• Для статистического оценивания экстремальных характеристик, возможных 1 раз в Т лет, используется система стохастических моделей, описывающих совместную многомасштабную (синоптическую, сезонную, межгодовую) изменчивость пространственно-временных полей океанографических характеристик. Это позволяет методом Монте-Карло воспроизвести ансамбль их реализаций, таким образом, экстраполируя значения экстремумов на заданный временной интервал.

• Экстремальность гидрометеорологического явления по отношению к конкретному объекту определяется интегральной совокупностью всех факторов путем рассмотрения функций риска, специфичных для определенных классов морских объектов и сооружений.

В настоящее время доступность глобальных (1чтСЕР/ЫСА11, ЕЯА-40) и региональных (БМШ, ЖА25, NN11 и др.) массивов реанализа метеорологических полей, эволюция гидродинамических моделей и развитие высокопроизводительных вычислительных технологий сделали возможной практическую реализацию данной концепции в полном объеме. Практическая реализация рассматриваемой концепции моделирования предусматривает последовательное решение трех задач, объединенных в вычислительную цепочку. Каждая задача дополнительно распадается на систему взаимосвязанных модулей (см. рис. 1).

1. Подготовка массива метеорологической информации. В качестве входных данных для расчета океанографических характеристик (ветрового волнения, течений и уровня моря) могут быть использованы поля атмосферного давления и скорости приводного ветра на основе данных реанализа. Они уточняются посредством усвоения высокоточных данных наблюдений на морских и береговых станциях. Процедура усвоения может проводиться как для каждой метеорологической величины независимо, так и путем пересчета одних величин через другие.

2. Формирование массива полей океанографических характеристик, используя гидродинамические модели. Используя массив метеорологической ин-

формации как входные данные, выполняется совместное гидродинамическое моделирование волнения, течений и уровня моря, что обусловлено необходимостью учета фактической глубины акватории по рал и ну волн. В том случае, когда штормовые колебания уровня моря обычно сопровождаются развитым ветровым волнением, этот эффект может привести к появлению существенно больших волн, чем предельно возможные при среднем многолетнем положении уровня моря.

Рис. 1 Концепция расчета экстремальных гидрометеорологических характеристик с использованием компьютерного моделирования

Гидродинамическая модель волнения в спектральной форме представляется в виде уравнения баланса волновой энергии:

дЫ ЗЫ. дN¿. 8NÍ дN 6 ВИ. ^ —+—м+—0+—к +—В+—са = С. (1)

д1 Эф 59 дк ар 0ю

Здесь N - спектральная плотность волнового действия; она является функцией от широты ф, долготы 0, волнового числа к и угла Р мезаду направлением волнового вектора и параллелью, а также от частоты со и времени /. Это уравнение связывает между собой явления притока энергии от ветра, диссипации, ее перераспределения и нелинейного взаимодействия между частотными составляющими процесса волнения. Чаще всего функция источника О записывается в виде суммы трех компонент Б = + + (поступления энергии от ветра к волнам, слабонелинейного взаимодействия в спектре ветрового волнения и диссипации волновой энергии, соответственно).

Для расчетов уровня моря и течений в общем случае используется трехмерная гидродинамическая бароклинная модель со свободной поверхностью. Исходная система уравнений в декартовой системе координат записывается в виде:

ди 8v 3w

(5)

(6)

(7)

p = Y( T,S,p).

(8)

Здесь /- параметр Кориолиса; p— давление; p- плотность; T - температура, S - соленость, и, v,w- составляющие поля скорости течений по осям (x,y,z), Nz, Nh - коэффициенты вертикальной и горизонтальной вязкости; Kz - коэффициент вертикальной диффузии. Для приливных морей в правой части (3-4,6-7) дополнительно учитывается приливная составляющая. Уравнения (1-8) интегрируются совместно.

3. Расчет статистических характеристик, идентификация системы стохастических моделей и оценивание экстремальных характеристик. Статистическая обработка информационной базы гидрометеорологических характеристик выполняется средствами многомерного статистического анализа (МСА) пространственно-временных полей. Технологии МСА позволяют идентифицировать систему стохастических моделей гидрометеорологических полей. Она предназначена для того, чтобы методом Монте-Карло воспроизвести ансамбль реализаций заданного объема, аналогичный исходному в смысле вероятностного описания. Полученный ансамбль позволяет оценить достоверность точечных оценок (в форме вероятностных, толерантных, доверительных интервалов), а также выполнить измерения вероятностных характеристик в случаях, которые не обеспечены выборочными данными (например, расчет экстремальных значений за интервал Т, превышающий непрерывную продолжительность информационной базы).

Учет многомасштабной (мелкомасштабной, синоптической, сезонной, межгодовой) изменчивости требует использования стохастических моделей разных классов. Для воспроизведения океанографических полей в мелкомасштабном (секунды-часы) диапазоне изменчивости применяется модель в форме динамической системы с учетом управляющих факторов r[(v):

N Р М

Cj = 2>; + Vt + ESflv-r.

7=о i=6 i =i

где - матричные коэффициенты авторегрессии и скользящего среднего.

Зависимость между т| и С, задается значениями весовой функции (функции отклика) Ет.

Для воспроизведения синоптической изменчивости (перемежаемости штормов и окон погоды) используется импульсное представление пространственно-временного поля в форме:

= I>jWj(t,r) = 3,), Ej = Ej(í) , (10)

J J

rae ivjk) (•) - пространственно-временные (временные) импульсы (выбросы выше и ниже уровня г), движущиеся вдоль определенной траектории г = г(е), возникающие и исчезающие случайным образом. Коэффициенты ак суть интенсивности импульсов. Форма импульса, управляемая параметром к, определяется задачей исследования; для описания экстремальных явлений допустимо аппроксимировать Wj(») по t треугольным импульсом.

Описание сезонной и межгодовой изменчивости требует применения другого класса моделей на основе ортогональных разложений по каноническому базису (естественные ортогональные функции):

a?,t) = m(f,t)+ ~£ак(1)Ък(г,1) + г(г,1). (11)

к=I

Скалярные коэффициенты разложения ак = ak(t) суть общие факторы, управляющие изменчивостью основных конфигураций поля, а £ - специфический фактор, характеризующий случайные вариации значений поля в каждой точке г в момент времени í. Модель (11) обобщается для описания регрессионной взаимосвязи исходного поля Q(r,t) с несколькими управляющими факторами в форме линейной динамической системы (9) относительно коэффициентов их разложения по каноническим базисам. Применение комплекса стохастических моделей (9-11) лежит в основе метода оценивания экстремальных явлений BOLIVAR, позволяющего получить оценки сочетаний гидрометеорологических характеристик, возможных 1 раз в Г лет.

Вторая глава посвящена разработке и обоснованию статической архитектуры программного комплекса моделирования экстремальных гидрометеорологических явлений, реализующего модели (1-11) в соответствии с концепцией на рис. 1. Классический подход к разработке архитектуры программной системы предусматривает операции структурирования системы, описания свойств ее компонентов и установления связей между ними. Поскольку в данном случае структурные компоненты соответствуют различным функциональным компонентам, основанным на различных математических моделях и использующих различные программные технологии, то принципиальной проблемой является организация взаимодействия (как между компонентами, так и внутри них) таким образом, чтобы обеспечить наиболее эффективное использование ресурсов вычислительной системы.

В рамках данного исследования предлагается организовать взаимодействие расчетных модулей комплекса на основе сервисно-ориентированной архитектуры (БОЛ). Это позволяет добиться максимального уровня изоляции частей программного комплекса, тем самым, делая более строгой его структурированность и облегчая процесс разработки и тестирования. На рис. 2 представлена общая структура взаимодействия сервисов, соответствующая функциональной схеме на рис. 1. Для нее характерна следующая типизация сервисов:

• управляющие сервисы (композиции, декомпозиции, управления задачей, управления вычислительными узлами);

• сервисы доступа к данным (входная гидрометеорологическая информация, результаты расчетов);

• вычислительные сервисы (модели подготовки метеорологической информации, гидродинамические и стохастические модели, статистическая обработка и расчет экстремумов).

«включает» «вызывает»

Пальз< еатель

Сервисы управления

Управление вычислительными Гл узлами

Управление -л задачей

Подсистема управления данными

Композиция ■В1 Декомпозиция тл

» t

Хранение режимных ^Р характеристик Доступ к массивам метеорологических ^ полей

Интерполяция полей давления, ^температуры воздуха и льда

bEL

Расчет скоростей ветра

Расчет течений и уровня

Расчет волнения

EL

Параметризация результатов П расчетов

Статистический анализ

Моделирование экстремумов

tML.

Вычислительные сервисы

Модель -и^МЦ РФ

Модель „SWAN

Модель

Рис. 2 Архитектура программного комплекса

В общем случае функциональные компоненты, указанные на рис. 1, могут быть представлены в виде совокупности сервисов, исполняющихся на отдельных узлах вычислительной системы и обеспечивающих наиболее полное использование вычислительных ресурсов.

Для оценки предложенной архитектуры на этапе проектирования выполнено прототипирование и моделирование производительности разрабатываемого программного обеспечения для прогнозирования особенностей его использования и формализации требований. Так, можно приближенно описать время выполнения произвольного сервиса на р вычислителях с общей памятью (внутри одного узла) в форме:

а(р-1) + - -у + а-Т) > (12)

Р.

ТсыЛР>и>У)отр =Т0

где а — параметр, характеризующий рост накладных расходов с увеличением количества вычислителей, а у — доля параллельных вычислений. Общее время коммуникаций между узлами определено как сумма времени рассылки и сбора данных, а также времени на передачу перекрытий между независимыми блоками данных:

тсотт =fw[(3i0*0+пц!)+га • а+(г,^+v(£z,)2)(n -1)], <i3)

где x0,L0 и x,L — число узлов расчетной сетки по времени и пространству для метеорологических (входных) и океанографических (выходных) данных соответственно, П — количество узлов, т),у,£,ц — коэффициенты, характеризующие кратность использования данных в моделях, а 9 — доля репликации данных между узлами. Величина t„ соответствует времени передачи единицы информации по коммуникационной сети. Предполагается, что время работы Т0 каждой задачи (расчета ветра, волн, течений, параметризации спектров и расчета статистики) определяется только производительностью вычислителя (например, ядра CPU) и объемом обрабатываемых данных.

А)

700 600 500 400 300 200 100 0

В) 460

400

350

300

ф

s X 250

8. 200

о

а о 150

>> 100

50

о

У «** ■и*— НС

г*L

200 400

600 CPU

;ч CUV Iй

I** к

200 400

600 CPU

Б)

ТОО 600 500

Ф

S 400

Ф

а. зоо §

g 200 100 о

еоо 1000 1200

еоо 1000 1200

450-j

11

400-

350-

300-

s 250-

a:

« a 200-

о 150-

lOO-

SO-

0)

iT

HV

еоо CPU

800 1000 1200

>

-rJX-

- **

-A fjk'

//

еоо 1ооо 1200

CPU

-1024x1 - -О- -256x4 —tr -128x8 ■

-32x16

Рис. 3 Параллельное ускорение в зависимости от конфигурации вычислительных узлов, длины входного массива и размера перекрытия независимых блоков данных: а) 15 лет, перекрытие 1 месяц; б) 30 лет, перекрытие 1 месяц; в) 5 лет, перекрытие 3 месяца; г) 5 лет, перекрытие 1 месяц (в легенде - схема распараллеливания: число процессов х число потоков)

На рис. 3 показано влияние архитектуры программной системы на общее ускорение вычислений. При небольшом количестве узлов наиболее оптимальным является распараллеливание по данным6 с использованием отдельных процессоров узлов с общей памятью как независимых вычислителей. Однако с увеличением числа процессоров тенденция изменяется, и многопроцессорные узлы становятся более предпочтительными. С увеличением размера входного массива (число моделируемых лет, рис. 3(А)-(Б)) в результате увеличения гранулярности общее ускорение также возрастает. Рис. 3(В)-{Г) иллюстрирует влияние перекрытия независимых блоков данных (что является обязательным при распараллеливании по времени) на производительность алгоритма. При уменьшении величины перекрытия с трех месяцев до одного ускорение в среднем вырастает примерно в полтора раза, а эффективность от использования многопроцессорных узлов сдвигается в зону большего числа узлов и меньшего числа процессоров на узле. Эта характеристика может меняться в зависимости от специфики акватории (океанские процессы обладают большим «временем жизни», чем процессы в закрытых морях), а также от особенностей моделируемого процесса (синоптический интервал атмосферных процессов и волнения составляет несколько суток, а эволюция вихрей водных масс может длиться несколько месяцев). Из рис. 3 следует, что в рамках данной задачи невозможно предложить статический способ распараллеливания вычислительных модулей комплекса, который был бы одинаково эффективен для всех вариантов входных данных при заданных характеристиках вычислительной системы.

Третья глава содержит описание интеллектуального подхода к конструированию динамической архитектуры программных комплексов компьютерного моделирования на примере задачи расчета характеристик экстремальных гидрометеорологических явлений. Для этого в архитектуру на рис. 2 вводится дополнительный управляющий сервис, реализующий интеллектуальную подсистему управления параллельными вычислениями. Механизм построения оптимальной схемы распараллеливания должен учитывать всю совокупность характеристик, включающую характеристики вычислительной среды, параметры запуска и экспертные знания, хранящиеся в базе. На рис. 4 представлен общий принцип работы интеллектуальной подсистемы и ее основные компоненты.

В процессе работы механизма вывода подсистема, оперируя знаниями экспертов (включенных в описание конкретных вычислительных сервисов), на основании имеющихся данных производит оценку весов ребер и вершин графа параллельных реализаций, варьируя вариантами распараллеливания отдельных вычислительных моделей (рис. 5). Варианты распараллеливания каждой из моделей используют технологии параллельного программирования различных уровней (управление потоками и процессами). Каждому из вариантов распараллеливания соответствует своя специфика поведения кривой ускорения на используемой архитектуре. Для перехода к классическому представлению взвешенного графа достаточно заменить вершины ребрами с соответствующим ве-

6 Распараллеливание по данным (по времени) должно учитывать связность пространственно-временных полей. Оно требует параллельного выполнения расчетов с некоторым перекрытием и последующей сшивкой, что обуславливает определенную долю накладных расходов.

сом, что позволит применять без изменения классические алгоритмы поиска. Кратчайший путь в графе от узла «Начало» до узла «Конец» определит оптимальную (согласно модельным оценкам) схему распараллеливания вычислительных модулей и их последовательности запуска.

Пользователь

Характеристики вычислительной среды

Монитор состояния вычислительной среды

Параметры запуска i

Интерпретатор задачи

Набор активных фактов

X

J- / . J > . , v • m

Монитор выполнения приложения

Компонента логического вывода: формирование оптимального схемы WF

'Реализация динамической параллельной архитектуры (правила работы управляющего сервиса) у

X

Запуск вычислительного процесса

Характеристики производительности приложения

.. У а

— I о

>5 J О S п у £ » Л

rati isi

"Sc

К g g

Г) Ю £

Sil

с Щ 2

-j Сервис 1 -| Сервис 2

-j Сервис 3 • • •

Адаптивная компонента приобретения дополнительных знаний и данных

Сервис N

= ё

о а. С

Архитектура 1 Архитектура 2 Архитектура 3

* • •

Архитектура М

Анализ текущих измерений

Имитационное моделирование

Поиск по прецеденту

Рис. 4 Структура интеллектуальной подсистемы

В таблице 1 приведен пример анализа оптимальной схемы распараллеливания, построенной посредством обхода графа на рис. 5, на основании результатов численных экспериментов, выполненных на кластере со 128 вычислителями (рассчитывались характеристики для Каспийского моря при Т=5).

Таблица 1

Анализ оптимальной схемы распараллеливания по данным вычислитель-

ных экспериментов (общее ускорение на 128 вычислителях - 83 раза)

Название Схема распараллеливания Модельное время работы,с Измеренное время работы,с Относительная ошибка, % Ускорение

Расчет ветра 16x8x1 106 102 4 71

Модель SWAN 16x1x8 4749 4699 1 84

Модель течений и уровня 16x8x1 1999 2175 8 70

Статистическое обобщение 16x2x4 726 719 1 127

Из таблицы видно, что для различных вычислительных модулей в качестве оптимальных (в рамках работы комплекса в целом) выбраны различные схемы распараллеливания (количество узлов х количество процессов на узле х количество потоков в каждом из процессов). Примечательным является тот факт, что использование комбинации для различных методов распараллеливания позволяет существенно повысить масштабируемость не только комплекса в целом, но и отдельных расчетных модулей. Например, для модели морского волнения SWAN в расчетном примере параллельное ускорение составляет около 84 раз на 128 вычислителях, в то время, как авторами этой модели указывается, что даже для систем с общей памятью эта модель эффективно не масштабируется более, чем на 64 вычислителя7. С увеличением временного интервала Т степень масштабируемости вычислений возрастает.

Рис. 5 Анализ графа параллельных реализаций в интеллектуальной подсистеме управления параллельной производительностью

Четвертая глава содержит описание результатов применения разработанного комплекса к решению задачи расчета характеристик ветра, волнения,

7 IIo MarepiiajiaM John E. Cazes, Tim Campbell, Erick Rogers. OpenMP Parallel Implementation of SWAN. s.l.: Navo MSRC Navigator, 2001. Vol. 13.

уровня и течений, возможных 1 раз в Г лет (Г=1, 5, 10, 25, 50, 100), для акватории Каспийского моря.

Высота волн 3% обеспеченности, Ветер, ассоциированный со значительной

ассоциированная с ветром, возможным высотой волны, возможной 1 раз в 100 лет 1 раз в 100 лет, м (с осреднением 10 мин.), м,/с

Рис. 6 Карты совместных экстремальных характеристик ветра и волнения в Каспийском море, полученные посредством компьютерного моделирования

Выполнена валидапия заложенных в комплекс моделей на примере ряда сильных исторических штормов, а также данных инструментальных измерений волнения, уровня и течений. Приводятся результаты исследования достоверности расчетов экстремальных характеристик за временной интервал, не обеспеченный данными наблюдений. На рис. 6 представлены примеры расчета совме-

Ветер, возможный 1 раз в 100 лет (с осреднением 10 мин), м/с

Высота волн 3% обеспеченности, возможная 1 раз в 100 лет, м

стных характеристик гидрометеорологических экстремумов (скорости ветра и высот волн) во всем Каспийском море, выполненные по расчетам за временной интервал с 1948 по 2007 гг. На основании проведенных расчетов создан прототип интерактивного атласа экстремальных гидрометеорологических явлений. Реализация интерактивного атласа в виде Web-сайта позволяет добиться достаточно высокого уровня доступности материалов за счет стандартизации протоколов и, как следствие, возможности использования практически любого браузера.

Основные результаты диссертационной работы состоят в следующем:

• обоснована онтология сервисов, необходимых для формализации структуры программных комплексов компьютерного моделирования сложных систем на базе SOA;

• предложен принцип организации интеллектуальной подсистемы отображения параллельных вычислительных алгоритмов на заданную аппаратную архитектуру с целью достижения наибольшей производительности; разработаны механизмы оптимизации времени выполнения задачи на основе обхода графа параллельной реализации комплекса;

• продемонстрирована эффективность предложенных методов организации динамической параллельной архитектуры программного комплекса на примере задачи гидродинамического и статистического моделирования экстремальных гидрометеорологических явлений;

• с использованием предложенного подхода спроектирован и реализован программный комплекс, адаптированный к архитектуре суперкомпьютеров терафлопной производительности, при помощи которого произведены расчеты совместных экстремальных характеристик ветра, волнения, течений и уровня Каспийского моря.

Публикации по теме диссертационной работы

1. Особенности проектирования высокопроизводительных программных комплексов для моделирования сложных систем / C.B. Ковальчук [и др.] // Информационно-управляющие системы. - 2008. - №3. - С. 10-18. (по перечню ВАК)

2. Ковальчук C.B. Параллельная производительность стохастических алгоритмов / C.B. Ковальчук, A.B. Бухановский II Известия высших учебных заведений. Приборостроение. - 2008. -№12. - С. 7-14. (по перечню ВАК)

3. Высокопроизводительный программный комплекс моделирования экстремальных гидрометеорологических явлений. Часть I: Постановка задачи, модели, методы и параллельные алгоритмы / A.B. Бухановский, C.B. Ковальчук [и др.] // Научно-технический вестник СПбГУ ИТМО. Выпуск 54. Технологии высокопроизводительных вычислений и компьютерного моделирования. - СПб.: СПбГУ ИТМО, 2008. - С. 56-63. (по перечню ВАК)

4. Высокопроизводительный программный комплекс моделирования экстремальных гидрометеорологических явлений. Часть II: Разработка и

оценка программной архитектуры / C.B. Ковальчук [и др.] // Научно-технический вестник СПбГУ ИТМО. Выпуск 54. Технологии высокопроизводительных вычислений и компьютерного моделирования. -СПб.: СПбГУ ИТМО, 2008. - С. 64-71. (по перечню ВАК)

5. Высокопроизводительный программный комплекс моделирования экстремальных гидрометеорологических явлений. Часть III: Интерпретация и использование результатов расчетов / C.B. Иванов, C.B. Ковальчук [и др.] // Научно-технический вестник СПбГУ ИТМО. Выпуск 54. Технологии высокопроизводительных вычислений и компьютерного моделирования. - СПб.: СПбГУ ИТМО, 2008. - С. 72-79. (по перечню ВАК)

6. Ковальчук C.B. Особенности адаптации параллельных алгоритмов к архитектуре графических акселераторов / C.B. Ковальчук, С.М. Вишняков // Научно-технический вестник СПбГУ ИТМО. Выпуск 54. Технологии высокопроизводительных вычислений и компьютерного моделирования. -СПб.: СПбГУ ИТМО, 2008. - С. 92-99. (по перечню ВАК)

7. Моделирование экстремальных явлений в атмосфере и океане как задача высокопроизводительных вычислений / A.B. Бухановский, C.B. Ковальчук [и др.] // Вычислительные методы и программирование. - 2008. - Том 9. -С. 141-153.

8. Особенности адаптации вычислительных алгоритмов под параллель-ную вычислительную архитектуру GPU и Cell / С.М. Вишняков, C.B. Ковальчук [и др.] // 8-я Международная конференция. Высокопроизводительные параллельные вычисления на кластерных системах (17-19 ноября 2008 г., Казань). Труды конференции. - Казань: Издательство КГТУ, 2008. - С. 4852.

9. Высокопроизводительный программный комплекс моделирования экстремальных гидрометеорологических явлений: эффективное управление параллельными вычислениями и представление результатов расчетов / C.B. Ковальчук [и др.] // Научный сервис в сети Интернет: решение больших задач: Труды Всероссийской научной конференции (2227 сентября 2008 г., г. Новороссийск). - М.: Изд-во MIT, 2008. - С. 106-108.

10. Бухановский A.B. Стохастический анализ параллельной производительности программных систем / A.B. Бухановский,

C.B. Ковальчук II Научный сервис в сети Интернет: решение больших задач: Труды Всероссийской научной конференции (22-27 сентября 2008 г., г. Новороссийск). - М.: Изд-во МГУ, 2008. - С. 132-135.

11. Ковальчук C.B. Адаптация сервисно-ориентированного подхода для проектирования архитектуры высокопроизводительных программных комплексов моделирования сложных систем / C.B. Ковальчук,

A.B. Бухановский И Труды XV Всероссийской научно-методической конференции Теяематика'2008. Том 1.- СПб.: СПбГУ ИТМО, 2008. - С. 106-107.

12. Ковальчук C.B. Проектирование и разработка высокопроизводительного программного комплекса моделирования экстремальных явлений в

атмосфере и океане на основе распределенных технологий .NET / C.B. Ковальчук, C.B. Иванов, A.B. Бухановский // Технологии Microsoft в теории и практике программирования. Материалы конференции (Нижний Новгород, 19-20 марта 2008 г.). - Нижний Новгород: Изд-во Нижегородского госуниверситета, 2008. - С. 171-173.

13. Моделирование экстремальных явлений в атмосфере и океане как задача высокопроизводительных вычислений / A.B. Бухановский, C.B. Ковальчук [и др.] // Параллельные вычислительные технологии (ПаВТ2008): Труды международной научной конференции (Санкт-Петербург, 28 января - 1 февраля 2008 г.). - Челябинск: Изд-во ЮУрГУ, 2008. - С. 57-68.

14. Вишняков С.М. Особенности адаптации вычислительных алгоритмов под параллельную архитектуру графических акселераторов / С.М. Вишняков, C.B. Ковальчук, A.B. Бухановский // Параллельные вычислительные технологии (ПаВТ*2008): Труды международной научной конференции (Санкт-Петербург, 28 января - 1 февраля 2008 г.). — Челябинск: Изд-во ЮУрГУ, 2008. - С. 340-346.

15. Ковальчук C.B. Параллельная производительность стохастических алгоритмов / C.B. Ковальчук, И.А. Пименов, A.B. Бухановский // Параллельные вычислительные технологии (ПаВТ2008): Труды международной научной конференции (Санкт-Петербург, 28 января - 1 февраля 2008 г.). - Челябинск: Изд-во ЮУрГУ, 2008. - С. 403-410.

16. Проблемы переноса вычислительных приложений кластерного уровня в среду Грид на примере Grid Programming Environment / A.B. Ларченко, C.B. Ковальчук [и др.] // Научный сервис в сети Интернет: многоядерный компьютерный мир. 15 лет РФФИ: Труды Всероссийской научной конференции (24-29 сентября 2007 г., г. Новороссийск). - М.: Изд-во МГУ, 2007.-С. 134.

17. Ковальчук C.B. Разработка одноранговой распределенной вычислительной системы / C.B. Ковальчук, А.Ю. Владова // Высокопроизводительные параллельные вычисления на кластерных системах. Материалы пятого Международного научно-практического семинара. - Нижний Новгород: Изд-во Нижегородского госуниверситета, 2005. - С. 124-130.

Тиражирование и брошюровка выполнены в учреждении «Университетские телекоммуникации» 197101, Санкт-Петербург, Саблинская ул., 14 Тел. (812) 233 4669 объем 1 пл. Тираж 100 экз.

Введение.

Глава 1. Анализ и постановка задачи.

1.1. Современная концепция получения информации об экстремальных гидрометеорологических явлениях.

1.1.1. Эволюция подходов к расчету гидрометеорологических экстремумов

1.1.2. Современная концепция получения информации об экстремальных гидрометеорологических явлениях на базе модельного подхода.

1.2. Основные расчетные модули: математические модели, численные методы и параллельные алгоритмы.

1.2.1. Расчет скорости ветра по полям давления.

1.2.2. Гидродинамическое моделирование полей течений и уровня моря.

1.2.3. Гидродинамическое моделирование полей морского волнения.

1.2.4. Параметризация климатических спектров морского волнения.

1.2.5. Статистическая обработка расчетных данных и моделирование экстремальных гидрометеорологических явлений.

1.2.6. Расчет экстремальных характеристик гидрометеорологических явлений и рисков их воздействий на морские объекты и сооружения.

1.3. Современные подходы к разработке программного обеспечения.

1.4. Выводы к главе 1.

Глава 2. Построение архитектуры высокопроизводительного программного комплекса

2.1. Общая концепция построения архитектуры высокопроизводительного программного комплекса моделирования экстремальных гидрометеорологических явлений.

2.1.1. Специфические требования к архитектуре высокопроизводительного программного комплекса.

2.1.2. Концепция построения архитектуры программного комплекса на основе интеллектуальной интеграции компонентов.

2.1.3. Реализация концептуальной архитектуры на основе сервисно-ориентированного подхода.

2.1.4. Оценка концептуальной архитектуры.

2.2. Общая структура программного комплекса.

2.2.1. Общая классификация и структура сервисов.

2.2.2. Организация вычислительной подсистемы.

2.3. Архитектура базовых сервисов.

2.3.1.' Сервис управления вычислительным модулем.

2.3.2. Сервис декомпозиции.

2.3.3. Сервис удаленного запуска.

2.3.4. Сервис управления вычислениями.

2.4. Организация работы с данными.

2.5. Выводы к главе 2.

Глава 3. Организация интеллектуального управления процессом параллельных вычислений в программном комплексе.

3.1. Моделирование производительности вычислительных модулей.

3.1.1. Иерархическая структура параллельных вычислений.

3.1.2. Принципиальная модель параллельной производительности приложений для систем с общей памятью.

3.1.3. Система параметрических моделей параллельной производительности для алгоритмов гидродинамического и статистического моделирования полей ветра, волнения, течений и уровня моря.

3.1.4. Общая модель производительности программного комплекса на вычислительной системе с гибридной архитектурой.

3.2. Общая структура интеллектуальной подсистемы.

3.3. Этапы эффективного управления параллельными вычислениями в многопроцессорной среде.

3.3.1. Априорный анализ параллельной производительности вычислительных модулей.

3.3.2. Управление параллельной производительностью в ходе функционирования программного комплекса.

3.4. Приобретение знаний о производительности вычислительных модулей.

3.4.1. Данные и знания, необходимые для управления параллельными вычислительными процессами.

3.4.2. Способы представления знаний о производительности вычислительных модулей.

3.4.3. Приобретение экспертных знаний.

3.4.4. Уточнение экспертных знаний путем идентификации моделей по результатам профилирования вычислительного модуля.

3.4.5. Приобретение дополнительных знаний путем имитационного моделирования.

3.5. Организация логического вывода.

3.6. Выводы к главе 3.

Глава 4. Тестирование программного комплекса моделирования экстремальных гидрометеорологических явлений.

4.1. Исследования масштабируемости программного комплекса.

4.1.1. Тестирование масштабируемости вычислительных модулей.

4.1.2. Анализ логики интеллектуальной подсистемы управления масштабируемостью.

4.2. Экспериментальные расчеты экстремальных гидрометеорологических характеристик и их воздействий на морские объекты и сооружения.

4.2.1. Подготовка массивов исторических данных и их сравнение с экспериментальными расчетами.

4.2.2. Проведение экспериментальных расчетов экстремальных характеристик для Северной части Каспийского моря.

4.2.3. Проведение экспериментальных расчетов рисков воздействий на морские объекты и сооружения.

4.3. Электронный атлас экстремальных гидрометеорологических явлений Каспийского моря.

4.3.1. Общая структура атласа.

4.3.2. Технологии реализации атласа.

4.3.3. Справочный массив.

4.3.4. Выводы к главе 4.

Прогресс в освоении природных богатств Мирового океана неразрывно связан с накоплением знаний о гидрометеорологических процессах. Непрерывный рост численности судов мирового флота, а также бурное освоение шельфовой зоны требуют не только умения предсказывать неблагоприятные погодные условия с той или иной заблаговремен-ностью, но и количественных характеристик морских явлений редкой повторяемости. К ним относятся скорости ветра, морское волнение, течения и уровень моря, а также их сочетания, возможные один раз в 100 или даже 1000 лет. Методы анализа и прогноза различных элементов режима морей и океанов насчитывают много десятилетий, однако, те методы, которые активно использовались еще 20-30 лет назад, по большей части устарели. Современная концепция получения информации о состоянии Мирового океана предполагает модельный подход на базе гидродинамического и статистического моделирования ветра, волнения, течений и уровня моря [1]. Оперативное решение таких задач невозможно без использования параллельных вычислительных комплексов, обладающих терафлоп-ной производительностью.

Специфика создания высокопроизводительного программного обеспечения для расчета характеристик экстремальных гидрометеорологических явлений связана не только (и не столько) с потребными объемами вычислений, сколько со сложностью (комплексностью) самой предметной области. Система «океан-атмосфера», рассматриваемая в диапазонах мелкомасштабной, синоптической, сезонной, межгодовой изменчивости (временные масштабы от секунд до десятилетий, и пространственные — от метров до тысяч километров), является характерным примером сложной системы (complex system). Под сложной системой [2] понимается система, которая (а) состоит из очень большого количества элементов; (б) допускает «дальние» связи между элементами; (в) обладает многомасштабной (пространственно-временной) изменчивостью. Как следствие, поведение системы описывается целым комплексом взаимодействующих моделей (в общем случае основанных на различном математическом аппарате и соответствующих различным областям знания), которые требуют не только существенных вычислительных затрат, но и порождают конкурирующие требования к реализации параллельной программной архитектуры в целом.

В данной работе предлагается качественно новая концепция построения высокопроизводительных комплексов компьютерного моделирования сложных систем. Новизна предлагаемых решений основывается на принципе построения интеллектуальной оболочки управления параллельными вычислительными процессами в иерархической вычислительной среде, построенной на основе сервисно-ориентированной архитектуры. Это дает возможность гибко и эффективно организовать взаимодействие между вычислительными компонентами комплекса на всех этапах выполнения задачи: подготовки метеорологических данных, гидродинамического моделирования, параметризации, расчета оперативной статистики, стохастического моделирования, анализа экстремальных явлений.

Пояснительная записка, представляющая основные положения работы, состоит из четырех глав. В первой главе приводится обзор существующих подходов к построению программных средств для моделирования экстремальных гидрометеорологических явлений, приводится описание основных моделей, необходимых для решения поставленной задачи. Кроме того, анализируются основные подходы к построению сложных высокопроизводительных программных комплексов, позволяющие облегчить интеграцию внешних вычислительных модулей. Во второй главе рассматривается процесс построения архитектуры программного комплекса, описывается разработанная онтология сервисов, входящих в состав наукоемкого программного обеспечения, и приводится описание структуры основных сервисов разработанного программного комплекса. В третьей главе приводится описание структуры и принципов действия интеллектуальной подсистемы программного комплекса, обеспечивающей эффективное отображение системы параллельных алгоритмов на заданную сложную иерархическую архитектуру. Четвертая глава посвящена описанию экспериментальных исследований разработанного программного комплекса и анализу их результатов. Дополнительно в этой главе приводится описание структуры и принципов работы интерактивного атласа экстремальных гидрометеорологических явлений.

Пояснительная записка содержит 158 страниц, 63 рисунка, 11 таблиц. Список литературы состоит из 57 наименований.

Результаты работы были использованы в научно-исследовательской работе по проектам направления 1.4 «Генерация знаний» ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007 -2012 годы»: «Высокопроизводительный программный комплекс моделирования и прогноза экстремальных гидрометеорологических явлений и расчета воздействий на морские объекты и сооружения» (НИР 2007-4-1.4-00-06-108), «Разработка инструментальной оболочки проектирования высокопроизводительных приложений для Грид-архитектур в целях создания прикладных сервисов компьютерного моделирования и обработки данных»

НИР 2007-4-1.4-20-01-025), «Инструментальная технологическая среда для создания массовых мобильных он-лайн сервисов нового поколения» (НИР 2008-4-1.4-18-01-022).

Диссертационный проект поддержан грантами комитета по науке и высшей школе Правительства Санкт-Петербурга (в 2007, 2008 гг.).

В ходе работы проведена апробация результатов на 10 научно-практических конференциях. Результаты освещались в 17 публикация, из них 6 — в журналах из перечня ведущих рецензируемых научных журналов и изданий ВАК РФ. Получено два свидетельства о государственной регистрации программ для ЭВМ (см. Приложение А).

Основной областью применения разработанного программного комплекса моделирования экстремальных гидрометеорологических явлений является обеспечение процесса гидрометеорологических изысканий на шельфе морей России в целях строительства и эксплуатации морских объектов и сооружений. Разработанный прототип высокопроизводительного комплекса опробован и внедрен в работу в ГУ «Гидрометцентр России».

Заключение

В данной пояснительной записке изложены основные результаты, полученные в процессе диссертационной работы по теме «Высокопроизводительный программный комплекс моделирования экстремальных гидрометеорологических явлений». В частности:

• Описана онтология сервисов, входящих в состав программного обеспечения, предназначенного для моделирования сложных систем. На базе предложенной онтологии спроектирована и описана архитектура программного комплекса моделирования экстремальных гидрометеорологических явлений, допускающая бесшовную интеграцию внешних вычислительных модулей.

• Рассмотрен принцип построения интеллектуальной подсистемы управления параллельными вычислениями, предназначенной для эффективного отображения системы параллельных алгоритмов на сложную иерархическую параллельную архитектуру, обладающую динамической изменчивостью. Предложенная структура интеллектуальной подсистемы учитывает актуальные характеристики вычислительной системы, параллельных реализаций алгоритмов и параметров конкретной задачи для построения оптимальной схемы распараллеливания. Оптимальность схемы оценивается, исходя из комплекса знаний экспертов предметной области и экспертов в области параллельных вычислений.

• Продемонстрирована эффективность применения предложенных подходов и методов на примере прототипа программного комплекса моделирования экстремальных гидрометеорологических явлений.

• С использованием построенного программного комплекса произведены расчеты совместных экстремальных характеристик для Каспийского моря и создан прототип интерактивного атласа экстремальных гидрометеорологических явлений.

1. Л.И. Лопатухин, А.В. Бухановский, В.А. Рожков и др., ред.. Справочные данные по режиму ветра и волнения Балтийского, Северного, Черного, Азовского и Средиземного морей. СПб.: Российский Морской регистр судоходства, 2006. стр. 450.

2. N. Boccara. Modeling Complex Systems, б.м. : Springer New York, 2004. стр. 397.

3. Sloot P.M.A., Frenkel D., Vorst H.A. Van der et al. Computational e-Science: Studying complex systems in silico. A National Coordinated Initiative. White Paper. Online. February 2007. http://www.science.uva.nl/research/scs/papers/archive/Sloot2007a.pdf.

4. Estimation of extreme wind wave heights. L.J. Lopatoukhin, V.A. Rozhkov, V.E. Ryabinin, V.R. Swail, A.V. Boukhanovsky, A.B. Degtyarev. s.l. : World Meteorologcal Organization, 2000. WMO/TD-No 1041. p. 76.

5. London : s.n., 1985.E xploration and production Forum: "Application of Joint Probability of Metocean Phenomena in the Oil Industry's Structural Design Work".

6. Jonathan Tawn Statistical Methods for Multivariate extremes: an Application to structural design. Coles, Stuart G. N1, 1994, Applied Statistics, Vol. 43, pp. 1-48.

7. Extreme analysis in a multivariate offshore environment. Morton I.D, Bowers J. 18, 1996, Applied Ocean Res., pp. 303-317.

8. Подходы, опыт и некоторые результаты исследований волнового климата океанов и морей, часть 1. А.В. Бухановский, С.В Иванов, Л.И. Лопатухин. 3, 2005 г., Вестник СПбГУ, сер. 7.

9. Guide to wave analysis and forecasting, s.l.: World Meteorologcal Organization, 1998. ISBN 92-63-12702-6.

10. И.В. Лавренов. Математическое моделирование ветрового волнения в пространственно-неоднородном океане. СПБ. : Гидрометеоиздат, 1998. стр. 500.

11. Komen G.L., Cavaleri L., Donelan M., et al. Dynamic and modeling of ocean waves, б.м.: Cambridge, 1994.

12. John E. Cazes, Tim Campbell, Erick Rogers. OpenMP Parallel Implementation of SWAN, s.l.: Navo MSRC Navigator,2001 . Vol. 13.

13. Spectral wave climate of the North Sea. Boukhanovsky A.V., Lopatoukhin L.J., Soares C.G. 2007, Applied Ocean Research. In Press.

14. Multivariate stochastic models of metocean fields: computational aspects and applications. A.V. Boukhanovsky. 2002, Lecture Notes in Computer Science, Vol. 2329, pp. 216-225.

15. Stochastic simulation of inhomogeneous metocean fields. Part III: High-performance parallel algorithms. Boukhanovsky A.V., Ivanov S.V. 2003, Lecture Notes in Computer Science, Vol. 2658, pp. 234-243.

16. Многомерный статистический анализ связных гидрометеорологических полей. А.В. Бухановский, В.А. Рожков, б.м.: Гидрометеоиздат, 2002 г., Тр. Государственного океанографического института, Т. 208, стр. 338-364.

17. И. Соммервилл. Инженерия программного обеспечения. 6. М.: Издательский дом «Вильяме», 2002. стр. 624.

18. Н. Вирт. Алгоритмы + структуры данных = программы. М. : Мир, 1985. стр. 406.

19. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++. 2. М. : «Бином», 1999. стр. 560.

20. С. Szyperski. Component Software: Beyond Object-Oriented Programming, s.l. : Addison-Wesley Professional, 1998. p. 411.

21. B. Lublinsky. Defining SOA as an architectural style. В Интернете. 9 January 2007 r. http://www.ibm.com/developerworks/architecture/librarv/ar-soastyle/.

22. Architectural Styles and the Design of Network-based Software Architectures. R.T. Fielding. 2000. Doctoral thesis, University of California, Irvine, стр. 162.

23. Aspect Modelling at Architecture Design. Navasa A., Pérez M.A., Murillo J.M. 2005 г., Lecture Notes in Computer Science, T. 3527, стр. 41-58.

24. Якобсон А., Буч Г., Рамбо Дж. Унифицированный процесс разработки программного обеспечения. СПб.: Питер, 2002. стр. 496.

25. OASIS. В Интернете. http://www.oasis-open.org/.

26. OASIS. Reference Model for Service Oriented Architecture. В Интернете. www.oasis-open.org/committees/download.php/19679/soa-rm-cs.pdf.

27. SaaS и SOA: вместе навсегда. Хеншен, Дуг. 5 (161), б.м.: СК Пресс, 2007 г., Intelligent Enterprise/RE Корпоративные системы, www.iemag.ru.

28. R. Sessions. COM and DCOM: Microsoft's Vision for Distributed Objects. New York, USA : John Wiley & Sons, 1998. стр. 492.

29. OMG's CORBA website. В Интернете. Object Management Group, http://www.corba.org.

30. Matena V., Stearns B. Applying Enterprise JavaBeans: Component-Based Development for the J2EE Platform, б.м.: Prentice Hall, 2000. стр. 464.

31. A Component Architecture for High-Performance Computing. BernholdtD .E., Elwasif W.R., Kohl J.A., Epperly T.G.W. New York, USA : б.н., 2002. Proceedings of the Workshop on Performance Optimization via High-Level Languages and Libraries.

32. Ontology and Taxonomy of Services in a Service-Oriented Architecture. S., Cohen. 2007 г., The Architecture Journal, T. 11, стр. 30-35.

33. Role Based Access Control. Ferraiolo D.F., Kuhn D.R. 1992. 15th National Computer Security Conference, стр. 554-563.

34. Гамма Э., Хелм Р., Джонсон Р., Влиссидес Дж. Приемы объектно-ориентированного проектирования. Паттерны проектирования. СПб. : Питер, 2007. стр. 366.

35. REST Eye for the SOA Guy. S., Vinoski. 2007 г., IEEE Internet Computing, Т. 11, N 1, стр. 82-84.

36. D. Obasanjo. XML Serialization in the .NET Framework. Microsoft MSDN Library. Online. January 23, 2003. http://msdn2.microsoft.com/en-us/library/ms950721.aspx.

37. Akhter S., Roberts J. Multicore programming, s.l. : Intel Press, 2006. p. 336.

38. Дж. Ортега. Введение в параллельные и векторные методы решения линейных систем. М. :Мир, 1991.

39. Архитектура глобальной памяти с общим доступом SGI NUMAflex и интерконнекта SGI NUMAlink в серверах и суперкомпьютерах Silicon Graphics. 2, 2006 г., САПР и графика.

40. Т-Платформы. В Интернете. http://www.t-platforms.ru/.

41. Application of Mixed MPI/OpenMP Programming in a Multi SMP Cluster Computer. Smyk A., Tudruj M. 2002, Lecture Notes in Computer Science, Vol. 2328, p. 288.

42. Ю.И., Нечаев. Искусственный интеллект: концепции и приложения. СПб. : Изд. СПбГМТУ, 2000. стр. 294.

43. Minsky М. A Framework for Representing Knowledge. The Psychology of Computer Vision, ed. Patrick Henry Winston. New York : McGraw-Hill, 1975.

44. JI.A. Растригин. Адаптация сложных систем. Рига : Зинатне, 1981. стр. 375.

45. В.П. Гергель. Система "Параллельная Лаборатория". В Интернете. http.7/www.software.unn.ac.ru/?doc=13.

46. Моделирование климатической термохалинной циркуляции в Каспийском море. С.К. Попов. 5 2004 г., Метеорология и гидрология, стр. 76-84.

47. The Princeton Océan Model. В Интернете. http://www.aos.princeton.edu/WWWPUBLIC/htdocs.pom/.

48. Романов В.Ф., Арискина Н.В., Васильев В.Ф., Лагун В.Е. Энергетика атмосферы в полярных областях. Л. : Гимиз, 1987. стр. 296.

49. Расчет полей ветра по полям атмосферного давления над морем. Обзорная информация. В.И. Макова. 4, Обнинск : Изд-во ВНИИГМИ-МЦД, 1989 г., Гидрометеорология. Серия 37.21. Метеорология., стр. 54.

50. Л. И. Лопатухин, А. В. Бухановский, В. А.Рожков, ред.. Справочные данные по режиму ветра и волнения Баренцева, Охотского и Каспийского морей. СПб. : б.н., 2003.

51. С.Д. Кошинский. Режимные характеристики сильных ветров на морях Советского Союза. Л. : Гидрометеоиздат, 1975. стр. 803.

52. Гидрометеорология и Гидрохимия морей СССР. вып. 1: Каспийское море. Гидромеорологические условия. СПб. : Гидрометеоиздат, 1992. стр. 359.

53. К расчету скоростей ветра по барическому полю. Е.П., Веселов. 1985. Тр. ГМЦ СССР. Т. 268, стр. 26-35.

54. Statistics for the Draupner January 1995 freak wave event. O. Hagen. 2002. Proceedings of OMAE'2002: 21stl nternational Conférence of offshore mechanics and Arctic engineering.