автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка элементов виртуального полигона моделирования окружающей морской среды в гетерогенном вычислительном окружении

На правах рукописи

Я,

Соэ Моэ Лвин

РАЗРАБОТКА ЭЛЕМЕНТОВ ВИРТУАЛЬНОГО ПОЛИГОНА МОДЕЛИРОВАНИЯ ОКРУЖАЮЩЕЙ МОРСКОЙ СРЕДЫ В ГЕТЕРОГЕННОМ ВЫЧИСЛИТЕЛЬНОМ ОКРУЖЕНИИ

Специальность: 05.13.18 — Математическое моделирование, численные методы и комплексы программ (технические науки)

4848547

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

2 «ЮН 2011

Санкт-Петербург 2011

4848547

Работа выполнена в Санкт-Петербургском государственном морском техническом университете «СПбГМТУ»

Научный руководитель -

доктор технических наук, доцент Дегтярев Александр Борисович Официальные оппоненты:

доктор технических наук, профессор Геппенер Владимир Владимирович кандидат технических наук, доцент Холкин Владимир Юрьевич

Ведущее предприятие - ООО «Геолинк Текнолоджис», г.Санкт-Петербург, Россия

Защита диссертации состоится «8» июня 2011г. в 15 часов на заседании совета по защите докторских и кандидатских диссертаций Д212.238.01 Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им. В.И. Ульянова (Ленина) по адресу: 197376, Санкт-Петербург, ул. Проф. Попова, 5.

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского государственного электротехнического университета «ЛЭТИ».

Автореферат разослан « рц » Jj tuA. 2011 г.

Ученый секретарь совета по защите докторских и кандидатских диссертаций, к.т.н.

Н.Л. Щеголева

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. В настоящий момент возникла необходимость интеграции информационных технологий, как в сфере непосредственного анализа сложных ситуаций, так и синтеза моделей для воспроизведения ситуаций при принятии управленческих решений. В настоящем исследовании эта интеграция конкретизируются в направлении создания комплексных систем моделирования разнородных природных и техногенных процессов типа «виртуальный полигон».

Появление концепции «виртуального полигона» связано с необходимостью рассмотрения все более сложных моделей для исследования поведения динамических объектов, требующих применения высокопроизводительной вычислительной техники. В настоящее время применение такого рода вычислительных инструментов требует от исследователя большего знания особенностей современных вычислительных технологий. Во многом этот факт становится препятствием на пути их внедрения, и как следствие, причиной снижения эффективности исследований в различных предметных областях. Сильный разрыв между высоким уровнем «железа» и низким уровнем его применения привел к появлению новой концепции использования информационных технологий. Теперь пользователь ожидает от вычислительной техники не доступа к ресурсам, предоставления процессорного времени, оперативной памяти или средств хранения, а определенной услуги в рамках выполнения его предметного задания. Этот новый взгляд изменил также подход в области разработки программного обеспечения, перенеся упор на создание промежуточного программного обеспечения, отрывающего приложение пользователя от тех ресурсов, на которых оно выполняется. За последние 5 лет этот взгляд изменил и направление развития Grid технологий, введя понятие сервис ориентированного Grid.

В диссертации рассматривается элементы виртуального полигона как сервисы для исследования морской среды. В качестве элементов морской среды рассматриваются ветер, волны и другие факторы. При этом основное внимание обращено на создание элементов виртуального полигона (сервисов), необходимых для моделирования поведения судна при интенсивных внешних возмущениях на основе модели авторегрессии. Эта модель наиболее актуальна при реализации виртуального полигона моделирования поведения динамических объектов и в инструментальных средствах тестирования бортовых корабельных интеллектуальных систем реального времени.

Таким образом, актуальность работы определяется необходимостью реализации современной концепции информационных технологий, связанной с ориентацией на сервисы, при разработке и создании проблемно-ориентированной среды «виртуальный полигон» моделирования поведения сложных технических объектов в морских условиях.

Целью работы является разработка и исследование модели взаимодействия разноуровневых приложений виртуального полигона, обеспечивающей работу нескольких элементов виртуального полигона моделирования поведения морских объектов. Для достижения этих целей в диссертации решались следующие основные задачи:

• разработка и обоснование модели ветроволновых возмущений на основе принципов обработки информации в мультипроцессорной вычислительной среде;

• разработка алгоритмов и программного комплекса функционирования виртуального полигона в части моделирования ветроволновых возмущений;

• генерация сценариев ветроволнового воздействия при различном уровне внешних возмущений;

• анализ альтернатив, выбор предпочтительной вычислительной технологии и оценка риска принимаемых решений при интеллектуальной поддержке оператора виртуального полигона в гетерогенной вычислительной среде.

Методы исследования. Для решения поставленных задач в работе были использованы системный анализ, методы математического моделирования, методы вычислительной математики, теория вероятностей, случайных процессов и математическая статистика, линейная алгебра, а также методы прикладного программирования.

Объект исследования. Объектом исследования являются модели взаимодействия разноуровневых приложений виртуального полигона для генерации ветрового волнения, погодных сценариев и визуализации.

Научную новизну работы составляет:

• элемент виртуального полигона, позволяющий моделировать ветровое волнение в гетерогенной вычислительной среде;

• новый метод интеграции разноуровневых приложений на базе промежуточного программного обеспечения, предоставляемого платформой SGE;

• новые алгоритмы интегрированной работы приложений виртуального полигона в условиях распределенной вычислительной среды.

Достоверность научных результатов и выводов подтверждаются строгостью доказательства утверждений и наложенных ограничений, обоснованностью применения математического аппарата, оценкой адекватности математических моделей, результатами тестирования алгоритмов и программного обеспечения, а также практическим использованием разработанных математических, алгоритмических и программных методов и средств.

Основные научные результаты.

• разработана модель взаимодействия разноуровневых приложений виртуального полигона;

• адаптирована авторегрессионная модель волнения и численные методы ее реализации для работы в качестве элемента виртуального полигона моделирования поведения морских объектов в однородной и неоднородной вычислительных средах;

• реализованы элементы виртуального полигона: модель ветрового волнения на участке квазистациональности, синоптической изменчивости, промежуточное программное обеспечение для препроцессинга и постпроцессинга результатов;

• предложен алгоритм реализации сценариев волновой погоды и их визуализации в рамках виртуального полигона;

• проведено сравнение эффективности реализации изучаемых элементов виртуального полигона в однородной и неоднородной вычислительной среде на базе различных программных и технических средств (распараллеливание кода и распределение заданий).

Практическая ценность работы заключается в следующем:

• Модели генерации ветрового волнения в рамках работы многоуровневых приложений виртуального полигона.

• Программный комплекс, обеспечивающий работу нескольких элементов виртуального полигона моделирования поведения морских объектов.

Практическая значимость диссертационного исследования обеспечена прикладной направленностью и созданием конкретных методов, алгоритмов и программных средств для виртуального полигона моделирования поведения морских объектов в условиях распределенной вычислительной среды.

Внедрение результатов работы:

Разработанные методы, алгоритмы и программные средства внедрены в НПО «Полярная звезда» и используются в учебном процессе СПбГМТУ при проведении лабораторных и курсовых работ по курсу «Инженерия знаний» в рамках магистерской подготовки студентов специальности 220400 «Программное обеспечение вычислительной техники и автоматизированных систем», «Архитектура высокопроизводительных компьютерных систем».

Апробация работы. Основные результаты работы докладывались и обсуждались на национальных и международных научно-технических конференциях: Международная конференция МОРИНТЕХ-юниор 2009, Санкт-Петербург, 2009; Всероссийская научно-методическая конференция «Телематика-2009», Санкт-Петербург, 2009; Международная конференция «Computer Science & Information Technologies», Ереван, 2009; Международная конференция «Distributed Computing and Grid-Technologies in Science and Education», Дубна, 2010; Международная конференция ICCA2010, Янгон, Мьянма, 2010.

Основные положения, выносимые на защиту:

1. Модель ветрового волнения как компонент виртуального полигона.

2. Модель взаимодействия разноуровневых приложений в рамках виртуального полигона.

3. Программный комплекс, описывающий компоненты виртуального полигона.

Публикации

Основные теоретические и практические результаты диссертации опубликованы в 7 статьях и докладах, из них по теме диссертации 7, среди которых 1 публикация в ведущем рецензируемом издании, рекомендованном в действующем перечне ВАК. Доклады доложены и получили одобрение на 6 международных, всероссийских и межвузовских научно-практических конференциях перечисленных в конце автореферата.

Структура и объем диссертации

Диссертация состоит из введения, 4 глав с выводами, заключения, и практических рекомендаций. Она изложена на 130 страницах машинописного текста, включает 32 рисунков, 12 таблиц, 1 приложение и содержит список литературы из 175 наименованй, среди которых 110 отечественных и 65 иностранных авторов.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации.

Первая глава содержит анализ особенностей организации виртуального полигона. Описаны особенности математических моделей внешней морской среды и поведения морских объектов, а также реализации разнородных математических моделей в многопроцессорной распределенной гетерогенной вычислительной среде.

Поведение плавучих объектов традиционно описывается в терминах моделей динамических систем со случайным входным сигналом и иногда случайными параметрами. Это наиболее удобная форма математического представления изучаемых в рамках виртуального полигона объектов. В тоже время, моделирование внешних воздействий в общем случае связано с решением системы нелинейных дифференциальных уравнений гидроаэродинамики и теплопереноса, описывающих процесс взаимодействия океан-атмосфера. Гидрометеорологические процессы, воздействующие на плавучий объект, обладают следующими характерными особенностями:

• многомерность и многоразмерность (скорость ветра и течений);

• полимодулированность (эволюция волнения в шторме и последовательности штормов);

• полицикличность (ритмика температур, приливных течений и т.п.);

• связность (зависимость интенсивности волнения от скорости ветра и т.п.).

Это приводит к необходимости совместного использования разнородных математических моделей и приложений. Часто сам характер этих приложений исключает возможность их совместного запуска в однородной вычислительной среде. В определенных ситуациях необходимо взаимодействие разных по сложности и природе вычислительных параллельных приложений, баз данных,

ассимиляции информации, визуализации результатов и пр. Поэтому, в общем случае, использование гетерогенной вычислительной среды оказывается не результатом научных экспериментов, а единственно возможным инструментом для реализации проблемно ориентированной среды.

Реальная проблема разнородных приложений виртуального полигона в условиях Grid среды заключается в том, чтобы сохранить высокий уровень параллельной эффективности. Для обеспечения эффективного использования сетевых ресурсов применяются специальные методы для распределения рабочей нагрузки. Надлежащие методы оптимизации рабочей нагрузки должны учитывать два аспекта:

• характеристики приложений (например, объем переданных данных между процессами, количество операций с плавающей точкой и памятью)

• характеристики ресурсов (например, потенциальные возможности процессоров, сети, памяти, а также уровень гетерогенности динамически выделенных ресурсов).

В главе дан аналитический обзор современного состояния проблемы разработки виртуального полигона моделирования окружающей среды в гетерогенном вычислительном окружении. Основное внимание при характеристике выполненных исследований обращается на принципы организации виртуального полигона, особенности моделирования сложных процессов, характеризующих окружающую среду его функционирования, а также организацию гетерогенного вычислительного окружения.

Вторая глава посвящена разработке концептуальной модели и принципов построения системы проблемно ориентированной среды. Рассмотрены принципы обработки информации в многопроцессорной среде, архитектура и особенности функционирования виртуального полигона. В качестве основных принципов, в первую очередь, отмечаются принцип конкуренции и формализации нечеткой информации. Их реализация дает возможность повысить эффективность функционирования «виртуального полигона». Концепция организации виртуального полигона, как сложной многоуровневой интеллектуальной системы, предполагает наличие следующих основных компонент:

• иерархии имитационных моделей, отражающих рассматриваемые проблемные области;

• аналитических моделей (иерархии аналитических моделей), дающих упрощенное (агрегированное) описание различных сторон моделируемых явлений;

• информационной подсистемы, включающей базу данных и знаний, основанную на методах и моделях искусственного интеллекта;

• системы управления и сопряжения, обеспечивающей взаимодействие всех компонент системы и работу с пользователем в режиме интерактивного диалога.

Общая схема «виртуального полигона» представлена на рис.1

7

А

MP, МР„ | [шф —|м U: | (мДг -| ми, [ ................. м, , ,| МА, [ 'J МА- |' ". • s

| MF- я

Щ Н ... [ЙвГ]

/ лпя OS ЯВ| LS. 1 HZi±3~ ......- ~ ■ р SA И RB 1; 1ИНШВ В

□ID Г™Д1 с D

f VR [•- | SC&MAS || GRID | .

Рис. 1. Структура виртуального полигона

На этом рисунке обозначены следующие блоки: А - модели; В - управление и интерпретация; С - информационное обеспечение; D - применяемые информационные технологии; Mj - модели оценки состояния динамических объектов, навигационной и оперативной обстановки; М2 - модели управления; М3 - планирование; DS - диалоговая система управления; SA - сценарии и адаптация; RB — практические рекомендации; DBr (г= ],...,R) - базы данных о состоянии виртуального полигона.

Предлагается создание интегрированной проблемно-ориентированной среды моделирования высокой степени адаптивности. В основу положена концепция, которая позволяет вовлекать в интегрированную среду моделирования дополнительные ресурсы. В их качестве могут выступать, как новые вычислительные мощности, так и разнородные элементы среды моделирования. Предлагаемый подход предусматривает комплексное решение проблемы, пригодное с одинаковых позиций для мониторинга и управления ДО, а также моделирования их поведения с учетом протекания всех сопутствующих природных и техногенных процессов. В качестве элементов для детальной разработки выбрано:

• математическое моделирование внешней среды (модели типа МА рис.1)

• хранение и визуализация данных «виртуального полигона» (элементы DBr рис.1)

В главе также рассмотрены принципы построения сценариев и оценки эффективности интеграции приложений в виртуальном полигоне. Рассмотрены как чисто вычислительные и информационные аспекты, так и аспекты использования интеллектуальных технологий организации гетерогенной вычислительной среды.

Третья глава посвящена обсуждению вопросов моделирования ветроволновых воздействий в рамках виртуального полигона при создании иерархии разноуровневых приложений. В качестве моделей для реализации

8

данного элемента виртуального полигона были рассмотрены два класса математических моделей: Лонге-Хиггинса и АРСС (авторегрессии и скользящего среднего). Определены сферы приложения каждой из рассмотренных моделей. Показано, что, несмотря на высокий уровень аналитического представления, модель Лонге-Хиггинса оказывается не удобной для использования в качестве элемента виртуального полигона (в иерархии многоуровневых приложений) для воссоздания непрерывной реализации ветроволновых полей в реальном масштабе времени. Для практической реализации была выбрана наиболее удобная полевая авторегрессионная модель порядка (Nb N2, N3), дискретный аналог которой задается в виде

/V, Л^ N,

= И X X Ф ijkC(x-i,y-j,t-k) + S(x,y,t) (1)

1=0 7 = 0 к =0

где Фт - обобщенные параметры авторегрессии, slx у () - поле белого шума с гауссовым законом распределения. Процедура оценивания обобщенных параметров авторегрессии Ф1]к и дисперсии поля белого шума <з] строится на основе обобщенной системы уравнений Юла - Уокера:

кс {X, У, г) = £ X £ Кс {X - iAx, У - JAy, т - к А,) (2)

/=0 7=0 4=0

Здесь Х=х2-хь Y=y2-yi, r = t2-tl',Ax,Ay,Al дискретизация по

пространственным и временной переменным.

Дисперсия поля белого шума определяется из (2) при X,Y,t=0:

(3)

1=0 7=0 *=о

Система уравнений (2) обладает блочно-теплицевой симметричной матрицей, что позволяет использовать для ее решения блочный метод Левинсона - Дербина. Для моделирования негауссовых случайных полей к вспомогательному полю i[xyt), воспроизводимому по (1), применяется нелинейное безынерционное преобразование г{хуЛ = f(C{xyt)), определяемое на основании уравнения F(z) = .

В итоге алгоритм моделирования стационарного пространственно-временного негауссова поля представляется последовательностью операций:

• определение корреляционной поверхности K(x,y,t); в этом случае можно или воспользоваться аналитической аппроксимацией поверхности (например, экспоненциально-косинусной), или оценить ее численно как Фурье-преобразование пространственно-временной спектральной плотности S(u,v,ci>); для полей волнового характера, обладающих дисперсионным соотношением a>(u,v), последняя операция еще более упрощается:

Kz(X,Y,t)~ J jSz(u,v)cos(Xu + Yv-co(u,v)T)dudv (4)

• вычисление закона преобразования нормированного гауссова случайного поля к случайному полю с произвольным законом распределения и оценивание его корреляционной поверхности;

• моделирование пространственно-временной реализации нормирован ного гауссова поля.

Для полноценного моделирования в рамках виртуального полигона на основе этой известной модели волнения необходима предварительная подготовка j данных и создание соответствующих ветроволновых сценариев. Для этих целей была выбрана известная параметризация спектральной плотности волнения:

S(a),/3) = mMjTy(5)

J

Здесь от00 - нулевой момент спектра (дисперсия взволнованной поверхности), ур - весовой вклад каждой волновой системы в общую энергию,

N р=1

А также параметризация штормов и окон погоды

ВД,

Рис.2. Параметризация штормов и окон погоды

В этом случае классификация штормов во временной области сокращается до анализа так называемых устойчивых состояний, определяющих продолжительность некоторого типа волнения. Тогда, в соответствии с общей концепцией виртуального полигона, в данном случае можно сформулировать различные сценарии: краткосрочный, «шторм», «миссия», «навигация» и т.д. Для создания такого сорта сценариев необходима исходная статистическая

информация о ветро-волновом режиме в заданном районе. Очевидно, получить ее, исходя исключительно из данных измерений, практически невозможно. В работе это предполагается сделать при помощи гидродинамических моделей волнения (6), достигших высоко уровня точности

dN dN , 5N л dNdN ь Ш . „

-+-ф +-0 +-к +-В +-m = G, (6)

dt дф дв дк dp дт

где N — спектральная плотность волнового действия является функцией от широты ф, долготы 0, волнового числа к и угла (3 между направлением волнового вектора и параллелью, а также от частоты со и времени t. Gs -функция источника.

В качестве расчетной модели виртуального полигона используется программный комплекс Wave Watch III (WW на рис.3). Взаимодействие приложений указано на рис.3. В качестве интегрирующей среды в распределенном компьютерном окружении была использована среда Sun Grid Engine (SGE).

Unicore (Creabong of poital & gatewav)

Jtu

Nodcl

MIDDLE WAKE SUN GRID ENGINE

DBMS (DB2)

Hydrodynamic modelBing

Modelling of

spatio-temporal wave field

Рис.3. Взаимодействие сервисов при управлении данными в распределенном параллельном окружении на базе SGE

Таким образом, результаты работы модели Wave Watch III для конкретного региона используются в качестве исходных данных для построения вероятностных моделей генерации ветроволновых сценариев. Проблема взаимодействия гидродинамической и вероятностной модели заключается в принципиальной несовместимости по сложности и, как следствие, времени счета. Использование вероятностных моделей в рамках виртуального полигона как раз и обусловлено и простотой, и скоростью воспроизведения пространственно временных полей. Поэтому подготовка исходных данных при помощи

гидродинамических моделей отделяется от непосредственного соприкосновения с вероятностными моделями ветроволновых сценариев путем предобработки результатов моделирования и накопления исходных данных в базе данных (DBMS(DB2) на рис.3)

В четвертой главе рассматривается структура программного комплекса, и организация элементов виртуального полигона в различных конфигурациях аппаратного обеспечения. Приведены результаты тестирования в однородных и неоднородных вычислительных средах. Коэффициенты авторегрессии (1), необходимые для генерации ряда, можно получить из заданной автоковариационной функции, решив систему уравнений Юла-Уокера. Аф = b

b, = Уха),,.(/)./(/)'

x(i) = mod((z + 1) / 0,р2), рх) y(i) = mod((i + l)/ р3,р2) t(i) = mod(/ + 1, ръ) Выше приведены формулы системы уравнений Юла-Уокера для трехмерной задачи, где у л - дискретные значения автоковариационной функции.

Используем параллельный алгоритм для воспроизведения стационарного случайного процесса морского волнения. При его построении использовано свойство процессов авторегрессии, заключающееся в их локальной стационарность (или однородность). Она заключается в том, что значение C,t статистически связано только с п предыдущими отсчетами Cll_l,i = \,...n. Общее значение параметра п определяется интервалом корреляции данных. Следствием такой модели является то, что два фрагмента разделенные интервалом более, чем в п отсчетов, можно рассматривать независимо рис.4.

зависимости

Эти математические особенности трансформации модели АРСС в параллельной вычислительной среде приводят к разбиению кусков реализации методом, показанным на рис.5.

участки разгона Ш реализация

интервалы "сшивания

Рис.5. Волновая поверхность в памяти устройства

Помимо коэффициентов для создания волновой поверхности одной из важных составляющих алгоритма является генерация нормально распределенной случайной величины (белый шум). В качестве метода в работе использована параллельная реализация Вихря Мерсенна (Mersenne Twister). Алгоритм запускает в каждом потоке отдельный генератор с уникальными параметрами, задающимися специальной подпрограммой dcmt. Это позволяет минимизировать коррелированность между последовательностями чисел этих генераторов.

Создание волновой поверхности происходит в несколько этапов. На первом этапе генерируется реализация заведомо большего размера, разделенная на независимые части для каждого потока. В начале каждой части находится промежуток разгона алгоритма, на котором для генерации величин используются не все коэффициенты авторегрессии. Эти участки удаляются из реализации, оставляя несвязанные части. Алгоритм завершается соединением этих частей по двухсторонней авторегрессионной зависимости (интервал между ними изначально заполнен нулями). Такая процедура именуется сшиванием.

р\ pi Pi

Z»,, = •ZlXX'ft./.* '^Х -I,у-jf-k

}

Pi Pi ft Ы0 j=0 *=0

Алгоритм реализован при помощи различных средств распараллеливания: OpenCL (с использованием GPU), MPI, ОрепМР. Особенность реализации на MPI заключается в том, что каждый процесс генерирует отдельную часть временного ряда. Затем каждому процессу передается небольшой участок предыдущей части, достаточный для их сшивания. Далее части соединяются и посылаются на одно устройство для проверки результата. Алгоритм работает тем быстрее, чем больше процессов участвуют в работе.

В результате анализа целого ряда возможных комбинаций вычислительных платформ и промежуточного программного обеспечения были созданы следующие программы:

• программы под MPI и OpenCL для генерации волновой поверхности (autoreg);

• программа для визуализации волнения на OpenGL (visual);

• промежуточное программное обеспечение Sun Grid Engine (SGE) для интеграции различных приложений моделирования и визуализации. Схема такой интеграции приложеий показана на рис.6.

Рис.6. Схема интеграции приложений в распределенной вычислительной

среды

Программа в качестве входных параметров принимает размер волновой поверхности. После окончания работы на стандартном выводе можно получить саму волновую поверхность. Такой комплекс программ обеспечивает генерацию волновой поверхности, гибкую настройку ее параметров и контроль за ее характеристиками. Схема такого комплекса показана на рис.7.

Рис.7. Взаимодействие сервисов при управлении данными в распределенном и параллельном компьютерном окружении

Для проведения экспериментальных исследований были созданы специализированные стенды, с помощью которых изучились однородные и неоднородные распределенные вычислительные среды. В качестве однородной распределенной вычислительной среды был использован кластер Beowulf, состоящий из 10 узлов. Кластер на базе процессоров AMD Opteron. Доменное имя: eco.apmath.spbu.ru. Результаты тестирования и их трактовка представлены ниже в табл. 1 и на рис.8.

Таблица 1. Сравнение эффективности вариантов генерации волновой J поверхности при помощи MPI для гомогенной распределенной вычислительной | среды. N - количество частей, Ъ\ - размер реализации, Z2 - размер реализации вместе с участками разгона, Pi - размер части, Р2 - размер части с разгоном, I -размер интервала, t - время работы программ.

Номер N Z! z2 Pi Р2 I U

X У t X У t

1 8 64 64 1536 128 128 2048 256 192 96 30,24

2 16 64 64 1536 128 128 2048 128 96 48 14,75

3 32 64 64 1536 128 128 2048 64 48 24 7,60

4 32 64 64 2304 128 128 3072 96 72 36 10,83

5 32 64 64 3072 128 128 4096 128 96 48 14,84

6 32 СО 128 1536 256 256 2048 64 48 24 31,21

График зависимости времени работы t от количества потоков N

\

\

Количество процессов

График зависимости времени pa6oi размера задами x*y*i

i

\

s k

134М 67М 5QM ЗЗМ Размер реализации x'y't

А В

Рис.8. График зависимости времени работы t от количества потоков N (А) и

График зависимости времени работы t от размера задачи x*y*t (В) В качестве неоднородной распределенной вычислительной среды был использован вычислительный кластер, состоящий из 8 узлов. Кластер на базе процессоров Intel Хеоп. Неоднородность кластера определялась гетерогенностью

15

коммуникационной среды. Результаты тестирования и их трактовка представлены ниже в табл.2 и на рис.9.

Таблица 2. Эффективность распараллеливания программы под MPI. Обозначения те же, что в таблице 1.

Номер N Z, Z2 Р, Р2 I U

X У t X У t

1 8 64 64 1536 128 128 2048 256 192 96 9,04

2 16 64 64 1536 128 128 2048 128 96 48 4,71

3 32 64 64 1536 128 128 2048 64 48 24 2,90

4 32 64 64 2304 128 128 3072 96 72 36 4,30

5 32 64 64 3072 128 128 4096 128 96 48 6,50

6 32 128 128 1536 256 256 2048 64 48 24 12,70

График зависимости времени работы t от количества потоков N

10

\

" 7 V

6 \

\

~ 4

2 •

I

ь 1 8 Коли 16 jecTBo проц 32 гссов •■А

График зависимости времени работы to размера задачи x'y't

134М 67М 50М ЗЗМ Размер реализации x'y't

А В

Рис.9. График зависимости времени работы t от количества потоков N (А) и

График зависимости времени работы t от размера задачи x*y*t (В) Для сравнения скорости работы программ на MPI и OpenCL были выбраны устройства со схожими характеристиками и стоимостью. Программа на базе OpenCL тестировалась на видеокарте с 112 потоковыми процессорами с частотой 1,5 Ггц, позволяющая запускать около 10 тыс. потоков одновременно. Программа MPI тестировалась на 2-узловом кластере. Результаты сравнения представлены ниже в табл.3.

Таблица 3. Сравнение эффективности вариантов генерации волновой поверхности при помощи технологии OpenCL и MPI. N - количество частей, Z1 -размер реализации, Z2 — размер реализации вместе с участками разгона, Р1 -размер части, Р2 - размер части с разгоном, I - размер интервала, tOCL и tMPI -время работы программ.

Номер N Z, z2 Pi Рг I toCL-С с

X У t X У 1

1 6 32 32 768 64 64 1020 128 170 64 18.46 2,10

2 12 32 32 768 64 64 1020 64 85 32 15,29 1,52

3 24 32 32 768 64 64 1008 32 42 16 10.47 0,72

4 48 32 32 1536 64 64 1536 32 32 16 11.46 0,73

5 12 32 32 384 64 64 768 32 64 16 10.15 1,06

6 12 16 16 384 32 32 768 32 64 16 2,28 0,15

7 12 32 32 768 32 32 768 64 64 16 2 27 0,14

8 24 32 32 768 32 32 768 32 32 16 1,58 0,15

Несмотря на превосходство видеокарты по вычислительной мощности, алгоритм генерации временного ряда на MPI работает эффективнее алгоритма на видеокарте. OpenCL предоставляет весьма скудные средства синхронизации, даже с тонкой настройкой эффективно использовать все доступные потоки устройства проблематично. Преимуществом OpenCL можно было бы считать I использование единой памяти для расчетов и визуализации, но при большой нагрузке на устройство графические средства видеокарты отключаются, и картинка на экране останавливается (рис. 10).

Рис.10. Сгенерированное волнение Использование MPI дает выигрыш в производительности и максимальном размере реализации, но визуализация влечет за собой накладные расходы на пересылку данных устройству. OpenCL же при малом количестве данных позволяет отображать ход решения в реальном времени. Таким образом, использование того или иного подхода для моделирования волновой поверхности зависит от размера задачи и целей работы.

ЗАКЛЮЧЕНИЕ

Результаты проведенного исследования позволяют сделать следующие основные выводы:

1. Рассмотрены различные модели ветроволновой среды: модели для интервала квазистационарности, синоптической изменчивости, штормов и окон погоды. Реализована генерация волновой поверхности как компонента виртуального полигона на основе математической модели авторегрессии. Суперпозиция моделей разной временной изменчивости использована для построения сценариев волновой погоды в рамках виртуального полигона.

2. Построена иерархия приложений разной степени сложности в рамках виртуального полигона. В качестве промежуточного программного обеспечения для связи разнородных приложений использован инструментарий Sun Grid Engine. В качестве самих приложений рассмотрены программы, обеспечивающие препроцессинг, необходимый для подготовки волновых погодных сценариев (программный комплекс гидродинамического моделирования морского волнения в спектральной форме - WWIII совместно с хранением информации в БД), собственно процессинг (собственный программный комплекс генерации ветрового волнения) и постпроцессинг (визуализация результатов на базе пакета Gnuplot).

3. Созданный комплекс программ для моделирования волновой поверхности предоставляет гибкие средства настройки, контроля параметров реализации и визуальную проверку полученных результатов посредством диаграмм и трехмерного отображения волнения. Критические функции программ распараллелены, обеспечивая тем самым удовлетворительное время работы. Повышение эффективности работы программ генерации волновой поверхности достигается за счет применения различных интерфейсов параллельного программирования (MPI, OpenMP, OpenCL) при использовании различных/разнородных вычислительных средств (кластер, smp/многоядерная система, ускоритель на видеокарте) соответственно.

Таким образом, в настоящем исследовании предлагается новый путь создания элементов виртуального полигона, отвечающих за генерацию волновой поверхности в распределенной вычислительной среде. Материалы проведенного исследования могут быть использованы для воссоздания непрерывных реализаций морского волнения в составе виртуального полигона.

Опубликованные научные работы по теме диссертации в изданиях, определенных ВАК:

1. Дегтярев А.Б., Соэ Моэ Лвин, Ганкевич И.Г., Сравнение эффективности применения MPI и OPENCL для генерации волновой поверхности [Текст] // Морские Интеллектуальные Технологии, 2010, № 4. с. 10-13

и в других изданиях:

2. Богданов А.В., Дегтярев А.Б., Соэ Моэ Лвин. Проблемы создания комплекса многоуровневых приложений в распределенной среде [Текст] // Санкт-Петербург,

22-25 июня 2009 г. XVI Всероссийская научно-методическая конференция "Телематика'2009", с.427-428.

3. Соэ Моэ Лвин. Разработка элементов виртуального полигона для моделирования морской среды в распределенном компьютерном окружении [Текст] // Сборник докладов 5-я Общероссийская конференция молодых и специалистов по морским интеллектуальным технологиям «Моринтех-юниор 2009». Санкт-Петербург. 10-12 ноября 2009 г. с.85-87.

4. Alexander Bogdanov, Lu Мое Khaing, Soe Мое Lwin. Deployment the testbed for Grid products testing on the base of Sun Grid Engine [Текст] (Создание полигона для тестирования Grid-продуктов ,на базе Sun Grid Engine) // Proceedings of International Conference «Computer Science & Information Technologies», 28 September - 2 October, 2009, Yerevan, Armenia, pp.394-396.

5. Alexander B. Degtyarev, Soe Мое Lwin. Development of virtual polygon elements for marine environment modeling in a distributed computer system [Текст] (Разработка элементов виртуального полигона для моделирования морской среды в распределенной вычислительной системе) // ICCA2010 Proceeding of the 8th International Conference on Computer Application, March 4 th to 5th; Yangon; Myanmar, pp.251-258.

6. A.V. Bogdanov , A.B. Degtyarev , Soe Мое Lwin , Thurein Kyaw Lwin. Problems of Development of Complex Multi-layered Applications in Distributed Environment [Текст] (Проблемы создания комплекса разноуровневых приложений в распределенной вычислительной среде) // Distributed Computing and Grid-Technologies in Science and Education: Proceedings of the 4th Intern. Conf. (Dubna, June28-July 3,2010). -Dubna: JINR, -p.51-57

7. A.V. Bogdanov , Thurein Kyaw Lwin , A. Shuvalov , Soe Мое Lwin. Unconventional Use of Distributed Databases from Server Consolidation to Consolidation Resources [Текст] (Нестандартное использование распределенных баз данных с сервера консолидации к консолидации ресурсов) // Distributed Computing and Grid-Technologies in Science and Education: Proceedings of the 4th Intern. Conf. (Dubna, June28-July 3,2010). -Dubna: JINR, -p.75-81

Подписано в печать 21.04.11. Формат 60*84 1/16. Бумага офсетная. Печать офсетная. Печ. л. 1,0. Тираж 100 экз. Заказ 41

Отпечатано с готового оригинал-макета в типографии Издательства СПбГЭТУ "ЛЭТИ"

Издательство СПбГЭТУ "ЛЭТИ" 197376, С.-Петербург, ул. Проф. Попова, 5

ВВЕДЕНИЕ.

Глава 1. Особенности организации виртуального полигона.

1.1. Особенности математических моделей описания внешней морской среды и поведения морских объектов.

1.2. Особенности реализации разнородных математических моделей в многопроцессорной распределенной гетерогенной вычислительной среде.

1.3.Аналитический обзор.

1.4. Постановка задачи исследования.

1.5. Общая характеристика диссертационной работы.

Глава 2. Анализ технологий виртуального полигона.

2.1. Принципы обработки информации в многопроцессорной среде.

2.2. Архитектура и особенности функционирования виртуального полигона.

2.3. Виртуальный полигон как проблемно-ориентированная среда.

2.4. Принципы построения сценариев и оценки эффективности решений.

2.5. Проблемы и перспективы развития технологии проектирования виртуального полигона.

Глава 3. Анализ математических моделей ветро-волновой среды.

3.1. Математические модели для создания пространственно-временных реализаций морского волнения.

3.1.1. Линейные разложения стохастической движущейся поверхности по системе независимых случайных величин (модель Лонге-Хиггинса).

3.1.2. Инерционное преобразование белого шума (модель авторегрессии-скользящего среднего).

3.2. Гидродинамические математические модели эволюции волнения в океане

3.3. Математические модели волнения на интервале квазистационарности.

3.4. Математические модели штормов и окон погоды.

3.5. Математические модели сезонной изменчивости.

3.6. Создание волновых сценариев на основе вложенного набора математических моделей морского волнения.

3.7. Построение волновых сценариев, как задача виртуального полигона.

3.8. Планирование эксперимента при моделировании динамики объектов в виртуальном полигоне.

Глава 4. Компьютерная реализация математических моделей.

4.1. Разработка программного комплекса моделирования пространственно-временных реализаций морского волнения.

4.2. Создание распределенной (параллельной) версии программы моделирования волновых сценариев.

4.3. Тестирование программных комплексов в однородной вычислительной среде.

4.4. Тестирование программных комплексов в гетерогенных вычислительных средах.

4.5. Создание интегрированного пакета демонстрации работы виртуального полигона в распределенной вычислительной среде.

Совершенствование информационных и коммуникационных технологий, связанное с непрерывным расширением сферы их применения, оказывает существенное влияние на решение проблем создания новых наукоемких технологий и технологического перевооружения производства [2],[7]-[9],[16],[27],[107]. Системообразующими составляющими информационной и коммуникационной инфраструктуры являются вычислительные, информационные и телекоммуникационные ресурсы, интеграция которых осуществляется с помощью сетевых технологий. Современное состояние развития и внедрения информационных технологий в России характеризуется следующими особенностями:

• отсутствует системный подход к управлению развитием и внедрением многообразия информационных технологий как самостоятельной отраслью, приносящей доход за счет обеспечения эффективности создаваемых аппаратных и программных средств и систем и повышения конкурентоспособности предприятий внедряющих эти средства и системы в управленческие и технологические процессы;

• преобладает популяризация зарубежных средств и технологий без анализа фундаментальных основ их создания при слабой информированности об их возможностях, а также механизмах формирования и обеспечения их эффективного использования;

• ограничено число доступных информационных продуктов в наукоемких отраслях производства, связанных, прежде всего, с высокопроизводительными средствами вычислений и использованием сложных математических моделей.

В связи с этим выдвигается задача формулировки научного подхода к интеграции информационных технологий на базе высокопроизводительных вычислительных средств, создания концептуальных основ, обеспечивающих формирование, развитие и комплексное их применение. Необходимость интеграции информационных технологий возникла как в сфере непосредственного анализа сложных ситуаций, так и синтеза моделей для воспроизведения ситуаций при принятии управленческих решений. В настоящем исследовании эта интеграция конкретизируются как в направлении создания комплексных систем моделирования разнородных природных и техногенных процессов типа «виртуальный полигон», так и интеллектуальных систем реального времени мониторинга и управления сложными динамическими объектами.

Появление концепции «виртуального полигона» связано с необходимостью рассмотрения все более сложных моделей для исследования поведения динамических объектов, требующих применения высокопроизводительной вычислительной техники. В настоящее время применение такого рода вычислительных инструментов требует от исследователя большего знания особенностей современных вычислительных технологий. Во многом этот факт становится препятствием на пути их внедрения, и как следствие, причиной снижения эффективности исследований в различных предметных областях. Сильный разрыв между высоким уровнем «железа» и низким уровнем его применения привел к появлению новой концепции использования информационных технологий. Теперь пользователь ожидает от вычислительной техники не доступа к ресурсам, предоставления процессорного времени, оперативной памяти или средств хранения, а определенной услуги в рамках выполнения его предметного задания. Этот новый взгляд изменил также подход в области разработки программного обеспечения, перенеся упор на создание промежуточного программного обеспечения, отрывающего приложение пользователя от тех ресурсов, на которых оно выполняется. За последние 5 лет этот взгляд изменил и направление развития Grid технологий, введя понятие сервис ориентированного Grid.

В работе рассматриваются элементы виртуального полигона как сервисы для исследования морской среды. В качестве элементов морской среды рассматриваются ветер, волны и другие факторы. При этом основное внимание обращено на создание элементов виртуального полигона (сервисов), необходимых для моделирования поведения судна при интенсивных внешних возмущениях. Решение ведется на основе модели авторегрессии и функции распределения ординат морского волнения. Эта модель авторегрессии наиболее актуальна при реализации виртуального полигона моделирования поведения динамических объектов и в инструментальных средствах тестирования бортовых корабельных интеллектуальных систем реального времени.

При рассматривании элементов виртуального полигона для изучения сложных технических объектов требуется применение многих моделей, описывающих различные явления. Некоторые из них являются независимыми, а некоторые из них зависят друг от друга. В реальном времени моделирование всех процессов, влияющих на конечный результат сложных объектов поведения, не может быть организован на одном вычислительном узле только потому, что требует адекватного использования различных ресурсов компьютера, например (высокопроизводительное вычисление, обработка данных, визуализация и.т.д.). Если мы будем рассматривать виртуальный полигон как единое целое для морских операций - среда моделирования - мы получаем, что оно является комплексом многоуровневых приложений, что требует распределенной вычислительной среды. В этой работе представляется моделирование волновой поверхности в распределенном компьютерном окружении.

Технология генерации волн для математических и физических моделей быстро развивалась в течение последних двух десятилетий. Реальные ветровые волны являются нерегулярными и редко проявляют синусоидальный характер. В последние десятилетия были сделаны попытки для создания лабораторий с волнами, тесно приближенными к природным волновым процессам. Хотя реальные морские волны являются трехмерными, исследователи- обычно воспроизводят эти случайные волны как двумерный процесс, это связано с тем, что двумерное нерегулярное волнение чаще используется в теоретическом рассмотрении динамики судна. Тем не менее, они обеспечивают некоторое понимание сложностей трехмерного реального состояния- моря. Для воспроизводства морского волнения используют несколько математических моделей.

В настоящее время наиболее известной и хорошо изученной моделью авторегрессии, является представление в виде пространственно-временного поля, каждая точка которого является взвешенной суммой предыдущих по времени точек и белого шума (некоторой случайной переменной). Это называется авторегрессионной зависимостью.

Морское волнение, развивающееся на поверхности воды под воздействием ветра, весьма изменчиво в пространстве и* времени. Так как это сложный физический процесс, зачастую в задаче поиска ошибок, визуализация его в реальном времени оказывается эффективнее стандартных математических методов проверки. Также особо необходимо отметить важность этого процесса в задачах виртуального моделирования поведения морских объектов в условиях нерегулярного волнения и настройки базы знаний бортовых интеллектуальных систем. Такая визуализация возможна при достаточной скорости генерации волновой поверхности, обеспечивать поиск новых методов решения.

Такая задача генерации волновой поверхности является традиционной и учитывает работу этого приложения в составе более сложной программной структуры, называемой виртуальным полигоном. В этом случае, кроме задачи, описанной выше (модель авторегрессии), требуется выполнение также дополнительных требований, связанных с вычислительной эффективностью в распределенной вычислительной среде, балансировкой нагрузки, совместимостью вычислительных моделей, составляющих виртуальный полигон и пр.

В работе будут рассмотрен элемент моделирования морского волнения с точки зрения наиболее эффективного его функционирования в составе виртуального полигона для изучения динамики судна на волнении.

Выводы по четвертой главе

Комплекс программ для моделирования волновой поверхности предоставляет гибкие средства настройки, контроль параметров реализации и визуальную проверку полученных результатов посредством диаграмм и трехмерного отображения волнения.

Критические функции программ распараллелены, обеспечивая тем самым удовлетворительное время работы. Разнородные части задачи реализованы в отдельных программах, что обеспечивает простоту с одной стороны и легкость расширения с другой. В разработке используется программное обеспечение с открытым исходным кодом, это повышает надежность и упрощает внутреннее устройство приложений.

ЗАКЛЮЧЕНИЕ

В рамках настоящей работы создан и исследован компонент генерации ветрового волнения виртуального полигона динамики судна. Рассмотрены различные модели генерации ветрового волнения и методы встройки их в распределенную вычислительную среду. В качестве математической модели былы использованы модель Лонге-Хиггинса и Авторегрессии. Основными достоинствами этого класса моделей Лонге-Хиггинса несомненно являются их наглядность, относительная простота вычислительного алгоритма, аналитическое описание моделируемого поля, способность аппроксимировать поля любой размерности, а также тот факт, что такой подход в настоящий момент является исследованным наиболее полно. Подтвержден ряда серьезных недостатков модели, как то: достаточно слабая сходимость зависимости как по спектральным, так и по статистическим характеристикам, высокая вычислительная трудоемкость, а также - практическая периодичность, не позволяющая эффективно использовать их при моделировании нестационарных полей.

Авторегрессионная модель способна при минимальных вычислительных затратах моделировать эргодическую апериодическую реализацию случайного процесса, стохастичность которой ограничена лишь периодом генератора псевдослучайных чисел. Кроме того, модель пе использует свойства вероятностной сходимости к закону Гаусса, как первый класс моделей, что позволяет эффективно применять ее и к исследованию экстремальных событий, как в океанологии, так и в теории корабля. Линейное инерционное преобразование является одним из наиболее известных методов моделирования стационарных эргодических гауссовых случайных процессов по заданным корреляционным характеристикам. Основными достоинствами моделей рассмотренного класса, несомненно, являются их истинная стохастичность и периодичность, относительная простота вычислительного алгоритма, достаточно быстрая сходимость по спектральным характеристикам и изначальный отказ от использования свойства вероятностной сходимости.

Эти модели рассчитаны на представление исключительно стационарного гауссова поля. Применение ее к анализу более общих задач (например -эволюции волнения в шторме, исследование волнения, искажаемого мелководьем) сопряжено с существенными трудностями. При увеличении длины реализации требуется повышение количества используемых гармоник, которое достигает 1000-2000 для воссоздания больших реализаций при исследовании поведения судна.

Результаты проведенного исследования позволяют сделать следующие основные выводы:

1. Рассмотрены различные модели ветроволновой среды: модели для интервала квазистационарности, синоптической изменчивости, штормов и окон погоды. Реализована генерация волновой поверхности как компонента виртуального полигона на основе математической модели авторегрессии. Суперпозиция моделей разной временной изменчивости использована для построения сценариев волновой погоды в рамках виртуального полигона.

2. Построена иерархия приложений разной степени сложности в рамках виртуального полигона. В качестве промежуточного программного обеспечения для связи разнородных приложений использован инструментарий Sun Grid Engine. В качестве самих приложений рассмотрены программы, обеспечивающие препроцессинг, необходимый для подготовки волновых погодных сценариев (программный комплекс гидродинамического моделирования морского волнения в спектральной форме - WWIII совместно с хранением информации в БД), собственно процессинг (собственный программный комплекс генерации ветрового волнения) и постпроцессинг (визуализация результатов на базе пакета Gnuplot).

3. Созданный комплекс программ для моделирования волновой поверхности предоставляет гибкие средства настройки, контроля параметров реализации и визуальную проверку полученных результатов посредством диаграмм и трехмерного отображения волнения. Критические функции программ распараллелены, обеспечивая тем самым удовлетворительное время работы. Повышение эффективности работы программ генерации волновой поверхности достигается за счет применения различных интерфейсов параллельного программирования (MPI, OpenMP, OpenCL) при использовании различных/разнородных вычислительных средств (кластер, smp/многоядерная система, ускоритель на видеокарте) соответственно.

1. Аверкин А.Н., Батыршин А.Н., Блишун А.Ф., Силов В.Б., Тарасов В.Б. Нечеткие множества в моделях управления и искусственного интеллекта / Под ред. Д.А.Поспелова. - М.- Наука, 1986.

2. Александров B.JL, Матлах А.П., Нечаев Ю.И., Поляков В.И., Ростовцев Д.М. Интеллектуальные системы в морских исследованиях и технологиях. Санкт-Петербург. ГМТУ. 2001.

3. Анохин П.К. Системные механизмы высшей нервной деятельности. — М.Наука, 1979.

4. Беляев М.М., Рожков В. А., Трапезников Ю. А. Вероятностная модель колебаний уровня моря//Вероятностный анализ и моделирование океанологических процессов.-JI., 1984.-С. 24-30.

5. Богданов A.B., Дегтярев А.Б., Нечаев Ю.И. Проблемы создания виртуального полигона моделирования сложных динамических объектов // Сборник докладов на международной научной конференции «Суперкомпьютерные системы и их применение». Минск. 2004, с.31-37.

6. Богданов A.B., Дегтярев А.Б., Соэ Моэ Лвин Проблемы создания комплекса многоуровневых приложений в распределенной среде. Санкт-Петербург, 22-25 июня 2009 г. XVI Всероссийская научно-методическая конференция "Телематика'2009", С.427-428.

7. Бокс Дж., Дженкинс Г. Анализ временных рядов. М.: Мир, 1974

8. Бортовые интеллектуальные системы. Книга 2. Корабельные системы. М.: Радиотехника, 2006.

9. Бухановский A.B., Дегтярев А.Б., Лопатухин Л.И., Рожков В.А. Вероятностное моделирование волнового климата. //Физика атмосферы и океана, 1998, т.34, №2, с.261-266

10. Бухановский A.B., Дегтярев А.Б., Лопатухин Л.И., Рожков В.А. Климатические спектры ветрового волнения. //Судостроение, 1997, №4, с.14-18

11. Бухановский A.B., Дегтярев А.Б. Вероятностное моделирование полей штормового морского волнения. //Сб. трудов Международной конференции «Военно-морской флот и судостроение в современных условиях». С.Петербург, 1996, Том 2, А2-29, 10 с.

12. Бухановский A.B., Иванов C.B. Параллельная обработка данных в информационных управляющих системах. //Сб. докладов ВПК «Управление и информационные технологии» УИТ-2003, С.-Петербург, 2003, т.2, с.64-68

13. Вероятностные характеристики волнения, методы их анализа и расчета/И. Н. Давидан, В. А. Рожков, Б. М. Андреев и др.//Труды ГОИН.-1971.-Вып. 97.-189 с.

14. Ветер и волны в океанах и морях. Справочные данные. Регистр СССР/Ред. И.Н. Давидан, Л.И. Лопатухин. В.А. Рожков. 1974, Л. «Транспорт», 359с

15. Воеводин В.В. Решение больших задач в распределенных вычислительных средах // Автоматика и телемеханика.2007.№5,с.32 -45

16. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. — Санкт-Петербург: БХВ-Петербург, 2004. 608 с.

17. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. Санкт-Петербург. Питер, 2000.

18. Герасимов Б.М., Глуцкий В.И., Рабчун A.A. Система поддержки принятия решений в АСУ реального времени // Искусственный интеллект.№3. 2000, с.39-47.

19. Городецкий В.И. Многоагентные системы: современное состояние исследований и перспективы применения // Новости искусственного интеллекта. 1996. №1,с.44-59.

20. Горский В.Г., Адлер Ю.П., Талалай A.M. Планирование промышленных экспериментов. М.: Металлургия. 1978.

21. Гудрий В.Д., Колобов Н.В. Флуктуации циклонических процессов в Северном полушарии Земли.-Казань: Изд-во Казанского ун-та, 1984.-164с.

22. Давидан И.Н., Лопатухин Л.И., Рожков В.А. Ветровое волнение в Мировом океане.-Л.: Гидрометеоиздат, 1985.-256 с.

23. Дегтярев А.Б. Концепция создания бортовых интеллектуальных комплексов на базе суперкомпьютерных технологий // Сборник докладов 4-й международной конференции «Моринтех-2001». Санкт-Петербург.200i.tom 1, с.285-291.

24. Дегтярев А.Б., Соэ Моэ Лвин, Ганкевич И.Г., Сравнение эффективности применения MPI и OPENCL для генерации волновой поверхности II Морские Интеллектуальные Технологии. 2010. № 4. С. 10—13

25. Залесский.2000.т.2,с.693-702.

26. Евгеньев Г.Б. Интеграция прикладных систем на основе баз знаний // Программные продукты и системы. №3. 2005, с.42 46.

27. Еремеев А.П., Куриленко И.Е. Реализация временных рассуждений для интеллектуальных систем поддержки принятия решений реального времени // Программные продукты и системы. №2. 2005, с.8 16.

28. Жегуло O.A. Представление знаний о методах распараллеливания в экспертной систем поддержки распараллеливаиия программ // Искусственный интеллект. №3. 2001, с.323 —330.

29. Зб.Золотовский В.Е. Система структурного моделирования // Искусственный интеллект. №3, 2003, с.227-238.37.3убакин Г.К. Крупномасштабная изменчивость состояния ледяного покрова морей Северо-Европейского бассейна.-Л.: Гидрометеоиздат, 1987.-160 с.

30. Ивакин Я. А. Введение в проблему компьютерной интерпретации прикладных формализуемых теорий // Информационно-управляющие системы. № 1.2003, с.26-31.

31. Ивахненко А.Г. Непрерывность и дискретность. Переборные методы кластеризации и моделирования.-Киев.бНаукова Думка, 1990.

32. Иванов C.B., Колыхматов И.И., Бухановский A.B. Параллельные алгоритмы модели-рования комплексных сетей // Известия высших учебны х заведений. Приборостроение. №10. 2008, с. 5 — 12.

33. Исаев A.A. Статистика в метеорологии и климатологии,-М., МГУ,. 1988.245 с.

34. Кастнер С., Нечаев Ю.И., Дегтярев А.Б. Планирование измерительного эксперимента в интеллектуальных системах реального времени // Тр. Международной конференции по мягким вычислениям и измерениями SCM-2001. Санкт-Петербург.2000.т.2,с.69-74.

35. Карпов A.B. Информационные конфликты в автоматизированных системах // Программные продукты и системы. №3. 2004, с.22-26.

36. Кашьян P.JL, Pao А.Р. Построение динамических стохастических моделей по экспериментальным данным.-М.: Наука, 1983.-384 с.

37. Кельтон В. Д., Jloy А. М. Имитационное моделирование. Классика CS. 3-е изд. СПб.: Питер, 2004. - 848 с.

38. Кендалл М. Дж., Стюарт А. Многомерный статистический анализ и временные ряды. — М.: Мир, 1976.

39. Ким Дж. и др. Факторный, дискриминантный и кластерный анализ. М., Финансы и статистика, 1989.

40. Коваль В.Н., Яковлев Ю.С. О проблеме интеллектуализации интегрированных систем информационной поддержки решения задач в области СВТ // Искусственный интелеллект. №3. 2000. Донецк, с.60 — 71

41. Колесников A.A. Проблемы системного синтеза: тенденции развития и синергетический подход // Сборник докладов Всероссийской научной конференции «Управление и информационные технологии». Санкт-Петербург. 2003. Т.1, с.5-12.

42. Корчанов В.М., Бобрович В.Ю., Кобзев В.В. Корабельные тренажеры // Морская радиоэлектроника. №2(8). 2004, с.40 44.

43. Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь, 1982.

44. Кошинский С.Д. Режимные характеристики сильных ветров на морях Советского Союза. JI. : Гидрометеоиздат, 1975. стр. 803.

45. Крутских Б.А. Основные закономерности изменчивости режима морей в естественных гидрологических периодах.-JI.: Гидрометеоиздат, 1978.-91 с.

46. Крюков В.В., Майоров B.C., Шахгельдян К.И. Алгоритм баланса нагрузки для обеспечения режима реального времени в распределенной системе сбора и обработки данных // Информационные технологии. №7. 2004, с.11-17.

47. Крылов Ю.М., Стрекалов С.С., Цыплухин В.Ф. и др. Спектральный метод расчета волнового режима и его использование в гидротехническом строительстве, 1969.

48. Куприянов A.A., Емельянов A.A. Механизмы и средства поддержки человеко-компьютерного взаимодействия в среде интегрированных комплексов средств автоматизации // Морская радиоэлектроника. №2(8). 2004, с.30-34.

49. Лавренов И.В. Математическое моделирование ветрового волнения в пространственно-неоднородном океане. Санкт-Петербург: Гидрометеоиздат, 1998.

50. Лаппо С.С. Среднемасштабные динамические процессы океана, возбуждаемые атмосферой. М.: Наука, 1979.18 с.

51. Лонге-Хиггинс М.С. Статистический анализ случайной движущейся поверхности. Ветровые волны. М.: Изд-во иностр. лит., 1962. С. 112-230.

52. Лопатухин Л.И. Ветровое волнение. Санкт-Петербург, СПбГУ, 2004.

53. Лопатухин Л.И., Бухановский A.B., Рожков В. А., Дегтярев А.Б., Климатические спектры ветрового волнения. //Труды И Международной конференции по судостроению ISC'98, 1998, том.В, с.375-382

54. Лоскутов А.Ю., Михайлов A.C. Введение в синергетику. — Москва: Наука, 1990.

55. Майника Э. Алгоритмы оптимизации на сетях и графах. М.Мир.1981

56. Малинецкий Г. Г. Хаос, структура, вычислительный эксперимент. -Москва: Наука, 1997.

57. Мелихов А.Н., Бернштейн Л.С., Коровин С.Я. Ситуационные советующие системы с нечеткой логикой. — М.: Наука, 1990.

58. Месарович М., Такахара Я. Общая теория систем: математические основы. М. Мир, 1978.

59. Методы расчета спектра волн/ И.Н. Давидан, Ю.В. Олюнин, В.А. Рожков, Ю.А. Трапезников.- Обнинск, 1977.- 98 с.

60. Моисеев H.H. Численные методы в теории оптимальных систем. — М.: Наука. 1971.

61. Моисеев H.H. Алгоритмы развития. -М.: Наука, 1987.

62. Назаров A.B., Якимов В.Л. Прогноз параметров технического состояния многорежимных объектов // Применение нейрокомпьютеров в ракетно-космической технике. Книга 21. М.: Радиотехника. 2006, с.64 — 68.

63. Нечаев Ю.И., Согомонян C.B. Экспертная система контроля и прогноза параметров морского волнения // Океанологические информационные системы, базы и банки данных и знаний: Сб.тр./ Севастополь. 1993. С.93-95.

64. Нечаев Ю.И., Горбачев Ю.Е. Реализация сложных интеллектуальных комплексов на базе современных суперкомпьютеров // Труды Международной конференции "Интеллектуальные многопроцессорные системы". Тагнанрог.1999,с.78-85.

65. Нечаев Ю.И. Искусственный интеллект: концепции и приложения.-СПб.ГМТУ.2002.

66. Нечаев Ю.И. Нейросетевые технологии в интеллектуальных системах реального времени // Тр.4-й всероссийской конференции «Нейроинформатика 2002». М.: 2002. Лекции по нейроинформатике. Часть 1,с. 114-163.

67. Нечаев Ю.И., Тихонов Д.Г. Нейросетевой алгоритм идентификации и прогноза параметров внешней среды в интеллектуальных системах реального времени // Сб. научн. тр. 4-й всероссийской конференции «Нейроинформатика 2002». Часть 2.,с.98

68. Нечаев Ю.И. Математическое моделирование в бортовых интеллектуальных системах реального времени // Труды 5-й всероссийской научно-технической конференции «Нейроинформатика -2003». Лекции по нейроинформатике. Часть 2, с.119-179.

69. Нечаев Ю.И., Бухановский A.B., Иванов С.А. Виртуальное моделирование динамики судна на морском волнении в интеллектуальных тренажерах //Искусственный интеллект. №3. 2004, с 350-359.

70. Нечаев Ю.И., Анищенко О.П. Моделирование и визуализация экстремальных ситуаций // Информационно-измерительные иуправляющие системы. Бортовые интеллектуальные системы. Корабельные системы. №9. Т.4. 2006, с.39 48.

71. Нечаев Ю.И., Калюжный Д.А. Контроль и визуализация динамических сцен при посадке летательных аппаратов морского базирования // Сборник докладов Международной конференции по мягким вычислениям и измерениям 8СМ-2006. Санкт-Петербург. 2006. т.2, с.54 -57.

72. Обработка нечеткой информации в системах принятия решений. М.: Радио и связь, 1989.

73. Орловский С. А. Проблемы принятия решений при нечеткой исходной информации. М.: Наука, 1981.83.0ртега Дж. Введение в параллельные и векторные методы решения линейных систем. М. : Мир, 1991.

74. Пападимитриу X., Стайглиц Л. Комбинаторная оптимизация: алгоритмы и сложность. М.: Мир. 1985.

75. Пирсон В.ДЖ . Ветровые волны.-в сБ.: Ветровые волны., М., ИЛ, 1962, с. 42-124.

76. Пойа Дж. Математика и правдоподобные рассуждения. Наука, 1975.

77. Постон Т., Стюарт И. Теория катастроф и ее приложение. — М.: Мир, 1980.

78. Проблемы исследования и математического моделирования ветрового волнения / Ред. Давидан И.Н. Санкт-Петербург, Гидрометеоиздат, 1995.

79. Рожков В. А., Трапезников Ю. А. Вероятностные модели океанологических процессов. Л.: Гидрометеоиздат, 1990.

80. Рожков В. А. Методы вероятностного анализа океанологических процессов.-Л.: Гидрометеоиздат, 1979.-280 с.

81. Рожков В.А. Теория вероятностей случайных событий, величин и функций с гидрометеорологическими примерами. СПб, Прогресс-Погода, 1996, т. 2 —560 с.

82. Руководство по морским гидрологическим прогнозам, Гидрометеоиздат, Санкт-Петерубрг, 1994.

83. Рыбина Г.В. Интегрированные экспертные системы: подходы и принципы глубинной интеграции компонентов // Искусственный интеллект. 2000. №3,с.89-96.

84. Саати Т. Принятие решений. Метод анализа иерархий. — М.: Радио и связь, 1993.

85. Силич В.А., Силич М.П. Метод объектного моделирования для проектирования сложных систем // Автоматизация и современные технологии. №4. 2003, с. 14-21.

86. Синоптические вихри в океане/Под ред. Б.А. Нелепо.—Киев:Наукова думка, 1980—288 с.

87. Справочник по теории корабля. В 3-х томах. — Л.: Судостроение, 1985.

88. Справочные данные по режиму ветра и волнения Баренцева, Охотского и Каспийского А^орей. СПб., Изд. Российский морской регистр судоходства, 2003.

89. Степанов A.A. Интеллектуальное моделирование в виртуальных средах // Труды 6-й национальной конференции по искусственному интеллекту с международным участием КИИ-98. Пущино. 1998. Т.2.С.558-563.

90. Таратухин В.В. Интеграция систем имитационного моделирования и экспертных систем в САПР // Тр. 6-й Национальной конференции по искусственному интеллекту с международным участием КИИ-98. Пущино. 1998 .т.2,с.461 -465.

91. ЮЗ.Уидроу Б., Стириз С. Адаптивная обработка сигналов. — М.: Радио и связь, 1989.

92. Уоссермен Ф. Нейрокомпьютерная техника. — М.: Мир, 1992.

93. Федоров В.В. Теория оптимального эксперимента. М.: Наука, 1971.

94. Химмельблау Д. Анализ процессов статистическими методами. — М. : Мир, 1973.

95. Царегородцев A.B., Мухин И.Н. Синтез развивающихся информационно-управляющих систем // Автоматизация и современные технологии.2005. №3, с.22-26.

96. Ширяев В.И. Управление динамическими системами в условиях неопределенности // Искусственный интеллект. №3. 2003, с.224 -231.

97. Эйкхофф П. Основы идентификации систем управления. М.: Мир, 1975.

98. Alexander B. Degtyarev, Soe Мое Lwin Development of virtual polygon elements for marine environment modeling in a distributed computer system //

99. CA2010 Proceeding of the 8th International Conference on Computer Application, March 4 th to 5th; Yangon; Myanmar, pp.251-258.

100. APAC National Grid http: // grid.apac.edu.au/.

101. Application of Mixed MPI / OpenMP Programming in a Multi SMP Cluster Computer. SmykA., Tudruj M. 2002, Lecture Notes in Computer Science, Vol. 2328, p. 288.

102. Asai K., Sugeno M., Terano T. «Applied fuzzy system», Academic Press, New York, 1994.

103. Balci O. Validation, verification and testing techniques throughout the life cycle of a simulation study. Annals of Operation Research, 1994.

104. Boehm B.W. A spiral model of software development and enhancement // ACM SIGSOFT Software Engineering Notes. Vol.11. No 4, 1986.

105. Bogdanov A.V., Boukhanovsky A.B. Advanced High Performance Algorithms for Data Processing. LNCS 3036, Springer-Verlag, (2004), pp.239-246.

106. Bogdanov A., Degtyarev A.,Nechaev Yu. Fuzzy logic basis in high performance decision support systems // Proceedings of International conference «Computational Science-ICCS 2001». San Francisco. CA.USA. Part. 1 .Springer.2001 ,p.p.965-975.

107. Bogdanov A.V., Degtyarev A,B., Nechaev Yu.I. Parallel algorithms for virtual testbed // Proceedings of International conference CSIT-2005. Yerevan. Armenia.2005, p.p.393-403.

108. Bogdanov A.V., Degtyarev A.B., Soe Moe Lwin , Thurein Kyaw Lwin Problems of Development of Complex Multi-layered Applications in Distributed Environment// Distributed Computing and Grid-Technologies in

109. Science and Education: Proceedings of the 4th Intern. Conf. (Dubna, June28-July 3, 2010). -Dubna: JINR, -p.51-57

110. Boukhanovsky A., Degtyarev A., Lopatoukhin L., Rozhkov V. Stable states of wave climate: applications for risk estimation. //Proceedings of the International conference STAB'2000, Launceston, Tasmania, Australia, 2000, vol.2, pp.831-846

111. Boukhanovsky A.V. Multivariate stochastic models of metocean fields: computational aspects and applications. Lecture Notes in Computer Science, Vol. 2329, 2002, p.p. 216-225.

112. Boukhanovsky A.V., Bogdanov A.V. High performance parallel algorithms for data processing // Lecture Notes in Computer Sciences. 2004. Vol. 3036, p.p. 239-246.

113. Buckley W.H. Design wave climates for the world wide operations of ships —

114. O Publications. October 1993.

115. Dennis J.B., Misunas D.P. A preliminary architecture for basic data flow processor // Proc. of 2nd Annual Int. Symp. On Computer Architecture. New York. ACM. 1975. p.p. 126-132.

116. Forristall G. Z. On the statistical distribution of wave heighte in a storm//J. Geophys. Res.—1978,—Vol. 83.—P. 2353—2358.

117. Foster I. Designing and Building Parallel Programs — Addison-Wesley, 1995.

118. Foster I., Kesselman. C. The Grid: Blueprint for a New Computing Infrastructure. Morgan-Kaufman, 1999.

119. Foster I., Kesselman. C. The Grid2: Blueprint for a New Computing Infrastructure (Second edition).— Morgan-Kaufman, 2004.

120. Foster, I., Kesselman, C, Tuecke, S. The Anatomy of the Grid // Enabling Scalable Virtual Organizations. http://www.globus.org/alliance/publications/papers/anatomy.pdf.

121. Foster I. What is the Grid. A three point checklist. GridToday / July 22, 2002: vol. 1 no. 6 http://www.gridtoday.com/02/0722/100136.html.

122. GridSAM http://gridsam.sourceforge.net/2.0.1/index.html.

123. Groppen V.O. Smart computing principles. Models and algorithms // Proceedings of the fifth conference on evolutionary methods of design, optimization and control with applications to industrial and social problems. Spain. Barselona. 2003, p.p.133 134.

124. Hasselmann K., et al., Measurements of wind-wave growth and swell decay during the Joint North Sea Wave Project (JONSWAP) // Dtsch. Hydrogr. Z., 8(12) (Suppl. A). 1973, p.p.1-95.

125. Huang N. E., Long S. R. An experimental study of the surface elevation probability distribution and statistics of wind-generated waves//J. Fluid.Mech,—1980—Vol. 101.—P. 179—200.

126. Huang N. E., Long S. R., Chi-Chao Tung a. o. A non-gaussian statistical model for surface elevation of nonlinear random wave fie!ds//J. Geophys. Res.—1983.—Vol. C-88, N 12.—P. 7597—7606.

127. Jang S., WuX, Taylor V., Mehta G., Vahi K., Deelman E., Using Performance Prediction to Allocate Grid Resources. Technical Report 2004-25, GriPhyN Project, USA.

128. Jia Yu, Rajkumar Buyya. A Taxonomy of Workflow Management Systems for Grid Computing http://www.gridbus.org/papers/WorkflowTaxonomy-JoG.pdf.

129. John E. Cazes, Tim Campbell, Erick Rogers. OpenMP Parallel Implementation of SWAN. s.l. : Navo MSRC Navigator, 2001. Vol. 13.

130. Kleijnen J.P.C. Validation of models: statistical techniques and data availability, 1999.

131. Lopatoukhin L.J., Rozhkov V.A., Ryabinin V.E., Swail V., Boukhanovsky A.V., Degtyarev A.B. Estimation of extreme wind wave heights. WMO/TD-N 1041,2001

132. Lopatoukhin L., Rozhkov V., Boukhanovsky A., Degtyarev A., Sas'kov K., Athanassoulis G., Stefanakos Ch, Krogstad H. The spectral wave climate in the Barents Sea. //Proceedings of the conference OMAE"2002, OMAE2002-28397, Oslo, Norway, 2002

133. Maggs B.M., Matheson L.R., Tarjan R.E. Models of Parallel Computation: A Survey and Synthesis. Proceedings of the 28th Hawaii International Conference on System Sciences (HICSS), 1995.

134. Makoto Matsumoto, Takuji Nishimura Dynamic Creation of Pseudorandom Generators.

135. Matena V., Stearns B. Applying Enterprise JavaBeans: Component-Based Development for the J2EE Platform. 6.m. : Prentice Hall, 2000 464 p.

136. NorduGrid http://www.nordugrid.org/.

137. OASIS. Reference Model for Service Oriented Architecture, www.oasis-open.org/committees/download.php/19679/soa-rm-cs.pdf.

138. Open Grid Forum: http://www.ogf.org/.

139. Open Middleware Infrastructure Institute UK http://www.omii.ac.uk/.

140. Open Science Grid http://www.opensciencegrid.org/.

141. Parallel Grid Run-time and Application Developer Environment http://www. lpds. sztaki. hu/pgportal/.

142. Pareto V. Cours d'Economie politique. Lausanne: Houge, 1989.

143. Partch H. Steinbruggen R. Program transformation systems // ACM Computer Survey. 1993. V. 15. №3, p.p. 199 -236.

144. Pastor-Satorras R., Vespignani A. Epidemic spreading in scale-free networks. Phys. Rev. Lett. 86, 2001.

145. PBS Grid Works http://www.pbsgridworks.com/.

146. Podlozhnyuk V. Parallel Mersenne Twister, 2007

147. Pyle D. Data preparation for Data Mining // Modern Kaufmann Publishers. 1999.

148. REST Eye for the SOA Guy. S., Vinoski. IEEE Internet Computing, T. 11, N 1.2007, pp. 82-84.

149. Saarinen J., Kaski K., Viitanen J. F parallel multiprocessor system for Monte Carlo simulation in statistical physics // Rev. Sci. Instrum. 60 (1989).No.9, p.p.2981 -2991.

150. Sargent R.G. Verifying and validating simulation models // Proceedings of the 1996 Winter Simulation Conference, 1996.

151. Saaty T.L. A sealing method for priorities in hierarchical structures // J. Match. Psychology. 1977. Vol. 15. №3.

152. Smyk A., Tudruj M. Application of Mixed MPI/OpenMP Programming in a Multi SMP Cluster Computer. Lecture Notes in Computer Science, Vol. 2328. 2002.

153. Stockinger H. Defining the Grid — a snapshot of the current view // Journal of Supercomputing. —Springer Science+Business Media, 2007.

154. Talbi E. Parallel Combinatorial Optimization (Wiley Series on Parallel and Distributed Computing) // Wiley-Interscience, 2006.

155. Talia D. Где GRID встречается с Web // Открытые системы. №1. 2003, c.47-48.

156. Wagner G. Foundations of knowledge systems — with applications to databases and agents, -1998 // http //www.inf,fu-berlin,de/wagnerg/ks.html

157. Wooldridge M, Jennings N. Intelligent agents: Theory and practice // The knowledge Engineering Review, —1995.№10(2).p.p.l 15-152.

158. Zadeh L.A. Fuzzy logic, neural networks and soft computing //Commutation on the ASM-1994. Vol.37. №3, p.p.77-84.