автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.15, диссертация на тему:Разработка сетевой кластерной системы с динамическим распределением ресурсов для SPMD-задач и ее исследование при моделировании точечных вихрей

ВВЕДЕНИЕ.

1. ОБЗОР СОВРЕМЕННЫХ СЕТЕВЫХ КЛАСТЕРНЫХ СИСТЕМ И МЕТОДОВ МОДЕЛИРОВАНИЯ ТОЧЕЧНЫХ ВИХРЕЙ.

1.1. Обзор сетевых кластерных систем.

1.1.1. Классификация кластерного программного обеспечения.

1.1.2. Коммуникационные библиотеки.

1.1.3. Сетевые кластерные системы для пакетной обработки заданий

1.1.4. Параллельные языки программирования для сетевых кластеров.

1.1.5. Средства автоматизации создания параллельных программ.

1.1.6. Операционные системы для сетевых кластерных систем.

1.1.7. Обобщенная характеристика сетевых кластерных систем.

1.2. Обзор современных сетевых технологий.

1.3. Проблема моделирования вихревой динамики с помощью точечных вихрей.

1.3.1. Постановка проблемы.

1.3.2. Методы расчета вихревой динамики.

1.4. Выводы.

2. РАЗРАБОТКА АРХИТЕКТУРЫ СЕТЕВОЙ КЛАСТЕРНОЙ СИСТЕМЫ.

2.1. Разработка структуры сетевой кластерной системы.

2.1.1. Обоснование выбора структуры сетевой кластерной системы

2.1.2. Общая структура сетевой кластерной системы.

2.2. Обоснование выбора коммуникационной библиотеки.

2.3. Разработка структуры задачи.

2.4. Разработка графового представления конфигурации задачи.

2 .5. Разработка способов динамического распределения ресурсов.

2.5.1. Сравнение статического и динамического распределения ресурсов.

2.5.2. Разработка способа динамического планирования ресурсов сетевого кластера.

2.6. Разработка языка запросов системы - командного языка.

2.7. Разработка способов защиты сетевой кластерной системы.

2.8. Разработка интерфейса сетевой кластерной системы с прикладными программами.

2.9. Выводы.

3. ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ РАЗРАБОТАННОЙ СИСТЕМЫ НА ПРИМЕРЕ МОДЕЛИРОВАНИЯ ТОЧЕЧНЫХ ВИХРЕЙ

3.1. Параллельный алгоритм расчета динамики точечных вихрей.

3.1.1. Основная расчетная формула моделирования, соотношения для проверки корректности вычислений.

3.1.2. Поиск подходящего метода решения системы дифференциальных уравнений.

3.1.3. Структура параллельного алгоритма.

3.2. Исследование производительности сетевой кластерной системы с использованием параллельного алгоритма расчета динамики точечных вихрей.

3.3. Оценка эффективности алгоритма.

3.3.1. Оценка количества точечных вихрей, при котором параллельный алгоритм эффективнее последовательного.

3.3.2. Оценка оптимального по времени счета для N вихрей количества машин.

3.3.3. Оценка коэффициента ускорения от применения параллелизма.

3.3.4. Оценка оптимального по времени счета количества машин для метода Рунге-Кутта 4-го порядка. Общий случай.

3.3.5. Оценка оптимального по времени счета количества машин для связанных по данным задач.

3.4. Исследование методов повышения производительности параллельной программы.

3.4.1. Метод свертки кластеров точечных вихрей.

3.4.2. Применение масштабирования модельного времени по значениям интенсивности вихрей.

3.4.3. Оптимизация сетевых обменов.

3.5. Исследование влияния подсистемы безопасности на производительность сетевой кластерной системы.

3.6. Выводы.

4. ВИРТУАЛЬНАЯ МАШИНА С ДИНАМИЧЕСКИМ РАСПРЕДЕЛЕНИЕМ РЕСУРСОВ.

4.1. Особенности функционирования виртуальной машины.

4.2. Интерфейс прикладного программиста.

4.3. Сравнение DRDVMи сетевой кластерной системы на базе MPI

4.4. Выводы.

Актуальность. Параллельные высокопроизводительные суперкомпьютерные системы (ПВСС) широко используются для решения фундаментальных научных и практических задач, требующих большого количества вычислений при ограничении на время исполнения. К задачам такого типа относятся, например, задачи из области ядерной физики, построения тренажеров и виртуальной реальности, аэро- и гидродинамики, в т.ч. связанные с моделированием турбулентности и вихревых явлений типа торнадо и смерчей.

ПВСС дороги и труднодоступны. Альтернативой ПВСС являются сетевые кластерные системы (СКС) или сетевые кластеры (CK) -совокупность машин, объединенных сетью и имеющих общее управление. СКС сравнительно недороги, относительно просты в построении и при достаточном количестве задействованных машин обеспечивают производительность, сопоставимую с ПВСС. Так, СКС Avalon (1998, JIoc-Аламосская национальная лаборатория, США) состоял из 68 процессоров, связанных сетью стандарта Fast Ethernet, и при стоимости в 313 тыс. долларов обеспечивал производительность порядка 47.7 ГФлопс. Стоимость аналогичной по производительности 64-процессорной системы SGI Origin2000/195MHz на тот момент превышала 1 млн. долларов.

Для реализации общего управления СКС требуют кластерного программного обеспечения (КПО), например: MPI, PVM, mpC, Linda, Т-system, Condor. КПО определяет архитектурные особенности СКС, как мощного вычислительного комплекса (под архитектурой здесь понимается организация СКС с точки зрения пользователя). Операционная система (ОС), на базе которой функционирует КПО, является несущей ОС СКС.

Большинство СКС базируется на SPMD-технологии (Single Program -Multiple Data, одна программа - множественные данные). Идея SPMD в том, чтобы поделить большой массив информации между одинаковыми процессами, которые будут вести обработку своей части данных. В 5 большинстве случаев существующие подходы не позволяют наглядно описать схему распределения информации перед началом вычислений и сбора информации после ее обработки, схему взаимодействия между частями SPMD-задачи в процессе ее работы. Кроме того, в современных СКС затруднительна параметризация параллельной программы для варьирования числа SPMD-процессов и структуры параллельной программы в зависимости от потребностей решаемой задачи.

Ряд СКС позволяет задать структуру задачи в наглядном виде информационно-управляющих графов (HeNCE, Code), однако они ориентированы только на несущую ОС Unix и используют специализированный язык.

Большинство СКС ориентировано на статическое расположение частей задачи по машинам. В то же время, динамика в организации параллельных вычислений позволяет оптимизировать использование системных ресурсов, обеспечивает высокий уровень надежности и виртуально бесконечные ресурсы на обладающей конечными возможностями аппаратуре, дополнительную безопасность в сети. СКС (PVM, Т-система), обладающие поддержкой динамического распределения ресурсов кластера, не позволяют описывать структуру задачи в явном виде, кроме того, для них нет подробного описания заложенных принципов планирования задач.

Ориентация подавляющего числа СКС на Unix-совместимые ОС при широком распространении ОС на базе Win32 заметно ограничивает сферу их применения.

Часто на прикладные программы для СКС накладываются ограничения, т.к. они должны быть реализованы либо с использованием специализированные языков (HeNCE, Code), либо модификаций Си (C-DVM, шрС) или Фортрана (DVM-Fortran). Это создает препятствия для интеграции, повторного использования, адаптации под кластер программ, реализованных с использованием отличных от штатных средств разработки. 6

В известных СКС уделяется мало внимания вопросам безопасности виртуальной машины в сети, многопользовательского доступа к ресурсам кластера. Как правило, в них отсутствует возможность идентификации и аутентификации пользователей кластера, отслеживания запущенных ими задач и затребованных ресурсов. В имеющейся документации на СКС почти не описаны механизмы защиты распределенных систем от несанкционированного доступа. В то же время отсутствие механизмов безопасности затрудняет доступ широкой пользовательской аудитории к мощным вычислительным ресурсам, его приходится лимитировать путем выделения кластера в отдельную подсеть, к машинам которой физически допускается только строго определенный круг пользователей.

Следовательно, актуальна разработка СКС с динамическим распределением ресурсов, поддерживающей наглядное представление БРМО-задач в виде графов информационно-управляющих воздействий, многозадачный и многопользовательский режимы работы, обеспечивающей безопасность в сети, независимый от средства разработки программ интерфейс с прикладными программами, работающей под Win32.

Исследование созданной СКС необходимо провести на важной задаче гидро-аэродинамики - моделировании динамики точечных вихрей (ТВ), т.к. в настоящее время остаются во многом нерешенными актуальные проблемы гидро-аэродинамики, связанные с динамическим взаимодействием и коллапсом в больших ансамблях локализованных вихрей. В частности, коллапс вихрей может оказаться тем механизмом, который отвечает за образование как крупных атмосферный вихрей - циклонов и антициклонов, так и мезомасштабных вихрей типа торнадо и смерчей. Изучение динамики локализованных вихрей ведется с использованием модели ТВ. Такая модель оказывается тем ближе к реальным атмосферным явлениям, чем большее число ТВ участвует в ансамбле.

Из-за высокой трудоемкости расчетов на данный момент исследованы коллапс и устойчивость сравнительно небольших систем ТВ (порядка нескольких сотен). Созданная в данной работе СКС значительно уменьшает время счета и ее применении может способствовать решению отмеченных проблем вихревой динамики, т.к. появилась возможность исследования динамики тысяч (и более) вихрей при разумных временных затратах.

Объект исследования.

Архитектура СКС и реализующее ее КПО, прикладное программное обеспечение для решения важной задачи моделирования динамики ТВ.

Цель и задачи работы.

Целью настоящей диссертационной работы является разработка СКС для организации параллельных вычислений в сети с динамическим распределением ресурсов для представленных в виде графа 8РМО-задач и ее исследование при моделировании вихревой динамики.

Поставленная цель достигается на основе решения следующих задач:

1. Выполнить критический анализ современных СКС, выявить их преимущества и недостатки.

2. Разработать архитектуру СКС с поддержкой динамического распределения ресурсов кластера.

3. Разработать методы и средства графового представления задач в СКС на основе современных сетевых технологий и архитектурных особенностей кластера.

4. Разработать не зависящий от реализации программ интерфейс взаимодействия между прикладными программами и СКС, базирующийся на разработанной архитектуре с использованием динамических библиотек Win32.

5. Разработать параллельный алгоритм (ПА) численного моделирования динамики точечных вихрей с адаптацией к реализованной СКС и выполнить оценки его сложности и эффективности.

6. Выполнить оценки сложности и эффективности ПА для метода Рунге-Кутта 4-го порядка и связанных по данным задач.

7. Исследовать созданную СКС применительно к моделированию вихревой динамики.

Основные научные результаты работы :

1. Разработана архитектура СКС, отличающаяся от известных систем сочетанием динамического распределения ресурсов кластера, многозадачного и многопользовательского режимов работы, графового представления прикладной задачи, защиты от вторжения по сети извне, независимого от реализации программы интерфейса с системой.

2. Разработаны способы динамического распределения ресурсов СКС.

3. Предложен ПА моделирования динамики ТВ, адаптированный под разработанную СКС.

4. Предложены методы свертки кластеров (устойчивых ансамблей) вихрей и масштабирования модельного времени по значениям интенсивностей вихрей.

5. Разработаны формулы для теоретической оценки оптимального по времени счета количества машин кластера для моделирования вихрей в зависимости от их числа.

6. Разработаны формулы для оценки оптимального по времени счета количества машин для метода Рунге-Кутта 4-го порядка и связанных по данным задач.

Основные положения, выносимые на защиту:

1. Архитектура СКС, основанная на динамике при распределении ресурсов машин кластера, графовом представлении задач и ЭРМБ-технологиях.

2. Способы динамического распределения ресурсов СКС.

3. ПА моделирования динамики ТВ.

4. Методы свертки кластеров вихрей и масштабирования модельного времени по значениям интенсивностей вихрей. 9

5. Формулы для оценки сложности и эффективности ПА моделирования динамики ТВ, а также ПА решения систем дифференциальных уравнений методом Рунге-Кутта и связанных по данным задач.

6. Результаты исследования производительности созданной СКС.

Практическая ценность

Практическую ценность работы представляют:

1. СКС, позволяющая объединять вычислительные ресурсы сетевых станций в одну виртуальную многопроцессорную машину для решения трудоемких задач. Особенности СКС дают возможность достигнуть высокой наглядности представления многопроцессорных задач, доступности широкой пользовательской аудитории, защиты от вторжений по сети извне, эффективной загруженности машин кластера за счет динамики в распределении его ресурсов

2. Средства динамического распределения ресурсов СКС, позволяющие эффективно использовать вычислительные ресурсы кластера.

3. Средства описания задачи, позволяющие наглядно представлять ее структуру в виде графа информационных и управляющих воздействий и базирующиеся на архитектуре СКС.

4. ПА моделирования динамики ТВ, дающий возможность получить близкий к линейному рост производительности с увеличение числа машин для большого количества вихрей;

5. Методы свертки кластеров вихрей и масштабирования модельного времени по значениям интенсивностей вихрей, повышающие производительности алгоритма.

6. Оценки сложности и эффективности полученного ПА моделирования динамики ТВ, ПА решения систем дифференциальных уравнений методом Рунге-Кутта и связанных по данным задач, дающие возможность задействовать машины кластера наилучшим образом.

10

Методы проведения исследований.

При выполнении настоящей работы использовались элементы теории графов, теории вычислительных систем, теории параллельных процессов, математической логики, имитационного моделирования, теории механики жидкости и газа, математический аппарат дифференциального и интегрального исчислений.

Апробация результатов работы.

Результаты работы докладывались и обсуждались на научно-технических конференциях: Всероссийская научно-техническая конференция «Новые информационные технологии в научных исследованиях и в образовании», Рязань, 2000 г; XXXVIII Международная научная студенческая конференция «Студент и научно-технический прогресс», Новосибирск, 2000 г; Всероссийская научная конференция «Высокопроизводительные вычисления и их приложения», Черноголовка,

2000 г.; 2-й региональный научно-практический семинар «Информационная безопасность - Юг России», Таганрог, 2000 г.; V Всероссийская научная конференция студентов и аспирантов «Техническая кибернетика, s радиоэлектроника и системы управления», Таганрог, 2000 г.; Международная научно-практическая конференция «Компьютерные технологии в науке, производстве, социальных и экономических процессах», Новочеркасск, 2000 г.; 6th International conference «Parallel Computing Technologies», Novosibirsk, 2001; Третья Всероссийская молодежная школа «Суперкомпьютерные вычислительно - информационные технологии в физических и химических исследованиях», Черноголовка, 2001 г.; Международная конференция «Интеллектуальные и многопроцессорные системы», Таганрог - Донецк,

2001 г.; VI Всероссийская научная конференция студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления», Таганрог, 2002 г. По итогам работы выпущено 12 публикаций [98-109].

Результаты работы использованы при проведении НИР «Исследование новых принципов защиты информации в параллельных системах и сетях Internet/Intranet», при выполнении проектов РФФИ №01-07-90211, 02-0706087 «Разработка системного программного обеспечения параллельных

11 вычислительных систем на основе сетевых Internet-Intranet кластеров для решения задач моделирования распространения примесей и динамики интенсивных атмосферных вихрей» и №01-05-64300 (совместно с Институтом физики атмосферы им. A.M. Обухова РАН) «Теоретическое и лабораторное моделирование торнадоподобных вихрей», а также в учебном процессе в курсе «Параллельное программирование», что подтверждено соответствующими актами об использовании.

Достоверность полученных в диссертации результатов подтверждается разработкой действующей СКС с предложенными архитектурными особенностями, осуществляющей поддержку функционирования SPMD-задач с динамическим распределением ресурсов кластера; а также параллельной программы, реализующей алгоритм численного моделирования динамики ансамблей ТВ на основе системы команд созданной СКС.

Состав и структура диссертационной работы.

Материал основной части диссертационной работы изложен на 138 страницах машинописного текста. Диссертация состоит из введения, четырех разделов, заключения, списка литературы из 122 наименований, 36 иллюстраций, 15 таблиц и 3 приложений.

4.4. Выводы

1. Дано описание созданной при работе по грантам №01-07-90211, 02-07-06087 СКС - DRDVM, что дает возможность представить принципы внутреннего устройства конкретной реализации СКС.

2. Для разработки SPMD-программ в систему команд СКС внесены команды определения номера SPMD-подзадачи и общего числа подзадач, что упрощает программирование SPMD-задач.

3. Приведены результаты сравнения MPI и DRDVM, показывающие высокую эффективность разработанной системы, находящейся по производительности на уровне наиболее быстрых СКС.

137

Заключение

Основными научными результатами диссертации являются:

- предложенная на основании анализа существующих СКС архитектура СК, обеспечивающая одновременно динамическое распределение ресурсов для БРМО-задач, наглядное представление задач в виде графа информационно-управляющих воздействий, многопользовательскую и многозадачную работу, защиту от НСД, что делает созданную СКС высокоэффективной и доступной для широкой аудитории пользователей. Архитектура включает в себя:

1. Динамическое планирование ресурсов в СКС, позволяющее эффективно задействовать машины кластера.

2. Язык представления задачи в виде графа информационноуправляющих воздействий, дающий возможность наглядно описать схему взаимодействия частей задачи.

3. Защиту от НСД, делающую систему устойчивой к атакам по сети и позволяющую использовать ее в общей локальной сети, расширяя круг пользователей системы.

4. Система команд и интерфейс с прикладными программами, позволяющие создавать программы на любом известном средстве программирования под \Vin32, поддерживающем работу с динамическими библиотеками.

- ПА моделирования динамики ТВ, адаптированный под созданную СКС и позволяющий добиться практически линейного ускорения счета с добавлением в кластер новых машин.

- Оценки оптимального по времени счета количества машин кластера в зависимости от числа ТВ, а также оптимального количества машин для общего случай метода Рунге-Кутта 4-го порядка и для класса связанных по данным задач, что дает возможность задействовать ресурсы СКС наиболее эффективным образом как для частной задачи моделирования вихревой

138 динамики, так и для широкого круга задач математической физики.

- Предложенные методы свертки кластеров ТВ, масштабирования модельного времени по значениям интенсивностей вихрей, существенно повышающие производительности ПА моделирования динамики ТВ.

Проведенные исследования показали высокую эффективность созданной СКС для решения задачи моделирования вихревой динамики. Высокий коэффициент ускорения позволяет получать картины взаимодействия различных конфигураций ансамблей ТВ в достаточно сжатые сроки и с большей точностью, что крайне важно для исследований в области вихревой динамики.

Очевидным является тот факт, что сфера применения разработанной СКС выходит далеко за пределы задачи моделирования ТВ и СК может быть использован для решения широкого круга как подобных, так и не связанных с методами расчета динамики ТВ задач.

Практические результаты диссертационной работы заключаются в следующем.

- На основании предложенной архитектуры разработана СКС на базе Win32, получившая название: виртуальная машина с динамическим распределением ресурсов (DRDVM);

- На базе системы команд DRDVM создана параллельная программа для высокопроизводительного моделирования динамики ТВ, использующая методы свертки кластеров ТВ и масштабирования модельного времени по значениям интенсивностей ТВ для повышения производительности.

Разработка DRDVM проводилась в рамках работы над проектами РФФИ № 01-07-90211, 02-07-06087, 01-05-64300, а также г/б НИР «Исследование новых принципов защиты информации в параллельных системах и сетях Internet/Intranet».

Результаты диссертационной работы используются в учебном процессе в курсе «Параллельное программирование».

1. Корнеев В.В. Параллельные вычислительные системы. - М.: «Нолидж», 1999.-320 с.

2. MPI 1.1 Standard Documentation. -http://dsg.dei.uc.pt/wmpi/docs/api/index.htm

3. MPI-2: Extensions to the Message-Passing Interface. -http://parallel.ru/docs/Parallel/mpi2/mpi2-report.html

4. Win32 Message Passing Interface. http://dsg.dei.uc.pt/wmpi/intro.html

5. MPI для начинающих. http://www.csa.ru:81/41/mpitutor.

6. Воеводин Вл. В. Технологии параллельного программирования. Message Passing Interface (MPI). http://parallel.ru/vw/mpi.html.

7. Geist A., Beguelin A., Dongarra J., Jiang W., Manchek R. and Sunderam V PVM: Parallel Virtual Machine. A User's Guide and Tutorial for Networked Parallel Computing. Cambridge: The MIT Press.

8. Евсеев И. Использование PVM. Введение в программирование. -http ://www.csa.ru: 8 l/~il/pvmtutor

9. Parallel Virtual Machine. http://www.netlib.org/pvm3/book

10. PVM Man Pages. http://www.csm.ornl.gov/pvm/manpages.html

11. HP-PVM. http://www.parasys.co.uk/

12. Distributed object application development: The Java-CORBA solution. -http://www.Developer.com/news/techfocus/030998dist3.html

13. Орфали P., Харки Д., Эдварде Д. Основы Corba: Пер. с англ. М.: МАЛИП, Горячая линия - Телеком, 1999. - 318 с.

14. CORBA Common Object Request Broker. - www.corba.ru

15. Модель COM/DCOM.-http://rusdoc.ru/material/lang/other/activex/comdcom.shtml

16. Компонентная модель объектов. http://cppclub.newmail.ru/article03.html

17. Кэнту М. Delphi 4 для профессионалов. СПб: Питер, 1999. 120 с.

18. PHOSPHOROUS: Shared Variables on Top of PVM.http ://www-inf. enst.fr/~demeure/phosphorus/phosphorus. html140

19. Software in the Field of Supercomputing. -http://www.tu-chemnitz.de/iirz/a^

20. Demeure I., Cabrera-Dantart R. and Meunier P. Phosphorus: A Distributed Shared Memory System on Top of PVM. In Proceedings of EUROMICRO'95, pp. 269-273, Sept. 1995.

21. Quarks A Simple, Yet Efficient DSM System. -http ://www.cs .utah. edu/flux/quarks .html

22. Khandekar D. Quarks: Distributed shared memory as a basic building block for complex parallel and distributed systems. Technical Report Master Thesis, University of Utah, March 1996.

23. The ThreadMarks Distributed Shared Memory (DSM) System. -http ://www.cs rice.edu/~willy/TreadMarks/overview.html

24. Amza C., Cox A.L., Dwarkadas S., Keleher P., Lu H., Rajamony R., Yu W. and Zwaenepoel W. TreadMarks: Shared Memory Computing on Networks of Workstations, IEEE Computer, Vol. 29, No. 2, pp. 18-28, February 1996.

25. Lu H., Dwarkadas S., Cox A.L. and Zwaenepoel W. Quantifying the Performance Differences between PVM and TreadMarks, Journal of Parallel and Distributed Computation, Vol. 43, No. 2, pp. 65-78, June 1997.

26. Bershad B., Zekauskas M., Sawdon W. The Midway distributed shared memory system. In COMPCON '93, pp. 528-537, Feb. 1993.

27. Carter J., Bennett J. and Zwaenepoel W. Techniques for reducing consistency-related communication in distributed shared memory systems. ACM Transactions on Computer Systems, 13(3):205~243, Aug. 1995.

28. Chase J., Amador F., Lazowska E., Levy H. and Littlefield R. The Amber system: Parallel programming on a network of multiprocessors. In Proceedings of the 12th ACM Symposium on Operating Systems Principles, pages 147-158, Dec. 1989.

29. Keleher P., Cox A. L. and Zwaenepoel W. Lazy consistency for software distributed shared memory. Proceedings of the 19th Annual International Symposium on Computer Architecture, pp. 13-21, 1992.141

30. Наиболее распространенные коммуникационные технологии. -http://parallel.ru/computers/interconnects .html

31. The Condor project homepage. http://www.cs.wisc.edu/condor

32. Checkpointing and Migration of UNIX Processes in the Condor Distributed Processing System, Dr Dobbs Journal, February 1995.

33. Litzkow M., Livny M. and Mutka M. W. Condor A Hunter of Idle Workstations, Proceedings of the 8th International Conference of Distributed Computing Systems, pp. 104-111, June, 1988.

34. CONNECT:Queue For UNIX Scheduling. -http://www.eng.vt.edu/eng/computer/connectq.html

35. DQS-Distributed Queuing System. http://www.scri.fsu.edu/~pasko/dqs.html

36. LSF Load Sharing Facility. - http://wwwinfo.cern.ch/pdp/lsf/

37. LSF Programmer's Guide. http://wwwinfo.cern.ch/pdp/lsi7doc/program.pdf

38. Batch Differences: NQE/NQS vs. LoadLeveler. -http://hpcf.nersc.gov/runningJobs/ibm/lldiff.html

39. NQS Help Page. http://umbc7.umbc.edu/nqs/nqsmain.html

40. Portable Batch System. http://www.openpbs.org/

41. Corbatto M. An introduction to PORTABLE BATCH SYSTEM (PBS). -http ://hpc. sissa.it/pbs/pbs .html

42. Официальная страница стандарта OpenMP. http://www.openmp.org

43. Что такое OpenMP? http://parallel.ru/tech/techdev/openmp.html

44. Воеводин Вл. В. Технология параллельного программирования OpenMP. http://parallel.ru/vw/lec6.html

45. Курсовая работа по функциональному программированию «Адаптация системы параллельных вычислений T-System к компьютерной сети МГИУ». www.cs.msiu.ru/projects/kurs/2000/6311fp/t-system/

46. Т-система система автоматического динамического распараллеливания программ.http://glade.nmd.msu.ru/grace/papers/blackhead-slides/s03.ru.html

47. Т-система. http://www.ctc.msiu.ru/program/t-system/diploma/node21 .html142

48. Воеводин Вл. В. Система параллельного программирования Linda. -http ://parallel.ru/vw/lec7 .html

49. Linda group. http://www.cs.yale.edu/Linda/linda.html

50. Ластовецкий A.JI. Программирование параллельных вычислений на неоднородных сетях компьютеров на языке трС. -http://parallel.ru/tech/mpc/mpC-rus.htm

51. The трС Parallel Programming Environment. http://www.ispras.ru/~mpc/

52. Arapov D., Kalinov A., Lastovetsky A. and Ledovskih I. A Language Approach to High Performance Computing on Heterogeneous Networks, Parallel and Distributed Computing Practices, 2(3), 2000, pp.87-96.

53. Чефранов А.Г. Параллельное программирование: Учебное пособие. -Таганрог: ТРТУ, 2000. 111 с.

54. Прангишвили Й.В., Виленкин С .Я., Медведев И.Л. Параллельные вычислительные системы с общим управлением. М.: Энергоатомиздат, 1983.-312 с.

55. Distributed Virtual Machine, Distributed Virtual Memory. -http://www.keldysh.ru/pages/dvm

56. Денисов B.E., Ильяков B.H., Ковалева H.B., Крюков В.А. Отладка эффективности DVM-программ. Препринт ИПМ им. М.В.Келдыша РАН №74, 1998.

57. Коновалов Н.А., Крюков В.А. DVM-система разработки параллельных программ //В кн.: Высокопроизводительные вычисления и их приложения: Труды Всероссийской научной конференции (30 октября -2 ноября 2000 г., г. Черноголовка). М.: МГУ, 2000, с. 33.143

58. Коновалов Н.А., Крюков В.А., Сазанов Ю.Л. C-DVM язык разработки мобильных параллельных программ // Программирование N 1, 1999.

59. Коновалов Н.А., Крюков В.А., Михайлов С.Н., Погребцов А.А. Fortran DVM язык разработки мобильных параллельных программ // Программирование 1995, N 1.

60. The CODE Visual Parallel Programming System. -http://www.cs.utexas.edu/users/code

61. Vokkarne R. Distributed Execution Environments for the CODE 2.0 Parallel Programming System //Thesis, Dept. of Computer Sciences, Univ. of Texas at Austin, 1995.

62. Newton P. and Browne J.C. The CODE 2.0 Graphical Parallel Programming Language //Proc. ACM Int. Conf. on Supercomputing, July, 1992.

63. Hwang K. Advanced Computer Architecture: Parallelism, Scalability, Programmability, 1993, McGraw-Hill International Editions. 770 p.

64. HeNCE (Heterogeneous Network Computing Environment). -http://www.netlib.org/hence/index.html

65. Beguelin A., Dongarra J. J., Geist G. A., Manchek R. and Sunderam V. S. Graphical development tools for network-based concurrent supercomputing. In Proceedings of Supercomputing 91, pp. 435-444, Albuquerque, 1991

66. Browne J. C., Hyder S. I., Dongarra J., Moore K. and Newton P. Visual Programming and Debugging for Parallel Computing //IEEE Parallel and Distributed Technology, Spring 1995, Volume 3, Number 1, 1995.

67. Khalidi Y.A., Bernabeu J.M., Matena V., Shirriff K. and Thadani M. Solaris MC: A Multi-Computer OS, 1995.

68. Browne J. C., Hyder S. I., Dongarra J., Moore K. and Newton P. Visual Programming and Debugging for Parallel Computing Technical Report TR94-229, Dept. of Computer Sciences, Univ. of Texas at Austin, 1994. 36 p.

69. Newton P. Visual Programming and Parallel Computing Delivered at Workshop on Environments and Tools for Parallel Scientific Computing, Walland, TN, May 26-27, 1994. 10 p.

70. Ламб Г. Гидродинамика. М.: Л.: ОГИЗ, 1947, 928 с.

71. Богомолов В.А. Динамика завихренности на сфере//Изв. АН СССР. ФАО. 1977, Т.17, №6, с. 57-65.

72. Stewart H.J. Periodic properties of the semi-permanent atmospheric pressure systems//Quart. Appl. Math. 1943, V.l, p.262.

73. Обухов A.M. К вопросу о геострофическом ветре//Изв. АН СССР. Сер. Геофиз. 1949, Т. 8, №4, с. 281-306.

74. Zabusky N.J. and МсWilliams J.C. A modulated point-vortex model for geostrophic, (3-plane dynamics//Phys. Fluid. 1982, V. 25, № 12, p. 2175-2182

75. Charney J.G. Numerical experiment in atmospheric hydrodynamics//Proc. Symposia in Appl. Math. 1963, V.l5, p. 289-310.

76. Гряник B.M, Динамика локализованных вихревых возмущений -«вихревых зарядов» в бароклинной жидкости//Изв. АН СССР. ФАО. 1983, т. 9, №5, с. 467-475.

77. Aref Н. On the motion of three vortices//Phys. Fluid. 1979, v.23, №3, p. 393400.

78. Новиков E.A., Седов Ю.Б. Коллапс вихрей//ЖЭТФ, 1979, Т.77, №2, с. 558-567.

79. Седов Ю.Б. Коллапс вихрей на сфере//Изв. АН СССР. ФАО, 1980, т. 16, №10, с. 1102-1105.

80. Добрицын А.А., Седов Ю.Б. К вопросу о коллапсе геострофических вихрей//Изв. АН СССР, ФАО, Т. 23, №11, 1987.

81. Добрицын А.А., Седов Ю.Б. Коллапс системы локализованных вихрей. М.: Препринт ИФА АН СССР, 1986,10 с.

82. Zabusky N.J., Hughes М.Н. and Roberts K.V. Contour dynamics for Euler equations in two dimensions//! Comput. Phys. 1979, V.30, №1, p.96-106.

83. Белоцерковский C.M., Ништ М.И. Отрывное и безотрывное обтекание тонких крыльев идеальной жидкостью. М.: Наука, 1978, 352 с.145

84. Галлиуллин А.С. Методы решения обратных задач динамики. М.: Наука. Главная редакция физико-математической литературы, 1986. -224 с.

85. Oct-Trees. http://www.npac.syr.edu/copywrite/pcw/node279.html

86. Barnes J. and Hut P. A hierarchical 0(NlogN) force-calculation algorithm. Nature, 324:446,1986.

87. Salmon J. K., Warren M. S. and Winckelmans G. S. Fast parallel treecodes for gravitational and fluid dynamical N-body problems. Intl. J. Supercomputer Appl., 8:129-142,1994.

88. Salmon J. K. and Warren M. S. Skeletons from the treecode closet. J. Сотр. Phys., 111:136-155,1994.

89. Warren M. S. and Salmon J. K. Astrophysical N-body simulations using hierarchical tree data structures. In Supercomputing '92, pages 570-576, Los Alamitos, 1992. IEEE Сотр. Soc.

90. Pentium Pro Inside: I. A Treecode at 430 Gigaflops on ASCI Red, II. Price/Performance of $50/Mflop on Loki and Hyglac. -http://www.supercomp.org/sc97/proceedings/BELL/WARREN/INDEX.HTM

91. ASCI Red The World's First TeraOps Supercomputer.-http ://www. sandia. gov/ASCI/Red/

92. Microsoft Developer Network Library. http://msdn.microsoft.com/library/

93. Танаев А. Программирование сокетов. http://wist.ifmo.ru/info/index.html

94. Чефранов А.Г., Троценко Р.В., Беспалов П.А. Параллельные вычисления на сетевых кластерах с помощью технологии CORBA. Таганрог: ТРТУ, 2000. -18 с.146

95. Чефранов А.Г., Троценко Р.В., Беспалов П.А. Параллельные вычисления на сетевых кластерах с помощью технологии DCOM. Таганрог: ТРТУ, 2002. - 25 с.

96. Троценко Р.В. К вопросу о многомашинных вычислительных системах -Новые информационные технологии в научных исследованиях и в образовании. Тезисы докладов. Р.: РГА, 2000. - С. 59.

97. Троценко Р.В. Об эффективности каналов связи многомашинных сетевых комплексов XXXVIII Международная научная студенческая конференция «Студент и научно-технический прогресс». Тезисы докладов. - Новосибирск 10-14 апреля 2000 г.

98. Троценко Р.В. Чефранов А.Г. Диспетчеризация задач и интерфейс с прикладными программами в сетевой кластерной операционной системе /ТРТУ Таганрог, 2002. - 14 с. ДЕП в ВИНИТИ 01.11.2002, №1881-В2002.148

99. Троценко P.B. Чефранов А.Г. Высокопроизводительный параллельный алгоритм расчета динамики точечных вихрей /ТРТУ Таганрог, 2002. -22 с. ДЕП в ВИНИТИ 01.11.2002, №Ш2-В2002.

100. Зегжда Д.П., Ивашко A.M. Основы безопасности информационных систем. М.: Горячая линия - Телеком, 2000. - 452 с.

101. Колонцов В. Безопасность ТСРЯР. -http://security.tsu.ru/info/misc/tcp/tcpsec.html

102. Саломаа А. Криптография с открытым ключом: Пер. с англ. М.: Мир, 1995.-318 с.

103. Семенов Г. Не только шифрование, или Обзор криптотехнологий. -http://www.jetinfo.rU/2001/3/2/article2.3.2001.html

104. Жельников В. Криптография от папируса до компьютера.

105. Баричев С. Криптографии без секретов. -http://athena.wsu.ru/docs/science/crypt/barichev/crypto.htm

106. Годунов С.К., Рябенький B.C. Разностные схемы. М.: Наука, 1973. -400 с.

107. Дьяконов В.П. Справочник по расчетам на микрокалькуляторах. М.: Наука, 1989. - 464 с.

108. Бахвалов Н.С., Жидков Н.П. Кобельков Г.М. Численные методы. М.: Наука, 1987.-600 с.

109. Олифер В.Г., Олифер H.A. Компьютерные сети. Принципы, технологии, протоколы. СПб: Изд-во «Питер», 1999. - 672 с.

110. Блэк Ю. Сети ЭВМ: протоколы, стандарты, интерфейсы: Пер. с англ. -М.: Мир, 1990.

111. Кузьминский М., Мускатин A. Fast Ethernet в кластерах Beowulf// Открытые системы. 2001. - №7-8. - С. 17-22.

112. Евреинов Э.В. Однородные вычислительные системы, структуры и среды. М: Радио и связь, 1981. - 208 с.^«УТВЕРЖДАЮ»ор по учебной работе

113. Таганрогского государственного радиотехнического университета

114. Ш^уУ' Каркищенко А.Н. : 2002 г.1. АКТоб использовании в учебном процессе результатов кандидатской диссертации Троценко Р.В.

115. Разработка сетевой кластерной системы с динамическим распределением ресурсов для 8РМВ-задач и ее исследование при моделировании точечных вихрей»

116. Настоящим подтверждается использование в учебном процессе научных и практических результатов диссертационной работы Троценко Р.В., полученных в области параллельных вычислений на сетевых кластерах:

117. Архитектура сетевой кластерной системы с динамическим распределением ресурсов.

118. Высокопроизводительный параллельный алгоритм моделирования динамики точечных вихрей.

119. Методы свертывания кластеров вихрей и масштабирования модели но значениям интенсивностей вихрей для повышения производительности параллельного алгоритма.

120. Результаты использованы при подготовке студентов кафедры математического обеспечения и применения ЭВМ факультета автоматики и вычислительной техники в курсе «Параллельное программирование».

121. Декан факультета автоматики и вычислительной техники,д.т.н., профессор1. Вишняков Ю.М.

122. Разработка сетевой кластерной системы с динамическим распределением ресурсов для SPMD-задач и ее исследование при моделировании точечных вихрей»

123. Параллельный алгоритм моделирования ансамблей точечных вихрей, обеспечивающий практически линейный рост производительности при большом количестве моделируемых вихрей.

124. Формулы для теоретической оценки оптимального по времени счета количества машин сетевого кластера для моделирования в зависимости от числа вихрей.

125. Методы свертки кластеров вихрей и масштабирования модельного времени по значениям интенсивностей вихрей.