автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Параллельные алгоритмы решения краевых задач на МВС с распределенной памятью

Наименование раздела Стр.

Введение.

Глава 1. Проблема решения на МВС одномерных краевых задач для уравнений 2-го порядка.

1.1. Постановки краевых задач и их разностные аппроксимации.

1.1.1. Постановки краевых задач.

1.1.2. Разностные задачи.

1.1.3. Система алгебраических уравнений.

1.2. Базовый алгоритм распараллеливания.

1.3. Эффективность базового алгоритма при расчетах на МВС.

Глава 2. Решение с помощью МВС многомерных краевых задач для параболических уравнений.

2.1. Постановка модельной краевой задачи.

2.2. Методы численного решения уравнения теплопроводности.

2.3. Параллельные алгоритмы численного решения на МВС уравнения теплопроводности.

2.3.1. Параллельные алгоритмы реализации явной схемы.

2.3.2. Параллельные алгоритмы реализации неявной J10C.

2.3.3. Параллельные алгоритмы реализации схемы двуциклического расщепления.

2.4. Результаты тестовых расчетов.

Глава 3. Моделирование на МВС течения в недорасширенной струе.

3.1. Применение МВС для расчета течения в недорасширенной струе с использованием явной схемы.

3.1.1. Квазигазодинамические уравнения.

3.1.2. КГДуравнения в г-2 геометрии и постановка задачи

3.1.3. Реализация алгоритма на МВС.

3.2. Неявный метод для КГД-уравнений и его параллельная реализация.

3.2.1. Линеаризация квазигазодинамической системы уравнений.

3.2.2. Схема Бима - Уорминга для решения стационарных задач.

3.2.3. Граничные условия.

3.2.4. Способы параллельной реализации.

3.3. Результаты расчетов.

3.3.1. Параметры течения на срезе сопла.

3.3.2. Сравнение с экспериментом.

3.3.3. Результаты тестирования многопроцессорных систем на задаче расчета течения в недорасширенной струе.

Прогресс вычислительной техники способствует успешному решению сложных фундаментальных и прикладных задач во многих отраслях науки, технологии и производства. Наиболее сильно эта тенденция проявляется в области высоких технологий, применяемых в аэрокосмической, автомобильной, химической и электронной промышленности, а также в энергетике и медицине. При этом важнейшим фактором эффективного использования современной высокопроизводительной многопроцессорной вычислительной техники являются методы математического моделирования, ориентированные на ее использование. В связи с этим одной из задач современной фундаментальной и прикладной науки стало обеспечение высоких темпов роста в области создания нового и развития традиционного аппарата математического моделирования и информационных технологий в целом, рассматривающих МВС как основной инструмент для вычислений.

В данной работе рассматриваются некоторые аспекты развития методов математического моделирования, связанный с применением массивно-параллельных многопроцессорных вычислительных систем (МВС) с распределенной памятью для решения современных задач механики сплошной среды. В работе изучаются практически все основные этапы решения прикладной задачи (выбор математической модели, построение ее дискретного аналога, разработка численного метода и параллельного алгоритма его реализации на конкретной МВС) с целью получения максимальной отдачи от компьютерного моделирования на МВС. В качестве объекта исследования выбраны методы численного решения с помощью МВС краевых задач для обыкновенного дифференциального уравнения 2-го порядка общего вида, трехмерного уравнения теплопроводности, а также практическая задача о моделировании струй, истекающих в область низкого давления. Основные усилия в работе сосредоточены на проблемах решения систем сеточных уравнений, возникающих при разностной аппроксимации дифференциальных уравнений. Эти проблемы традиционно считаются ключевыми в вычислительной математике, поскольку построение эффективного численного, а в данном случае еще и параллельного алгоритма решения систем сеточных уравнений в значительной мере определяет возможность успешной реализации всего алгоритма решения сложной задачи на многопроцессорной системе.

Целями диссертации являлись разработка и сравнительный анализ параллельных алгоритмов и эффективно переносимых программ, позволяющих моделировать процессы теплопереноса и динамики вязкого газа на многопроцессорных вычислительных системах с распределенной памятью, а также распространение полученных теоретических и практических результатов на решение систем уравнений механики сплошной среды общего вида.

Выбор в качестве практической задачи расчета струйных течений связан со следующим. Достигнутый в настоящее время прогресс в области вычислительной техники позволяет проводить расчеты на подробных пространственных сетках, содержащих миллионы и даже миллиарды узлов. Классическими проблемами, для которых такие расчеты всегда играли важную роль, являются аэрокосмические исследования, задачи физики плазмы. Газодинамические расчеты также относятся к данному классу задач, и получили широкое распространение в метеорологии, автомобильной промышленности (создание аэродинамически оптимальных корпусов современных автомобилей и численное моделирование физических процессов внутри двигателей внутреннего сгорания), экологии (исследование распространения загрязнений в атмосфере) и многих других областях современных наукоемких технологий [45,25]. Практическая необходимость постоянно повышать достоверность результатов численного моделирования в этих областях науки и техники требует проведения расчетов со все более высокой точностью, то есть на более подробных сетках. Использование же таких сеток требует во многих случаях пересмотра традиционных численных подходов и создания новых эффективных численных методов, изначально ориентированных на использования мощных МВС с большим числом процессоров. Задача о струях удачно вписывается в контекст этой проблемы. В ней прослеживается не только вся цепочка известной триады математического моделирования (модель - алгоритм -программа) [1], но и дополнительное звено - МВС. К тому же, для этой задачи имеются многочисленные экспериментальные данные, позволяющие оценить качество модельных расчетов. С другой стороны, среди полученных численных результатов обнаружились и новые детали, не доступные для измерения в натурных экспериментах.

Рассмотрим теперь несколько общих аспектов применения МВС. Многопроцессорная вычислительная техника берет свое начало с создания в 1985 году фирмой INMOS (Великобритания) микроэлектронного прибора, названного транспьютер [35,37], и предназначенного для использования в качестве вычислительного элемента в параллельных архитектурах. Это открыло новые возможности в области повышения производительности самой вычислительной техники, а также в области повышения эффективности методов вычислительной математики. Появлению транспьютера предшествовала разработка фирмой INMOS в сотрудничестве с Оксфордским университетом языка параллельного программирования высокого уровня Оккам (Occam) [38] для описания модели взаимодействующих последовательных процессов. Транспьютер разрабатывался для реализации этой модели, и в нем имелась аппаратная поддержка основных конструкций языка Оккам, что в свою очередь позволяло выполнять программы на этом языке с эффективностью Ассемблера [39]. Для реализации численного алгоритма на транспьютерной системе необходимо было выбрать принцип распараллеливания, задать физическую конфигурацию системы, создать описание программ для отдельных процессоров, написать команды обмена информацией для каждого транспьютерного линка [36,40,41].

В настоящее время параллельные системы создаются на базе мощных процессоров [88] с производительностью порядка 2GFLOPS (1GFLOPS=109 floating point instructions per second) [34] и выше. При этом физическая конфигурация системы уже не имеет определяющего значения, поскольку пользователь может писать программу на любом языке программирования, используя для обменов информацией ту или иную библиотеку программ [7,33], установленную на данной МВС.

Адаптация известных численных алгоритмов к вычислениям на МВС остается пока актуальной задачей. Основной причиной такой ситуации была быстрая смена архитектур МВС. В настоящее время системы разделяют по различным признакам: по типам потока команд и потока данных, способам обработки данных, по строению памяти и типу коммуникационной сети, степени однородности компонент системы, степени согласования режимов работы устройств и т.д. [2,32]. Попытки систематизации множества архитектур начались после опубликования М.Флинном [31] первого варианта классификации вычислительных систем в конце 60-х годов. Классификация Флинна по типу потока команд и данных делит все параллельные системы на четыре класса:

• SISD (одиночный поток команд - одиночный поток данных),

• SIMD (одиночный поток команд - множественный поток данных),

• MISD (множественный поток команд - одиночный поток данных),

• MIMD (множественный поток команд - множественный поток данных).

В последствии различными авторами уточнялось понятие MIMD-архитектуры (классификации Ванга и Бриггса, Хокни, Джонсона и др. [34]). С этих позиций алгоритмы, представленные в диссертации, можно считать ориентированными на MIMD- и SPMD (Одна программа -множественный поток данных) - архитектуры.

Главный вопрос заключается в том, какие признаки должны лежать в основе классификации МВС. Ответ на него зависит от того, для кого данная классификация создается, и на решение какой задачи она направлена. Основным параметром классификации МВС является наличие общей (SMP) или распределенной (МРР) памяти. Нечто среднее между SMP и МРР представляют собой NUMA-архитектуры, где память физически распределена, но логически общедоступна. Кластерные системы являются более дешевым вариантом МРР. При поддержке команд обработки векторных данных говорят о векторно-конвейерных процессорах, которые, в свою очередь могут объединяться в PVP-системы с использованием общей или распределенной памяти. Все большую популярность приобретают идеи комбинирования различных архитектур в одной системе и построения неоднородных систем. Приведем особенности перечисленных архитектур:

1) Массивно-параллельные системы (МРР) - однородные, с локальной памятью, могут содержать до нескольких тысяч вычислительных узлов (например, МВС ASCI Red, Blue Mountain); программирование для них происходит в рамках модели передачи сообщений (MPI);

2) Симметричные мультипроцессорные системы (SMP) - содержат небольшое число (до 32) однородных процессоров, использующих общую память; программирование осуществляется в рамках модели общей памяти (пример - МВС HP 9000 V-class);

3) Системы с неоднородным доступом к памяти (NUMA) - состоят из однородных базовых модулей (плат), объединенных высокоскоростным коммутатором (максимальное число процессоров - 256) и работающих в едином адресном пространстве, аппаратно поддерживающим доступ к удаленной памяти (к памяти других модулей); модель программирования аналогична SMP-системам (пример - МВС SGI 0rigin2000);

4) Векторно-конвейерные компьютеры (PVD) - системы, в процессорах которых предусмотрены команды однотипной обработки векторов независимых данных, выполняющиеся на конвейерных функциональных устройствах; имеют возможность использования общей памяти; программирование предусматривает векторизацию циклов и их распараллеливание (пример - МВС NEC SX-4/SX-5);

5) Гибридные (кластерные) системы - это объединение векторных или SMP-компьютеров в массивно-параллельные системы через высокоскоростную коммуникационную среду; программирование осуществляется в рамках гибридной модели.

К гибридным системам относятся, например, сети (кластеры) рабочих станций, использующие различную сетевую аппаратуру Ethernet, FastEthernet и т.п. При этом возникает неоднородная вычислительная среда (и по производительности процессоров, и по скорости коммуникаций, и по программному обеспечению), позволяющая проводить параллельные вычисления на базе таких стандартов коммуникаций, как PVM, MPI или подобных им. Программирование на таких системах осуществляется в рамках модели передачи сообщений.

Бурно развивающиеся в настоящее время глобальные компьютерные сети (Internet, Internet-2 и д.р.) фактически представляют собой вычислительные системы с распределенной памятью, включающие в себя сотни тысяч взаимодействующих компьютеров, и также могут рассматриваться как МВС.

Учитывая массовый характер использования МРР и гибридных вычислительных систем с распределенной памятью, в настоящей работе исследовались параллельные алгоритмы, использующие модель передачи сообщений. Эти свойства разработанных алгоритмов тем не менее не ограничивают их применение на системах с общей памятью, например, с помощью библиотеки коммуникаций MPI.

Популярность МРР и гибридных систем в первую очередь определяется малым соотношением их стоимости и суммарной производительности, то есть они выгодны с экономической точки зрения. Кроме того, такая вычислительная техника позволяет получить практически любую производительность путем наращивания числа процессоров (то есть МВС данной архитектуры является масштабируемой в отличие от SMP систем). При этом важным фактором является гибкость настройки аппаратуры на решение конкретных задач, а также общая надежность работы узлов МВС.

Отметим далее, что за время существования МВС накоплен значительный опыт их использования, и они действительно находятся в массовом доступе (МВС имеются в ряде Российских и в большинстве зарубежных научных институтов). Однако, огромные вычислительные возможности, предоставляемые этими системами недостаточно используются. Причина тому - сложность адаптации последовательных алгоритмов и программ к параллельным архитектурам и, как следствие, общее отставание в области разработки прикладного программного обеспечения МВС по сравнению с бурно развивающимся аппаратным обеспечением и вспомогательными программными средствами. Поэтому разработка эффективных параллельных алгоритмов решения фундаментальных и прикладных задач, изначально ориентированных на использование МВС, в том числе с распределенной памятью, является чрезвычайно актуальной проблемой. При этом надо учитывать, что вместе с возможностями, которые предоставляет программистам многопроцессорная вычислительная техника, существуют специфические требования к используемым ею алгоритмам [27]:

• обеспечение равномерного распределения вычислительной нагрузки по процессорам;

• обеспечение ускорения расчетов при увеличении числа процессоров;

• необходимость синхронизации при остановке (завершении) итераций;

• снижение затрат времени на синхронизацию;

• периодический сбор данных для записи и анализа;

• обмен данными между процессорами для продолжения расчета;

• снижение объема передаваемой информации при обмене;

• снижение числа актов приема-передачи (то есть числа обменов между процессорами);

• уменьшение влияние размера задачи на ускорение;

• обеспечение масштабируемости и переносимости программы.

Таким образом, разработка алгоритмов, позволяющих решить перечисленные проблемы, и является главной целью параллельного программирования.

Перейдем к проблемам решения с помощью МВС задач механики сплошной среды. Как известно, численное решение краевых задач для обыкновенных дифференциальных уравнений и уравнений в частных производных является одной из центральных проблем математического моделирования в данной области. Важную роль при решении систем линейных уравнений высокого порядка с матрицами специального вида, получающимися при аппроксимации дифференциальных уравнений, играет выбор эффективных методов (прямых и итерационных). При выборе того или иного численного метода и алгоритма учитывается много обстоятельств, таких, как объем вычислений, требуемый объем оперативной памяти, порядок точности, устойчивость по отношению к погрешностям округления и другие.

При решении задач на МВС в поле зрения сразу попадают явные методы и алгоритмы. Среди них широкое распространение получили явные конечно-разностные схемы для решения эволюционных задач. Их основными достоинствами являются наглядность и простота при реализации сложных граничных условий. Кроме того, явные схемы обладают неоспоримыми преимуществами при реализации на МВС. Недостатком явных схем является то, что временной (или итерационный) шаг не может быть произвольным. На значение шага интегрирования по времени из соображений устойчивости накладывается ряд ограничений. Существуют работы, позволяющие для стационарных задач увеличивать шаг по времени [59,86]. Эта методика позволяет считать задачу по явной схеме с переменным шагом, значительно его увеличивая в определенных подобластях расчетной области. Однако данный метод пригоден лишь для определенного класса задач и в целом не решает проблему увеличения шага по времени. Расчеты по явным разностным схемам показывают почти идеальную эффективность решения задач на МВС.

Неявные методы и алгоритмы при реализации на МВС требуют больших усилий от исследователей [90]. В сложных многомерных нелинейных задачах их обычно получают при линеаризации конечно-разностных аналогов исходных дифференциальных уравнений относительно приращений искомых функций. В дальнейшем производится приближенная факторизация (расщепление) конечно-разностных операторов, приводящая к цепочкам пространственно одномерных разностных задач. Разработка схем данного типа представляет собой развитие классических неявных схем метода переменных направлений и метода дробных шагов [60]. Схемы могут строиться на основе расщепления только по пространственным переменным, как это сделано в диссертации и описано в работах [9,10,56] для многомерных задач газовой динамики, либо с применением расщепления как по пространству, так и по физическим процессам [26]. Такое расщепление позволяет без потери абсолютной устойчивости метода получать экономичные разностные схемы, реализуемые при помощи параллельных прогонок и вычислений по явным формулам.

Большое внимание уделяется итерационным методам решения многомерных и нелинейных задач на МВС. Итерационные методы позволяют использовать более крупные шаги по времени и пространству, уменьшая при этом общие вычислительные затраты. Однако при параллельной реализации требования экономичности итераций вступают в противоречия с условиями их сходимости. В результате быстро сходящиеся в скалярном варианте итерационные методы оказываются совершенно непригодными при параллельной реализации. И наоборот, методы, обладающие худшей скоростью сходимости в скалярном случае идеально распараллеливаются.

Разработкой эффективных численных алгоритмов решения различных классов задач на МВС занимаются во всем мире. Большой интерес представляют работы известных авторов Дж. Донгарра и X. Ван дер Ворста [18,63,64,73]. Дж. Донгарра преимущественно развивает прямые методы решения линейных систем уравнений [63]. В это же время X. Ван дер Ворст показывает [64], что для решения одной системы уравнений с большим числом неизвестных, имеющей матрицу с малым числом ненулевых элементов в каждом ряду, при умеренной точности приближения к решению итерационные методы могут быть предпочтительнее, чем прямые. С точки зрения требуемой оперативной памяти итерационные методы также выигрывают. Даже в случае плотных матриц итерационные методы могут быть привлекательнее. Основной вопрос, который по мнению Х.Ван дер Ворста в настоящий момент остается открытым - насколько эффективно итерационные методы могут быть адаптированы к архитектурам современных суперкомпьютеров.

Подробный анализ существующих алгоритмов и тенденций в решении линейных систем на МВС содержится в обзорной работе X. Ван дер Ворста [18]. Не менее интересна работа [73], в которой сравниваются оценки производительности различных вычислительных систем на решении плотных систем линейных уравнений. В качестве тестов используются программы пакета LINPACK [76].

При решении многих задач математической физики определяющими являются вычислительные затраты на решение разностных аналогов одномерных краевых задач для уравнений 2-го порядка. Поэтому вопрос об их эффективной параллельной реализации является особенно актуальным. Первые работы в этой области появились еще в 1978 году [20] и принадлежат отечественным ученым H.H. Яненко и А.Н. Коновалову. В основе предложенного ими метода "распараллеливания" прогонки положен известный принцип суперпозиции решений линейных уравнений [20,3,19]. В настоящей работе эта методика распространена на задачи с немонотонным оператором, нестационарные и нелинейные задачи, а также задачи большей пространственной размерности (двух- и трехмерные). На базе разработанных алгоритмов создана библиотека программ для решения одномерных краевых задач для уравнений и систем второго порядка.

В 1991 г. Б.Н. Четверушкиным был предложен параллельный вариант (а - ß) итерационного алгоритма, который тоже может быть назван параллельной прогонкой в двумерном случае [24,77]. В работах

24,29,85] рассматриваются многомерные варианты (а- /3) итерационного алгоритма. Этот метод решения систем сеточных уравнений успешно применялся при моделировании задач динамики излучающего газа, ионосферной физики, течений вязкой несжимаемой жидкости и других. Хотя метод не дает оптимальных по скорости сходимости результатов, однако, позволяет решать широкий круг задач.

В работе [67] В.Я. Карповым рассматривается организация параллельных вычислений на МВС на примере решения уравнения Пуассона в трехмерной области в цилиндрических координатах. В направлении оси z и по углу ф выполняются преобразования Фурье, а в радиальном направлении используется метод параллельной прогонки, основанный на разбиении уравнений системы на группы. К сожалению метод не является универсальным. Он не применим в задачах с переменными или нелинейными коэффициентами.

В 1990 г. Parallel Computing публикует несколько работ о решении трехдиагональных линейных систем на параллельных компьютерах с распределенной памятью [14-17]. Наиболее интересным является алгоритм DAC (divide and conquer) [17], основанный также на принципе суперпозиции решений линейных уравнений. В связи с этим заметим, что алгоритм, представленный в диссертации и имеющий ту же основу, адаптирован к более широкому классу задач. В частности, он может быть использован для решения многомерных задач. Кроме того, с его помощью возможно решать краевые задачи не только для традиционных граничных условий 1-ого, 2-ого и 3-его рода и смешанных, но и задачи с периодическими и нелокальными условиями.

Разработанная методика не является новой. Однако аналогичные алгоритмы практически не использовалась в параллельных вычислениях. Последнее связано с тем, что теоретическая эффективность (не учитывающая реальное время обменов) исходного базового) параллельного алгоритма прогонки на системах с распределенной памятью составляет не более 33%. Тем не менее, данная методика имеет свои положительные стороны, а именно:

• является экономичным прямым методом;

• позволяет использовать неявные схемы для решения нестационарных задач, и тем самым снизить ограничения, налагаемые соотношением Куранта на шаг по времени;

• имеет асимптотическую зависимость ускорения и/или эффективности от числа используемых процессоров р (то есть при соблюдении соотношения р N (где N - число неизвестных исходной задачи) и быстрых обменах реальная эффективность распараллеливания близка к 33%;

• может эффективно использоваться при решении многих больших задач, в том числе нелинейных и многомерных.

Заметим далее, что все параллельные алгоритмы, рассматриваемые в работе основываются на принципе геометрического параллелизма [27] - параллелизма данных или декомпозиции области [62]. В соответствии с ним при расчетах на МВС производится разбиение расчетной области на подобласти по числу используемых процессоров. При этом каждый процессор производит вычисления в своей расчетной подобласти и обрабатывает данные только из своей памяти. Расчет во всех подобластях происходит одновременно, и при необходимости процессоры обмениваются информацией между собой по каналам связи. Такой принцип распараллеливания чрезвычайно удобен при решении задач математической физики на МВС с распределенной памятью.

Помимо геометрического параллелизма различают также алгоритмический параллелизм, называемый также функциональным или параллелизмом потока данных [27], когда алгоритм разбивается на участки, которые могут выполняться параллельно. Каждый процессор выполняет часть общего алгоритма и обменивается с другими процессорами результатами своей работы. Кроме того, еще выделяют параллелизм типа "Коллективное решение" [27], при котором одна и та же программа или ее часть выполняется на разных процессорах над разными начальными данными с последующим объединением результатов. В некоторых задачах используется "гибридный" параллелизм - комбинация геометрического и алгоритмического способов распараллеливания.

В настоящее время в связи с приближением к физическим пределам быстродействия вычислительной и коммуникационной аппаратуры в области параллельных вычислений акценты смещаются в сторону исследования алгоритмов и концепций параллельных вычислений. Основы теории параллельных вычислений изложены в книге Дж.Ортега [6]. В работе [65], как и в книге Дж.Ортега, основное внимание уделяется параллельным методам решения задач линейной алгебры, а также детально исследуются параллельные методы решения обыкновенных дифференциальных уравнений. Известная монография В.В.Воеводина [32] также посвящена методологии параллельного программирования. В ней содержится систематизированное изложение математических основ совместного изучения параллельных численных методов и параллельных вычислительных систем. Обсуждается влияние алгоритмических языков, как посредников между математиками и техникой. Автор подчеркивает, что для эффективного применения параллельных компьютеров необходимо радикально изменить структуру численных методов.

Встающие перед пользователями параллельной вычислительной техники проблемы, обсуждаются также в книге [66]. Здесь сформулированы критерии оценки параллельных программ, среди которых:

• ускорение программы в зависимости от числа процессоров;

• величина затрат времени на синхронизацию;

• влияние размера задачи на ускорение;

• максимальное число занятых процессоров при решении задачи;

• детерминизм выполнения программы.

Эти критерии учитывались в диссертации при анализе параллельных алгоритмов и программ.

Кроме методов и алгоритмов созданы и разрабатываются библиотеки параллельных подпрограмм, в первую очередь реализующие методы решения систем линейных уравнений. Наиболее известны пакет ScaLAPACK [68,69], включающий в основном прямые методы решения линейных систем, и универсальные библиотеки фирмы NAG Ltd. - NAG Parallel Library [72] - для систем с общей и распределенной памятью и сетей рабочих станций. Особый интерес представляет новый проект при участии NAG, находящийся в стадии разработки и названный PINEAPL переносимые параллельные библиотеки для трудоемких индустриальных приложений [70,71] - предлагающий широкий спектр методов, в том числе и итерационных. Несмотря на эти работы, количество библиотек параллельных программ невелико, и доступ к ним бывает затруднен по коммерческим соображениям. Как правило, они содержат универсальные и вследствие этого умеренно эффективные реализации. На реальных приложениях их эффективность оказывается ниже ожидаемой, поскольку они не учитывают ни специфику конкретной задачи, ни особенности используемой для расчетов МВС. В диссертации параллельные библиотеки не использовались.

Приведем несколько замечаний относительно методов решения выбранной газодинамической задачи. Многообразие и сложность газодинамических явлений (ударные волны, погранслойные, отрывные, осциллирующие течения, турбулентность) стимулируют исследования в этой области. Растущие запросы аэродинамики, ракетно-космических технологий и других смежных областей требуют совершенствования традиционных и разработки новых численных методов решения задач газовой и гидродинамики, в том числе с помощью МВС.

Существенный вклад в область математического моделирования течений жидкостей и газов был внесен российскими учеными. Разработка методов численного решения уравнений Навье-Стокса ведется весьма интенсивно с 60-ых годов и нашла отражение в работах известных научных школ под руководством академиков К.И.Бабенко [61], А.А.Самарского [4, 28, 91], Н.Н.Яненко [60] и др. Большое число работ посвящено теоретическим и численным исследованиям динамики вязкого газа [43-46]. Для большого числа методов моделирования газодинамических течений объединяющими являются разностные схемы для решения уравнений Эйлера или Навье-Стокса, построенные на базе этих уравнений.

В отличие от такого традиционного подхода, конструкция кинетических разностных схем (использующихся в диссертации) принимает во внимание тот факт, что сами уравнения Эйлера или Навье-Стокса могут быть получены как следствие более сложных кинетических уравнений. В работе [47] была предложена феноменологическая модель, описывающая перенос частиц в газе как циклическую последовательность процессов бесстолкновительного разлета молекул с последующей максвеллизацией. В восьмидесятых годах появилась серия публикаций [48-51], в которых эта модель использовалась для построения кинетических численных алгоритмов. В рамках указанного направления и, исходя из рассмотренной феноменологической модели, в 1984 г. Т.Г. Елизарова и Б.Н.

Четверушкин выписали в [48-51] замкнутую систему уравнений для макропараметров газа, включающую малый параметр г - характерное время бесстолкновительного разлета молекул. Эта система послужила основой для построения класса кинетически - согласованных разностных схем (к.с.р.с.) [45].

Система квазигазодинамических уравнений возникла в рамках этого нового подхода к построению разностных схем для уравнений газовой динамики и основана на специальном принципе формирования искусственной вязкости [52]. При численном моделировании задачи об истечении недорасширенной струи конечно-разностный алгоритм расчета был построен именно на основе квазигазодинамических (КГД) уравнений [11].

Отметим далее, что необходимость изучения струй, истекающих в область низкого давления, называемых недорасширенными [58], возникает при решении целого ряда практических задач, в том числе связанных с проектированием и использованием разнообразных высотных летательных аппаратов. Особенностями рассматриваемых течений является значительный перепад плотности и давления от среза сопла к периферии струи и соответственно существенное изменение геометрических масштабов струи - от нескольких миллиметров у среза сопла до нескольких сантиметров вдали от него. При численном моделировании недорасширенных струй требуется использовать сетки, позволяющие разрешить как особенности течения у сопла, так и вдали от него, где происходит взаимодействие струй между собой или с препятствиями [21-23]. Моделирование таких процессов представляет собой задачу, трудоемкость которой требует использования высокопроизводительных вычислительных систем.

Приведем далее структуру диссертации. Она состоит из введения, трех глав и заключения. Во введении обосновывается актуальность темы

Основные результаты расчетов представлены на рисунках 22-32. На рис. 31 представлены линии уровня плотности для варианта А. На этом рисунке хорошо видны все известные из теории особенности истечения сверхзвуковой струи в область низкого давления. Истечение такого типа характеризуется сильными градиентами плотности, температуры и давления в струе. Вытекая из сопла, газ расширяется, образуя висячий скачек уплотнения, имеющий бочкообразную форму. Взаимодействие этого скачка с осью симметрии приводит к образованию центрального скачка (диска Маха), за которым сверхзвуковой поток становится дозвуковым. За диском Маха возникает небольшая рециркуляционная зона, видная на рис. 32. За первым центральным скачком возникает серия вторичных скачков, которая также видна на линиях уровня плотности. Заметим, что в данном эксперименте непосредственная визуализация области возвратного течения невозможна, и имеются лишь косвенные данные, подтверждающие его существование.

Влияние сетки

Для варианта А расчеты были проведены для четырех сгущающихся сетках (Таблица 9). На рис. 28 изображено распределение числовой плотности, нормированной на свое минимальное значение, вдоль оси струи. Здесь же приведены значения, измеренные в эксперименте [84]. На рис. 29 приведено распределение температуры вдоль оси струи (в градусах Кельвина) для всех трех вариантов сеток вместе с измеренными значениями.

Для всех использованных сеток хорошо разрешается первая, наиболее интенсивная ударная волна. Излом в распределении плотности, полученный в эксперименте, лишь начинает проявляться на самой подробной третьей сетке. Положение всех вторичных скачков хорошо разрешается на всех сетках, однако числовые значения плотности ближе всего к экспериментальным для самой подробной сетки. Для значений температуры измельчение сетки позволяет лучше разрешить температурный минимум до ударной волны и не оказывает практически никакого влияния на распределение температуры во вторичных скачках. Таким образом, для правильного разрешения всех особенностей течения необходимо использовать достаточно подробные сетки, с шагом по направлению г не больше, чем 0.25 т; , что возможно лишь при использовании многопроцессорных вычислительных систем, позволяющих проводить расчеты за приемлемое время даже на очень подробных сетках.

Влияние внешнего давления На рис. 22 - 27 изображены распределения плотности и температуры для вариантов В, С и О вместе с соответствующими измеренными значениями числовой плотности и вращательной температуры. Число Кнудсена (Кп) (отношение длины свободного пробега молекулы, посчитанной по параметрам течения в данной точке к диаметру струи) на выходе из сопла достаточно мало и составляет Кп = 3.747 10"4. В поле течения струи локальное число Кнудсена становится достаточно большим, особенно в области перед диском Маха. Уменьшение внешнего давления от варианта А к варианту О приводит к увеличению локального числа Кнудсена. При этом совпадение расчета с данными эксперимента ухудшается, что особенно заметно на распределениях температуры. Это можно объяснить тем, что континуальные модели, и используемая в расчетах КГД модель, теряет свою применимость при больших числах Кнудсена.

Адекватное описание поля течения в недорасширенной струе требует использования подробных вычислительных сеток, что связано с большим объемом вычислений и тем самым приводит к необходимости использования высокопроизводительных вычислительных систем.

Проведенные расчеты показали, что предложенный алгоритм (явная по времени и однородная по пространству аппроксимация КГД уравнений) позволяет эффективно использовать кластерные МВС. Сравнение численных и экспериментальных результатов показывает, что предложенный численный метод позволяет описывать основные особенности истечения осесимметричных струй в область низкого давления. При этом результаты расчетов позволяют получить дополнительную информацию о течении, недоступную в натурном эксперименте. г(тш) г(тт)

Рис. 22. Распределение плотности (вариант В).

Рис. 24. Распределение плотности (вариант С).

20 2(тт)

Рис. 26. Распределение плотности (вариант О).

Рис. 23. Распределение температуры (вариант В).

20 г(тт) г(тт)

Рис. 25. Распределение температуры (вариант С).

20 г(тт)

Рис. 27. Распределение температуры (вариант Б). р'р.

141'Ю). К,«. (ЯГИ1 п, ЛЬ', л,-о гк. 11402-100!» КЛИ.

2(тш)

Рис. 28. Сходимость по сетке. Распределение плотности (вариант А)

300

Т(К)

И -1 "Г п.-о.м'г. бхреЛп«« г(тт)

Рис. 29. Сходимость по сетке. Распределение температуры (вариант А) ю

10 20 30 2/2

Рис. 30. Численный шлирен на системе из 400 процессоров для сетки 1402*1002. г/г

0Л15

14 0Л146

19 0014

- — 12 0Л135

11 00133

10 0.015 Ш 7 0Л125 0.012 . « ОЛИ

1 - - - —■• - - - 8 4 ОХИ ОД»

- - - « - - - . — - — 9 мое л-. г ММ

•г- ' 1 оме

Г6Г т» г/г.

Рис. 31. Изолинии плотности (вариант А)

8

Рис. 32. Поле течения (вариант А).

3.3.3 Результаты тестирования многопроцессорных систем на задаче расчета течения в недорасширенной струе.

Эффективность работы каждой многопроцессорной вычислительной системы зависит от очень многих факторов. Часть из них связана с чисто аппаратными решениями, другие определяются как особенностями системного и прикладного программного обеспечения, так и качеством заданий пользователей и дисциплиной обслуживания этих заданий МВС. При этом, количество тех или иных проблем сильно возрастает с увеличением числа процессоров. Эти обстоятельства заставляют проводить подробное тестирование МВС на каждом этапе ее модернизации.

Для расчетов были использованы две параллельные вычислительные системы:

1. MVS-1000M: 640 процессорная однородная вычислительные системы с микропроцессорами Alpha-667. Общая производительность системы -lTflops. Скорость передачи данных коммуникационными линками достигает 250Mb/sec.

2. IMM-24-процессорный кластер с распределенной памятью на базе процессоров Intel Pentium III 600. Общая производительность системы ~14Gflops. Скорость передачи данных коммуникационными линками достигает 12Mb/sec.

На рис. 33(a) показано ускорение для двух указанных вычислительных систем. Реальная эффективность параллелизации для явных схем близка к 100% для достаточно большого числа вычислительных узлов и достаточно подробных пространственных сеток. Для определения ускорения и эффективности использовались формулы гл. 1. На рис. 33(6) показана достигнутая эффективность для двух использованных вычислительных систем. Применение многопроцессорной вычислительной системы MVS-1000M для решения указанных задач позволило сократить время их решения более чем в сто раз по сравнению с расчетами на PC Intel Celeron ММХ 466.

Дополнительным исследованием в рамках диссертации было тестирование МВС-ЮООМ (установленной в ГУ МСЦ) и доведенной в последнее время до 640-процессорной конфигурации (5 блоков по 128 процессоров) на реальной прикладной задаче. Результатом исследований стали обнаруженные достоинства и недостатки данной МВС.

В качестве теста использовалась задача из области газовой динамики о моделировании динамики установления течения в газовой струе, истекающей в область низкого давления. При детальном численном моделировании таких процессов требуется использовать сетки, позволяющие разрешить как особенности течения у среза сопла, так и вдали от него, где происходит взаимодействие струй между собой или с препятствиями. Поэтому, даже двумерное моделирование представляет собой сложную вычислительную задачу, требующую использования высокопроизводительных МВС.

Многопроцессорная реализация численного алгоритма выполнена на основе линейного разбиения по процессорам двумерной расчетной области вдоль оси течения. Такое разбиение является эффективным, поскольку число расчетных точек по оси течения как правило на порядок больше, чем число точек по поперечной координате. В качестве стандарта коммуникаций используется библиотека MPI. Теоретическая эффективность распараллеливания составляет 100%.

Сделаем несколько общих замечаний:

1) во-первых, несмотря на двумерную расчетную геометрию тестовых задач, объем вычислений в каждой из них таков, что может обеспечить полную загрузку всех 400 процессоров МВС-1000М как минимум на неделю.

2) во-вторых, с точки зрения организации параллельных вычислений тестовую задачу можно охарактеризовать следующим образом. Задача использует статическую балансировку загрузки процессоров и линейную схему (обмен с соседями) пересылок данных.

Рассмотрим результаты тестирования работы МВС-1000М на примере задачи о течении в недорасширенной струе. Данная расчетная задача была реализована в виде параллельной программы на языке Fortran 77. Исполняемый код был получен с помощью штатного компилятора mpif77 и запускался непосредственно с помощью скрипта mpirun. В приводимых ниже расчетах размер расчетной сетки был равен N=591x92 узлов. Результаты расчета 25000 временных слоев на различном числе процессоров приведены в Таблице 10. Соответствующие полученным данным графики ускорения и эффективности приведены на рисунках 34, 35. Как видно из таблицы и рисунков, эффективность расчетов задачи на МВС-ЮООМ остается высокой (более 50 %) вплоть до 80 процессорной конфигурации. Этот факт свидетельствует о хорошем потенциале системы. Деградация же эффективности при большем числе процессоров связана в данном случае с не очень большим числом расчетных узлов и неэффективностью организации обменов (а именно, с их отделенностью от вычислений). Она может быть существенно уменьшена, если увеличить сетку и частично перекрыть вычисления и пересылки данных (см. Табл. 11).

Рассмотрим результаты тестирования работы МВС-ЮООМ на данной задаче. В приводимых ниже расчетах размер расчетной сетки был равен

N=1402x1002 узлов. Результаты расчета 5000 временных слоев на различном числе процессоров приведены в Таблице 11. Эффективность расчетов на МВС-1000М остается высокой (-50 %) вплоть до 260 процессорной конфигурации. Этот факт свидетельствует о хорошем потенциале системы.

В заключение отметим, что анализ характеристик МВС-1000М показал ее высокую производительность и эффективность выполнения параллельных прикладных программ пользователей. Вместе с тем в системе обнаружены и некоторые недостатки. В частности, нестабильность времени выполнения тестов. А именно, время проведения конкретного расчета может меняться в пределах от 5 до 50%. X

25001

I г и о. о 150 о

100

-50

-50 0 50 100 150 200 250 300 350 400

Число процессоров

Рис. 34. Ускорение для подробной сетки. а)

Вычисления на МУ31000М(128) и 1гйе1-24 системах

Число процессоров

Вычисления на МУБЮСЮМП 28) и Ме1-24 системах

Число процессоров Рис. 33. Ускорение (а) и эффективность (б) для двух МВС на сетке 2. а)

Processor number б)

Processor number

Рис. 35. Графики ускорения (а) и эффективности (б), полученные в расчетах для сетки 3.

Заключение

В заключение сформулируем основные результаты диссертации:

- Разработаны и реализованы новые варианты алгоритма параллельной прогонки для решения одномерных краевых задач с традиционными и нелокальными граничными условиями для уравнений второго порядка общего вида, в том числе с немонотонным оператором. На их основе создана библиотека программ. Полученные результаты обобщены на случай систем одномерных линейных и нелинейных стационарных и нестационарных уравнений. Изучены возможности использования параллельной прогонки на отдельных этапах решения многомерных задач.

- Разработаны прямые методы решения на МВС многомерных параболических краевых задач, основанные на алгоритме параллельной прогонки и неявных локально одномерных схемах суммарной аппроксимации. Исследованы различные варианты параллельной реализации предложенных методов, соответствующие разным способам декомпозиции расчетной области. Проведены тестовые расчеты на примере задачи распространения тепла в трехмерной прямоугольной области.

- Построенная методика использована для исследования течения в недорасширенной струе в осесимметричном случае. В проведенных по этой задаче расчетах показана высокая эффективность, масштабируемость и переносимость разработанных параллельных программ. В результате численных экспериментов удалось получить детальную картину течения, достаточно хорошо совпадающую с экспериментальными данными.

1. Самарский A.A. Введение в численные методы. М.: Наука, 1987.

2. Архитектура ЭВМ и численные методы. Сб. науч. трудов под ред. Воеводина В.В. Москва: ОВМ АН СССР, 1983.

3. Коновалов А.Н. Введение в вычислительные методы линейной алгебры. Новосибирск: ВО "Наука", Сибирская издательская фирма, 1993.

4. Самарский A.A. Теория разностных схем. М.: Наука, 1983.

5. Кареткина Н.В. Безусловно устойчивая разностная схема для параболических уравнений, содержащих первые производные. // ЖВМ и МФ. 1980, т.20, №6, 236-240.

6. Ортега Дж. Введение в параллельные и векторные методы решения линейных систем. М.: Мир, 1991. - 367 с.

7. PARIX 1.3 for Power PC: Software documentation and Reference manual, Parsytec Computer GmbH, 1994.

8. Елизарова Т.Г., Четверушкин Б.Н. Кинетические алгоритмы для расчета газодинамических течений. ЖВМ и МФ, 1985, т.25, №10, с.1526-1533.

9. Абалакин И.В., Елизарова Т.Г., Четверушкин Б.Н. Неявные кинетически-согласованные схемы для расчета стационарных задач газовой динамики. Препринт Всесоюзного Центра Математического Моделирования РАН, 1990, т.25, №36.

10. Ю.Ковеня В.М., Яненко H.H. Метод расщепления в задачах газовой динамики. Новосибирск, Наука, 1981.

11. Elizarova T.G., Graur I.A., Lengrand J.C., Chpoun A. Rarefied gas flow simulation based on quasigasdynamic equations, AI A A Journal, 1995, V.33, №12, p. 2316-2324.

12. Шеретов Ю.В. Квазигидродинамические уравнения как модель теченийсжимаемой вязкой теплопроводной среды. В сб. Применение функционального анализа в теории приближений. Тверь, Тверской Гос. Университет, 1997, с. 127-155.

13. Широков И.А., Елизарова Т.Г. Применение многопроцессорных систем для расчета струйных течений. В сб. Прикладная математика и информатика. №4, 2001

14. G.Bader, E.Gehrke. On the performance of transputer networks for solving linear systems of equations. Parallel Computing, 17(1991), p. 1397-1407.

15. L.Brugnano. A parallel solver for tridiagonal linear systems for distributed memory parallel computers. Parallel Computing, 17(1991), p. 1017-1023.

16. Fabio Reale. A tridiagonal solver for massively parallel computer systems. Parallel Computing, 16(1990), p. 361-368.

17. Stefan Bondeli. Divide and conquer: a parallel algorithm for the solution of a tridiagonal linear system of equations. Parallel Computing, 17(1991), p. 419434.

18. Iain S.Duff, Henk A., Van der Vorst. Development and trends in the parallel solution of linear systems. Parallel Computing, 25 (1999), p. 1931-1970.

19. Воеводин А.Ф., Шургин C.M. Метод параллельной прогонки для систем разностных уравнений, определенных на графах. В сб. научных трудов "Численные методы механики сплошной среды", Новосибирск, 1980, том 11, №7, с.23-39.

20. Яненко Н.Н., Коновалов А.Н., Бугров А.Н., Шустов Г.В. Об организации параллельных вычислений и "распараллеливании" прогонки. В сб. научных трудов "Численные методы механики сплошной среды", Новосибирск, 1978,том 9, №7, с.139-146.

21. Kolbe R., Kailasanath К., Young Т., Boris J., Landsberg A. Numerical Simulations of Flow Modifications of Supersonic Rectangular Jets. AIAA Journal, 1996, V.34, №5, p. 902-908.

22. Hayder M.E., Jayasimha D.N. Navier-Stokes Simulations of Jet Flows on a Network of Workstations. AIAA Journal, 1996, V.34, №4, p. 744-749.

23. Salvetti M.V., Orlandi P., Verzicco R. Numerical Simulations of Transitional Axisymmetric Coaxial Jets. AIAA Journal, 1996, V.34, №4, p. 736-743.

24. Четверушкин Б.Н., Чурбанова Н.Г. О применении принципа геометрического параллелизма для (а-|3) итерационного алгоритма. // Математическое Моделирование, 1991, т.З, №3, с.123-129.

25. Agarwal R. Computational fluid dynamics of whole-body aircraft. Fluid Mechanics Journal, 1999, 31, p. 125-169.

26. Karamyshev V.B., Kovenya V.M., Shokin Yu.I. Splitting algorithms in the finite-volume method. Computational Fluid Dynamics Journal, 2001, V.10, №3, p. 315-323.

27. Якобовский M.B. Распределенные системы и сети. М.: МГТУ "Станкин", 2000, 118с.

28. Самарский А.А., Николаев Е.С. Методы решения сеточных уравнений. М.: Наука, 1978.

29. Елизарова Т.Г., Четверушкин Б.Н. Применение многопроцессорных транспьютерных систем для решения задач математической физики. //Математическое Моделирование, 1992, т.4, №11, с.75-109.

30. Андерсон Д., Таннехилл Дж., Плетчер Р. Вычислительная гидромеханика и теплообмен. М.: Мир, 1990.

31. Flynn M.J. Some computer organizations and their effectiveness // IEEE Trans. Comput. 1972,- C-21, №9, pp.948-960.

32. Воеводин B.B. Математические модели и методы в параллельных процессах. М.: Наука. Гл. ред. физ.-мат. лит., 1986. 296 с.

33. Message Passing Interface Forum. MPI: a Message Passing Interface standard, version 1.1. June 1995.34. http://www.parallel.ru

34. Transputer Application. Manual. Prentice Hall. London. 1989. Editor C. Hoare.

35. Дуйсекулов A.E., Елизарова Т.Г. Использование многопроцессорных вычислительных систем для реализации кинетически согласованных разностных схем газовой динамики. // Математическое моделирование, 1990, т.2, №7, с. 140-148.

36. Transputer Development System. Pitman Publishing. London. 1989. Editor G. Harp

37. John Galletly. OCCAM-2. Reference Manual. Pitman Publishing. London. 1990.

38. Краснов C.A. Транспьютеры, транспьютерные вычислительные системы и OCCAM. Вычислительные процессы и системы, вып.7. М.: Наука, 1990, с. 3-93.

39. Дуйсекулов А.Е., Елизарова Т.Г., Косарев JT.B., Семенова Т.А. Об одном примере реализации разностной схемы на параллельной вычислительной системе. М., ВЦММ РАН, Препринт №6, 1991, с. 21.

40. Семенова Т.А.,Чайка A.C. Многопроцессорная реализация газодинамического алгоритма на неортогональных сетках. Сб.: Вычислительные системы на базе транспьютеров и параллельные вычисления. Общество "Знание" РСФСР, 1992, с. 60-62.

41. Пятницкий Е.С., Трухан Н.М., Ханукаев Ю.И., Яковенко Г.И. Сборник задач по аналитической механике. М., Наука, Физматлит, 1996 г., 432 с.

42. Лойцянский Л.Г. Механика жидкости и газа. М.: Наука, 1987, 840 с.

43. Шлихтинг Г. Теория пограничного слоя. М.: Наука, 1974, 712 с.

44. Четверушкин Б.Н. Кинетически-согласованные схемы в газовой динамике. М.: Изд-во МГУ, 1999, 231 с.

45. Берд Г.А. Молекулярная газовая динамика. М.: Мир, 1981, 319 с.

46. Поткин В.В. Кинетический анализ разностных схем для газовой динамики.//ЖВМ и МФ, 1975, т. 15, №6, с. 1492-1498.

47. Елизарова Т.Г., Четверушкин Б.Н. Использование кинетических алгоритмов для расчета газодинамических течений. М., ИПМ АН СССР, Препринт №165, 1984, с. 23.

48. Елизарова Т.Г., Четверушкин Б.Н. Об одном вычислительном алгоритме для расчета газодинамических течений.// Докл. АН СССР, 1984, т.279, №1, с. 80-83.

49. Елизарова Т.Г., Четверушкин Б.Н. Использование кинетических моделей для расчета газодинамических течений. //. Математическое Моделирование, М.: Наука, 1986, с.261-278.

50. Елизарова Т.Г., Четверушкин Б.Н. Кинетически-согласованные разностные схемы для моделирования течений вязкого теплопроводного газа. // ЖВМ и МФ, 1988, т.28, №11, с. 1753-1758.

51. Елизарова Т.Г., Шеретов Ю.В., Теоретическое и численное исследование квазигазодинамических и квазигидродинамических уравнений. // ЖВМ и МФ, 2001, т.41, №2, с. 239-255.

52. Karamzin Yu.N., Kudryashova Т.А., Polyakov S.V. and Zakharova I.G. Simulation of 3d absorption optical bistability problems on multiprocessor computer systems. M.: "Станкин", вып.2, 1999, с.117-125.

53. Кудряшова Т.А., Поляков С.В. О некоторых методах решения краевых задач на многопроцессорных вычислительных системах. М. МГТУ "Станкин", Труды конф. " Четвертая Международная Конференция по Математическому Моделированию", т.2, 2001, 134-146.

54. Graur I.A., Elizarova T.G., Kudryashova Т.А., Polyakov S.V., Montero S. Implementation of underexpanded jet problems on multiprocessor computer systems. Book of Abstracts, Parallel CFD 2001, The Netherlands, 4 p.

55. Граур И.А. Алгоритмы численного решения квазигазодинамических уравнений. // ЖВМ и МФ, 1999, т.39, №8, с. 1356-1371.

56. Шеретов Ю.В. Математическое моделирование течений жидкости и газа на основе квазигазодинамических уравнений. Тверь, Тверской Гос. Университет, 2000.

57. Авдуевский B.C., Ашратов Э.А., Иванов А.В., Пирумов У.Г. Газодинамика сверхзвуковых неизобарических струй. М.: Машиностроение, 1989, 320с.

58. Лебедев В.И. Явные разностные схемы для решения жестких задач с комплексным или разделимым спектром. . // ЖВМ и МФ, 2000, т.40, №12, с. 1801-1812.

59. Яненко Н.Н. Метод дробных шагов решения многомерных задач математической физики. Новосибирск: Наука, СО, 1967, 197с.

60. Бабенко К.И. Основы численного анализа. М.: Наука, 1986.

61. Domain decomposition method for partial differential equations. Proc. of the 1st Int. Symp. (Eds. R.Glowinsti et al.), SIAM, Philadelphia. 1988.

62. Dongarra J., Duff I., Sorensen D., Van der Vorst. Numerical linear algebra for high-performence computers. SIAM, Philadelphia. 1998, -342 p.

63. Van der Vorst. Parallel iterative solution methods for linear systems arising from discretized PDE's. In: Special course on parallel computing in CFD, AGARD R - 807, AGARD, Neuily-sur-Seine, France. Workshop Lecture Notes, 1995.-39 p.

64. Freeman L., Phillips C. Parallel numerical algorithms. Prentice Hall, 1993. -350 p.

65. Программирование на параллельных вычислительных системах: Пер. с англ. / Р. Бэбб, Дж. Мак-Гроу, Т. Аксельрод и др.; Под ред. Р. Бэбба -М.: Мир, 1991.-376 с.

66. Карпов В.Я. Решение уравнения Пуассона на многопроцессорной ЭВМ. // Математическое Моделирование, 1997, т. 9, №9, 22 с.

67. ScaLAPAC user's guid. Eds. L.S. Blackford et. al. SIAM, Philadelphia. 1997.

68. ScaLAPAC Home Page. http://www.cs.utk.edu/~susan/scalapac/ scalapac2home.html

69. PINEAPL: A European Project in HPCN. http://www.nag.co.uk/projects/ PINEAPL/

70. Dongarra Jack J. Performance of Various Computers Using Standard Linear Equations Software. In Computer Science Department University of Tennessee Knoxville, TN 37996-1301, June, 2001, 50pp. http://www.netlib.org/benchmark/performance.ps

71. Тихонов A.H., Самарский A.A. Уравнения математической физики. М: МГУ, 1999,-798 с.

72. Сивухин Д.В. Общий курс физики. Т.2. Термодинамика и молекулярная физика. М.: Наука, 1975.

73. LINPACK. http://www.netlib.org/benchmark/linpackjava.

74. Четверушкин Б.Н. Математическое моделирование задач излучающего газа. М.: Наука, 1985, -304 с.

75. Mate В., Elizarova T.G., Graur I.A., Chirokov I., Tejeda G., Fernandez J.M., Montero S. Experimental and numerical investigation of an axisymmetric sypersonic jet. J. Fluid Mech. (2001), vol. 426, pp. 177-197

76. Graur I.A., Lengrand J.C., Elizarova T.G., Numerical computation of shock wave configurations in underexpanded viscous jets, Proceedings of the 22th International Symposium on Shock Waves, London, 1999, p.3820

77. Коган H.M. Динамика разреженного газа. M., Наука, 1967г

78. Лифшиц Е.М., Питаевский Л.П., Физическая кинетика. . М., Наука, 1979г

79. Bird G.A. Molecular gas dynamics and the direct simulation of gas flows, Clarendon press, Oxford, 1998

80. Траур И.А. Метод расщепления для решения квазигазодинамических уравнений, Ж. вычисл. матем. и матем. физ., 2001, т.41, №10, с. 16081621

81. Ramos A., Mate В., Tejeda G., Fernandez J.M., Montero S. Raman Spectroscopy of Hypersonic Shock Waves, Physical Rev. E, October, 2000

82. Четверушкин Б.Н., Чурбанова Н.Г. О многопроцессорном варианте трехмерного итерационного (а-Р) алгоритма. Препринт Всесоюзного Центра Математического Моделирования РАН, 1991, №44.

83. Lebedev V.I. Explicit difference schemes with variable time steps for solving stiff systems of equations. Lect. Notes in Comput. Sci 1196. Numer. Analys. And Its Applic.1997. Springer. P.274-283.

84. Траур И.А, Елизарова Т.Г.,.Кудряшова T.A, Поляков С.В. Численное исследование струйных течений с использованием многопроцессорных систем.// Математическое Моделирование, 2002, т. 14, №6, с. 51-62.

85. Суперкомпьтер МВС-1000М и перспективы его применения. // Наука и промышленность России, 2001, №11(55), ноябрь, с. 49-52.

86. Fedirko V.A., Polyakov S.V., and Kudryashova T.A. Simulation of semiconductor field emitter array microcell. Book of Abstracts of Int. Conf. "Displays and Vacuum Electronics (DVE 2001)", May 2-3, 2001, Garmish-Parteankirche, -pp. 4 (Германия).

87. M.Soria,C.D.Perez-Segarra and A.Oliva. A direct parallel algorithm for the efficient solution of the pressure-correction equation of incompressible flow problems using loosely coupled computers. // Numerical Heat Transfer, Part B, 41: 1-22, 2002.

88. Самарский A.A., Ю.П. Попов. Разностные схемы газовой динамики. М., Наука, 1975 г.

89. Марчук Г.И. Методы расщепления. М., Наука, 1988 г.

90. Флюгге. Задачи по квантовой механике. Том 1. М., Мир, 1974. - 342 с.