автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Параллельные алгоритмы повышенной точности для численного моделирования задач газовой динамики и аэроакустики

На правах рукописи

ГОРОБЕЦ Андрей Владимирович

ПАРАЛЛЕЛЬНЫЕ АЛГОРИТМЫ ПОВЫШЕННОЙ ТОЧНОСТИ ДЛЯ ЧИСЛЕННОГО МОДЕЛИРОВАНИЯ ЗАДАЧ ГАЗОВОЙ ДИНАМИКИ И АЭРОАКУСТИКИ

Специальность 05 13 18 - математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

Москва - 2007

Работа выполнена в Институте математического моделирования РАН

Научный руководитель кандидат физико-математических наук,

старший научный сотрудник Козубская Татьяна Константиновна, зав сектором ИММ РАН

Официальные оппоненты доктор физико-математических наук,

доцент Василевский Юрий Викторович, ведущий научный сотрудник ИВМ РАН

доктор физико-математических наук, профессор Гасилов Владимир Анатольевич, зав отделом ИММ РАН

Ведущая организация Институт Прикладной Математики им М В

Келдыша РАН

Защита диссертации состоится « 25 » октября 2007 г в_на заседании

диссертационного совета № К 002 058 01 при Институте математического моделирования РАН по адресу 125047, г Москва, Миусская пл , 4а

С диссертацией можно ознакомиться в библиотеке ИММ РАН Автореферат разослан «_»_2007 г

Ученый секретарь /

диссертационного совета к ф -м н

Прончева Надежда Геннадьевна

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы

В настоящее время математическое моделирование активно входит в практику инженерных исследований и промышленного конструирования Одной из наиболее актуальных и в то же время сложных областей применения математического моделирования является газовая динамика и аэроакустика Задачи, связанные с газовой динамикой, играют важную роль во многих научных и инженерных приложениях

Большой вклад в расширение возможностей математического моделирования внесли бурно развивающиеся многопроцессорные вычислительные системы, быстрый рост производительности которых привел к новому этапу развития вычислительного эксперимента Но также возникла проблема перехода на многопроцессорные системы Этот переход связан с адаптацией существующих алгоритмов и последовательных комплексов программ, рассчитанных на однопроцессорный режим, к параллельным вычислениям, что является достаточно сложной задачей

В настоящее время существует множество последовательных комплексов программ, основанных в частности на явных численных методах, прошедших отладку и верификацию, но устаревших и неприменимых к актуальным современным задачам из-за ограничений производительности одного процессора При этом разработка подобных комплексов программ в свое время требовала больших трудозатрат, и было бы нерационально просто отказываться от их использования Поэтому возникает проблема эффективного распараллеливания существующих последовательных кодов, разработанных без учета специфики параллельных вычислений При этом под эффективностью распараллеливания понимается не только эффективность вычислений, но и минимизация трудозатрат на разработку параллельной версии Задача становится особенно сложной применительно к неструктурированным сеткам и обширным пространственным шаблонам повышенного порядка точности

Таким образом, разработка и применение технологии распараллеливания последовательных кодов, эффективной как с точки зрения производительности, так и с точки зрения трудозатрат, являются актуальными проблемами в настоящее время

Другой важной и актуальной проблемой является необходимость обеспечения масштабируемости параллельных алгоритмов Как известно, эффективность параллельных вычислений начинает резко снижаться, когда число процессоров становится больше некоторого ограничения, свойственного данному алгоритму или размеру задачи Это происходит, в частности, из-за того, что время, затрачиваемое на обмен данными, с ростом числа процессоров начинает превосходить время, затрачиваемое непосредственно на вычисления Поэтому достичь высокой параллельной эффективности представляется особенно сложной задачей при большом числе процессоров

При этом применение параллельных технологий для моделирования несжимаемого течения более проблематично по сравнению со сжимаемыми течениями Это объясняется таким физическим свойством несжимаемой жидкости, как бесконечная скорость распространения возмущений Уравнение Пуассона, к которому приводит уравнение неразрывности при моделировании несжимаемых течений, соответствует этому физическому свойству оператор Пуассона имеет бесконечную скорость распространения информации в пространстве То есть на каждом шаге по времени требуется обмен данными между всеми процессорами, что существенно сказывается на параллельной эффективности, особенно при большом числе процессоров Поэтому эффективное решение уравнения Пуассона на многопроцессорных системах является ключевой проблемой при моделировании несжимаемых течений Также следует отметить, что современные параллельные вычислительные системы с распределенной памятью существенно различаются между собой по производительности, числу процессоров, латентности сети и другим параметрам Метод, который эффективен на одной многопроцессорной системе, может оказаться практически неприменимым на другой Системы варьируются от малобюджетных кластеров на основе офисного компьютерного оборудования до суперкомпьютеров с высокопроизводительной сетью и тысячами процессоров Первые имеют очень высокое соотношение производительности и цены и благодаря своей низкой стоимости широко используются Но вторые имеют намного большую вычислительную мощность, столь необходимую для прямого численного моделирования (DNS - Direct Numerical Simulation) и моделирования методом больших вихрей (LES — Large Eddy Simulation) на подробных сетках Наиболее существенными различиями между параллельными системами с распределенной памятью являются, во-первых, число процессоров, а, во-вторых, производительность сети Алгоритмы, которые работают эффективно на малобюджетном кластере, могут оказаться неэффективными на суперкомпьютере из-за проблем масштабирования на

большое число процессоров И, наоборот, эффективные на суперкомпьютерах алгоритмы могут иметь неудовлетворительную эффективность на малобюджетном кластере из-за низкой производительности сети, в частности, значительно большей латентности Требование эффективности алгоритма для моделирования несжимаемых течений на различных типах параллельных систем еще более усложняет задачу Кроме этого, алгоритм также должен иметь низкую вычислительную стоимость и широкую область применимости Большинство из существующих алгоритмов для несжимаемых течений не удовлетворяет этой совокупности требований

Таким образом, разработка эффективного и масштабируемого алгоритма для решения уравнения Пуассона является важной и актуальной задачей в настоящее время

Актуальность крупномасштабного прямого численного моделирования, которое также выполнено в рамках данной работы, обусловлена хотя бы тем, что позволяет создать базис для верификации многочисленных моделей турбулентности, активно разрабатываемых в настоящее время во всем мире Помимо этого, DNS такого масштаба позволяют получить новые данные о физике турбулентного течения и продвинуться в исследованиях этого сложного и до сих пор малоизученного явления

Цели и задачи диссертационной работы

1 Разработка эффективной технологии распараллеливания последовательных комплексов программ для решения задач газовой и аэроакустики на основе явных алгоритмов повышенного порядка точности и неструктурированных сеток

2 Применение технологии распараллеливании для разработки параллельного комплекса программ на основе последовательного кода

3 Проведение при помощи разработанного параллельного программного комплекса расчетов актуальных задач газовой динамики и аэроакустики

4 Разработка на основе ранее известного метода Фурье-Шура для уравнения Пуассона, который рассчитан на небольшое число процессоров, нового масштабируемого метода, который может эффективно применяться на суперкомпьютерах с большим числом процессоров

5 Проведение при помощи нового метода для уравнения Пуассона крупномасштабного прямого численного моделирования Достичь высокой эффективности на числе процессоров не менее 512 и обеспечить

возможность использовать сетки с числом узлов не менее 108 при условии применения схемы 4-го порядка аппроксимации Научная новизна и практическая ценность работы

В диссертации предложена оригинальная технология адаптации последовательных комплексов программ к многопроцессорным вычислительным системам С использованием данной технологии распараллеливания был создан комплекс параллельных программ БирегМогБейе 2Б/ЗБ для моделирования двухмерных и трехмерных задач газовой динамики и аэроакустики Проведено численное моделирование ряда актуальных задач аэроакустики

Предложен оригинальный масштабируемый параллельный метод Крылова-Фурье-Шура для решения уравнения Пуассона, которое играет ключевую роль при моделировании несжимаемых течений Продемонстрирована возможность адаптации метода для эффективного использования как на малобюджетных кластерах с небольшим числом процессоров и большой латентностью сети, так и на суперкомпьютерах с числом процессоров до тысячи и более

На основе данного метода впервые проведено такое крупное прямое численное моделирование конвекционного турбулентного течения в закрытой каверне Использовались 512 процессоров суперкомпьютера Маренострум Барселонского Суперкомпьютерного Центра и сетка, содержащая 1 11*108 узлов Также следует отметить, что при этом применялась разностная схема 4-го порядка точности Судя по открытой печати, для данного класса задач, выполненный расчет является (на момент завершения) самым большим в мире

Достоверность результатов

Разработанный параллельный комплекс программ надежно верифицирован путем сравнения на совпадение результатов параллельной и исходной последовательной версий При этом исходная последовательная версия была ранее подробно верифицирована на серии широко известных тестовых задач. Эффективность параллельных вычислений подтверждается серией тестов на параллельную производительность и эффективность, выполненных на различных многопроцессорных системах

Масштабируемый параллельный метод Крылова-Фурье-Шура для уравнения Пуассона обеспечивает требуемую заданную точность решения, которая автоматически контролируется в расчетах путем явного вычисления невязки При этом данный метод применяется в составе комплекса программ, который верифицирован ранее на основе широко известного метода ММБ

(Method of Manufactured Solutions), а также путем сравнения с результатами других авторов Параллельная эффективность подтверждается серией тестов, выполненных на различных вычислительных системах при варьировании числа процессоров в широком диапазоне до 1024 включительно

Личный вклад автора

Разработан эффективный метод распараллеливания явного алгоритма повышенной точности, использующего обширный неструктурированный шаблон Метод применен к комплексу последовательных программ Noisette-2D для решения двумерных задач газовой динамики и аэроакустики В результате при активном участии автора создан универсальный комплекс параллельных программ SuperNoisette 2D/3D с единым алгоритмическим ядром, реализующим расчеты задач газовой динамики и аэроакустики с повышенной точностью, как на треугольных, так и тетраэдральных сетках

При помощи параллельного комплекса SuperNoisette 2D/3D автором проведены двумерные и трехмерные расчеты по моделированию процессов поглощения акустической энергии резонатором в импедансной трубе Также выполнена серия двумерных расчетов по моделированию течения в каналах с системами резонаторов Продемонстрированы возможности использования вычислительного эксперимента для разработки новых конфигураций звукопоглощающих конструкций резонаторного типа, применяемых в авиастроении

На основе ранее известного метода Фурье-Шура для решения уравнения Пуассона на малобюджетных параллельных системах с небольшим числом процессоров, разработан новый масштабируемый метод Крылова-Фурье-Шура Метод может использовать порядка тысячи процессоров суперкомпьютера и позволяет производить расчет на сетках размером порядка сотни миллионов узлов Продемонстрирована высокая параллельная эффективность метода Крылова-Фурье-Шура при использовании до 1024 процессоров на суперкомпьютере Маренострум Барселонского суперкомпьютерного центра Показана возможность адаптации метода к различным параллельным системам и разному числу процессоров С использованием метода Крылова-Фурье-Шура при активном участии автора проведено крупномасштабное прямое численное моделирование конвекционного турбулентного течения в закрытой каверне

Основные положения диссертации, выносимые на защиту

1 Технология распараллеливания комплексов программ, основанных на явных высокоточных алгоритмах, использующих обширный пространственный шаблон и неструктурированные сетки

2 Параллельный комплекс программ SuperNoisette 2D/3D для расчетов двухмерных и трехмерных задач газовой динамики и аэроакустики

3 Результаты серии вычислительных экспериментов по звукопоглощающим конструкциям (ЗПК)

4 Масштабируемый метод Крылова-Фурье-Шура для решения уравнения Пуассона на различных параллельных системах от малобюджетных кластеров до суперкомпьютеров

5 Крупномасштабное прямое численное моделирование турбулентного течения при естественной конвекции в закрытой каверне

Апробация работы

Основные результаты диссертационной работы докладывались и обсуждались на многих российских и международных научно-технических конференциях и семинарах, в частности

1 Europe-Russia Workshop Mathematical Modeling, Computation and Epenmentation in Multiphysics Aerospace and Environmental Engineering Problems, November 8-10, 2006, Barcelona, Spain Приглашенный доклад "Numerical Experiments on Acoustic Liners Using Unstructured Meshes"(co-authors I Abalakm, T Kozubskaya)

2 12th AIAA/CEAS Aeroacoustics Conference (27th AIAA Aeroacoustics Conference), May 8-10, 2006, Cambridge, USA Устный доклад "Simulation of Acoustic Fields in Resonator-Type Problems Using Unstructured Meshes" (co-authors IV Abalakin, T К Kozubskaya, А К Mironov)

3 International conference on Selected Problems of Modern Mathematics, April 4-8, 2005, Kaliningrad Устный доклад "Numerical Simulation of Aeroacoustics Problems on Parallel Computer Systems" (co-authors A Alexandrov, V Bobkov, T Kozubskaya)

4 Международная конференция студентов, аспирантов и молодых ученых ЛОМОНОСОВ 2005, Москва, Россия, 12-16 апреля 2005 г Устный доклад «Технология распараллеливания высокоточных алгоритмов на неструктурированный треугольных сетках» (соавтор И А Боровская)

5 Parallel CFD 2007 Conference, May 21-25, 2007, Antalya, Turkey Устный доклад "Technology of parallelization for 2D and 3D CFD/CAA codes based

on high-accuracy explicit methods on unstructured meshes" (co-authors IV Abalakm, T К Kozubskaya)

6 Parallel CFD 2007 Conference, May 21-25, 2007, Antalya, Turkey Устный доклад "DNS of natural convection flows on MareNostrum supercomputer" (co-authors F X Trias, M Sona and A Oliva)

7 Всероссийская научно-практическая конференция "Вычислительный эксперимент в аэроакустике", 27-30 сентября 2006 года, г Светлогорск Калининградской области Устный доклад «Вычислительные эксперименты по звукопоглощающим конструкциям» (соавторы И В Абалакин, Т К Козубская)

8 Научный семинар сектора вычислительной аэроакустики ИММ РАН, 2 февраля 2006 г, Москва, Россия Устный доклад «Масштабируемый параллельный алгоритм для решения уравнения Пуассона при моделировании несжимаемых течений» (соавторы F X Trias, M Sona and A Oliva)

9 Семинар в ИБРАЭ РАН, 16 октября 2006 г, Москва, Россия Устный доклад «Методика расчета задач аэроакустики на неструктурированных сетках и примеры задач» (соавторы И Абалакин, А Александров, И Боровская, Т Козубская)

10 Научный семинар «Авиационная акустика», 1-5 октября 2007 г, пансионат «Звенигородский» РАН, Московская обл, Заявлен устный доклад «Вычислительный эксперимент в инженерной аэроакустике на примере моделирования звукопоглощающих конструкций» (соавторы Т К Козубская, И В Абалакин, И А Боровская, К А Даниэль)

11 Научный семинар в ИММ РАН, 13 сентября 2007 г Москва, Россия Устный доклад по материалам диссертации

12 Научный семинар в ИВМ РАН, 18 сентября 2007 г, Москва, Россия Устный доклад по материалам диссертации

13 Научный семинар в ИПМ РАН, 27 сентября 2007 г, Москва, Россия Заявлен устный доклад по материалам диссертации

Публикации. Основные результаты диссертации опубликованы в работах, список которых приведен в конце данного автореферата

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и списка литературы Объем составляет 140 машинописных страниц, текст содержит 25 рисунков и 4 таблицы

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность рассматриваемых в работе проблем, сформулированы основные цели диссертации и дано ее краткое содержание по главам Показаны примеры применения вычислительного эксперимента в газовой динамике и аэроакустике Приведен краткий обзор существующих методов и подходов к моделированию несжимаемых течений Дана краткая классификация современных многопроцессорных вычислительных систем, а также параллельных технологий

Первая глава посвящена проблеме распараллеливания последовательного комплекса программ, основанного на явных высокоточных алгоритмах с использованием неструктурированных сеток Технология распараллеливания продемонстрирована на примере комплекса программ Noisette Комплекс обладает основными осложняющими факторами, такими как повышенный порядок аппроксимации и обширный неструктурированный пространственный шаблон разностной схемы

Рассматриваются задачи вязкого и невязкого нестационарного газодинамического обтекания Используются три базовые математические модели 1) уравнения Навье-Стокса, 2) система уравнений Эйлера, 3) линеаризованные уравнения Эйлера Система уравнений может быть записана в виде, общем для трех моделей

dQ | 5F(Q) | 5G(Q) | 5H(Q) _ 1 (dFm(Q) _ 8GNS(Q) , 8Hm(Q)^

dt 8x dy 8z Re

- +-+ -

(1)

дх ду дг

где О- вектор полных или линеаризованных консервативных переменных, Г, С,Н - векторы полных или линеаризованных конвективных потоков, векторы полных или линеаризованных диссипативных потоков, число Рейнольдса

Для численного решения задачи (1), независимо от используемой математической модели, применяется метод повышенной точности для расчета задач нелинейной аэроакустики на неструктурированных сетках Метод разработан в рамках конечно-объемного подхода и второго порядка точности аппроксимации на произвольных треугольных или тетраэдральных сетках Вместе с тем он включает элементы конечно-разностной идеологии построения численных алгоритмов, т к на «декартовых» подобластях расчетной сетки базовая конечно-объемная аппроксимация второго порядка точности вырождается в конечно-разностную аппроксимацию высокого порядка (до 6-го включительно в зависимости от выбора параметров схемы) Вязкие члены в

уравнениях Навье-Стокса аппроксимированы на основе конечно-элементного метода со вторым порядком точности

Работу по распараллеливанию, независимо от конкретного комплекса программ и его назначения, предлагается разделить на следующие основные этапы

1) создание инфраструктуры (т е дополнительных программных модулей и внешних программ), которая будет обеспечивать

автоматическую подготовку сетки для параллельных расчетов,

построение схемы пересылки данных,

параллельный вывод информации и сборку результата,

2) модификация кода

реализация в коде пакета дополнительных структур данных, модификация расчетных циклов, реализация функций обмена данными, внесение других необходимых изменений,

3) верификация параллельного кода, а именно тестирование параллельной версии на совпадение результатов вычислений с результатами исходной последовательной версии

Функциональность инфраструктуры может быть реализована в виде отдельных программ или программных модулей Во-первых, это позволяет минимизировать количество изменений в исходном комплексе программ, во-вторых, инфраструктура может быть использована в других программных комплексах Возможно применение внешних программ, в частности, для разбиения расчетной сетки может использоваться программное обеспечение Metis и так далее

Предлагаются несколько основных идей для существенного увеличения параллельной производительности и сокращения трудозатрат Один из основных подходов - сокращение обмена данными за счет перекрытия вычислений

Во-первых, это перекрытие вычислений по элементам сетки ребро, треугольник или тетраэдр принадлежит подобласти, если хотя бы один его узел принадлежит подобласти Таким образом, элемент может принадлежать более чем одной подобласти Несмотря на некоторые дополнительные вычисления, достигается общее повышение производительности и сокращение трудозатрат, поскольку существенно уменьшается объем обмена данными и количество изменений в коде

Во-вторых, это перекрытие вычислений по узлам большинство вычислительных циклов по узлам включают в себя также узлы из соседних

подобластей, которые затрагивает шаблон разностной схемы (гало узлы) при расчете по узлам подобласти В этом случае соответствующий обмен данными заменяется вычислениями, которые намного быстрее пересылки Для набора узлов, состоящего из всех узлов подобласти и узлов гало, принадлежащих соседним подобластям, вводится обозначение - расширенная подобласть

Использование специальных массивов перенумерации позволяет существенно упростить распараллеливание Вводятся три нумерации 1 -глобальная, 2 - локальная и 3 - локальная расширенная Первая соответствует всей расчетной области, вторая - подобласти, третья - расширенной подобласти Массивы перенумерации, показанные на рис 1, используются для перехода с одной нумерации на другую Все массивы по узлам имеют локальную расширенную нумерацию, за счет этого большинство вычислительных циклов не требует внесения изменений

Рис 1 Дополнительные массивы перенумерации, показанные стрелками, используются для перехода с одной нумерации на другую

Разработанная по предложенной технологии параллельная версия комплекса программ Noisette в тестах на типичном малобюджетном кластере (так называемый тип Beowulf cluster) со стандартной сетью Ethernet показала параллельную эффективность 85% даже при использовании сравнительно небольшой сетки 8*104 узлов на 30 процессорах На кластере с высокопроизводительной сетью Mynnet эффективность в аналогичном тесте составила 99 5%

Этим сравнением показано, что падение производительности происходит только из-за обмена данными (на системе с высокопроизводительной сетью ускорение близко к идеальному), и перекрытие вычислений не оказывает негативного влияния Этот факт подтверждает эффективность подхода, заключающегося в замене пересылки дополнительными вычислениями График ускорения показан на рис 2

The whole domam

VI | I I II i I I I I I I I I I I I I I I I II I I I I 1 1-k I I I I I I J, I I I I I I >|

Рис 2 Ускорение на различных параллельных системах Сетка с числом узлов N=8*104

Выполненная верификация включает в себя сравнение результатов последовательной и параллельной версии на совпадение Параллельная версия была тщательно верифицирована на наборе известных тестовых задач

Во второй главе приводятся основные вычислительные эксперименты по моделированию звукопоглощающих конструкций, выполненные с использованием параллельной версии Noisette

Первая группа 2D и 3D модельных задач воспроизводит условия физического эксперимента в импедансной трубе Эти задачи посвящены изучению звукопоглощающих свойств резонатора и механизма потери акустической энергии На рис 3 (слева) показана схема расчетной области Плоская акустическая волна подается слева на входе Задача имеет следующие параметры диаметр трубы D=2 35см, диаметр горла d=0 75см, толщина перфорированного экрана L=0 6см Монохроматическая акустическая волна имеет мощность 147 1 дБ и частоту 273 Гц

Было численно получено явление перехода акустической энергии в энергию турбулентности Волна разбивается на вихревые структуры в районе горла резонатора Рис 3 (справа) показывает характерную картину течения (изоповерхности плотности)

Рис. 3: Импедансная труба: схема (слева) и изоповерхности плотности около горла резонатора (справа)

Вторая модельная задача в упрощенной 20 постановке соответствует физическому эксперименту с акустическими лайнерами в канале, покрытом звукопоглощающими панелями. Для изучения коллективного влияния акустические лайнеры моделировались в системе из ], 5 и II резонаторов. На рис. 4 показана Схема расчетной области в случае 5 резонаторов. Эксперимент имеет следующие условия: на вход слева подается дозвуковой поток М—0.4, а также монохроматическая акустическая волна 3431 Гц, 150дБ.

200 ■

160 ■

"ё 100 ■

Б

>-

60 ■ о ■

Рис 4: Схема эксперимента в канале с резонаторами

Следующие явления были исследованы при проведении серии вычислительных экспериментов:

1) свист резонатора;

2) развитие турбулентного слоя смешения в горле резонатора;

3) влияние развитого пограничного слоя;

4) взаимодействие свиста с входящей акустической волной;

5) эффект поглощения звука для различного числа резонаторов.

М - 0-4

£....

тши

-320 -280 -240 - 200 -160 -120 -80 40 0 4 0 80 1 20 160 200 240 280 320

х (тт)

Поглощение звука было оценено сравнением спектра и выходной акустической энергии между тремя постановками канал без резонаторов, канал с 5-ю резонаторам, канал с 11 резонаторами Результаты представлены в таблице 1

Таблица 1 Сравнение звукопоглощения

Число резонаторов Акустическая мощность, дБ Поглощение, дБ

0 148 8 0

5 147 1 1 7

11 144 3 45

Третья глава посвящена эффективному решению уравнения Пуассона при моделировании несжимаемых течений на параллельных системах различных масштабов. Рассматривается несжимаемая жидкость с постоянными физическими свойствами Приближение Буссинеска используется для зависимости плотности от температуры Тепловым излучением пренебрегается В этом случае безразмерная система уравнений Навье-Стокса имеет вид V и = 0

^ = Vvi+PrVгl^-Vp + f (2)

Э/

^ = УТ+У2Т д1

Где { = [(),0, АаРгТ]т - вектор массовых сил Уравнения (2) дискретизованы по пространству на смещенной сетке с использованием спектрально-согласованных схем 4-го, сохраняющих симметрию Такая дискретизация сохраняет свойства лежащего в основе дифференциального оператора Эти глобальные свойства дискретного оператора гарантируют как стабильность, так и то, что глобальный баланс кинетической энергии в точности удовлетворяется даже для грубых сеток Для дискретизации по времени используется полностью явная динамическая одношаговая схема 2-го порядка Наконец, для связи между давлением и скоростью используется классический проекционный метод дробного шага

Уравнения момента и энергии не представляют сложностей для распараллеливания, поскольку дискретизованы с помощью полностью явного метода Однако, основная проблема это уравнение Пуассона, к которому приводит уравнение неразрывности Более того, использование схем 4-го порядка с сохранением симметрии для конвективных и диффузионных членов уравнений требует, чтобы оператор Лапласа в уравнении Пуассона также был 4-го порядка (иначе сохранение симметрии не будет выполняться) Решение

уравнения Пуассона в данном случае является наиболее сложной проблемой с точки зрения распараллеливания Предыдущая версия алгоритма для решения уравнения Пуассона была основана на прямом методе Фурье-Шура Метод сочетает БПФ (быстрое преобразование Фурье) и метод Шура БПФ позволяет разложить исходную ЗБ систему уравнений на набор независимых 20 систем, решение для которых находится с помощью метода Шура Метод Фурье-Шура имеет хорошую производительность на малобюджетных кластерах с небольшим числом процессоров (20-40) Требуется только один обмен данными для нахождения точного решения, однако метод имеет специфические ограничения, в частности, по объему памяти и объему обмена данными, которые растут как с размером сетки, так и с числом процессоров Эти ограничения не позволяют применять метод на большом числе процессоров и для сеток большого размера В работе предложен новый метод, основанный на сочетании метода Фурье-Шура с итерационным методом крыловского типа Набор систем, получаемых после БПФ, имеет одну важную особенность -матрицы систем имеют различные числа обусловленности у некоторых систем оно значительно выше, чем у остальных Решение для большей части систем набора может быть эффективно найдено с помощью итерационного метода Основная идея метода Крылова-Фурье-Шура состоит в том, чтобы использовать итерационный метод для систем с низким числом обусловленности, а метод Шура лишь для некоторых систем с высоким числом обусловленности Метода Крылова-Фурье-Шура имеет такие важные преимущества как хорошая масштабируемость и гибкость Метод может эффективно применяться как на малобюджетных кластерах, так и на суперкомпьютерах с числом процессоров порядка тысячи

Рис 5 Параллельное ускорение для метода Фурье-Шура и метода Крылова-Фурье-Шура

В данной главе описан способ адаптации метода к различному числу процессоров и к сетям различной латентности Продемонстрирована высокая параллельная эффективность как на малобюджетных кластерах, так и на суперкомпьютере Маренострум Барселонского суперкомпьютерного центра с использованием до 1024 процессоров и сетки 1 11*108 На рис 5 в качестве примера показано сравнение метода Фурье-Шура и метода Крылова-Фурье-Шура в тесте на ускорение на суперкомпьютере Маренострум, с использованием сравнительно небольшой сетки 2*106 узлов

В четвертой главе приводятся описание крупномасштабного прямого численного моделирования, а именно, DNS турбулентного течения при естественной конвекции Расчет выполнен с использованием численного метода, в основе которого предложенный в данной работе метод Крылова-Фурье-Шура Рассматривается течение несжимаемой жидкости в закрытой каверне с разными температурами на двух противоположных вертикальных стенках На двух других вертикальных стенках — периодические граничные условия, на горизонтальных стенках - адиабатические Основные параметры задачи следующие

• Рг = 0 71 (air)

• Ra = 1011

• Соотношение геометрических размеров каверны 4 1

• Сетка состоит из 1.11*10® узлов

• Схема 4-го порядка аппроксимации

• Расчет на выполнен на 512-ти процессорах

Несмотря на простоту геометрии, турбулентность при естественной конвекции является особенно сложным явлением, которое до сих пор полностью не изучено Результаты DNS позволят продвинуться в изучении физики турбулентных течений и предоставят незаменимую информацию для дальнейшего прогресса в области моделирования турбулентности Судя по

15

ADIABATIC

открытой печати, выполненное является самым крупным в мире для

данного класса задач, а именно, для турбулентного течения в области, ограниченной стенками по двум осям. Ма рис. 5 в качестве примера показаны мгновенные поля течения, а рис. 6 показывает статистику второго порядка.

V w т

Рис 6: DNS турбулентного течения при естественной конвекции в закрытой каверне: мгновенные поля скорости по Y, Z и температуры в сечении по центру каверны (слева) и изоповерхности температуры (справа)

Рис. 7: DNS турбулентного течения при естественной конвекции в закрытой каверне: осредненные поля второго порядка

В заключении приведены основные результаты диссертации, сформулированы основные выводы и обозначены перспективы для дальнейшей работы

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1 Разработан эффективный метод распараллеливания явного алгоритма повышенной точности, использующего расширенный неструктурированный шаблон

2 Создан комплекс параллельных программ ЗирегМотвейе Ю/ЪТ) с единым алгоритмическим ядром, реализующим расчеты задач газовой динамики и аэроакустики с повышенной точностью, как на треугольных, так и тетраэдральных сетках

3 На основе ранее известного метода Фурье-Шура для решения уравнения Пуассона, который эффективен на небольших кластерах с сетью высокой латентности, разработан метод Крылова-Фурье-Шура Новый метод может эффективно применяться на суперкомпьютерах и позволяет использовать сетки размером порядка 108 узлов и разностные схемы повышенной точности на числе процессоров порядка тысячи

4 Проведены расчеты ряда актуальных задач газовой динамики и аэроакустики Продемонстрирована высокая эффективность разработанных методов

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1 IV Abalakm, А V Gorobets, Т К Kozubskaya, А К Mironov, Simulation of Acoustic Fields m Resonator-Type Problems Using Unstructured Meshes, AIAA 2006-2519 Paper (2006)

2 AB Горобец, TККозубская, Технология распараллеливания явных высокоточных алгоритмов вычислительной газовой динамики и аэроакустики на неструктурированных сетках - Математическое моделирование, т 19, № 2, (2007), стр 68-86

3 ИВ Абалакин, А В Горобец, Т К Козубская, Вычислительные эксперименты по звукопоглощающим конструкциям - Математическое моделирование, т 19, № 8, (2007), стр 15-21

4 А В Горобец, Масштабируемый алгоритм для моделирования несжимаемых течений на параллельных системах - Математическое моделирование, т 19, № ,10, (2007), стр 105-128

5 A Gorobets, F. X Trias, M Soria and A Oliva, A scalable Krylov-Schur-Founer Decomposition for the efficient solution of high-order Poisson equation on parallel systems from small clusters to supercomputers — Computers&fluids (to be published)

6 A V Gorobets, IV Abalakin, T К Kozubskaya, Technology of parallelization for 2D and 3D CFD/CAA codes based on high-accuracy explicit methods on unstructured meshes - In Parallel Computational Fluid Dynamics Elsevier, 2007

7 F X Trias, A V Gorobets, M Soria and A Oliva, DNS of natural convection flows on MareNostrum supercomputer - In Parallel Computational Fluid Dynamics Elsevier, 2007

Заказ № 197/09/07 Подписано в печать 18 09 2007 Тираж 100 экз Уел п л 1,25

, ООО "Цифровичок", тел (495)797-75-76,(495)778-22-20 'ni)1 www efr ru , e-mail info@cfr ru

Введение

1 Технология распараллеливания высокоточных алгоритмов для моделирования вязких сжимаемых течений

1.1 Математическая основа комплекса программ NOISETTE

1.1.1 Математические модели.

1.1.2 Базовая численная схема.

1.1.3 Вычисление потока через грань контрольного объема

1.2 Адаптация к параллельным вычислениям.

1.3 Инфраструктура для параллельных вычислений.

1.3.1 Подготовка сетки для параллельных расчетов

1.3.2 Построение и оптимизация схемы пересылки данных

1.3.3 Параллельный вывод результата и сборка данных

1.4 Модификация вычислительной части пакета программ

1.4.1 Наложение вычислений.

1.4.2 Дополнительные структуры данных для параллельных вычислений

1.4.3 Организация обмена данными в параллельной версии

1.5 Эффективность параллельных вычислений.

1.5.1 Верификация параллельного кода.

1.5.2 Описание оборудования.

1.5.3 Измерение производительности.

1.5.4 Анализ результатов

1.6 Структура многоплатформенной параллельной версии пакета SuperNoisettc.

1.6.1 Состав пакета.

1.6.2 Структура каталогов пакета и основные файлы

2 Численное моделирование задач резонаторного типа

2.1 Моделирование звукопоглощающих конструкций.

2.2 Вычислительный эксперимент в импедансной трубе.

2.3 Вычислительный эксперимент в канале со встроенными в стенку резонаторами.

3 Масштабируемый параллельный алгоритм для численного моделирования несжимаемых течений

3.1 Математическая модель и дискретизация.

3.1.1 Метод интегрирования по времени.

3.1.2 Пространственная дискретизация

3.1.3 Решение дискретного уравнения Пуассона.

3.2 Метод быстрого преобразования Фурье (БПФ).

3.3 Метод дополнения Шура.

3.4 Ограничения применимости метода Шура.

3.4.1 Ограничения по объему памяти.

3.4.2 Ограничения из-за обмена данными.

3.4.3 Вычислительные ограничения

3.5 Использование итерационного метода.

3.5.1 Алгоритм.

3.5.2 Свойства матриц A?D, определяющие сходимость итерационного метода.

3.5.3 Выбор критерия для невязки.

3.5.4 Начальное приближение для итерационного метода . 100 3.6 Масштабируемая конфигурация метода Крылова-Фурье-Шура101 3.6.1 Выбор прямого метода в зависимости от размера блока

3.6.2 Производительность на параллельных системах

3.6.3 Выбор конфигурации метода.

3.6.4 Тест на ускорение

3.6.5 Замечания по параллельной оптимизации.

3.7 Распараллеливание по оси X.

3.7.1 Группировка плоскостей.

3.7.2 Упрощенная реализация.

3.7.3 Тестирование параллельной эффективности

4 Крупномасштабное прямое численное моделирование турбулентного конвекционного течения

4.1 Постановка задачи.

4.2 Численные результаты.

В настоящее время математическое моделирование активно входит в практику инженерных исследований и промышленного конструирования. Одной из наиболее актуальных и в то же время сложных областей применения математического моделирования является газовая динамика и аэроакустика.

Задачи, связанные с газовой динамикой, играют важную роль во многих научных и инженерных приложениях. Некоторые из них широко известны. В авиастроении это, например, моделирование внешнего газодинамического обтекания [1], струй смешения и так далее. Все большее значение приобретают задачи аэроакустики, исследование эффектов генерации и поглощения шума в авиационном двигателестроении. В настоящее время математическое моделирование находит применение в разработке звукопоглощающих конструкций реактивных двигателей [2]. Вычислительная газовая динамика также'имеет широкое применение во многих других областях, в том числе и в инженерных целях, как, например, при разработке теплообменников и тепловых накопителей энергии, активных и пассивных систем солнечной энергии. Также следует упомянуть моделирование горения и течений с химическими реакциями, распространение загрязняющих веществ [3], прогнозирование погоды и многое другое. Так же в недавнее время появились такие приложения, как моделирование кровообращения [4] и процессов микробиологии, моделирование экологических проблем, например, влияния деятельности человека на глобальное потепление.

Как известно, прогресс в дальнейших исследованиях и улучшение используемых конструкций не может быть достигнуто без проведения экспериментов. Современный уровень развития техники и технологии и необходимый уровень оптимизации требуют постановки все более многочисленных и сложных экспериментов. Метод физического эксперимента становится все более сложным и дорогостоящим. В это же время развитие методов численного моделирования и вычислительной техники подготовили базис для формирования нового подхода к экспериментированию в газовой динамике, а именно методы вычислительного эксперимента. В различных отраслях промышленности численный эксперимент позволяет моделировать широкий спектр технологических процессов, а также явлений, связанных с эксплуатацией конечного изделия. В частности, в авиации численный эксперимент позволяет значительно сократить затраты, к примеру, на оптимизацию аэродинамических свойств летательного аппарата, поскольку вычислениями заменяется существенная часть дорогостоящих продувок конструкций в аэродинамических трубах, а также летных испытаний. В качестве примера можно привести применение методов вычислительной газовой динамики компанией Boeing [5], одним из мировых лидеров в производстве магистральных пассажирских воздушных судов. В настоящее время для разработки самолетов Boeing вычислительный эксперимент заменил большинство натурных экспериментов в аэродинамических трубах. В частности, методы вычислительной газовой динамики активно используются при разработке крыла, закрылков, фюзеляжа, салона, сочленения двигателя с крылом, обтекателя сочленения крыла с фюзеляжем, кормовой т t части, стоек шасси и так далее.

Большой вклад в расширение возможностей вычислительного эксперимента внесли бурно развивающиеся многопроцессорные вычислительные системы. Существует несколько классов многопроцессорных систем. Наиболее распространенными архитектурами является системы с общей памятью SMP (Symmetric Multiprocessing - симметричное мультипроцес-сирование) и системы с распределенной памятью или, другими словами, массивно-параллельные системы МРР (Massively Parallel Processing). Первые состоят из нескольких однородных процессоров и массива общей памяти. Все процессоры имеют доступ к любой точке памяти с одинаковой скоростью. Вторые представляют собой множество вычислительных узлов, объединенных компьютерной сетью и имеющих один или несколько процессоров и локальную намять, недоступную напрямую другим узлам. Соответственно этим классам существуют технологии параллельного программирования, существенно различающиеся между собой. Для систем с общей памятью это, например, интерфейс прикладного программирования ОрепМР. Для систем с распределенной памятью самой распространенной технологией является интерфейс обмена данными MPI (Message Passing Interface). В данной работе рассматривается только технология параллельного программирования MPI, поскольку в настоящее время для задач параллельной вычислительной газовой динамики MPI имеет наиболее широкое применение. Это связано с тем, что системы с распределенной памятью, па которые ориентирована технология MPI, сами но себе имеют более широкое применение в данной области, чем системы с общей памятью. SMP системы имеют ряд ограничений: это существенное ограничение но числу процессоров, намного более высокая стоимость и низкое соотношение цены и производительности. В то же время ММР системы намного превосходят по производительности системы с общей памятью, число процессоров может достигать десятков тысяч (например BlueGene и Marenostrum производства IBM или Jaguar производства Cray Inc). Так же широкое распространение МРР обусловлено простотой построения малобюджетного варианта такой системы из обычного офисного компьютерного оборудования, что позволяет многим исследовательским группам иметь собственный параллельный компьютер. Такой тип систем принято называть Beowulf кластер (http://www.beowulf.org). Помимо того, технология MPI универсальна - она также может эффективно применяться и на системах с общей памятью.

Быстрый рост производительности многопроцессорных вычислительных систем привел к новому этапу развития вычислительного эксперимента, а также к проблеме перехода на многопроцессорные системы. Этот переход связан с адаптацией существующих алгоритмов и последовательных комплексов программ, рассчитанных на однопроцессорный режим, к параллельным вычислениям, что является достаточно сложной задачей для многопроцессорным систем в целом, а для систем с распределенной памятью в особенности [6, 7]. К примеру, одной из проблем является балансировка загрузки, то есть обеспечение равномерной загрузки процессоров при параллельных вычислениях [8], а также минимизация межпроцессорного обмена данными, что особенно сложно в случае использования неструктурированных сеток и обширных пространственных шаблонов [9]. Метод геометрического параллелизма, наиболее широко применяемый в задачах параллельной вычислительной газовой динамики и также использующийся в данной работе, предполагает разбиение расчетной области на множество подобластей, соответствующих процессорам. Каждый процессор производит вычисления для получения решения на узлах своей подобласти. В этом случае требуется минимизировать объем обмена данными и в тоже время как можно более равномерно распределить вычисления между процессорами, чтобы максимально сократить время вычислений. Существует множество последовательных комплексов программ, основанных на явных численных методах и реализующих эффективные численные алгоритмы, прошедших верификацию, но устаревших и неприменимых к актуальным современным задачам из-за ограничений производительности одного процессора. При этом, па разработку подобных комплексов программ в свое время требовала больших трудозатрат, и было бы нерационально просто отказываться от их использования. Таким образом, возникает проблема эффективного распараллеливания существующих последовательных кодов, разработанных без учета специфики параллельных вычислений. При этом, под эффективностью распараллеливания понимается не только эффективность вычислений, но и минимизация трудозатрат на разработку параллельной версии. Это сформировало одну из целей данной работы, а именно разработку и применение технологии распараллеливания последовательных кодов, эффективную как с точки зрения производительности, так и с точки зрения трудозатрат. Задача становится особенно сложной применительно к неструктурированным сеткам и обширным неструктурированным пространственным шаблонам повышенного порядка точности (которые могут включать в себя неизвестное заранее число узлов). Поэтому для применения технологии распараллеливания был выбран комплекс программ Noisette, предназначенный для решения задач газовой динамики и аэроакустики, алгоритм которого описан в [10]. Данный комплекс программ как раз обладает этими осложняющими факторами: Noisette использует неструктурированные сетки и алгоритмы повышенного порядка точности со сложными шаблонами [11]. Аэроакустика, основная область применения Noisette, является сравнительно новым направлением в газовой динамике. Одно из типичных современных приложений аэроакустики - это снижение шума авиационных двигателей. Звукопоглощающие конструкции (ЗПК) резонансного типа широко распространены в авиационном строении для подавления шума турбореактивных двигателей. ЗПК представляет собой перфорированную панель, конфигурация и геометрические параметры которой существенным образом влияют на эффективность поглощения шума. Для оптимизации параметров ЗПК удобным инструментом может служить математическое моделирование. Хорошо отлаженная вычислительная среда, обеспечивающая расчеты ЗПК в различных конфигурациях, может рассматриваться как виртуальный экспериментальный стенд, легко адаптируемый к широкому диапазону допустимых геометрических параметров и амплитудно-частотных характеристик входного сигнала, и, соответственно, как эффективное средство в помощь физическому эксперименту при конструировании ЗПК. Детальное численное моделирование, к тому же, способствует глубокому пониманию физических механизмов, определяющих звукопоглощение. Математическое моделирование поглощения шума в ЗПК резонансного типа является типичной задачей нелинейной аэроакустики. Спецификой численного моделирования таких задач является наличие как линейных, так и нелинейных явлений, что требует применения схем высокого порядка точности. Сложность геометрии и большая разница в геометрических размерах элементов конструкций (например, соотношение размера канала и горла резонатора) требуют применения неструктурированных сеток. Так же для таких задач характерен большой перепад пространственных и временных масштабов наименьших и наибольших структур течения, что требует подробной пространственной дискретизации и большого числа шагов по времени. Все перечисленные факторы приводят к большим вычислительным затратам. Поэтому использование высокопроизводительных многопроцессорных вычислительных систем особенно актуально для такого типа задач. В данной работе приводятся два типа вычислительных экспериментов по ЗПК, а именно моделирование свойств ячейки ЗПК в импедансной трубе; а также моделирование потерь энергии звукового сигнала при его прохождении в дозвуковом течении в канале, облицованном перфорированными панелями. Задачи носят модельный характер, однако могут служить начальным приближением к прямому численному моделированию ЗПК. Другой проблемой, которая возникает при параллельных вычислениях, является необходимость обеспечения масштабируемости используемых алгоритмов на большое число процессоров. Как известно, эффективность параллельных вычислений начинает резко снижаться, когда число процессоров становится больше некоторого ограничения, свойственного данному алгоритму или размеру задачи. Это происходит в частности из-за того, что время, затрачиваемое на обмен данными, с ростом числа процессоров начинает превосходить время, затрачиваемое непосредственно на вычисления. Поэтому достичь высокой параллельной эффективности представляется достаточно сложной задачей при большом числе процессоров. Ситуация особенно осложняется в случае моделирования несжимаемых течений: поскольку скорость звука в несжимаемых течениях равна бесконечности и возмущения из любой точки мгновенно влияют на всю расчетную область, требуется передача информации между всеми процессорами, а не только между соседями по декомпозиции, как в случае со сжимаемыми течениями. В то же время, необходимость расчетов с использованием сотен и тысяч процессоров вызвана, к примеру, вычислительной сложностью моделирования турбулентных течений. Большинство сложных и интересных с точки зрения приложений газовой динамики течений являются турбулентными. Для расчета турбулентных течений на основе прямого численного моделирования DNS (Direct Numerical Simulations) уравнений Навье-Стокса требуются особенно большие вычислительные затраты. Это обусловлено необходимостью очень подробной пространственной и временной дискретизации. К примеру, согласно широко известным оценкам, число узлов в трехмерной задаче пропорционально [12], где -число Рейнольдса. Даже при умеренных числах Рейнольдса вычислительная стоимость расчета может оказаться настолько большой, что под силу только самым мощным многопроцессорным системам. Поэтому для инженерных приложений в настоящее используются нолуэмпирические модели турбулентности, например, осредпеииые уравнения Навье-Стокса RANS (Reynolds averaged Navier Stokes) [13] или моделирование крупных вихрей LES [14, 15], (Large Eddy Simulation), а так же метод отсоединенных вихрей DES (Detached-Eddy simulation) [16], сочетающий в себе и RANS и LES.Задачей подобных моделей турбулентности является предсказывание осредненных физических величин турбулентного течения без нахождения решения для всех пространственных и временных масштабов течения.

В случае RANS оператор осреднения применяется к системе уравнений Навье-Стокса и мгновенные значения выражаются в виде суммы среднего значения и возмущения. Таким образом, получается система осредненных по времени уравнений Навье-Стокса, которая содержит дополнительные члены, решение для которых не может быть найдено без информации о возмущениях. Для замыкания системы уравнений RANS было предложено множество методов, которые имеют набор параметров, определяемых экспериментально. К сожалению, ни один из этих методов не может рассматриваться как точная модель для всех течений [17]. Обычно RANS используется для нахождения установившихся решений, в частности, среднего поля течения. И, как правило, RANS применяется в случаях, когда не требуется высокая точность результата, а необходимо лишь достаточно грубое качественное сравнение. Таким образом, RANS можно рассматривать как стационарные уравнения Навье-Стокса, дополненные нелинейными величинами и уравнениями.

Основная идея метода LES - находить решение только для крупномасштабных структур течения, а мелкие масштабы, которые не могут быть разрешены из-за ограничений вычислительных ресурсов, моделируются. Этот подход основан на пространственной фильтрации уравнений Навье-Стокса. Модель турбулентности используется для масштабов течения которые не вычисляются напрямую. Эта модель может быть намного проще и более универсальной, чем в случае RANS, но к сожалению, в случае LES также не существует единой модели для всех актуальных задач. Перед тем как использовать модель, она должна быть верифицирована экспериментально для конкретной задачи, что часто бывает проблематично.

В связи со сложностями в получении всей необходимой информации, которая требуется для разработки и подтверждения модели турбулентности, часто модели сравниваются с результатами DNS, а не с результатами эксперимента. Это является одной из основных причин развития методов DNS, несмотря на пессимистичные прогнозы относительно вычислительной стоимости. Набор вычислительных экспериментов DNS позволяет построить базис для калибровки моделей RANS, LES и других, при этом точность DNS в модельных постановках с использованием подробной пространственной дискретизации порядка сотен миллионов узлов превосходит возможности физического эксперимента и измерительных приборов. Кроме того, с учетом бурного роста производительности вычислительных систем, DNS в скором времени может найти более широкое применение для инженерных задач. Но и в настоящее время DNS используется, например, для физических исследований, понимания сути явления турбулентности. [18, 19, 20, 21].

Применение параллельных технологий для моделирования несжимаемого течения более проблематично, по сравнению со сжимаемыми течениями. Это объясняется таким физическим свойством несжимаемой жидкости, как бесконечная скорость распространения возмущений. Уравнение Пуассона, к которому приводит уравнение неразрывности, соответствует этому физическому свойству: оператор Пуассона имеет бесконечную скорость распространения информации в пространстве (то есть на каждом шаге по времени требуется обмен данными между всеми процессорами, что существенно сказывается на параллельной эффективности особенно при большом числе процессоров). Поэтому эффективное решение уравнения Пуассона на многопроцессорных системах является ключевой проблемой при моделировании несжимаемых течений. Основное внимание в части работы, посвященной DNS несжимаемых течений, уделено разработке масштабируемого метода для решения уравнения Пуассона.

Также следует отметить, что современные параллельные вычислительные системы с распределенной памятью существенно различаются между собой по производительности, числу процессоров, латентности сети и другим параметрам. Поэтому метод, который эффективен на одной многопроцессорной системе, может оказаться практически неприменимым на другой. Системы варьируются от малобюджетных кластеров на основе офисного компьютерного оборудования до суперкомпьютеров с высокопроизводительной сетью и тысячами процессоров. Первые имеют очень высокое соотношение производительности и цены и, благодаря своей низкой стоимости, широко используются. Но вторые имеют гораздо большую вычислительную мощность, столь необходимую для DNS и LES на подробных сетках. Наиболее существенными различиями между параллельными системами с распределенной памятью являются, во-первых, число процессоров и, во-вторых, производительность сети. Алгоритмы, которые работают эффективно на малобюджетном кластере, могут оказаться неэффективными на суперкомпьютере из-за проблем масштабирования на большое число процессоров. И наоборот, эффективные на суперкомпьютерах алгоритмы могут иметь неудовлетворительную эффективность на малобюджетном кластере из-за низкой производительности сети, в частности, значитсльно большей латентности. Поэтому требование эффективности алгоритма для моделирования несжимаемых течений на различных типах параллельных систем еще более усложняет задачу. Алгоритм также должен иметь низкую вычислительную стоимость и широкую область применимости. Большинство из существующих алгоритмов для несжимаемых течений не удовлетворяет этой совокупности требований. Например, многосеточные методы [22, 23, 24] - одно из наиболее мощных средств для последовательных вычислений. В них используется иерархический набор сеток, самая грубая из которых имеет сильно сокращенное число узлов. Это позволяет эффективно переносить информацию между удаленными частями расчетной области, что как раз необходимо для уравнения Пуассона. Многосеточный метод выполняет большинство итераций на грубых сетках, для которых вычислительные затраты очень небольшие. Но это в случае однопроцессорного режима. В параллельном режиме будет доминировать латентность сети, которая приведет к значительно большим затратам времени чем сами вычисления. Поэтому метод эффективен только на системах с низкой латентностью сети и сравнительно небольшим числом процессоров [25]. Методы Крыловского типа, такие как метод сопряженных градиентов или обобщенный метод минимальных невязок [26] неплохо поддаются распараллеливанию, хотя требуют на каждой итерации несколько обменов данными. Но, во-первых, их эффективность сильно зависит от используемого предобуславливателя, и, во-вторых, для уравнения Пуассона сложно добиться хорошей сходимости. В настоящее время в этой области ведутся активные исследования [27, 28, 29, 30]. В частности, в [27] предлагается алгоритм для моделирования течения вязкой несжимаемой жидкости, в котором для решения уравнения Пуассона используется метод сопряженных градиентов с предобуславливателем MICCG(O). Но данный алгоритм, во-первых, более подходит для стационарных задач и, во-вторых, эффективен только на сравнительно небольшом числе процессоров. Метод быстрого преобразования Фурье (БПФ) [31], примененный сразу по нескольким осям имеет низкую вычислительную стоимость порядка 0(N\og(N)), но он также имеет существенные ограничения. Применение БПФ требует равномерного шага сетки и исключает возможность постановки препятствий в потоке. Поэтому такой метод применим только для простейших модельных постановок, как, например, течение в канале (в этом случае БПФ применяется по двум осям, по которым используются периодические граничные условия) или каноническое турбулентное течение (БПФ по трем осям, все граничные условия периодические) [19]. Таким образом, сформировалась еще одна цель данной работы, а именно построение гибкого и масштабируемого метода для решения уравнения Пуассона, эффективного как на малобюджетных кластерах, так и на суперкомпьютерах. В качестве исходного базиса были взяты работы [32, 33, 34]. В частности, в [34] предложен прямой алгоритм для дискретного уравнения Пуассона высокого порядка аппроксимации. Он основан на сочетании БПФ (Быстрое Преобразование Фурье) метода и метода дополнений Шура и имеет хорошую производительность на малобюджетных кластерах с относительно небольшим (20-30) числом процессоров и большой латентностью сети. Этому методу необходим только один обмен данными для решения уравнения Пуассона. Следует отметить, что БПФ используется только по одному направлению, что существенно расширяет область применимости.

А именно, возможно сгущение шага сетки по двум осям для разрешения пограничных слоев, а также возможно помещение в течение препятствий. Но метод также имеет специфические ограничения, в частности, связанные с размером требуемой памяти и объемом обмена данными, которые растут достаточно быстро как с числом процессоров, так и с числом узлов сетки. Это существенно ограничивает масштабирование, особенно для схем высокого порядка аппроксимации. Поэтому метод, имея хорошую производительность на небольших малобюджетных кластерах, с ростом числа процессоров быстро теряет эффективность, из-за чего практически не применим на суперкомпьютерах. Целью данной работы является расширение возможностей метода [34], условно обозначаемого далее как метод Фурье-Шура, для применения на суперкомпьютерах, используя сотни и тысячи процессоров. Значительное лучшее масштабирование метода основано на сочетании прямого метода Фурье-Шура с итерационным методом на основе подпространств Крылова, а именно методом сопряженных градиентов. Этот метод будет далее условно обозначен как метод Крылова-Фурье-Шура. Новый хорошо масштабируемый и гибкий метод, описанный в данной работе, может эффективно использоваться как на системах с высокопроизводительной сетью и большим числом процессоров, так и на малобюджетных системах с сетью большой латентности. Продемонстрирована высокая параллельная эффективность метода с использованием до тысячи процессоров суперкомпьютера Маренострум Берселонского Суперкомнью-терного Центра. Описано применение метода для крупномасштабного DNS с использованием сетки с числом узлов более 108. Данный расчет является на момент завершения самым крупным в мире для данного класса задач.

При этом используется спектрально-согласованная разностная схема 4-го порядка, описанная в [35, 36, 37].

Далее приводится краткое содержание работы по главам. Первая глава диссертации посвящена проблеме распараллеливания последовательного комплекса программ для расчета задач газовой динамики и аэроакустики, основанного на явных высокоточных алгоритмах с использованием неструктурированных сеток. Технология распараллеливания продемонстрирована на примере комплекса программ Noisette, который обладает основными осложняющими факторами, такими как повышенный порядок аппроксимации и обширный неструктурированный пространственный шаблон разностной схемы. Предлагаются несколько основных идей для существенного увеличения параллельной производительности. Представленная технология распараллеливания позволяет разработчикам последовательного комплекса программ с минимальными трудозатратами получить параллельную версию, обладающую высокой параллельной эффективностью. При этом, от разработчиков не требуется глубоких знаний в области параллельных вычислений.

Во второй главе приводятся основные вычислительные эксперименты по моделированию звукопоглощающих конструкций, выполненные с использованием параллельной версии Noisette, разработанной по технологии, описанной в первой главе. Группа 2D и 3D модельных задач воспроизводит условия физического эксперимента в имиедансной трубе и в канале с вмонтированными в стенки резонаторами. Эти задачи посвящены изучению звукопоглощающих свойств резонатора и механизма потери акустической энергии.

Третья глава посвящена эффективному решению уравнения Пуассона при моделировании несжимаемых течений на параллельных системах различных масштабов. В этой главе предложен метод, основанный на сочетании метода Фурье-Шура с итерационным методом крыловского типа. Новый метод Крылова-Фурье-Шура имеет такие важные преимущества как хорошая масштабируемость и гибкость. В данной главе показан способ адаптации метода к различному числу процессоров и к сетям различной латентности. Продемонстрирована высокая параллельная эффективность как на малобюджетных кластерах, так и на суперкомпьютере Маренострум Барселонского суперкомпьютерного центра.

В четвертой главе приводятся описание крупномасштабного прямого численного моделирования, а именно DNS турбулентного течения при естественной конвекции от воздействия выталкивающих сил. Расчет выполнен с использованием численного метода, в основе которого описанный в данной работе метод Крылова-Фурьс-Шура. Рассматривается течение несжимаемой жидкости в закрытой каверне с разными температурами на двух противоположных вертикальных стенках.

В заключении приведены основные результаты диссертации. Цели и задачи диссертационной работы:

1. Разработка эффективной технологии распараллеливания последовательных комплексов программ для решения задач газовой и аэроакустики на основе явных алгоритмов повышенного порядка точности и неструктурированных сеток.

2. Применение технологии распараллеливания для разработки параллелыюго комплекса программ на основе последовательного кода.

3. Проведение при помощи разработанного параллельного программного комплекса расчетов двумерных и трехмерных задач газовой динамики и аэроакустики.

4. Разработка на основе ранее известного метода Фурье-Шура для решения уравнения Пуассона на малобюджетных параллельных системах с небольшим числом процессоров нового масштабируемого метода повышенного порядка точности, который может эффективно применяться на суперкомпьютерах с использованием до тысячи процессоров.

5. Проведение при помощи нового метода для решения уравнения Пуассона крупномасштабного прямого численного моделирования. Достижение высокой эффективности на числе процессоров не менее 512 и обеспечить возможность использовать сетки с числом узлов не менее 108 при условии применения схемы повышенного порядка аппроксимации (не ниже 4-го).

Достоверность результатов

Разработанный параллельный комплекс программ надежно верифицирован путем сравнения на совпадение результатов параллельной и исходной последовательной версий. При этом исходная последовательная версия была ранее подробно верифицирована па серии широко известных тестовых задач. Эффективность параллельных вычислений подтверждается серией тестов на параллельную производительность и эффективность, выполненных на различных многопроцессорных системах. Масштабируемый параллельный метод Крылова-Фурье-Шура для уравнения Пуассона обеспечивает требуемую заданную точность решения, которая автоматически контролируется в расчетах путем явного вычисления невязки. При этом данный метод применяется в составе комплекса программ, который верифицирован ранее па основе широко известного метода MMS (Method of Manufactured Solutions) [38], а также путем сравнения с результатами других авторов. Параллельная эффективность подтверждается серией тестов, выполненных на различных вычислительных системах при варьировании числа процессоров в широком диапазоне до 1024 включительно. Основные положения диссертации, выносимые на защиту

Заключение

Ниже сформулированы основные результаты работы.

1. Разработан эффективный метод распараллеливания явного алгоритма повышенной точности, использующего расширенный неструктурированный шаблон. Данный метод позволяет разработчикам последовательного комплекса программ, которые не являются специалистами в области параллельных вычислений, выполнить распараллеливание с минимальными трудозатратами, достигнув при этом высокой параллельной эффективности.

2. Создан комплекс параллельных программ SuperNoisette 2D/3D с единым алгоритмическим ядром, реализующим расчеты задач газовой динамики и аэроакустики с повышенной точностью, как на треугольных, так и тетраэдральных сетках. Данный комплекс программ был получен на основе последовательного кода с использованием разработанной технологии распараллеливания.

3. На основе ранее известного метода Фурье-Шура для решения уравнения Пуассона, который эффективен на небольших кластерах с сетью высокой латентности, разработан метод Крылова-Фурье-Шура. Новый метод может эффективно применяться на суперкомпьютерах и позволяет использовать сетки размером порядка 108 узлов и разностные схемы повышенной точности на числе процессоров порядка тысячи.

4. При активном участии автора проведены расчеты ряда актуальных задач газовой динамики и аэроакустики. С помощью комплекса программ SuperNoisette 2D/3D выполнены вычислительные эксперименты по моделированию звукопоглощающих конструкций авиадвигателей. С использованием метода Крылова-Фурье-Шура выполнено крупномасштабное прямое численное моделирование турбулентного течения при естественной конвекции в закрытой каверне. Продемонстрирована высокая эффективность разработанных методов.

1. И.В. Абалакин, А.В. Горобец, Т.К. Козубская. Вычислительные эксперименты по звукопоглощающим конструкциям. Математическое моделирование, т. 19, №8:15-21, 2007.

2. Кориилина М.А., Якобовский М.В. Динамическая балансировка загрузки процессоров при моделировании задач горения. Высокопроизводительные вычисления и их приложения: Тр. Всеросс. науч. конф. М.: Изд-во МГУ, С.34-39, 2000.

3. И.В. Ашмстков, А.Я. Буничева, С.И. Мухин, Т.В. Соколова, Н.В. Сос-нин, А.П. Фаворский. Математическое моделирование гемодинамики в мозге и большом круге кровообращения. Компьютер и мозг. Новые технологии. М.: Наука, сс. 39-99, 2005.

4. Forrester Т. Johnson, Edward N. Tinoco, N. Jong Yu. Thirty years of development and application of CFD at Boeing commercial airplanes. Computers & Fluids, 34:1115 1151, 2005.

5. Воеводин В.В. Параллелизм в алгоритмах и программах. // Вычислительные процессы и системы. Выпуск 10. / Под ред. Г. И. Марчука. . М.: Физматлит., 1993.

6. Т. Акселрод, М. Беккерман и др. Программирование на параллельных вычислительных системах: Пер. с англ. / Под ред. Р. Бэбба II. М.: Мир, 1991.

7. Четверушкин Б.Н. Проблемы эффективного использования многопроцессорных вычислительных систем. Информационные технологии и вычислительные системы, №2:22-34, 2000.

8. Abalakin I.V., Dervieux A., Kozubskaya Т.К. High Accuracy Finite Volume Method for Solving Nonlinear Acroacoustics Problems on Unstructured Meshes. Chinese Journal of Aeroanautics, Vol. 19, No 2, 2006.

9. И. И.В. Абалакин, Т.К. Козубская. Многопараметрическое семейство схем повышенной точности для линейного уравнения переноса. Математическое моделирование, т. 19, №7:56-66, 2007.

10. Фриш У. Турбулентность. Наследие А.Н. Колмогорова. М.: ФАЗИС, 1998.

11. David С. Wilcox. Turbulence Modeling for CFD. DCW Industries, Inc. La Cacada, California, 1993.

12. Javier Jimfmez and Robert D. Moser. Large-Eddy Simulations: Where Are We and What Can We Expect? AIAA Journal, 38(4):605-612, April 2000.

13. J. H. Ferziger. Direct and large eddy simulation of turbulence. In Numerical Methods in Fluid mechanics. American Mathematical Society, 1998.

14. P.R. Spalart, S. Deck, M.L. Shur, K.D. Squires, M.Kh. Strelets, A.K. Travin. A new version of Detached-Eddy Simulation, resistant to ambiguous grid densities. Theoretical and Computational Fluid Dynamics, 20,3:181195, 2006.

15. Perez-Segarra, C.D. and Oliva, A. and Costa, M. and Escanes, F. Numerical experiments in turbulent natural and mixed convection in internal flows. International Journal for Numerical Methods for Heat and Fluid Flow, Vol. 5, No. 1:13-33, 1995.

16. Y. Morinishi, S. Tamano, and K. Nakayashi. Direct numerical simulation of compressible turbulent channel flow between adiabatic and isothermal walls. Journal of Fluid Mechanics, 502:273-308, 2004.

17. Yukio Kaneda and Mitsuo Yokokawa. DNS of Canonical Turbulence with up to 40963 Grid Points. In Parallel Computational Fluid Dynamics, pages 23-32. Elsevier, May 2004.

18. Juan C. del Alamo, Javier Jimenez, Paulo Zandonade, and Robert D. Moser. Scaling of the energy spectra of turbulent channels. Journal of Fluid Mechanics, 500:135-144, 2004.

19. M. Soria, F. X. Trias, C. D. Perez-Segarra, and A. Oliva. Direct numerical simulation of a three-dimensional natural-convection flow in a differentiallyheated cavity of aspect ratio 4. Numerical Heat Transfer, part A, 45:649673, April 2004.

20. Р.П. Федоренко. Введение в вычислительную физику. М. МФТИ, 1994.

21. William L. Briggs. A Multigrid Tutorial. SIAM, Society for Industrial and Applied Mathematics, 1987.

22. A. Brandt and B. Diskin. Multigrid solvers on decomposed domains, in Domain Decomposition Methods in Science and Engineering (A.Quarteroni, J.Periaux, Yu.A.Kuznetsov and O.Wildlund, eds.). Contemp. Math., 157:135-155, 1994, American Math. Soc.

23. Y.F. Hu, D.R. Emerson, and R.J. Blake. The Communication Performance of the Cray T3D and its Effect on Iterative Solvers. Parallel Computing, 22:22-32, 1993.

24. H. A. Van Der Vorst. Parallel Linear Systems Solvers: Sparse Iterative Methods, in P. Wesseling (ed.), High Performance Computing in Fluid Dynamics, pp. 173-200. Kluwer, Dordrecht, The Netherlands, 1996.

25. Елизарова Т.Г. Милюкова О.Ю. Численное моделирование течения вязкой несжимаемой жидкости в кубической каверне. Журнал вычислительной математики и математической физики, 43:N3, с.453-466, 2003.

26. Широков И.А. Решение уравнения Пуассона на многопроцессорной системе в задачах моделирования течений несжимаемой жидкости. Дифф. уравнения, Т. 39:N7, с.993-1000, 2003.

27. J. Frank C. Vuik and F. J. Vermolen. Parallel Deflated Krylov Methods for Incompressible Flow. Parallel Computational Fluid Dynamics: Practice and Theory, Elsevier Publishing, page 381-388, 2002.

28. E. Oran Brigham. The Fast Fourier Transform and Its Applications. Prentice-Hall, Inc., 1988.

29. M. Soria, C. D. Perez-Segarra, and A. Oliva. A Direct Parallel Algorithm for the Efficient Solution of the Pressure-Correction Equation of Incompressible Flow Problems Using Loosely Coupled Computers. Numerical Heat Transfer, Part B, 41:117-138, 2002.

30. R.W.C.P. Verstappen and A.E.P. Veldman. Direct Numerical simulationof turbulence at lower costs. Journal of Engineering Mathematics, 32:143— 159, 1997.

31. R. W. C. P. Verstappen and A. E. P. Veldman. Spectro-consistcnt discretization of Navier-Stokes: a challenge to RANS and LES. Journal of Engineering Mathematics, 34:163-179, 1998.

32. R. W. C. P. Verstappen and A. E. P. Veldman. Symmetry-Preserving Discretization of Turbulent Flow. Journal of Computational Physics, 187:343-368, May 2003.

33. Patrick J. Roache. Code Verification by the Method of Manufactured Solutions. Journal of Fluids Engineering, Volume 124, Issue 1:4-10, March 2004.

34. I. Abalakin, A. Dervieux, and T. Kozubskaya. Computational Study of Mathematical Models for Noise DNS. AIAA-2002-2585 paper.

35. Long L. Bangalore A. Morris, P. A Parallel Three-Dimensional Computational Aeroacoustics Method Using Nonlinear Disturbance Equations. Journal of Computational Physics, 133:56-74, 1997.

36. Ilya V. Abalakin, Alain Dervieux, Tatyana K. Kozubskaya. On the accuracy of direct noise calculations based on the Euler model. International journal of aeroacoustics, volume 3, number 2:157-180, April 2004.

37. Ilya Abalakin, Alain Dervieux, and Tatiana Kozubskaya. High Accuracy Finite Volume Method for Solving Nonlinear Aeroacoustics Problems. In In Proc. of East West High Speed Flow Field Conference, pages 314-320, Beijing, China, 2005.

38. Abalakin I.V., Dervieux A., Kozubskaya Т.К. A vertex centered high order MUSCL scheme applying to linearised Euler acoustics. INRIA report RR4459, April 2002.

39. Dervieux A. Debiez, C. Mixed element volume MUSCL methods with weak viscosity for steady and unsteady flow calculation. Computer and Fluids, 29:89-118, 1999.

40. Tam C.K.W., and Ju Н. A computational and experimental study of slit resonators. AIAA paper 2003-3310, 2003.

41. Tam C.K.W., and Shen H. Direct computational of nonlinear acoustic pulses using high order finite difference schemes. AIAA paper 93-4325, 1993.

42. Tam C.K.W., and Webb J. C. Dispersion-Relation-Preserving Schemesfor Computational Aeroacoustics. Journal of Computational Physics, Vol. 107:pp. 262-281, 1993.

43. Abalakin, I.V., Dcrvieux A., and Kozubskaya Т.К. A vertex centered high order MUSCL scheme applying to linearised Euler acoustics. INRIA report RR4459, April 2002.

44. Debiez, C., and Dervieux A. Mixed element volume MUSCL methods with weak viscosity for steady and unsteady flow calculation. Computer and Fluids, Vol. 29:89-118, 1999.

45. Gourvitch N., Roge G., Abalakin I., Dervieux A., Kozubskaya Т. A tetrahedral-based superconvergent scheme for aeroacoustics . INRIA report RR5212, May 2004.

46. Alexandre Joel Chorin. Numerical Solution of the Navier-Stokcs Equations. Journal of Computational Physics, 22:745-762, 1968.

47. N. N. Yanenko. The Method of Fractional Steps. Springer-Verlag, 1971.

48. A. J. Chorin. A Mathematical Introduction to Fluid Mechanics. Springer-Verlag, 1993.

49. William D. Henshaw. A Fourth-Order Accurate Method for the Incompressible Navier-Stokes Equations on Overlapping Grids. Journal of Computational Physics, 113(l):13-25, 1994.

50. N. Anders Pctcrsson. Stability of Pressure Boundary Conditions for Stokes and Navier-Stokes Equations. Journal of Computational Physics, 172:4070, 2001.

51. J. Kim and P. Moin. Application of a Fractional-Step Method to Incompressible Navier-Stokes Equations. Journal of Computational Physics, 123:308-323, 1985.

52. S. Xin and P. Le Quere. Direct numerical simulations of two-dimensional chaotic natural convection in a differentially heated cavity of aspect ratio 4. Journal of Fluid Mechanics, 304:87-118, 1995.

53. GO. R. W. Hockney. A Fast Direct Solution of Poisson's Equation Using Fourier Analysis. Journal of the Association for Computing Machinery, 12:95-113, 1965.

54. P.N.Swarztrauber. The Methods of Cyclic Reduction, Fourier Analysis and the FACR Algorithm for the Discrete Solution of Poisson's Equation on a Rectangle. SIAM Review, 19:490-501, 1977.

55. P.J.Davis. Circulant Matrices. Chelsea Publishing, New York, 1994.

56. Robert W. Ramirez. The FFT, Fundamentals and Concepts. Prentice-Hall, Inc., 1985.

57. Yousef Saad. Iterative Methods for Sparse Linear Systems. 2000.

58. M. Frigo and S.G. Johnson. The fastest Fourier transform in the west. Tech. Rep, MIT-LCS-TR-728, 1997.

59. Matteo Frigo and Steven G. Johnson. The Design and Implementation of FFTW3. Proceedings of the IEEE 93 (2), 216-231 (2005). Invited paper, Special Issue on Program Generation, Optimization, and Platform Adaptation.

60. G7. F. X. Trias, M. Soria, C. D. Perez-Segarra, and A. Oliva. Direct Numerical Simulation of Turbulent Flows on a low cost PC Cluster. In Parallel Computational Fluid Dynamics. Elsevier, May 2005.