автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Математическое моделирование процессов в установках высокотемпературной плазмы на кластерной вычислительной системе

Московский физико-технический институт (государственный университет)

На правах рукописи

КАРПОВ ВЛАДИМИР ЕФИМОВИЧ

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ ПРОЦЕССОВ В УСТАНОВКАХ ВЫСОКОТЕМПЕРАТУРНОЙ ПЛАЗМЫ НА КЛАСТЕРНОЙ ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЕ

Специальность 05.13.18 - математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

МОСКВА - 2003

Работа выполнена на кафедре вычислительной математики Московского физико-технического института (государственного университета)

Научный руководитель:

доктор физико-математических наук, доцент Лобанов Алексей Иванович

Официальные оппоненты:

член-корреспондент РАН,

доктор физико-математических наук,

профессор Четверушкин Борис Николаевич

кандидат физико-математических наук, с.н.с. Опарин Алексей Михайлович

Ведущая организация:

Государственное Учреждение Межведомственный Суперкомпьютерный Центр (ГУ МКЦ)

Защита состоится «

октября 2003 года в

часов на заседании

диссертационного совета К 212.156.02 при Московском физико-техническом институте (государственном университете) по адресу:

141700, г. Долгопрудный Московской обл., Институтский пер., 9

С диссертацией можно ознакомиться в библиотеке МФТИ.

Автореферат разослан « * » сентября 2003 г.

Ученый секретарь диссертационного совета К 212.156.02 С—-—У —Федько О. С.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследований. Начиная с 70-х годов XX века во всем мире активно ведутся исследования в области управляемого термоядерного синтеза. Для этих исследований актуальными являются вопросы создания установок, способных генерировать мощные энергетические импульсы, и вопросы поведения вещества в электромагнитном поле при сверхвысоких температурах в таких установках — вопросы динамики плазмы.

В последнее время для обострения мощности в экспериментальных комплексах часто используются плазменные прерыватели тока (ППТ), плазменные размыкатели тока, установки типа г-пинча и др. Необходимость получения все более мощных импульсов неотвратимо приводит к усложнению конструкций создаваемых установок и увеличению их стоимости. Актуальной становится задача математического моделирования элементов экспериментальных установок еще на этапе их проектирования.

Для детального исследования динамики плазмы в подобных установках не достаточно только натурного эксперимента — он не дает полной и подробной информации. Здесь сказываются не только очень высокие скорости процессов, протекающих в плазме (их характерные времена составляют десятки и сотни наносекунд). В силу принципиальных причин диагностические части установок позволяют измерять характеристики плазмы лишь в отдельные дискретные моменты времени. Для снятия этих характеристик используется лазерное излучение, длина волны которого сравнима с масштабами неоднородности в плазме. Таким образом, для получения полной картины происходящего актуальным является комплексный подход, сочетающий проведение натурных и численных экспериментов.

Наиболее полное соответствие с натурными экспериментами дает численное моделирование на основе сложных математических моделей, включающих в себя описание многих тонких эффектов (например, квантовомеханиче-ское описание динамики заселенности уровней). При этом резко возрастает объем выполняемых расчетов. Лет 10-12 назад использовать такие модели не позволяли возможности вычислительной техники, сейчас проведение подобных численных экспериментов требует применения параллельных вычислительных систем.

Для проведения параллельных расчетов активно разрабатываются специальные параллельные численные методы. Однако существует целый ряд ранее апробированных методов и комплексов программ, хорошо зарекомендовавших себя при использовании на обычных последовательных компьютерах. Актуальным становится анализ их внутреннего параллелизма и адаптация для выполнения вычислений на параллельных ЭВМ.

Е

Математические модели, описывающие поведение плазмы, могут быть с успехом применены в вычислительном эксперименте для дополнения экспериментальных работ. Выгоды такого подхода очевидны: стоимость вычислительного эксперимента мала по сравнению со стоимостью эксперимента реального, при этом можно легко варьировать основные параметры модели.

Основными целями диссертационной работы являлись:

1. исследование внутреннего параллелизма существующих численных методов и комплексов программ, применяемых при математическом моделировании конструкций установок типа ППТ и динамики поведения плазмы;

2. отладка технологии расчета сложных задач математической физики на параллельном кластере из персональных компьютеров (учебный класс МФТИ);

3. расчет электрических полей для определения конструкции модернизированной установки РС-20 (типа ППТ);

4. моделирование динамики плазмы на примере медленного z-пинча.

Методы исследования. Для анализа численных методов и комплексов программ на наличие внутреннего параллелизма, а также для выбора наиболее рациональной модели организации параллельных вычислений на системе с распределенной памятью (кластер из персональных компьютеров) и оценки эффективности работы параллельного варианта, использовалась система BERT 77 (в разработке которой принимал участие и автор данной работы). Для решения уравнения Лапласа при расчете электрических полей в модифицированной установке РС-20 был применен метод Якоби. Для моделирования динамики медленного Z-пинча использована модификация имеющихся последовательных программ (основанных на использовании вариационных методов).

Научная новизна.

1. В результате проведенной работы впервые исследована многомерная динамика медленного z-пинча с учетом подробной модели заселенности электронных уровней. Результаты расчетов дают хорошее соответствие с экспериментальными данными, полученными в Израиле.

2. Разработана технология наиболее эффективного распараллеливания программ решения задач математической физики для конкретного параллельного комплекса (анализ соотношения времен выполнения отдельных частей программ и передачи данных с помощью BERT 77) без предварительной профилировки последовательных вариантов.

Научная и практическая ценность. 1. На основании эскизного проекта автора, полученного в результате детального изучения математической модели, осуществлена модернизация экспериментальной установки РС-20, успешно эксплуатирующейся в РНЦ «Курчатовский институт».

2. Результаты, полученные в работе, расширяют представления о физике медленных Z-пинчей. Они позволяют объяснять ряд экспериментально наблюдаемых явлений (в частности, образование горячих точек на оси пинча) и механизм их возникновения.

3. Отлажена технология расчетов на кластерных вычислительных комплексах, показана эффективность использования учебных классов в качестве высокопроизводительной параллельной вычислительной системы.

4. На основании выполненных исследований открывается возможность применения современных вычислительных технологий при моделировании других физических объектов (сильноточные диоды, плазменные переключатели тока и т. п.).

Апробация работы. Основные результаты работы докладывались на 3 Международных конференциях (ЗОЛ EPS Conference on Controlled Fusion and Plasma Physics, — Sanct-Peterburg, 2003; 8-я Международная конференция «Математика, компьютер, образование» — Пущино, 2001 г; Interstate Symposium on Plasma Electronics and New Acceleration Methods — Kharkov, Ukraine, July 2000) и одной Всероссийской (28 Звенигородская конференция по физике плазмы и управляемому синтезу — 2001 г.). Результаты также докладывались на семинарах Отделения прикладной физики РНЦ КИ (2001-2003 г.г.), на научных семинарах кафедр вычислительной математики и информатики МФТИ (20012003 г.г.) и на секции Научно-Технического Совета МинАтома РФ (декабрь 2001 г.).

Публикации. По теме диссертации опубликовано б работ: 3 статьи в центральных журналах [1-3] и 3 тезиса выступлений на конференциях [4-6].

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения и списка литературы (79 наименований). Работа изложена на 90 страницах и содержит 18 рисунков и 2 таблицы.

Благодарности, гранты. Проведенная работа выполнена при поддержке РФФИ (проект № 98-01-00225) и INTAS (проект № 97-0021). Автор выражает огромную благодарность А. С. Кингсепу, А. В. Бартову, Г. И. Долгачеву за постановку задачи и полезные обсуждения, А. В. Богатову за полезные рекомендации при анализе параллельности программы, И. В. Коваленко за техническое содействие. Особую благодарность автор выражает Ю. Н. Субботину и А. В. Зырянову за предоставленную возможность использования для расчетов учебного компьютерного класса.

СОДЕРЖАНИЕ РАБОТЫ

В первой главе диссертации содержится обзор современного состояния проблем, связанных с тематикой диссертации.

Вначале рассматриваются основные тенденции в области параллельных вычислений, и обосновывается выбор технических и программных инструментов для решения задач, поставленных перед автором.

Основными целями работы, выполненной автором, являлись разработка программ для параллельного расчета параметров реальной физической установки по хорошо зарекомендовавшим себя алгоритмам и применение принципов распараллеливания вычислений к уже существующим программным комплексам. Эти работы должны были быть выполнены на доступной вычислительной технике в достаточно короткие сроки. Наиболее доступными параллельными комплексами в России в настоящее время являются представители класса MIMD компьютеров. Это многопроцессорные SMP машины раз- i личных производителей (представители подкласса комплексов с разделяемой памятью), а также транспьютерные машины и разнообразные кластеры (представители подкласса комплексов с распределенной памятью). Сжатость сроков для выполнения работ требовала поиска решений, связанных с наименьшими организационными и финансовыми затратами. Поэтому в качестве базовой техники для проведения вычислений был выбран кластер из персональных компьютеров на основе процессоров Celeron-366, связанных между собой 100 Mb сетью на основе Ethernet — обычный учебный класс МФТИ (наиболее мощный из доступных в то время).

Применение методов параллельной обработки данных в численных экспериментах требует наличия на компьютерных комплексах определенной операционной среды, позволяющей эффективно организовать взаимодействие частей программ, выполняющихся на различных процессорах. Для машин с распределенной памятью, где общение процессов друг с другом происходит путем передачи сообщений, максимальное распространение получили системы программирования PVM, MPI, и ее дальнейшее развитие MPI-2. При решении поставленных задач анализировалась эффективность использования различных систем программирования на конкретном вычислительном комплексе.

Распараллеливание хорошо зарекомендовавших себя последовательных алгоритмов или комплексов уже работающих последовательных программ связано с их анализом на предмет наличия внутреннего параллелизма. Для сложных задач этот процесс является весьма трудоемким, и для его проведения используются различные инструментальные программы. Система анализа программ на параллельность BERT 77 для определения соотношения времен выполнения программы и передачи данных опирается на оценки выполнения элементарных конструкций языка программирования и коммуникационных примитивов без предварительного выполнения анализируемой программы. Это ее достоинство, а также участие автора в ее разработке, и послужили основанием для выбора BERT 77 в качестве используемой инструментальной системы.

Далее в диссертации анализируются основные численные методы решения уравнений эллиптического типа, численные метода линейной алгебры и методы решения жестких систем ОДУ с точки зрения их параллельности.

Вторая глава диссертации посвящена исследованию вариантов модернизации установки РС-20. В ней описана постановка задачи, проведен анализ математической модели установки и обоснован выбор метода параллельного расчета электрического поля внутри установки на кластерном вычислительном комплексе, оценена эффективность работы программы для различных моделей организации параллельных вычислений и систем программирования, приведены результаты расчетов для различных вариантов модернизации.

Первоначально эскиз модернизированной установки РС-20 выглядел как спайка двух коаксиальных конденсаторов различного диаметра, внешние обкладки которых соединены металлической поверхностью. На внешней обкладке конденсатора меньшего диаметра недалеко от границы соединения с конденсатором большего диаметра имеется полуцилиндрическое кольцевое углубление. В больший конденсатор в месте его соединения с меньшим конденсатором помещена диэлектрическая вставка из полиэтилена, представляющая собой полый усеченный конус, сужающийся по направлению к центральному электроду. В полиэтиленовую вставку врезаны пять пар компенсаторных тороидальных колец. Каждая пара соединена между собой плоскими металлическими кольцами, проходящими через диэлектрик. Внутри всей установки поддерживается вакуум. Характерные размеры установки: высота — 65 см, диаметр большого конденсатора — 124 см. Внешние обкладки конденсаторов заземлены. На внутреннем цилиндрическом электроде поддерживается постоянное напряжение 5 Мв. К компенсаторным кольцам подведены постоянные напряжения от 0.1 до 0.5 Мв, увеличивающиеся с шагом 0.1 Мв от нижнего компенсаторного кольца к верхнему компенсаторному кольцу. Требовалось определить напряженность электрического поля внутри установки.

Ввиду осевой симметрии установки целесообразно перейти в цилиндрическую систему координат {г, г, в). В ней распределение потенциала электрического поля ф внутри установки описывается уравнением Лапласа

1 9 . 9ю. 9 9н> _ /1Ч

гаг дг dz dz

На металлических поверхностях значения потенциалов заданы эскизом конструкции. Так как из физических соображений корректно поставить граничные условия на верхнем и нижнем срезе конденсаторов не представляется возможным, будем считать, что конденсаторы продолжаются в обе стороны на бесконечное расстояние. В этом случае для потенциала ср на верхней и на нижней границах установки получаем граничное условие вида:

Распредележе потенциала по формуле (2)

1п(л,)-1п(г,) 1п(г,)-1п(г2)

где ф/, фз — потенциалы внутренней и внешней обкладок соответственно, ги г2 — их радиусы.

Таким образом, задача расчёта электрического поля свелась к решению задачи Дирихле для уравнения Лапласа в геометриче- 5 ски сложной области (см. рис. 1).

Кроме того, коэффициент диэлектрической проницаемости среды £ терпит разрыв на границе раздела сред вакуум-диэлектрик (для полиэтилена это значение равно 2,5).

Для задач в неодносвязных геометрических областях с разрывными коэффициентами разработаны различные семейства последовательных численных методов, обладающих хорошей устойчивостью и высокой сходимостью (интег-ро-интерполяционный метод, вариационные и проекционные методы конечных элементов, использование монотонных разностных схем на хаотических сетках, многосеточные методы Р. П. Федоренко, методы граничных элементов). Однако эти методы не могут быть эффективно реализованы для параллельного исполнения на машинах с распределенной памятью.

Исходя из вышесказанного, представлялось целесообразным использовать для решения поставленной задачи один из явных методов, характеризующихся высокой степенью внутренней параллельности и пригодных для реализации на кластере из персональных компьютеров. Для численного решения поставленной задачи применялась простая разностная аппроксимация, при этом система линейных уравнений решалась итерационным методом:

Распределяете потенциала по формуле (2)

Рис. 1

_1_

К.+К

<Рп+х„-<Рп,

)+—(* 4 г.. »-

+ Е

п,т-1 \ __

) = о,

где верхний индекс указывает на номер итерации. Индексы + и — относятся к величинам шагов сетки справа и сверху от рассматриваемой точки и слева и снизу соответственно.

Для учета разрыва коэффициента диэлектрической проницаемости в качестве значения е в полуцелых точках вблизи границы раздела сред выбирались средневзвешенные значения. Для проверки условий сходимости итераций использовался следующий критерий выхода из итерационного процесса:

тах^-

я ,т (р^

п,т

Для расчетов была выбрана фиксированная квадратная сетка с постоянным шагом вне границ области и границ раздела сред, равным 1 мм. Общее число узлов сетки составило -750 ООО. В окрестности электродов (местах неодносвязности области интегрирования) размеры шагов выбирались таким образом, чтобы узлы разностной сетки лежали на границах области (электродах).

В использованном методе вычислений значение потенциала в узле сетки зависит лишь от значений потенциала в его окрестности на предыдущей итерации. Поэтому потенциалы на текущей итерации в различных узлах сетки могут быть рассчитаны независимо друг от друга, что приводит нас к ярусно-параллельной форме алгоритма с шириной яруса на одной итерации равной числу узлов сетки. Предложенная схема вычислений обладает огромным внутренним параллелизмом.

Эффективность работы параллельных программ на вычислительных комплексах с распределенной памятью определяется тремя составляющими: степенью внутреннего параллелизма алгоритма вычислений; количеством данных, передаваемых между процессорами; степенью равномерности загрузки различных процессоров.

Степень внутреннего параллелизма является свойством выбранного алгоритма вычислений и никак не связана с организацией совместной работы процессоров. Оставшиеся два фактора — количество передаваемых данных и степень равномерности загрузки вычислительных мощностей — напротив напрямую связаны с выбранной моделью организации параллельных расчетов.

Для многопроцессорных компьютерных систем с распределенной памятью существуют три различные модели организации параллельных вычислений: потоковая, динамическая и статическая.

Анализ соотношения времени выполнения вычислений и времени передачи данных для различных систем программирования и моделей организации работы процессоров, проведенный в диссертации, позволил сделать вывод о необходимости использования пакета РУМ и статической схемы параллельных вычислений при распределении зон ответственности процессоров по простран-

ственной координате г. При этом наиболее удобным и эффективным оказалось использование 12 процессоров, т.е. 12 машин в составе вычислительного кластера. Предварительная численная оценка ускорения вычислений на предложенном параллельном комплексе по сравнению с последовательным вариантом составила 10,1 раза.

Проведенные численные эксперименты показали реальное ускорение по отношению к последовательному варианту 8,7 раза (меньше предварительной оценки из-за невозможности точной предварительной балансировки загрузки процессоров в статической модели организации параллельных вычислений) и выявили наличие значительной напряженности электрического поля на поверхности диэлектрика в районе первого и второго компенсаторных колец, что могло привести к пробою диэлектрика. Кроме того, фиксировалось высокое значение напряженности электрического поля вблизи границы вакуум-электрод-диэлектрик. Оно связано с наличием логарифмической особенности в решении уравнения Лапласа вблизи входящего угла на границе области.

Для уменьшения значения напряженности была проведена серия расчетов с изменяемой геометрией установки. Окончательный вариант расположения компенсаторных колец измененной формы и потенциалов на металлических поверхностях приведен на рис. 3. Полученные значения потенциала для этого варианта (см. рис. 4) показали значительное снижение напряженности внутри диэлектрика в области нижних компенсаторных колец и позволили сделать вывод об отсутствии пробоя диэлектрика в этом случае. Данный вариант был принят за основу модернизации установки 118-20.

Рис. 2 Рис. 3

В третьей главе диссертации рассматривается численное моделирование динамики «медленного» Z-uиичa с использованием кластера из персональных компьютеров.

Для численного моделирования физических экспериментов по изучению динамики г-пинча специалистами России и Израиля был разработан комплекс программ, построенный на базе гидродинамической модели и кинетической модели, описывающей динамику ионизационных состояний плазмы.

В рамках подхода магнитной гидродинамики использовалась следующая математическая модель движения одножидкостной двухтемпературной плазмы в магнитном поле, записанная (в одномерном случае) в безразмерных переменных:

<Й г дг Л

дг[ 8>г

4 жрг

рйе,_ р 1 д{гуг) 11 &ГЛ ¿в _ 1 аю д(\дгв\

А Л 'г дг г дЯ\ ' дг ) Л г дг дг{г дг /

где <Зг — потери на излучение (в приближении тормозного излучения), <Зе1 — обмен энергиями между электронной и ионной компонентами за счет столкновений. В качестве рабочего газа рассматривается чистый углерод. В приведенных выше формулах индекс е относится к электронам, а / — к ионам. Большинство обозначений традиционны, Р без индекса означает полное давление — сумму парциальных давлений электронов и ионов, функция J(zeff) учитывает потери энергии на ионизацию. В качестве уравнений состояния в модели используются уравнения состояния идеальной плазмы:

Р = 9М-РТ'2'Я -£е = 14.4Г, Р = 9.68= 14.47], А ' ' А '

здесь и далее: А — число нуклонов в ядре (атомный вес). Уравнения модели записаны в безразмерном виде. Для обмена энергиями за счет столкновений

Р24г Т-Т

£>а = 8.4810"'•'" а для потерь на излучение ()г=0Л14А-2г2р2Т;05

А Те'

Для коэффициентов электронной и ионной теплопроводности приняты следующие зависимости:

ке = 2.2\Л0'гТ"2'^, АГ, =6.6-10-л т;2^^-05.

Коэффициент магнитной вязкости выражается в виде г = 2.59-10"!г#7715.

Здесь и далее — эффективный заряд иона плазмы. На внешней границе короны ставятся условия границы с вакуумом. При этом азимутальное магнитное поле на границе связано с полным током во внешней электрической цепи из-

вестным соотношением, записанным в безразмерных переменных: „ 0.2/(/) , п

В=-— ,где I — ток во внешней цепи, R — текущии радиус соответствующей

R

точки короны.

Приведенная выше система уравнений в программном комплексе решается методом расщепления по физическим процессам. На первом этапе расчета учитывается движение плазмы, для чего численно решаются уравнения невязкой магнитной гидродинамики без учета диссипативных эффектов. При по- ^ строении разностной схемы используются лагранжевы координаты. Для уменьшения осцилляций, возникающих при расчете разрывных решений (ударных волн, контактных разрывов или тангенциальных разрывов), к давлению добавляется искусственная вязкость. В расчетах применяется комбинация линейной и квадратичной вязкости. На следующих этапах решаются уравнения электронной и ионной теплопроводности, а также диффузии магнитного поля. Для этого применяются схемы потоковой прогонки. На заключительном этапе учитываются обмены энергиями между электронами и ионами и потери на излучение. Жесткие системы ОДУ, возникающие на данном этапе расщепления, для каждой ячейки решаются методом трапеций. На каждом гидродинамическом шаге (или через несколько гидродинамических шагов по времени) для каждой лагранжевой ячейки численно интегрируется (в собственном кинетическом масштабе времени) система 200-300 ОДУ, определяющих заселенности квантовых состояний атомов и ионов плазмы. Для решения системы ОДУ разработана программа, использующая для численного интегрирования метод Ги-ра и применяющая соответствующий модуль из распространенной библиотеки NAG. Последовательный вариант программного комплекса позволял исследовать поведение z-пинча только на грубых сетках. Для детального рассмотрения на подробных сетках требовалось слишком большое процессорное время.

Анализ используемых алгоритмов показал, что необходимые условия эффективного пространственного распараллеливания программ (наличие параллельных ярусов достаточной ширины) выполнены для каждого модуля программного комплекса. Временной анализ выполнения последовательного варианта привел к довольно любопытным результатам. Несмотря на то, что модуль кинетической части системы содержит обращения к библиотечным функциям <

пакета NAG, время выполнения которых системе BERT 77 не известно, а организация циклов в программе предусматривает выход лишь при достижении заданной точности, BERT 77 оценивает время расчетов квантовомеханической i части системы как 98,4% от общего времени выполнения программы, что, как оказалось, хорошо согласовывается с реальными вычислениями. Полученная оценка делает бессмысленными любые попытки распараллеливания остальных модулей программного комплекса.

Для упрощения балансировки загрузки процессоров расчетная сетка была поделена вдоль (в радиальном направлении) на 12 примерно равных частей (по количеству компьютеров в кластере). Выбор направления диктовался тем, что основные возмущения (ударные волны) распространяются от периферии области занятой плазмой к ее центру, и при таком делении области каждый компьютер обрабатывает примерно равное количество лагранжевых ячеек, прилегающих к фронту ударной волны. При времени счета последовательного варианта модуля ~ 27 минут обмен информацией между процессорами независимо от схемы организации параллельных вычислений составляет не более 0,4 секунды, что пренебрежимо мало.

Пренебрежимо малое время для обмена информацией между процессорами по сравнению со временем параллельных вычислений делает одинаково эффективными все три схемы организации вычислений: потоковую, динамическую и статическую. Выбор схемы в таком случае осуществляется из соображений балансировки загрузки процессоров и простоты программирования. В качестве предпочтительной схемы организации параллельных вычислений была выбрана динамическая модель. При малых относительных временах, требующихся для передачи информации от процессора к процессору главный процессор в динамической модели также целесообразно загрузить вычислительной работой, включив его в набор рабочих процессоров. Каждый рабочий процессор при завершении параллельного яруса не только пересылает насчитанные выходные данные, но и время, которое он затратил на вычисления. Главный процессор заново рассчитывает количество лагранжевых ячеек, которые будут выделяться различным процессорам, исходя из присланных времен, и отправляет определенные им области ответственности процессорам вместе с собранными данными. Для такой модели при использовании пакета РУМ оценка ускорения для кластера из 12 рабочих процессоров составила 10,2 раза. Проведенные численные расчеты с использованием параллельного варианта комплекса программ показали среднее реальное ускорение 10,8 раза по сравнению с последовательным вариантом.

В численных экспериментах рассматривался случай погонной массы пинча 0,006 мг/см, начальный радиус пинча составлял 2,6 см. Длина пинча 2 см. Материал плазмы считался углеродом. Пинч заключался между двумя электродами, которые при расчетах считались непроницаемыми для плазмы. Уравнение электрической цепи при нашей постановке не решалось, а использована интерполяция экспериментальной зависимости полного тока в цепи. Эта зависимость хорошо приближается прямой со временем нарастания тока 610 не и максимальным значением тока 300 КА Для рассмотрения эффектов неустойчивости Рэлея-Тейлора на правой границе области задавалось малое синусоидальное возмущение от 0,25 до 5% начального радиуса пинча. Задача рассматривалась на сетках от 60x134 до 100x206 лагранжевых ячеек. Время расчета на

кластере из 12 компьютеров с процессорами Celeron 366 и сетью Ethernet 100Mbit составляло от 1 до 2 суток.

Типичный сценарий развития событий таков. Вначале, до времени примерно 200 не плазма практически покоится. Происходит незначительный прогрев плазмы лайнера в образующейся короне, сопровождаемый некоторым увеличением среднего заряда ионов. В остальной части плазмы лайнера из-за того, что начальный заряд иона (0,9) несколько отличался от равновесных значений при данной плотности и температуре, средний заряд иона также несколько увеличивался (до 0,93) при этом понижалась электронная температура плазмы с 2 эВ до 1,6— 1,8 эВ. При временах около 200 не с момента включения тока лайнер приходил в движение. Большая часть массы плазмы при этом сосредоточена вблизи правой границы, а корона практически исчезала — наблюдается эффект «снежного плуга». В дальнейшем до максимального времени проведения расчета характер сжатия оставался постоянным. Основная масса сосредотачивалась в области «снежного плуга». Счет на кластере из персональных компьютеров удалось провести до времен порядка 500-510 не, в дальнейшем расчет прекращался из-за резкой деформации подвижной сетки вблизи охлаждаемого электрода.

На малых сетках при небольших начальных возмущениях параллельные расчеты впервые удалось провести до момента образования горячей точки на оси Z-пинча. На рис. 4 показаны распределения электронной и ионной температур в двумерном расчете на сетке 20x20 для времени 600 не. Хорошо видно появление горячей точки на дальней границе области.

Etactnn tawer«br*

ot dat utlng U 4 ■-

0 04 -

Рис.4.

Таким образом, модернизация существующего комплекса программ для работы в параллельном варианте позволила проводить исследование динамики г-пинча на подробных сетках и существенно продвинуться по времени при расчетах на малых сетках.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ

1. На параллельной вычислительной системе подробно исследована математическая модель модернизированной установки РС-20. По результатам исследования математической модели получено детальное распределение напряженности электрического поля для различных вариантов модернизации. На

основании предложенного эскизного проекта в РНЦ КИ проведена модернизация установки. Экспериментальные исследования, проведенные в РНЦ КИ, показали высокую эффективность модернизации.

2. Проведено параллельное численное моделирование динамики «медленного» z-пинча. На основе расчетов детально исследован механизм формирования «горячих точек» на оси пинча. Полученные численные результаты находятся в хорошем соответствии с экспериментальными данными.

3. Разработана технология эффективного распараллеливания программ решения задач математической физики для конкретного параллельного комплекса (анализ соотношения времен выполнения отдельных частей программ и передачи данных с помощью BERT77) без предварительной профилировки последовательных вариантов.

4. Показана эффективность использования стандартного учебного класса в качестве кластера из персональных компьютеров для решения сложных многомерных задач математической физики.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1 .НУ Баринов, С А Будков, С А Данько, Г. И. Долгачев, Ю. Г Калинин, В Е Карпов, А И. Лобанов, Д Д Масленников, И. А Ходеев. Модернизированная установка РС-20 для исследования характеристик плазменного прерывателя тока. // Приборы и техника эксперимента, 2002, №2, с. 112-119.

2. А. С. Кингсеп, В Е Карпов, А. И Лобанов, И Марон, А. А. Старобинец, В. И Фишер. Численное моделирование динамики медленного Z-пинча. // Физика плазмы, 2002, том 28, №4, с. 319-328.

3 .BE Карпов, А И Лобанов, А Р. Сероглазое. Расчет электрического поля установки RS-20 с использованием кластера из персональных компьютеров. // Математическое моделирование, 2002, том 14, № 10, с. 57-62.

4. H У. Баринов, Г И Долгачев, В Е Карпов, А И Лобанов, Д. Д Масленни ков. ППТ с изоляцией внешним магнитным полем. / 28 Звенигородская конференция по физике плазмы и управляемому синтезу. Заседание ИС-2. Анн. Докладов, 2001, 1с.

5. В. Е. Карпов. К расчету потенциала электрического поля в области сложной геометрии. / Математика, компьютер, образование. Тезисы докл. VIII конференции.— М.: Прогресс-традиция, 2001, с. 158.

6. G. I. Dolgachev, A. S Kingsep, A G. Ushakov, A I Lobanov, V E. Karpov. RS-20 Upgrade, the New P.O.S. Experimental Device. / Interstate Symposium on Plasma Electronics and New Acceleration Methods, Kharkov, Ukraine, July 2000, rep. 137,4p.

* 13 9 88

Карпов Владимир Ефимович

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ ПРОЦЕССОВ В УСТАНОВКАХ ВЫСОКОТЕМПЕРАТУРНОЙ ПЛАЗМЫ НА КЛАСТЕРНОЙ ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЕ

Подписано в печать 06.09.2003 Формат 60 х 84 )/[6 Уел печ л. 1,0 Тираж 70 экз Заказ № 127.

Издательство «МАКЕТ» 141700, Московская обл , г Долгопрудный, ул Циолковского, 9, к 16

Введение.

Глава 1. Современное состояние проблем, связанных с тематикой диссертации.

§1.1 Обзор основных тенденций в области параллельных вычислений.

§1.2 Основные численные методы решения уравнений эллиптического типа с точки зрения параллельности.

§1.3 Основные численные методы линейной алгебры и их параллельность

§1.4 Численные методы решения жестких систем обыкновенных дифференциальных уравнений и их внутренний параллелизм.

Глава 2. Расчет электрического поля установки RS-20 с использованием кластера из персональных компьютеров.

§2.1 Первоначальная постановка задачи.

§2.2 Математическая модель и выбор численного метода.

§2.3 Реализация последовательного варианта расчетов и внутренний параллелизм алгоритма.

§2.4 Модели организации параллельных вычислений для комплексов с распределенной памятью.

§2.5 Выбор модели организации параллельных вычислений.

§2.6 Численные эксперименты.

Глава 3. Численное моделирование динамики «медленного» Z-пинча с использованием кластера из персональных компьютеров.

§3.1 Постановка задачи.

§3.2 Математическая модель и использованные численные методы.

§3.3 Анализ на наличие внутреннего параллелизма.

§3.4 Выбор модели организации параллельных вычислений.

§3.5 Численные эксперименты.

Актуальность темы. Начиная с 70-х годов XX века, во всем мире активно ведутся исследования в области управляемого термоядерного синтеза. Для этих исследований актуальными являются вопросы создания установок, способных генерировать мощные энергетические импульсы, и вопросы поведения вещества в электромагнитном поле при сверхвысоких температурах в таких установках — вопросы динамики плазмы.

В последнее время для обострения мощности в экспериментальных комплексах часто используются плазменные прерыватели тока (ППТ) [1, 2], плазменные размыкатели тока, установки типа z-пинча и др. Необходимость получения все более мощных импульсов неотвратимо приводит к усложнению конструкций создаваемых установок и увеличению их стоимости. Актуальной становится задача математического моделирования элементов их конструкций еще на этапе проектирования.

Для детального исследования динамики плазмы в подобных установках не достаточно только натурного эксперимента — он не дает полной и подробной информации. Здесь сказываются не только очень высокие скорости процессов, протекающих в плазме (их характерные времена составляют десятки и сотни наносекунд). В силу принципиальных причин диагностические части установок позволяют измерять характеристики плазмы лишь в отдельные дискретные моменты времени. Для снятия этих характеристик используется лазерное излучение, длина волны которого сравнима с масштабами неоднородности в плазме. Таким образом, для получения полной картины происходящего актуальным является комплексный подход, сочетающий проведение натурных и численных экспериментов.

Наиболее полное соответствие с натурными экспериментами дает численное моделирование на основе сложных математических моделей, включающих в себя описание многих тонких эффектов (например, квантовомеха-ническое описание динамики заселенности уровней). При этом резко возрастает объем выполняемых расчетов. Лет 10-12 назад использовать такие модели не позволяли возможности вычислительной техники, сейчас проведение подобных численных экспериментов требует применения параллельных вычислительных систем.

Для проведения параллельных расчетов активно разрабатываются специальные параллельные численные методы. Однако существует целый ряд ранее апробированных методов и комплексов программ, хорошо зарекомендовавших себя при использовании на обычных последовательных компьютерах. Актуальным становится анализ их внутреннего параллелизма и адаптация для выполнения вычислений на параллельных ЭВМ.

Цели и задачи исследования. Основными целями и задачами настоящей диссертационной работы являются:

• исследование внутреннего параллелизма существующих численных методов и комплекса программ, применяемых при математическом моделировании конструкций установок типа ППТ и динамики поведения плазмы;

• отладка технологии расчета сложных задач математической физики на параллельном кластере из персональных компьютеров (учебный класс МФТИ);

• расчет электрических полей для определения конструкции модернизированной установки РС-20 (типа ППТ);

• моделирование динамики плазмы на примере медленного Z-пинча.

Методы исследования. Для анализа численных методов и комплексов программ на наличие внутреннего параллелизма, а также для выбора наиболее эффективной модели организации параллельных вычислений на системе с распределенной памятью (кластер из персональных компьютеров) и оценки эффективности работы параллельного варианта использовалась система анализа программ на параллельность BERT 77 [29] (в разработке которой принимал участие и автор данной работы). Для решения уравнения Лапласа при расчете электрических полей в модифицированной установке РС-20 был применен метод Якоби. Для моделирования динамики медленного Z-пинча использована модификация имеющихся последовательных программ (основанных на использовании вариационных методов).

Научная новизна. В результате проведенной работы впервые исследована многомерная динамика медленного z-пинча с учетом подробной модели заселенности электронных уровней. Результаты расчетов дают хорошее соответствие с экспериментальными данными, полученными в Израиле [67

69]. Разработана технология наиболее эффективного распараллеливания программ решения задач математической физики для конкретного параллельного комплекса (анализ соотношения времен выполнения отдельных частей программ и передачи данных с помощью BERT 77) без предварительной профилировки последовательных вариантов.

Научная и практическая значимость. На основании эскизного проекта автора, полученного в результате детального изучения математической модели, осуществлена модернизация экспериментальной установки РС-20, успешно эксплуатирующейся в РНЦ «Курчатовский институт».

Результаты, полученные в работе, расширяют представления о физике медленных Z-пинчей. Они позволяют объяснять ряд экспериментально наблюдаемых явлений (в частности, образование горячих точек на оси пинча) и механизм их возникновения.

Отлажена технология расчетов на кластерных вычислительных комплексах, показана эффективность использования учебных классов в качестве высокопроизводительной параллельной вычислительной системы.

На основании выполненных исследований открывается возможность применения современных вычислительных технологий при моделировании других физических объектов (сильноточные диоды, плазменные переключатели тока и т. п.).

Апробация работы. Основные результаты работы докладывались на 3 Международных конференциях (30th EPS Conference on Controlled Fusion and Plasma Physics, Sanct-Peterburg, 2003; 8-я Международная конференция «Математика, компьютер, образование» - Пущино, 2001 г; Interstate Symposium on Plasma Electronics and New Acceleration Methods - Kharkov, Ukraine, July 2000) и одной Всероссийской (28 Звенигородская конференция по физике плазмы и управляемому синтезу - 2001 г.). Результаты также докладывались на семинарах Отделения прикладной физики РНЦ КИ (2001-2003 г.г.), на научных семинарах кафедр вычислительной математики и информатики МФТИ (2001-2003 г.г.) и на секции Научно-Технического Совета МинАтома РФ (декабрь 2001 г.).

Публикации. По теме диссертации опубликовано 6 работ: 3 статьи в центральных журналах [74-76] и 3 тезиса выступлений на конференциях [77-79].

Благодарности, гранты. Проведенная работа выполнена при поддержке РФФИ (проект № 98-01-00225) и 1NTAS (проект № 97-0021). Автор выражает огромную благодарность А. С. Кингсепу, А. В. Бартову, Г. И. Долгачеву за постановку задачи и полезные обсуждения, А. В. Богатову за полезные рекомендации при анализе параллельности программы, И. В. Коваленко за техническое содействие. Особую благодарность автор выражает Ю. П. Субботину и А. В. Зырянову за предоставленную возможность использования для расчетов учебного компьютерного класса.

Сформулируем в заключение основные выводы работы.

1. На параллельной вычислительной системе подробно исследована математическая модель модернизированной установки РС-20. По результатам исследования математической модели получено детальное распределение напряженности электрического поля для различных вариантов модернизации. На основании предложенного эскизного проекта в РНЦ КИ проведена модернизация установки. Экспериментальные исследования, проведенные в РНЦ КИ, показали высокую эффективность модернизации.

2. Проведено параллельное численное моделирование динамики «медленного» z-пинча. На основе расчетов детально исследован механизм формирования «горячих точек» на оси пинча. Полученные численные результаты находятся в хорошем соответствии с экспериментальными данными.

3. Разработана технология эффективного распараллеливания программ решения задач математической физики для конкретного параллельного комплекса (анализ соотношения времен выполнения отдельных частей программ и передачи данных с помощью BERT77) без предварительной профилировки последовательных вариантов.

4. Показана эффективность использования стандартного учебного класса в качестве кластера из персональных компьютеров для решения сложных многомерных задач математической физики.

1. V. A. Glukhih, V. G. Kushinsky, О. P. Pechersky et al. Proc. of the 12th Intern. Conf. on High-Power Particle Beams. // BEAMS-98, Haifa, Israel, 712 June 1998, V. 1., — p. 71.

2. Г. И. Долгачев, А. Г. Ушаков. II Физика плазмы, 2001, т. 27, №2 — с. 121.

3. В. В. Воеводин, Вл. В. Воеводин. Параллельные вычисления. — СПб.: БХВ-Петербург, 2002. — 608 с.

4. Н. Jordan, G. Alaghband. Fundamentals of Parallel Processing. — Pearson Education, Inc., 2003. — 536 p.

5. Мультипроцессорные системы и параллельные вычисления. / Под ред. Ф. Г. Энслоу. — М.: Мир, 1976. — 384 с.

6. В. В. Воеводин. Параллельные структуры алгоритмов и программ. — М.: ОВМ АН СССР, 1987. — 148 с.

7. Вл. В. Воеводин. Теория и практика исследования параллелизма последовательных программ // Программирование. — 1992. — № 3. — с. 38-53.

8. В. Н. Фаддеева, Д. К. Фаддеев. Параллельные вычисления в линейной алгебре // Кибернетика. — 1977. — № 6. — с. 28-40.

9. В. Н. Фаддеева, Д. К. Фаддеев. Параллельные вычисления в линейной алгебре // Кибернетика. — 1982. — № 3. — с. 18-31, 44.

10. Selim G. Aki. The Design and Analysis of Parallel Algorithms. — Prentice-Hall, Inc., 1989. — 401 p.11 .А. А. Самарский, П. H. Вабищевич. Аддитивные схемы для задач математической физики. — М.: Наука, 1999. — 319с.

11. Я В. Воеводин. Математические модели и методы в параллельных процессах. — М.: Наука, 1986. — 296 с.

12. М J. Flynn. Some computer organizations and their effectiveness. // IEEE Transactions on Computers, 21(9), Sept. 1972. — p. 948-960.

13. Claudia Leopold. Parallel and Distributed Computing. — John Wiley & Sons, Inc., 2001. —260 p.

14. K. Hwang. Advanced Computer Architecture, Parallelism, Scalability, Programmability. — New York: McGroy-Hill, 1993.

15. С. H. Koelbel, D. B. Loveman, R. S. Shreiber et al. The High Performance Fortran Handbook. — MIT Press, 1994.

16. High Performance Fortran Forum. High Performance Fortran Language Specification. Available at http://dacnet.rice.edu/Depts/CRPC/HPFF/ versions/hpf2/hpf-v20/hpf-report.html, — Jan. 1997.18.0penMP Home Page, http://www.openmp.org.

17. The Message Passing Interface Standard. Available at http://www-unix.msc.anl.gov/mpi.

18. Message Passing Interface Forum. MPI-2: Extensions to the Message-Passing Interface. Technical Report, — University of Tennessee, Knox-ville, — July 1997.

19. PVM: Parallel Virtual Machine, http://www.epm.ornl.gov/pvm/ p vmhome. htm 1.

20. PARADIGM Project. Available at http://www.crch.uiuc.edu/Paradigm.

21. Polaris Home Page, http://polaris.cs.uiuc.edu/polaris/polaris.html

22. Fortran MP Applications Development. Available at http://www.sgi.com/ developers/devtools/languages/fortran.html

23. Applied Parallel Research. Shared Memory Parallelization User's Guide. Version 2.1, Apr. 1998. Available at http://www.apri.com/apr prod docs.htm 1

24. Visual КАР for OpenMP. Available at http://www.kai.com

25. CAPTools Home Page, http://captools.gre.ac.uk/mainpage.htm.

26. BERT 77 Reference. Available at http://www.plogic.com/bert-des.html.

27. В. П. Ильин. Методы неполной факторизации для решения алгебраических систем. — М.: Физматлит, 1995. — 288 с.

28. А. Н. Тихонов, А. А. Самарский. Об однородных разностных схемах. // ЖВМ и МФ, 1961, т. 1, № 1, —с. 5-63.

29. А. А. Самарский, Ю. П. Попов. Разностные методы решения задач газовой динамики. — 3-е изд., доп. — М., Наука, 1992. — 424 с.

30. Г. И. Марчук. Методы вычислительной математики. — М.: Наука, 1989. 608 с.

31. Klaus-Jurgen Bathe. Finite Element Procedures. — Prentice Hall, 2nd edition, 1995,—1037 p.

32. AT. Ректорис. Вариационные методы в математической физике и технике. — М.: Мир, 1985. — 590 с.

33. А С. Холодов. Монотонные разностные схемы на нерегулярных сетках для эллиптических уравнений в области со многими несвязными границами. // Математическое моделирование, 1991, т. 3, № 9, с. 104113.

34. A. S. Kholodov, А. /. Lobanov. Numerical experiment in ecology and medicine: elliptic problems. // Phystech Journal, 1984, V. 1, №2. — pp. 8-15.40.7". И. Марчук, В. В. Шайдуров. Повышение точности решений разностных схем. — М.: Наука, 1979. — 320 с.

35. Р. П. Федоренко. Релаксационный метод решения разностных эллиптических уравнений. // ЖВМ и МФ, 1961, т. 1, № 5. — с. 922-927.

36. Р. П. Федоренко. Введение в вычислительную физику. — М.: Изд-во МФТИ, 1994. — 528 с.

37. Я. Бенерджи, Р. Беттерфилд. Метод граничных элементов в прикладных науках. — М.: Металлургия, 1985. — 407 с.

38. А. А. Самарский, Е. С. Николаев. Методы решения сеточных уравнений. — М.: Наука, 1978. — 592 с.

39. В. В. Воеводин, Ю. А. Кузнецов. Матрицы и вычисления — М.: Наука, 1984. — 320 с.46Дж. Голуб, Ч. Ван Лоун. Матричные вычисления. — М.: Мир, 1999.552 с.

40. Дж. Деммель. Прикладная линейная алгебра. — М.: Мир, 2001. — 620 с.48.//. С. Бахвалов, М. П. Жидков, Г. М. Кобельков. Численные методы.

41. М.: Лаборатория Базовых Знаний, 2002. — 632 с.49Дж. Холл, Дж. Уатт (ред.) Современные численные методы решения обыкновенных дифференциальных уравнений. — М.: Мир, 1979312с.

42. К. Деккер, Я. Вервер. Устойчивость методов Рунге-Кутты для жестких нелинейных дифференциальных уравнений. — М.: Мир, 1988. — 334 с.

43. Ю. В. Ракытский, С. М. Устинов, И. Г. Черноруцкий. Численные методы решения жестких систем обыкновенных дифференциальных уравнений. — М.: Наука, 1979 — 160 с.

44. Э. Оран, Дж. Борис. Численное моделирование реагирующих потоков. — М.: Мир, 1990. — 660 с.55Д. Каханер, К. Моулер, С. Нэш. Численные методы и программное обеспечение. — М.: Мир, 1998. — 575 с.

45. В. И. Лебедев. Функциональный анализ и вычислительная математика. — М.: Физматлит, 2000. — 296 с.

46. Вычислительные процессы и системы. Вып. 8 / Ред. Г. И. Марчук. — М.: Наука, 1991. —380 с.

47. У7. П. Фельдман. Параллельные алгоритмы численного решения систем линейных обыкновенных дифференциальных уравнений. // Математическое моделирование, 2000, т. 12, № 6, с. 15-20.

48. Высокопроизводительные параллельные вычисления на кластерных системах. Материалы Международного научно-практического семинара. 20-24 ноября 2001 г. — Нижний Новгород: Изд-во НГУ, 2002. — 220 с.

49. ISCC home page, http://www.jscc.ru.

50. C. 77. Копысов, А. К. Новиков. Параллельные алгоритмы адаптивного перестроения и разделения неструктурированных сеток. // Математическое моделирование, 2002, т. 14, № 9, с. 91-96.

51. Е. Anderson, Z. Bai, С. Bishof, J. Demmel, J. Dongarra et al. LAPACK User's Guide. — Society for Industrial and Applied Mathematics, 1995, Philadelphia, PA, second ed.

52. L. S. Blackford, J. Choi, A. Cleary, E. D'Azevedo, J. Demmel et al. ScaLAPACK User's Guide. — Society for Industrial and Applied Mathematics, 1997, Philadelphia, PA.

53. PLAPAC User's Guide. Available at http://www.cs.utexas.edu/ users/plapack

54. V. M. Baby kin, R. V. Chikin, G. I. Dolgachev et al. II Proc. of the 12th Intern. Conf. on High-Power Particle Beams. // BEAMS'92, Washington, DC, 1992, V. 1., —p. 512.

55. Д. А. Терёшин. Численно-аналитический метод решения задачи Дирихле в областях, содержащих входящие углы. // В сб.: Моделирование процессов управления и обработки информации. — М.: МФТИ, 1992, с. 79-87.

56. М. Е. Foord, Y. Maron, G. Davara, L. Gregorian, A. Fisher // Phys. Rev. Letters, 1994, vol. 72, No 24, p. 3827.

57. M E. Foord, Y. Maron, G. Davara, L. Gregorian, A. Fisher // ibid., 1994, vol.73, No 8, p. 1190.

58. G. Davara, L. Gregorian, E. Kroupp, Y. Maron. Spectroscopic determination of the magnetic-field distribution in an imploding plasma // Phys. Plasmas, 1998, vol. 5, No 4, p. 1068.

59. Ю. F. Калинин, А. С. Кингсеп, В. И. Косарев, А. И. Лобанов. К расчету осесимметричного сжатия легкого лайнера // Математическое моделирование, 2000, т. 12, № 11, с. 47.

60. Л. С. Кингсеп, В. И. Косарев, А. И. Лобанов, А. А. Севастьянов. Численное моделирование сжатия плазмы легким лайнером // Физика плазмы — 1997, т. 23, № 10, с. 953.

61. С. К. Годунов, В. С. Рябенький. Разностные схемы. — М.: Наука, 1977. — 440 с.

62. Модернизированная установка РС-20 для исследования характеристик плазменного прерывателя тока. // Приборы и техника эксперимента, 2002, №2, с. 112-119.

63. А. С. Кингсеп, В. Е. Карпов, А. И. Лобанов, И. Марон, А. А. Старо-бинец, В. И. Фишер. Численное моделирование динамики медленного Z-пинча. // Физика плазмы, 2002, том 28, №4, с. 319-328.

64. В. Е. Карпов. К расчету потенциала электрического поля в области сложной геометрии. / Математика, компьютер, образование. Тезисы докл. VIII конференции.— М.: Прогресс-традиция, 2001, с. 158.

65. G. /. Dolgachev, A. S. Kingsep, A. G. Ushakov, A. I. Lobanov, V. Е. Karpov. RS-20 Upgrade, the New P.O.S. Experimental Device. / Interstate Symposium on Plasma Electronics and New Acceleration Methods, Kharkov, Ukraine, July 2000, rep. 137, 4p.