автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Моделирование течения многофазной жидкости в пористой среде с использованием высокопроизводительных гибридных вычислительных систем

На правах рукописи

Морозов Дмитрий Николаевич

МОДЕЛИРОВАНИЕ ТЕЧЕНИЯ МНОГОФАЗНОЙ ЖИДКОСТИ В ПОРИСТОЙ СРЕДЕ С ИСПОЛЬЗОВАНИЕМ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ГИБРИДНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

05.13.18 - Математическое моделирование, численные методы и комплексы

программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

6 ДЕК 2012

Москва - 2012

005056297

Работа выполнена на кафедре математического моделирования Московского физико-технического института (государственного университета)

Научный руководитель: Официальные оппоненты:

кандидат физико-математических наук Чурбанова Наталья Геннадьевна доктор физико-математических наук, профессор Якуш Сергей Евгеньевич, Институт проблем механики имени А.Ю. Ишлинского РАН, ведущий научный сотрудник кандидат физико-математических наук Савенков Евгений Борисович, Институт прикладной математики имени М.В.Келдыша РАН, научный сотрудник сектора вычислительной геофизики отдела №11

Институт проблем безопасного развития атомной энергетики РАН

Защита состоится « /У» декабря 2012 г. в // часов на заседании диссертационного совета Д 212.156.05 при Московском физико-техническом институте (государственном университете) по адресу 141700, Московская обл., г. Долгопрудный, Институтский пер., д. 9, ауд. 903 КПМ.

С диссертацией можно ознакомиться в библиотеке Московского физико-технического института (государственного университета).

Автореферат разослан « ноября 2012 г.

Ведущая организация:

Ученый секретарь диссертационного совета

Федько Ольга Сергеевна

Общая характеристика работы

Актуальность работы. Математическое моделирование течения многофазных жидкостей в пористых средах является важной задачей для научной, экономической, экологической, индустриальной и многих других сфер. Особо важно решение индустриально-технологических задач, которые, как правило, междисциплинарны, отражают сложную геометрию описываемых конструкций, требуют высокой точности расчетов. Высокопроизводительные вычислительные системы открывают уникальные возможности для решения этих задач.

На сегодняшний день новые высокопроизводительные системы, как правило, создаются по модульному принципу, то есть состоят из объединенных коммуникационной системой процессорных модулей. Число процессорных ядер таких систем составляет уже порядка нескольких десятков тысяч еди-пиц. Ресурсы этих систем могут быть использованы для проведения широкомасштабных вычислительных экспериментов, расчетов на подробных сетках, содержащих десятки и сотни миллионов узлов.

В настоящее время во всем мире усиливается тенденция к использованию вычислительных систем, базирующихся на многоядерных процессорах нетрадиционной архитектуры. Однако, имеются существенные проблемы, связанные с реальным эффективным использованием возможностей таких систем. Трудности значительно возрастают даже по сравнению с непростыми проблемами использования уже существующих высокопроизводительных компьютеров. Эти трудности связаны как со спецификой вычислительных алгоритмов для высокопроизводительных вычислительных систем, так и с проблемами вспомогательного программного инструментария. Такие вычислительные системы требуют разработки программного обеспечения, учитывающего гибридную структуру памяти: распределенную между процессорами и общую

для ядер одного процессора. В этом смысле очень привлекательными оказываются явные схемы, которые легко адаптируются к различной архитектуре ЭВМ и позволяют эффективно использовать вычислительные системы, содержащие 103-104 ядер. Однако, явные схемы накладывают жесткое ограничение на шаг по времени, связанное с требованием устойчивости, особенно при решении уравнений и систем параболического типа. В связи с этим перспективным направлением является разработка явных схем с как можно более мягким условием устойчивости.

В физической постановке задач о течениях в пористых средах в диссертации учитывается слабая сжимаемость жидкостей, что приводит к более полному и точному описанию процессов фильтрации в грунтах по сравнению с традиционными подходами, где жидкости считаются несжимаемыми. Для построения физической модели используется «принцип минимальных размеров», определяющий минимальные характерные величины в пространстве и времени для данного типа течений. Такой подход является одним из широко используемых в мировой практике кинетических подходов, примерами которых являются Lattice Boltzmann и кинетически-согласованные схемы.

Цели диссертационной работы.

• Разработка модели течения двухфазной жидкости в пористой среде, допускающей реализацию явными разностными схемами;

• Создание алгоритма и комплекса программ, ориентированных на решение задач фильтрации на высокопроизводительных гибридных кластерах;

• Проверка модели и эффективности комплекса программ на тестовых задачах.

Для достижения поставленных целей на основе кинетического подхода по аналогии с квазигазодинамической системой уравнений разработаны модели

течения двух- и трехфазных жидкостей в пористой среде в предположении их слабой сжимаемости. Модели допускают численную реализацию с помощью алгоритмов явного типа. Для повышения порога устойчивости осуществлен переход к гиперболической системе уравнений фильтрации, построена трехслойная явная разностная схема второго порядка как по пространству, так и по времени. Проведены расчеты задач просачивания загрязняющих веществ в почву и задач нефтедобычи (в двумерной и трехмерной постановках).

Достоверность и обоснованность результатов. Достоверность результатов обусловлена применением математически обоснованных методов решения, апробацией при решении эталонных задач, сравнением результатов расчетов с результатами, полученными ранее другими методами и программными пакетами, разработанными в ИПМ РАН.

Научная новизна. Предложенная новая кинетическая модель течения многофазных слабосжимаемых жидкостей в пористых средах является оригинальной, так как она предложена впервые и основана на аналогии с ква-знгазодинамической системой уравнений. Также впервые предложен переход от параболического типа системы уравнений фильтрации к гиперболическому типу и построены трехслойные явные разностные схемы, что позволило получить более мягкие условия устойчивости. Они были обоснованы теоретически и подтверждены тестовыми расчетами задач о загрязнении почвы нефтепродуктами. Впервые реализован комплекс программ для решения задач фильтрации на гибридных вычислительных системах, который позволил сократить расчетное время решения задач в десятки раз.

Практическая значимость. Реализованный в работе модульный программный комплекс применим для решения широкого спектра задач фильтрации (в том числе задач нефтедобычи). Благодаря гибкой модульной структуре, в комплексе программ заложена возможность учитывать разномасштабные физические процессы, имеющие разную природу (гидродинамика, фазовые

переходы, горение). Универсальность комплекса позволяет использовать его как на гибридных вычислительных системах с графическими ускорителями, так и на классических многопроцессорных кластерах и персональных ЭВМ. Использование явных схем и алгоритмов расчетов на графических ускорителях позволяет значительно сократить расчетное время решения задач.

Работа над диссертацией проводилась при поддержке грантов РФФИ: 12-01-90008-Беп_а «Разработка, анализ и применение новых эффективных разностных методов решения многомерных задач фильтрации и конвекции-диффузии», 12-01-00769-а «Кинетические модели и высокопроизводительные вычисления», 10-01-90005-Бел_а «Разработка и исследование эффективных сеточных алгоритмов и математическое моделирование некоторых задач гидро-и газодинамики», 09-01-00600-а «Применение квазигазодинамической системы для решения задач механики сплошной среды», 08-01-902б1-Узб_а «Разработка и реализация параллельных алгоритмов для решения задач гидромеханики и нефтедобычи».

Апробация работы. Основные результаты диссертации докладывались и обсуждались на следующих российских и международных конференциях:

• 2-ая Международная конференция по параллельным, распределенным, сеточным и облачным вычислениям (PARENG, Аяччо, Корсика, Франция, 2011);

• The 4, 5, 6th Europen Congresses on Computational Methods in Applied Sciences and Engineering (ECCOMAS, Venice, Italy, 2008; Lisbon, Portugal, 2010; Vienna, Austria, 2012);

• The 15, 17th International Conferences Mathematical Modelling and Análisis (Druskininkai, Lithuania, 2010; Tallin, Estonia, 2012)

• The 8th International Conference on Large Scale Scientific Computations (Sozopol, Bulgaria, 2012);

• Всероссийская научная конференция «Современные проблемы матема-

тического моделирования, супервычислений и информационных технологий» (Таганрог, 2012);

• 51, 52, 53, 54 Научных конференциях МФТИ «Современные проблемы фундаментальных и прикладных наук» (Долгопрудный, 2008-2011). Публикации. Материалы диссертации опубликованы в 18 печатных работах, из них 4 статьи в рецензируемых журналах из списка ВАК [1-4], 14 статей в журналах и сборниках трудов конференций [5-18].

Личный вклад автора. Содержание диссертации и основные положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы. Подготовка к публикации полученных результатов проводилась совместно с соавторами, причем вклад диссертанта был определяющим. Все представленные в диссертации результаты получены лично автором.

Структура и объем диссертации. Диссертация состоит из введения, трех глав, заключения и библиографии. Общий объем диссертации составляет 105 страниц. Библиография включает 57 наименований.

Содержание работы

Во Введении обоснована актуальность диссертационной работы, сделан обзор публикаций по теме диссертации, сформулированы цели и аргументирована научная новизна исследований, показана практическая значимость полученных результатов, представлены выносимые на защиту научные положения.

В первой главе рассматривается решение задач двухфазной фильтрации 1МРЕ8-методом. Система уравнений задачи двухфазной фильтрации может

быть представлена в следующем виде:

5, +52 = 1,

где индекс а = 1;2 определяет фазу, т - пористость, 5„ - насыщенность фазы а, ца - вязкости фаз, ¿„(5]) - относительная фазовая проницаемость, К - абсолютная проницаемость среды, Л^О - капиллярное давление.

Исходя из формы представления уравнений в конечно-разностная

форма данных уравнений может быть расщеплена. Таким образом получается система уравнений:

В данной формулировке функция капиллярного давления может быть произвольной, при условии что существует производная Р'^). Эта процедура известна как метод «неявное давление - явная насыщенность» или 1МРЕ8-метод.

Первое уравнение является уравнением эллиптического типа относительно давления первой фазы и его необходимо решать итерационным методом. Второе уравнение относительно насыщенности второй фазы допускает построение явной схемы, однако его можно также решать итерационными методами.

Для получения физически корректного решения вычислительный алгоритм должен реализовывать на интерфейсе специальные условия, которые состоят в непрерывности потоков фаз, а также в непрерывности всех давлений,

(2)

включая капиллярное, в момент перехода вытесняющей жидкости через интерфейс.

При рассмотрении процессов в неоднородной среде возникает проблема разрыва некоторых параметров па границе раздела фаз. В этом случае при расчетах необходимо выполнение двух условий на интерфейсе: непрерывность потока через границу раздела и непрерывность капиллярного давления. Из последнего условия вытекает разрыв насыщенности на интерфейсе.

Для моделирования этой ситуации предлагается следующий алгоритм, основанный на 1МРЕБ методе. Насыщенность вычисляется сквозным счетом во всех точках расчетной области, включая значения 5' на интерфейсе (в области с большей пропицаемостью). А значения 5 я на интерфейсе (в области с меньшей проницаемостью) рассчитываются по следующей формуле:

„ ( 1, если5(>5;,

Я" = < , (3)

[ [Р£7] если5{ <5*,

где [Р''] 1 - функция, обратная функции Брукса-Кори в области II, выражающая зависимость насыщенности от капиллярного давления; определяется из условия [РДОУр = [Р'с!].

Основные результаты первой главы опубликованы в работе [8].

Во второй главе предложена и рассматривается модель фильтрации, допускающая реализацию явными разностными схемами. Как было показано в работе [19], экспериментальный закон Дарси является следствием усреднения уравнения для импульса флюида на расстоянии порядка нескольких десятков диаметров зерен породы. Обозначим это расстояние I.

Обобщением этого подхода явилась модель фильтрации [20, 21]

др д1

+ сИу рй = (Ну — %гас1 р

1с

(4)

кй = -$га<1 Р 9

Р=Ро+АР-РО), (6)

где t - время, р - плотность флгоида, Р - давление, к - коэффициент проницаемости, [i - коэффициент сжимаемости, Pq и р0 - начальные значения давления и плотности, с - некоторое значение скорости, по порядку величины совпадающее со скоростью звука в фильтрующейся жидкости.

Модель (4)-(6) показала свою эффективность при использовании явных схем [20, 21].

В диссертации предложено дальнейшее развитие данной модели.

Явная схема для уравнения (4) j+i _ j

Р> д/'" (?)

где А - оператор, аппроксимирующий пространственные производные, стоящие в левой и правой частях уравнения (4).

Используя разложение Тейлора с точностью до членов второго порядка малости, получим

(8)

At dt 2 dt v '

По аналогии с квазигазодинамической системой уравнений [21] интерпретируем А/, стоящее в правой части (8), как время установления внутреннего равновесия в объеме с характерным размером /. В газовой динамике таким масштабом является время между столкновениями молекул т, по аналогии с которым и переобозначим Дг. В итоге уравнение (4) заменяется на др т Зр2 1с

~a¡ + 2~dfi+ divp = div Y gmd P

Учитывая (5) и (6), уравнение (9) представляется в виде др т до2 , , íc

i + 2W=dÍv(pk Р +2)8radp (Ш)

Для уравнения (10) выписывается трехслойная разностная схема

/+1 /-1 /+1 /% i j-1 P¡ -P¡ , TPJ¡ -2P\+p!

2Д t ' + 2 ' Дi1

(11)

где [(р^г'/Г1 + ^)р5,]г,' = 1,2,3 - стандартная разностная аппроксимация [22] дифференциального члена г/г'у ^ gradp. Например, для пространственно-одномерного случая и постоянных коэффициентов + ^ выражение (11) примет вид

Если параметр т таков, что

,, ,„ , 1с т/г2

р.к В +---т = О,

Л Я 2 2Лг2

(13)

то схема (12) перейдет в схему Дюффорта-Фратела [22], которая является абсолютно устойчивой.

Однако, возможности схемы (11) выше, чем у схемы Дюффорта-Франке-ла, недостатком которой является вероятность неконтролируемой потери аппроксимации исходного дифференциального уравнения. Схема (11) аппроксимирует уравнение (10), в основе которого лежит учет минимальных размеров по времени и пространству, меньше которых дальнейшая детализация решения не имеет смысла [23]. В рамках схемы (11) появляется возможность, варьируя параметр т, добиться приемлемого соотношения между устойчивостью схемы и ее аппроксимациоиными свойствами.

Для того, чтобы дополнительный член | ^ был мал по сравнению с ^ и не оказывал сколь-нибудь заметного влияния на результат расчетов, достаточно, чтобы

Учитывая, что Гф„л,.т ~ ЦП, где Ь - характерный размер резервуара, V - скорость фильтрации, достаточно выбрать т ~ И/и или без учета размерности

т//фильт "К 1

(14)

т<, А.

(15)

С другой стороны, схема (11) перейдет в устойчивую схему Дюффорта-Фран-кела (12), если выполнено условие (13). Таким образом, не требуя полного совпадения со схемой Дюффорта-Франкела, с учетом (15) будем искать устойчивый диапазон для трехслойной схемы (11) при следующем соотношении шагов по пространству и времени

Аг < й3/2. (16)

Отметим, что условие (16) является гораздо более приемлемым1 по сравнению с классическим ограничением на шаг по времени А? 5 Л2. Особенно эти преимущества ограничения (16) проявляются на подробных сетках, применение которых допускают высокопроизводительные многопроцессорные/многоядерные вычислительные системы.

В качестве теста рассмотривалась задача протекания жидкости к гидродинамически совершенной добывающей скважине. Центр скважины расположен в начале координат, г - радиус скважины, Я - радиус контура питания, на забое скважины и на контуре питания заданы постоянные давление и плотность. Перейдем к полярным координатам (г, ф). В силу осевой симметрии нет зависимости от угла ф, давление, плотность и скорость фильтрации в любой точке зависят только от расстояния г данной точки до оси скважины. Система уравний для описанной выше модели выглядит следующим образом:

дР

"г = -к—, (18)

аг

др А з7 + т

д2Р la, . 1 д I 1сдр\

dfi + = 7д? \2drj' (19)

1 В рамках схемы (11) можно было бы добиться условия устойчивости типа условия Куранта

ДГ5А. (17)

Однако при этом выбор параметра т определялся бы условием г - 0(1), что привело бы к существенному искажению исходного решения.

Р=РО+Р(Р-РО). (20)

Расчетная формула для установившегося плоскорадиального потока в пористой среде известна [24]:

Рк-Рс , г

Р = Рс+, ,р , >-• С21)

1п(Кк/гс) гс

В классической модели с центрально-разностной аппроксимацией конвективных членов максимально допустимый по условиям устойчивости шаг по времени Дг = 2- Ю-4 с. Осцилляции решения наблюдаются при любом шаге по времени.

При использовании модели с модифицированным уравнением неразрывности и двухслойной разностной схемы при I > 10"4 см решение задачи сглаживается и фактически совпадает с точным решением (21). Максимально допустимый по условию устойчивости шаг по времени не изменяется и равен Дг = 2 • Ю-4 с.

При использовании модели с модифицированным уравнением неразрывности и трехслойной схемы при I > Ю-4 см, г = 2 с и трехслойной схемы (11) для ее решения полученные профили также гладкие и практически совпадают с аналитическим решением. Однако допустимый шаг по времени резко увеличивается и равен Дг = 2 • Ю-2 с.

Также рассматривался двумерный случай почти радиального фильтрационного течения. Жидкость притекает к гидродинамически совершенной добывающей скважине, находящейся в центре прямоугольной области О = [0, хтал]х [0,утах]- Контур питания находится на границе С области Б. В начальный момент скорость равна нулю во всей области В, на контуре питания задается давление Рк, во всей остальной области задается давление Рс. В качестве граничных условий на забое скважины и на границе задаются постоянные давление и плотность.

Система уравнений принимает вид:

Р=Ро+{3(Р-Ро),

\дх2 ду2)'

где и и V - компоненты вектора скорости й по направлениям х и у.

В классической модели максимальный шаг по времени At = 10~2 с. Осцилляции наблюдаются при любом шаге по времени.

При использовании модифицированного уравнения неразрывности и двухслойной схемы при I > Ю-4 см решение задачи сглаживается. Максимальный шаг по времени равен Ai = 10"2 с.

При использовании трехслойной схемы при I > Ю-4 см и г = 1.59 с решение задачи сглаживается, а максимальный шаг по времени увеличивается до At = 0.35 с.

Основываясь на полученных результах и традиционной модели двухфазного течения [25], которая учитывает гравитационные и капиллярные силы, в диссертации получена гиперболическая система уравнений для описания процесса двухфазной фильтрации (индекс а обозначает фазу: w - вода, п - NAPL от английского Non-Aqueous Phase Liquid):

2

(22)

iTa = -Kkn(Sa\gradPa -pag),

(23)

Pa=P0all+MPa-P0)l

(24)

Pn~ Pw — Pk(S ll )

(25)

Sn + — 1>

(26)

где т — пористость, — насыщенность фазы а, ка(8п) — относительная фазовая проницаемость, — капиллярное давление.

Основываясь на этой модели, в диссертации представлен алгоритм решения задач фильтрации, который состоит из следующих этапов для каждой из фаз (а = ю, п).

1. Вычисление по закону Дарси скоростей обеих фаз на текущем временном слое: ...

на новом слое по времени в каждом узле расчетной сетки из следующей системы уравнений:

Эта система может быть решена, например, методом Ньютона в каждой точке расчетной сетки. Таким образом, время расчета одной точки не зависит от общего количество узлов расчетной сетки. Что позволяет получить линейную зависимость времени расчета задачи от общего количества узлов сетки.

4. Вычисление Р„/+1 и paj+1 из (26), (25) и уравнения состояния (24) соответственно.

Полученным алгоритмом в диссертации решена двумерная и трехмерная задачи о просачивании загрязняющего вещества DNAPL (от английского Dense Non-Aqueous Phase Liquid), например, тетрахлорэтилена в резервуар, заполненный водой. На верхней границе резервуара находится источник DNAPL с постоянной насыщенностью. Под действием силы тяжести DNAPL проникает в резервуар.

2. Вычисление (р5)/+1 из уравнения (22) на новом слое по времени.

3. Вычисление насыщенности NAPL Бщ*1 и давления водной фазы Р,

РоЛ 1 +РЛР£1 -Ро])(1 -sf') = Р0п(1 +Pn[PJwl + P[+\sJn+l) - P0])SJ2+1 = (pnSn)i+1.

(27)

Для расчетов задачи разработана программа на языке C/C++. Результаты полностью подтвердили теоретические расчеты. Переход от параболической к гиперболической системе уравнений позволил увеличить порог устойчивости. Например, для h = 0.5 см шаг по времени At был увеличен с 1 с до 15 с.

Было получено совпадение результатов с полученными ранее в ИПМ РАН классическими методами (например IMPES).

Основные результаты второй главы опубликованы в работах [1, 2].

В третьей главе описывается программный комплекс для решения задач фильтрации. Для проведения расчетов задач фильтрации на ГВС был создан комплекс программ на языке C/C++ с использованием библиотек CUD А, MPI и SHMEM-express. Для задач, связанных с моделированием многофазных течений в пористых средах, в связи с разномасштабностью входящих в математическую модель физических величин, требуется проводить расчеты с двойной точностью. Комплекс ориентирован на класс задач, в которых аппроксимация производится на ортогональных сетках в прямоугольных областях с помощью явных разностных схем. В основу положен модульный принцип: комплекс состоит из четырех уровней - управляющего, расчетного, коммуникационного и уровня тестирования, который используется при отладке.

Каждый уровень состоит из модулей. Чтобы перейти от решения двухфазной задачи фильтрации к решению трехфазной задачи, необходимо изменить только один модуль из расчетного слоя. Чтобы производить расчеты на GPU, а не на CPU, также надо заменить только один модуль расчетного слоя. Таким образом, осуществлена возможность использования комплекса для расчетов как на персональном компьютере (с использованием CPU или GPU), так и на традиционных MPI-кластерах и кластерах с гибридной архитектурой [5].

Кроме того, модульная структура позволяет использовать при необходимости для каждого модуля свой компилятор, например, собирать код на CUDA с помощью компилятора nvcc, код на MPI - с помощью mpicc, а также вклю-

чагь модули на различных языках программирования. Таким образом, комплекс защищен от проблемы устаревания языка - при использовании па гибридных кластерах более современного языка программирования, он будет поддержан комплексом без существенных доработок.

Следующая задача, решенная в рамках комплекса, это возможность проведения как двумерных, так и трехмерных расчетов без дополнительных модификаций модулей. Чтобы не создавать дополнительные расчетные модули, было принято решение использовать адресацию вида array[x+y*NX+z*NX*NYJ. Где NX, NY, NZ - размеры расчетной области по осям х, у, z, соответственно. Таким образом, вместо двумерных/трехмерных массивов используются одномерные. Кроме того, для двумерных задач используется естественное значение NZ-1 и без дополнительных изменений кода осуществляется переход от «трехмерных» к «двумерным» массивам array[x+y*NX]. Такое решение позволяет использовать одинаковые модули для расчета двумерных и трехмерных задач.

Разделение нагрузки между процессорами в комплексе осуществляется при помощи специального алгоритма: на основе эмпирически полученной информации о времени расчета одной расчетной точки, времени передачи данных между узлами, времени обмена CPU и GPU данными рассчитывается оптимальный метод разбиения расчетной сетки между узлами кластера. Такой подход позволяет одновременно использовать в расчетах и центральные, и графические процессоры на узлах.

Повышение ускорения в комплексе достигается за счет использования различных типов памяти GPU. Такой подход позволил значительно (в 3-4 раза) увеличить быстродействие расчетов. По возможности данные переносятся из медленной глобальной памяти в быструю регистровую. В ядре (kernet) производится копирование массива данных из глобальной памяти в регистровую, затем расчеты производятся с регистровой памятью, а результат снова воз-

вращается в глобальную. Невозможность хранить все данные в регистровой памяти вызвана ее малым объемом (32 Кб на блок).

Для хранения констант задачи (для них необходим доступ только на чтение) используется быстрая кэшируемая константная память (на ускорителях NVidia Testa С2050 ее максимальный объем - 64 Кб, что вполне достаточно для хранения констант).

Для оценки эффективности разработанного программного комплекса были проведены расчеты трехмерной тестовой задачи о просачивании двухфазной (вода - тетрахлорэтилен) жидкости в однородную пористую среду с использованием модели и алгоритма, описанных во второй главе диссертации. Постановка задачи в двумерной расчетной области подробно описана во второй главе.

Расчеты проводились на гибридном вычислительном кластере К-100. Этот суперкомпьютер содержит 64 вычислительных узла, на каждом из которых установлено 2 шестиядерных процессора Intel Xeon Х5370, 3 графических ускорителя NVidia Fermi С2050 (в каждом по 448 ядер GPU и 2.5 Гб памяти) и 96 Гб оперативной памяти. Вычислительные узлы соединены посредством коммуникационной системы «МВС-Экспресс» и внутренней сети Infiniband, скорость передачи данных между узлами до 700 Мбайт/с, латентность порядка 1.2 мкс.

Тестовые расчеты задачи просачивания продемонстрировали следующие результаты по быстродействию. Максимальное число точек расчетной сетки, которое умещается в памяти одного графического ускорителя, составляет порядка 2503 (15 млн.). На такой сетке 500 шагов по времени на одном графическом ускорителе рассчитываются за 174 секунды, на трех графических ускорителях одного узла — за 127 секунд, на одном ядре CPU — за 18878 секунд, на одном шестиядерном CPU — за 3 554 секунды, а на узле, состоящем из двух центральных процессоров, — за 1 781 секунду.

Таким образом, ускорение одного GPU по сравнению с одним ядром CPU составляет 108.5, ускорение одного GPU по сравнению с одним шестиядер-ным CPU — 20.4. Один узел кластера К-100, состоящий из трех графических плат, рассчитал задачу быстрее одного узла, состоящего из двух шестиядер-ных процессоров, в 14 раз.

В следующем эксперименте количество точек расчетной сетки было увеличено в 100 раз и составило около 1.5 млрд. Были проведены расчеты 100 шагов по времени и получены следующие результаты: 80 графических ускорителей произвели расчет за 80 секунд, а 80 ядер CPU — за 5 744 секунды, таким образом, ускорение составило 71.8 раза. Хотя и для графических ускорителей, и для CPU используются одни и те же коммуникационные модули (в программном комплексе реализованы коммуникации на основе MPI и SHMEM-express), но эффективность расчетов на нескольких CPU по сравнению с одним CPU несколько выше, чем эффективность расчетов на нескольких GPU по сравнению с одним GPU. Это связано с дополнительными временными затратами на загрузку/выгрузку данных из памяти GPU в оперативную память и обратно.

Основные результаты третьей главы опубликованы в работах [4, 5].

В Заключении изложены основные результаты диссертации.

Основные результаты диссертации

1. Создана модель течения слабосжимаемой жидкости в пористой среде, основанная на кинетическом подходе и аналогии с квазигазодинамической системой уравнений, для описания динамики двухфазной жидкости с учетом капиллярных и гравитационных сил.

2. Построены явные алгоритмы на основе двух- и трехслойных разностных схем, имеющих второй порядок аппроксимации по пространству и

по времени, допускающие эффективную реализацию на многоядерных вычислительных системах.

3. Создан комплекс программ для расчетов задач многофазной фильтрации на кластерах с гибридной архитектурой, содержащих графические ускорители и поддерживающих технологии CUDA, MPI и SHMEM-express.

4. Проведены расчеты задач просачивания в двух- и трехмерных постановках на гибридном высокопроизводительном кластере «К-100». Продемонстрированы высокие ускорения вычислений при использовании подробных расчетных сеток: на сетке 15 миллионов точек на одном GPU достигнуто ускорение более чем в 100 раз по сравнению с одним ядром. CPU, а на сетке 1.5 миллиарда точек на восьмидесяти GPU — в 72 раза по сравнению с восьмьюдесятью ядрами CPU.

Список публикаций

1. Четверушкин Б. Н., Морозов Д. Н., Трапезникова М. А., Чурбанова Н. Г., Шильников Е. В. Об одной схеме для решения задач фильтрации // Математическое моделирование. 2010. Т. 22, № 4. С. 99-109.

2. Морозов Д. Н., Трапезникова М. А., Четверушкин Б. Н., Чурбанова Н. Г. Использование явных схем для моделирования процесса двухфазной фильтрации // Математическое моделирование. 2011. Т. 23, № 7. С. 52-60.

3. Морозов Д. Н., Четверушкин Б. Н., Чурбанова Н. Г., Трапезникова М. А. Моделирование задач фильтрации на гибридных вычислительных системах // Известия ЮФУ. Технические науки. 2012. № 6. С. 87-91.

4. Морозов Д. Н., Трапезникова М. А., Четверушкин Б. Н., Чурбанова Н. Г.

Моделирование задач фильтрации на гибридных вычислительных системах // Математическое моделирование. 2012. Т. 24, № 10. С. 33-39.

5. Morozov D. N., Chetverushkin В. N., Churbanova N. G., Trapeznikova M. A. An Explicit Algorithm for Porous Media Flow Simulation using GPUs / Proceedings of the Second International Conference on Parallel, Distributed, Grid and Cloud Computing for Engineering. Stirlingshire, UK: Civil-Comp Press, 2011. 12 p.

6. Trapeznikova M. A., Chetverushkin B. N., Churbanova N. G., Morozov D. N. A Kinetically Based Algorithm for Porous Medium Flow Simulation on Multi-core Computer Systems / Proceedings of the 6th European Congress on Computational Methods in Applied Sciences and Engineering (ECCOMAS 2012). Vienna, Austria: 2012. 7 p.

7. Chetverushkin B. N., Churbanova N. G., Morozov D. N., Trapeznikova M. A. Kinetic Approach to Simulation of Multiphase porous Media Flows / Proceedings of ECCOMAS CFD 2010. Lisbon, Portugal: IDMEC, 2010. 12 p.

8. Trapeznikova M. A., Chetverushkin B. N., Churbanova N. G., Morozov D. N., Shilnikov E. V. Simulation of Soil Contamination by Petroleum Product / Proceedings of WCCM8 and ECCOMAS. Venice, Italy: 2008. 2 p.

9. Trapeznikova M., Chetverushkin В., Churbanova N., Morozov D. Two-Phase Porous Media Flow Simulation on Hybrid Cluster / Lecture Notes in Computer Science. No. 7116. Springer, 2012. P. 644-651.

10. Trapeznikova M., Morozov D., Churbanova N., Chetverushkin B. Simulation of Porous Media Flows on Hybrid Computer Systems / Abstracts of the 17th International Conference Mathematical Modelling and Analisis. Tallinn, Estonia: Tallinn University of Technology, 2012. P. 129.

11. Morozov D. N„ Trapeznikova M. A., Chetverushkin B. N., Churbanova N. G. Application of Explicit Schemes for the Simulation of the Two Phase Filtration Process // Mathematical Models and Computer Simulations. 2012. Vol. 4, no. 10. P. 62-67.

12. Chetverushkin B. N., Morozov D. N., Trapeznikova M. A., Churbanova N. G-, Shilnikov E. V. An Explicit Scheme for the Solution of the Filtration Problems // Mathematical Models and Computer Simulations. 2010. Vol. 2, no. 6. P. 669-677.

13. Trapeznikova M., Chetverushkin В., Churbanova N., Morozov D. Two-Phase Porous Media Flow Simulation on Hybrid Cluster / Abstracts of the eight International Conference on large Scale Scientific Computations. Sozopol, Bulgaria: Institute of Information! and Communication Technologies Bulgarian Academy of Sciences, Sophia, 2011. P. 83.

14. Chetverushkin B. N., Churbanova N. G., Morozov D. N., Trapeznikova M. A. Simulation of Two-Phase Porous Media Flows Using Explicit Difference Schemes / Abstracts of the 15th International Conference Mathematical Modelling and Analisis. Druskininkai, Lithuania: VGTU Press «Technika», 2010. P. 103.

15. Морозов Д. H. Моделирование процессов фильтрации жидкости в неоднородной пористой среде в трехмерном случае, оптимизированное для расчета на многопроцессорных системах / Труды 51-й научной конференции МФТИ. Т. VII. Москва-Долгопрудный: МФТИ, 2008. С. 85-87.

16. Морозов Д. Н. Использование явных схем при моделировании задач фильтрации / Труды 52-й научной конференции МФТИ. Т. VII. Москва-Долгопрудный: МФТИ, 2009. С. 130-132.

17. Морозов Д. Н. Моделирование задач фильтрации на вычислительных системах с гибридной архитектурой / Труды 53-й научной конференции МФТИ. Т. VII. Москва-Долгопрудный: МФТИ, 2010. С. 27-28.

18. Морозов Д. Н., Лгопа А. А. Решение задач фильтрации на гибридных суперкомпьютерах / Труды 54-й научной конференции МФТИ. Т. Управление и прикладная математика. Москва-Долгопрудный-Жуковский: МФТИ, 2011. С. 18-19.

Цитированная литература

19. Бахвалов Н. С., Панасенко Г. П. Осреднение процессов в периодических средах. М.: Наука, 1984. С. 352.

20. Трапезникова М. А., Белоцерковская М. С., Четверушкин Б. Н. Аналог кинетически-согласованных схем для моделирования задач фильтрации // Математическое моделирование. 2002. Т. 14, Кг 10. С. 69-76.

21. Chetverushkin В. N. Kinetic schemes and Quasi-Gas Dynamic system of equations . Barselona, Spain: CIMNE, 2008.

22. Самарский А. А. Теория разностных схем. M.: Наука, 1977.

23. Четверушкин Б. Н. К вопросу об ограничении снизу на масштабы в механике сплошной среды // Время, хаос, математические проблемы. 2009. Т. 4. С. 75-96.

24. Басниев К. С., Кочина И. Н., Максимов В. М. Подземная гидромеханика. М.: Недра, 1993. С. 416.

25. Азиз X., Сеттари Э. Математическое моделирование пластовых систем. М.: Недра, 1982.

Морозов Дмитрий Николаевич

МОДЕЛИРОВАНИЕ ТЕЧЕНИЯ МНОГОФАЗНОЙ ЖИДКОСТИ В ПОРИСТОЙ СРЕДЕ С ИСПОЛЬЗОВАНИЕМ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ГИБРИДНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

Автореферат

Подписано в печать 09.11.2012. Формат 60 х 84 Усл. печ. л. 1,0. Тираж 100 экз. Заказ N0. 623. Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Московский физико-технический институт (государственный университет)» Отдел оперативной полиграфии «Физтех-полиграф» 141700, Московская обл., г. Долгопрудный, Институтский пер., 9

Введение.

Обзор литературы.

Глава 1. Решение задач фильтрации 1МРЕ8-методом на параллельных вычислительных системах

1.1. 1МРЕ8-метод решения задачи двухфазной фильтрации

1.2. Алгоритм решения задач фильтрации в неоднородной среде, интерфейсные условия на границе раздела сред.

1.3. Результаты расчетов ШРЕБ-методом двухфазной задачи просачивания на параллельных системах

1.4. Выводы к главе 1.

Глава 2. Использование явных схем для решения задач фильтрации

2.1. Решение задачи фильтрации однофазной жидкости.

2.1.1. Квазигидродинамические уравнения

2.1.2. Трехслойная разностная схема для задачи фильтрации

2.1.3. Тестовые расчеты.

2.2. Явные схемы для решения задачи фильтрации двухфазной жидкости.

2.2.1. Гиперболизированная КГД-система.

2.2.2. Алгоритм расчета.

2.2.3. Результаты расчетов.

2.3. Выводы к главе 2.

Глава 3. Моделирование задач фильтрации на параллельных гибридных вычислительных системах.

3.1. Современные технологии параллельного программирования и требования к параллельным вычислительным системам

3.2. Основные принципы и архитектура программного комплекса

3.3. Результаты моделирования задач фильтрации на гибридных системах.

3.4. Выводы к главе 3.

Актуальность работы. Математическое моделирование течения многофазных жидкостей в пористых средах является важной задачей для научной, экономической, экологической, индустриальной и многих других сфер. Особо важно решение индустриально-технологических задач, которые, как правило, междисциплинарны, отражают сложную геометрию описываемых конструкций, требуют высокой точности расчетов. Высокопроизводительные вычислительные системы открывают уникальные возможности для решения этих задач.

На сегодняшний день новые высокопроизводительные системы, как правило, создаются по модульному принципу, то есть состоят из объединенных коммуникационной системой процессорных модулей. Число процессорных ядер таких систем составляет уже порядка нескольких десятков тысяч единиц. Ресурсы этих систем могут быть использованы для проведения широкомасштабных вычислительных экспериментов, расчетов на подробных сетках, содержащих десятки и сотни миллионов узлов.

В настоящее время во всем мире усиливается тенденция к использованию вычислительных систем, базирующихся на многоядерных процессорах нетрадиционной архитектуры. Однако, имеются существенные проблемы, связанные с реальным эффективным использованием возможностей таких систем. Трудности значительно возрастают даже по сравнению с непростыми проблемами использования уже существующих высокопроизводительных компьютеров. Эти трудности связаны как со спецификой вычислительных алгоритмов для высокопроизводительных вычислительных систем, так и с проблемами вспомогательного программного инструментария. Такие вычислительные системы требуют разработки программного обеспечения, учитывающего гибридную структуру памяти: распределенную между процессорами и общую для ядер одного процессора. В этом смысле очень привлекательными оказываются явные схемы, которые легко адаптируются к различной архитектуре ЭВМ и позволяют эффективно использовать вычислительные системы, содержащие 103—104 ядер. Однако, явные схемы накладывают жесткое ограничение на шаг по времени, связанное с требованием устойчивости, особенно при решении уравнений и систем параболического типа. В связи с этим перспективным направлением является разработка явных схем с как можно более мягким условием устойчивости.

В физической постановке задач о течениях в пористых средах в диссертации учитывается слабая сжимаемость жидкостей, что приводит к более полному и точному описанию процессов фильтрации в грунтах по сравнению с традиционными подходами, где жидкости считаются несжимаемыми. Для построения физической модели используется «принцип минимальных размеров», определяющий минимальные характерные величины в пространстве и времени для данного типа течений. Такой подход является одним из широко используемых в мировой практике кинетических подходов, примерами которых являются Lattice Boltzmarm и кинетически-согласованные схемы.

Цели диссертационной работы.

• Разработка модели течения двухфазной жидкости в пористой среде, допускающей реализацию явными разностными схемами;

• Создание алгоритма и комплекса программ, ориентированных на решение задач фильтрации на высокопроизводительных гибридных кластерах;

• Проверка модели и эффективности комплекса программ на тестовых задачах.

Для достижения поставленных целей на основе кинетического подхода по аналогии с квазигазодинамической системой уравнений разработаны модели течения двух- и трехфазных жидкостей в пористой среде в предположении их слабой сжимаемости. Модели допускают численную реализацию с помощью алгоритмов явного типа. Для повышения порога устойчивости осуществлен переход к гиперболической системе уравнений фильтрации, построена трехслойная явная разностная схема второго порядка как по пространству, так и по времени. Проведены расчеты задач просачивания загрязняющих веществ в почву и задач нефтедобычи (в двумерной и трехмерной постановках).

Научная новизна. Предложенная новая кинетическая модель течения многофазных слабосжимаемых жидкостей в пористых средах является оригинальной, так как она предложена впервые и основана на аналогии с квазигазодинамической системой уравнений. Также впервые предложен переход от параболического типа системы уравнений фильтрации к гиперболическому типу и построены трехслойные явные разностные схемы, что позволило получить более мягкие условия устойчивости. Они были обоснованы теоретически и подтверждены тестовыми расчетами задач о загрязнении почвы нефтепродуктами. Впервые реализован комплекс программ для решения задач фильтрации на гибридных вычислительных системах, который позволил сократить расчетное время решения задач в десятки раз.

Практическая значимость. Реализованный в работе модульный программный комплекс применим для решения широкого спектра задач фильтрации (в том числе задач нефтедобычи). Благодаря гибкой модульной структуре, в комплексе программ заложена возможность учитывать разномасштабные физические процессы, имеющие разную природу (гидродинамика, фазовые переходы, горение). Универсальность комплекса позволяет использовать его как на гибридных вычислительных системах с графическими ускорителями, так и на классических многопроцессорных кластерах и персональных ЭВМ. Использование явных схем и алгоритмов расчетов на графических ускорителях позволяет значительно сократить расчетное время решения задач.

Работа над диссертацией проводилась при поддержке грантов РФФИ: 12-01 -90008-Бела «Разработка, анализ и применение новых эффективных разностных методов решения многомерных задач фильтрации и конвекции-диффузии», 12-01-00769-а «Кинетические модели и высокопроизводительные вычисления», 10-01 -90005-Бела «Разработка и исследование эффективных сеточных алгоритмов и математическое моделирование некоторых задач гидро- и газодинамики», 09-01-00600-а «Применение квазигазодинамической системы для решения задач механики сплошной среды», 08-01-90261-Узба «Разработка и реализация параллельных алгоритмов для решения задач гидромеханики и нефтедобычи».

Апробация работы. Основные результаты диссертации докладывались и обсуждались на следующих российских и международных конференциях:

• 2-ая Международная конференция по параллельным, распределенным, сеточным и облачным вычислениям (PARENG, Аяччо, Корсика, Франция, 2011);

• The 4, 5, 6th Europen Congresses on Computational Methods in Applied Sciences and Engineering (ECCOMAS, Venice, Italy, 2008; Lisbon, Portugal, 2010; Vienna, Austria, 2012);

• The 15, 17th International Conferences Mathematical Modelling and

Analysis (Druskininkai, Lithuania, 2010; Tallin, Estonia, 2012)

• The 8th International Conference on Large Scale Scientific Computations (Sozopol, Bulgaria, 2012);

• Всероссийская научная конференция «Современные проблемы математического моделирования, супервычислений и информационных технологий» (Таганрог, 2012);

• 51, 52, 53, 54 Научных конференциях МФТИ «Современные проблемы фундаментальных и прикладных наук» (Долгопрудный, 2008-2011).

Публикации. Материалы диссертации опубликованы в 18 печатных работах, из них 4 статьи в рецензируемых журналах из списка ВАК [42— 44, 56], 14 статей в журналах и сборниках трудов конференций [5-7, 13, 14, 16-20, 38^1].

Личный вклад автора. Содержание диссертации и основные положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы. Подготовка к публикации полученных результатов проводилась совместно с соавторами, причем вклад диссертанта был определяющим. Все представленные в диссертации результаты получены лично автором.

Структура и объем диссертации. Диссертация состоит из введения, трех глав, заключения и библиографии. Общий объем диссертации составляет 105 страниц. Библиография включает 57 наименований.

Основные результаты диссертации

1. Создана модель течения слабоежимаемой жидкости в пористой среде, основанная на кинетическом подходе и аналогии с квазигазодинамической системой уравнений, для описания динамики двухфазной жидкости с учетом капиллярных и гравитационных сил.

2. Построены явные алгоритмы на основе двух- и трехслойных разностных схем, имеющих второй порядок аппроксимации по пространству и по времени, допускающие эффективную реализацию на многоядерных вычислительных системах.

3. Создан комплекс программ для расчетов задач многофазной фильтрации на кластерах с гибридной архитектурой, содержащих графические ускорители и поддерживающих технологии CUDA, MPI и SHMEM-express.

4. Проведены расчеты задач просачивания в двух- и трехмерных постановках на гибридном высокопроизводительном кластере «К-100». Продемонстрированы высокие ускорения вычислений при использовании подробных расчетных сеток: на сетке 15 миллионов точек на одном GPU достигнуто ускорение более чем в 100 раз по сравнению с одним ядром CPU, а на сетке 1.5 миллиарда точек на восьмидесяти GPU — в 72 раза по сравнению с восьмьюдесятью ядрами CPU.

Заключение

1. Bastian P., Helmig R. Efficient fully-coupled solution techniques for two-phase flow in porous media. Parallel multigrid solution and large scale computations//Advances in Water Resources. 1999. Vol. 23. P. 199-216.

2. Chen Z., Huan G., Ma Y. Computational Methods for Multiphase Flows in Porows Media. SIAM, 2006. 521 p.

3. Chetverushkin B. N. Kinetic schemes and Quasi-Gas Dynamic system of equations . Barselona, Spain: CIMNE, 2008. 15 p.

4. Chetverushkin B. N. High-performance computing: Fundamental problems in industrial application // Parallel, distributed and grid computing for engineering. 2009. P. 369-388.

5. Chetverushkin B. N., Churbanova N. G., Morozov D. N., Trapezniko-va M. A. Kinetic Approach to Simulation of Multiphase porous Media Flows / Proceedings of ECCOMAS CFD 2010. Lisbon, Portugal: ID-MEC, 2010. 12 p.

6. Chetverushkin B. N., Morozov D. N., Trapeznikova M. A. et al. An Explicit Scheme for the Solution of the Filtration Problems // Mathematical Models and Computer Simulations. 2010. Vol. 2, no. 6. P. 669-677.

7. CUDA C Best Practices Guide, http://docs.nvidia.com.

8. CUDA C Programming Guide, http://docs.nvidia.com.

9. Flinn M. Some Computer Organizations and Their Effectiveness // IEEE Trans.Comput. 1972. Vol. 21, no. 9. P. 948-960.

10. GPGPU AMD Technologies, http://www.amd.com.

11. Helmig R. Multiphase flow and transport processes in the subsurface -A contribution to the modelling of hydrosystems. Berlin: Springer, 1997. P. 367.

12. Morozov D. N., Trapeznikova M. A., Chetverushkin B. N., Churbanova N. G. Application of Explicit Schemes for the Simulation of the Two Phase Filtration Process // Mathematical Models and Computer Simulations. 2012. Vol. 4, no. 10. P. 62-67.

13. Parker J. C., Lenhard R., Kuppusami T. A parametric model for constitutive properties governing multiphase flow in porous media // Water Resources Research. 1987. Vol. 23, no. 4. P. 618-624.

14. Trapeznikova M., Chetverushkin В., Churbanova N., Morozov D. Two-Phase Porous Media Flow Simulation on Hybrid Cluster / Lecture Notes in Computer Science. No. 7116. Springer, 2012. P. 644-651.

15. Trapeznikova M. A., Chetverushkin B. N., Churbanova N. G. et al. Simulation of Soil Contamination by Petroleum Product / Proceedings of WC-CM8 and ECCOMAS. Venice, Italy: 2008. 2 p.

16. Van Genuchten M. T. A closed-form equation for predicting the hydraulic conductivity of unsaturated soils // Soil Sci. Soc. Am. J. 1980. Vol. 44. P. 892-898.

17. Zhang X., Sanderson D. Numerical Modelling and Analysis of Fluid Flow and Deformation of Fractured Rock Masses. Pergamon, 2002. 288 p.

18. Азиз X., Сеттари Э. Математическое моделирование пластовых систем. М.: Недра, 1982. С. 407.

19. Басниев К. С., Кочина И. Н., Максимов В. М. Подземная гидромеханика. М.: Недра, 1993. 416 с.

20. Бахвалов Н. С., Панасенко Г. П. Осреднение процессов в периодических средах. М.: Наука, 1984. 352 с.

21. Белоцерковская М. С., Опарин А. М., Четверушкин Б. Н. Использование вложенных сеток для моделирования процесса фильтрации // Математическое моделирование. 2004. Т. 16, № 12. С. 3-10.

22. Боресков А. В., Харламов А. А. Основы работы с технологией СГЮА. М.: ДМК-Пресс, 2010. С. 232.

23. Воеводин В., Воеводин В. Параллельные вычисления. Санкт-Петербург: БХВ-Петербург, 2002. 599 с.

24. Дейк Л. П. Основы разработки нефтяных и газовых месторождений. М.: Премиум Инжиниринг, 2009. 570 с.

25. Ентов В. М., Зазовский А. Ф. Гидродинамика процессов повышения нефтеотдачи. М.: Недра, 1989. 233 с.

26. Казеннов А. М. Основы технологии С1ША // Компьютерные исследования и моделирование. 2010. Т. 2, № 3. С. 295-308.

27. Калиткин Н. Н. Численные методы. М.: Наука, 1978. 512 с.

28. Каневская Р. Д. Математическое моделирование гидродинамических процессов разработки месторождений углеводородов. Москва-Ижевск: Институт компьютерных исследований, 2003. 127 с.

29. Колдоба А. В., Повещенко Ю. А., Самарская Е. А., Тишкин В. Ф. Методы математического моделирования окружающей среды. М.: Наука, 2000. 254 с.

30. Коновалов А. Н. Задачи фильтрации многофазной несжимаемой жидкости. Новосибирск: Наука.Сибирское отделение, 1988. 166 с.

31. Маскет М. Течение однородных жидкостей в пористой среде. Ижевск: Институт компьютерных исследований, 2004. 628 с.

32. Маскет М. Физические основы технологии добычи нефти. Москва-Ижевск: Институт компьютерных исследований, 2004. 606 с.

33. Морозов Д. Н. Использование явных схем при моделировании задач фильтрации / Труды 52-й научной конференции МФТИ. Т. VII. Москва-Долгопрудный: МФТИ, 2009. С. 130-132.

34. Морозов Д. Н. Моделирование задач фильтрации на вычислительных системах с гибридной архитектурой / Труды 53-й научной конференции МФТИ. Т. VII. Москва-Долгопрудный: МФТИ, 2010. С. 27-28.

35. Морозов Д. Н., Люпа А. А. Решение задач фильтрации на гибридных суперкомпьютерах / Труды 54-й научной конференции МФТИ. Т. Управление и прикладная математика. Москва-Долгопрудный-Жуковский: МФТИ, 2011. С. 18-19.

36. Морозов Д. Н., Трапезникова М. А., Четверушкин Б. Н., Чурбано-ва Н. Г. Использование явных схем для моделирования процесса двухфазной фильтрации // Математическое моделирование. 2011. Т. 23, № 7. С. 52-60.

37. Морозов Д. Н., Трапезникова М. А., Четверушкин Б. Н., Чурбано-ва Н. Г. Моделирование задач фильтрации на гибридных вычислительных системах // Математическое моделирование. 2012. Т. 24, № 10. С. 33-39.

38. Морозов Д. Н., Четверушкин Б. Н., Чурбанова Н. Г., Трапезникова М. А. Моделирование задач фильтрации на гибридных вычислительных системах // Известия ЮФУ. Технические науки. 2012. № 6. С. 87-91.

39. Нигматуллин Р. И. Динамика многофазных сред. М.: Наука, 1987. Т. 2. 360 с.

40. Ортега Д. Введение в параллельные и векторные методы решения линейных систем. М.: Мир, 1991. 367 с.

41. Самарский А. А. Теория разностных схем. М.: Наука, 1977. 656 с.

42. Самарский А. А., Гулин А. В. Численные методы. М.: Наука, 1989. 432 с.

43. Самарский А. А., Николаев Е. С. Методы решения сеточных уравнений. М.: Наука, 1978. 592 с.

44. Сандерс Д., Кэндрот Э. Технология С1ЮА в примерах. Введение в программирование графических процессоров. М.: ДМК-Пресс, 2011. 232 с.

45. Трапезникова М. А., Белоцерковская М. С., Четверушкин Б. Н. Аналог кинетически-согласованных схем для моделирования задач фильтрации // Математическое моделирование. 2002. Т. 14, № 10. С. 69-76.

46. Хейфец JI. И., Неймарк А. В. Многофазные процессы в пористых средах. М.: Химия, 1982. 320 с.

47. Четверушкин Б. Н. Кинетически-согласованные схемы в газовой динамике. М.: Издательство МГУ, 1999. 226 с.

48. Четверушкин Б. Н. Кинетические схемы и квазигазодинамическая система уравнений. М.: Макс-пресс, 2004. 332 с.

49. Четверушкин Б. Н. К вопросу об ограничении снизу на масштабы в механике сплошной среды // Время, хаос, математические проблемы. 2009. Т. 4. С. 75-96.

50. Четверушкин Б. Н., Морозов Д. Н., Трапезникова М. А. и др. Об одной схеме для решения задач фильтрации // Математическое моделирование. 2010. Т. 22, № 4. с. 99-109.

51. Определение понятий смачивающей и несмачивающей фаз 17

52. Зависимость капиллярного давления от насыщенности в моделях ван Генухтена и Брукса-Кори.20

53. Расчетная ячейка на границе раздела сред.23

54. Непрерывность капиллярного давления и разрыв насыщенности на интерфейсе .28

55. Задача двухфазного просачивания.29

56. График распределения насыщенности DNAPL по координате г.32

57. Одна симметричная линза. Распределение насыщенности, t=2000c.32

58. Две линзы. Распределение насыщенности, t=2500c.33

59. Две линзы.Распределение насыщенности, t=5000c.33

60. Ускорение вычислений в зависимости от числа процессоров при расчетах на сетке с 50 ООО точек по оси X.36

61. Ускорение вычислений в зависимости от числа процессоров при расчетах на сетке с 100 000 точек по оси X.36

62. Эффективность вычислений в зависимости от числа процессоров при расчетах на сетке с 50 000 точек по оси X . . 37

63. Эффективность вычислений в зависимости от числа процессоров при расчетах на сетке с 100 000 точек по оси X . . 37

64. Постановка задачи о плоскорадиальном течении.47

65. Одномерная задача плоскорадиального течения. Точное решение: распределение давления.49

66. Одномерная задача плоскорадиального течения. Классическая схема I: распределение давления .50

67. Одномерная задача плоскорадиального течения. Модифицированные схемы II и III: распределение давления.50

68. Постановка задачи о притоке жидкости к скважине.52

69. Двумерная задача радиального течения. Классическая схема: распределение давления.55

70. Двумерная задача радиального течения. Модифицированная схема: распределение давления. 55

71. Постановка квазиодномерной задачи просачивания.60

72. Постановка двухфазной задачи просачивания .60

73. Профили насыщенности DNAPL для квазиодномерной задачи (1 модифицированная модель, 2 - классическая модель) .62

74. Двухфазная задача просачивания. Распределение насыщенности .62

75. Последовательный код выполняется на CPU, параллельный на GPU.74

76. Концептуальное устройство CPU и GPU.75

77. Сравнение количества вычислительных ядер центрального процессора и графического ускорителя.76

78. Архитектура Tesla графических ускорителей NVIDIA GeForce 275 .7635 Грид, блоки, треды .78

79. Устройство памяти графического ускорителя Fermi.79

80. Устройство гибридного кластера К-100.89

81. Ускорение расчетов задачи квазиодномерного просачивания на графических платах: Двумерная сетка .90

82. Ускорение расчетов задачи квазиодномерного просачивания на графических платах: Трехмерная сетка.92

83. Линейный рост ускорения расчетов задачи квазиодномерного просачивания на 1 6 графических платах.92