автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Математическое моделирование процессов фильтрации двухфазной несжимаемой жидкости на параллельных вычислительных системах

На правах рукописи

ПОПОВ ПАВЕЛ ЕВГЕНЬЕВИЧ

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ ПРОЦЕССОВ ФИЛЬТРАЦИИ ДВУХФАЗНОЙ НЕСЖИМАЕМОЙ ЖИДКОСТИ НА ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

1 СЕН 2011

Новосибирск - 2011

4852453

Работа выполнена в Учреждении Российской академии наук Институте вычислительной математики и математиической геофизки Сибирского отделения РАН.

Научный руководитель:

доктор физико-математических наук, профессор Лаевский Юрий Миронович

Официальные оппоненты:

доктор физико-математических наук, профессор Вшивков Виталий Андреевич

доктор физико-математических наук, профессор Хакимзянов Гаяз Салимович

Ведущая организация:

Учреждение Российской академии наук

Институт гидродинамики им. М.А. Лаврентьева СО РАН

Защита состоится 4 октября 2011 года в 16:30 на заседании диссертационного совета Д.003.061.02 при Учреждении Российской академии наук Институте вычислительной математики и математической геофизики Сибирского отделения РАН по адресу: 630090, г. Новосибирск, пр. Академика Лаврентьева, 6.

С диссертацией можно ознакомиться в библиотеке Учреждения Российской академии наук Института вычислительной математики и математиической геофизки Сибирского отделения РАН.

Автореферат разослан «17» августа 2011 года.

Ученый секретарь

диссертационного совета Д.003.061.02, д.ф.-м.н.

Сорокин С.Б.

Общая характеристика работы

Выбор темы исследования обусловлен тем, что в современных условиях совместная фильтрация несмешивающихся жидкостей является одним из ключевых разделов в подземной гидродинамике, а определяющим инструментом по получению новых знаний выступает математическое моделирование.

Актуальность работы определяется необходимостью создания алгоритмов и средств, обеспечивающих эффективное решение задачи совместной фильтрации несмешивающихся жидкостей методами математического моделирования на вычислительных системах терафлопного диапазона.

В результате активного развития вычислительной техники производительность существующих на данный момент многопроцессорных систем измеряется уже сотнями терафлопс. Однако новая архитектура предъявляет особые требования к алгоритмам и их реализациям. Большое количество процессов требует высокой степени масштабируемости алгоритма, многоядерные узлы -особенного внимания к оптимизации доступа к памяти. Чтобы эти расчеты были эффективны, на таких системах требуется расширенная параллельная реализация, соответствующая кластерной структуре вычислительной системы с многопроцессорными узлами.

Целью работы является построение «технологической цепочки», соответствующей процессам совместной фильтрации несмешивающихся жидкостей, и создание алгоритмов и компонентов вычислительной среды, обеспечивающих высокую масштабируемость и возможность эффективного решения поставленной задачи на многопроцессорных вычислительных системах терафлопного диапазона. Схематически эта цепочка выглядит следующим образом: от изучаемого явления - к его математической модели; затем - к аппроксимационной модели; далее - к эффективному численному алгоритму; программе, реализующей этот алгоритм; и, наконец, к вычислениям на суперкомпьютерах, анализу полученных результатов, уточнению в случае необходимости математической модели.

Научная новизна.

- Реализована и экспериментально обоснована численная модель Маскета-Леверетта в смешанной обобщенной постановке в терминах «скорость-давление-насыщенность» с произвольным числом скважин, моделирование которых не требует сгущения сетки в прискважинных зонах и соразмерности диаметра скважин шагу сетки.

- Создан эффективный алгоритм для обращения сеточного седлового оператора, возникающего в смешанной постановке и являющегося аналогом оператора Лапласа, используемый в качестве переобуславливателя в итерационном методе сопряженных градиентов при решении эллиптического уравнения второго порядка с переменными коэффициентами.

- Разработан и изучен алгоритм распараллеливания двумерной и трехмерной задач совместной фильтрации на суперкомпьютерах, удовлетворяющий кластерной структуре с использованием мп технологии в рамках предложенной модели.

Практическая значимость диссертационной работы заключается в возможности использования разработанного комплекса программ для интенсификации разработки месторождений, а также в универсальности предлагаемой методики распараллеливания и ее применимости к другим задачам механики сплошной среды.

Достоверность и обоснованность полученных результатов подтверждается соответствием рассматриваемой модели фундаментальным законам сохранения. Для предложенной численной модели показано, что используемая аппроксимация в комбинации с явной схемой обеспечивают выполнение уравнения баланса; приводятся расчеты, демонстрирующие её аппроксимационные свойства и адекватность известным явлениям, сопутствующим процессу вытеснения нефти водой. Эти результаты хорошо согласуются с работами А.Н. Коновалова, Б.Н. Четверушкина, В.И. Дробышевича. Для разработанной методики распараллеливания приводятся графики, подтверждающие её эффективность.

Основные результаты, выносимые на защиту:

- Реализация и экспериментальное обоснование численной модели Маскета-Леверетта в смешанной обобщенной постановке в терминах «скорость-давление-насыщенность» с произвольным числом скважин.

- Эффективный алгоритм для обращения сеточного седлового оператора, возникающего в смешанной постановке и являющегося аналогом оператора Лапласа, используемый в качестве переобуславливателя в итерационном методе сопряженных градиентов при решении эллиптического уравнения второго порядка с переменными коэффициентами, которое является определяющим в задаче фильтрации.

- Параллельный алгоритм и программный комплекс для решения двумерной и трехмерной задач совместной фильтрации на суперкомпьютерах, удовлетворяющий кластерной структуре и использующий МР1 технологии в рамках предложенной модели.

Апробация диссертации. Результаты работ по диссертации докладывались на научно-исследовательских семинарах ИВМиМГ СО РАН, на Конференциях молодых ученых, на Всероссийских конференциях по вычислительной математике, на ХЬУ Международной научной студенческой конференции, на Международной конференции «Дифференциальные уравнения. Функциональные пространства. Теория приближений».

Работа поддержана проектом Президиума СО РАН и грантом РФФИ.

Публикации. По теме диссертации опубликовано 9 печатных работ, из них 3 статьи в ведущих рецензируемых журналах и изданиях, перечень которых

определен Высшей аттестационной комиссией.

Личный вклад автора. Все выносимые на защиту результаты принадлежат лично автору. Автор принимал активное участие в постановке двумерной и трехмерной задач совместной фильтрации. Реализовал и обосновал численную модель, разработал параллельный алгоритм, который удовлетворяет кластерной структуре и использует mpi технологи. Провел эксперименты, интерпретировал их результаты, показал высокую масштабируемость программного комплекса. Автор разработал алгоритм для обращения сеточного седлового оператора, возникающего в смешанной постановке и являющегося аналогом оператора Лапласа, используемый в качестве переобуславливателя в итерационном методе сопряженных градиентов при решении эллиптического уравнения второго порядка с переменными коэффициентами.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и списка литературы. Работа содержит 33 рисунка, 10 таблиц, 71 наименование библиографии. Полный объем диссертации составляет 118 страниц.

Благодарности. Автор выражает искреннюю благодарность своему научному руководителю д.ф.-м.н. профессору Юрию Мироновичу Лаевскому за руководство работой и глубокую признательность к.ф.-м.н. Александру Александровичу Калинкину за неподдельное внимание.

Содержание работы

Во введении сформулирована цель работы, обоснованы актуальность темы и научная новизна, кратко описано содержание.

В работе предложен подход, в котором модель Маскета-Леверетта формулируется в полной смешанной обобщенной постановке в терминах «скорость-давление-насыщенность». В данном подходе все пространственные производные от векторных полей представлены только как дивергенций искомых функций. В такой постановке для насыщенности не требуется задавать краевые условия, поэтому не встает вопрос об их вырождаемости. Кроме того для используемых аппроксимаций на основе элементов Равьяра-Тома не возникает проблем с описанием фронта насыщенности благодаря наличию в модели капиллярной диффузии.

В первой главе формулируется математическая постановка предложенной модели, приводятся основные соотношения, определяющие процесс фильтрации. Задача записывается в виде системы уравнений первого порядка с соответствующими краевыми условиями. От системы дифференциальных уравнений осуществляется переход к слабой постановке в интегральных уравнениях.

В пункте 1.1 приводятся обозначения основных используемых физических параметров с указанием их размерности и формулируется математическая по-

становка задачи:

V • V = О,

= (1)

дв „ т— + V • у2 = 0.

дЬ

Здесь в - водонасыщенность, V - суммарная скорость обоих фаз, у2 - скорость воды, к(з) = /11(1 — 5) + к^в), где - фазовые проницаемости, С(э) - гравитационный вектор, ф = ф — а (в) - обобщенный потенциал, ф - потенциал вытесняющей фазы, а (в) - заданная функция, определяющаяся через эмпирическую функцию капиллярного давления Леверетта, т - пористость.

Далее краевые условия для суммарной скорости двухфазной жидкости V и скорости воды л/2 на границе Г задаются в следующим виде:

х € Геп( : V • п = -

х е Г° : V • п = 0, • П = 0.

Третье и четвертое равенства системы (1) не являются дифференциальными уравнениями, а - это просто новое обозначение, граничные условия для которого естественно определять следующим образом:

№-п = 0, хбГ. (3)

Выше Г = дП - кусочно-гладкая граница области Г2, Ге"( - часть границы, через которую вода с суммарным расходом <3 поступает в Г2, Гех - часть границы, через которую вытекает смесь нефти и воды, Г° = Г \ (Геп* и Гех), 1епЬ = тез(Геп'), 1ех = те8(Гег).

В пункте 1.2 осуществляется переход от математической постановки задачи к проекционной. Будем говорить, что функция х £ Х/сопв^ если х € X и /х • 1 = 0. От системы уравнений (1)-(3) переходим к следующей обобщенной смешанной постановке для задачи Неймана: по заданной водонасыщенно-сти в0 € £2(Г2) требуется найти непрерывные по параметру Ь > 0 функции $(£) е Ь2(0), € Ь2(Щ/со!^, у2(£) £ н(сну, п) такие, что

й(0) = в0, Эй/Эг^) е Ь2(П), выполняются краевые условия (2)-(3), иЧЬ > 0, vii 6 но(с1гу,п), у£ € 1,2(0.)/сопб1, у с € ¿2(п) имеют место следующие

интегральные тождества:

[ —í— v • udx — ÍфЧ ■ udx = í G(s) • udx, n k(s) R n

J £ V ■ v dx = O, íj

/J-wudx = -/a(s) Vudx, (4)

n n

¡v2- udx - /^(v-w)-udx=-/ fc2(s)G(s)-udx,

Й n ^ n

J тптг С dx + J С V • v2dx = 0. o n

Подчеркнем, что именно введение обозначения w, позволило искать насыщенность s(t) как функцию из Ь2(0.)-

Вторая глава посвящена аппроксимациям интегральных тождеств в слабой постановке по смешанному методу конечных элементов. При этом векторные поля скоростей аппроксимируются элементами Равьяра-Тома минимальной степени на прямоугольной сетке, а скалярные функции (давление и насыщенность) ищутся в пространстве кусочно-постоянных функций.

В пункте 2.1 после всех выкладок итоговая сеточная задача записывается в следующем матричном виде:

D(s)v + BtJj = G i(s),

Т

в v = Fi,

D(s)w = Ba{s), (5)

A)V2 — Di(s)(v — w) = R(s),

„П+1 _ „П

M--- - 5[v2 = G2(sn).

T

В пункте 2.2 предложена явная схема по времени типа предиктор-корректор второго порядка аппроксимации, с одним вычислением правой части на шаге интегрирования. Первые два уравнения сеточной задачи (5) представляют собой линейную систему седлового типа, решение которой описано в пункте 2.3 и осуществляется методом сопряженных градиентов для дополнения Шура с переобусловливателем. В качестве переобуславливателя рассматривается дополнение Шура для сеточного седлового оператора, возникающего в смешанной постановке и являющегося аналогом оператора Лапласа. Описывается эффективный алгоритм его обращения.

В третье главе приводятся результаты численных экспериментов, демонстрирующие аппроксимационные свойства численной модели и её адекватность хорошо известным явлениям, сопутствующим процессу вытеснения нефти водой.

В пункте 3.1 предложен способ моделирования скважин не требующий сгущения сетки в прискважинных зонах и соразмерности диаметра скважин шагу сетки.

В подпунктах 3.2.1 и 3.3.1 показаны аппроксимационные свойства двумерной и трехмерной вычислительных моделей, соответственно. Для двумерной задачи расчеты проводились в прямоугольной области П с длинами сторон Ьх = 64 м, Ьу = юм на последовательности сеток, для которых = = 22_А', к = 1,. .., 5. В качестве точного рассматривалось решение при к = 6. Для трехмерной задачи область представляет собой параллелепипед с длинами сторон Ьх = 128 м, Ьу = 128 м, Ьг = 16 м на последовательности сеток, для которых ~п„ ь = 1гУ:к = = 2°~к. к = 1,...,4. В качестве точного берется решение при к = 5. Ниже для двумерного (таблица 1) и трехмерного (таблица 2) случаев приведены относительные среднеквадратичные по пространству погрешности решения в момент времени í = 16 • 105 с, показывающие второй порядок точности.

к Н(з)* - («ЬНадп) ИМк-МвП^,) ПСуз)1- <^)о|1ь,<П)

1 2.88-Ю-2 1.01-10-1 3.9910~2 5.07-ПГ2

2 4.42-10"3 1.93-10-2 1.8610"2 2.0110-2

3 2.06-НГ3 9.3410"3 9.24-10"3 1.01-10"2

4 1.0010"3 4.85-10-3 4.50-10"3 5.32 10_3

5 4.50 10"4 2.2710"3 2.0110-3 З.ЗОНГ3

Таблица 1: Погрешность решения двумерной задачи, £ = 16 ■ 105с.

к II(а)к ~ (л'ЬНадл) >)з||,.2ГШ

1 (V)«! ИИзНЭД) 11(»а)5|| 1.2(11)

1 5.40-Ю-2 5.50НГ2 6.99-10"2 9.23-ПГ2

2 2.16-10-2 1.9910"2 3.3010"2 3.6310"2

3 1.09 Ю-2 9.21-10-3 1.6910"2 1.75-10"2

4 5.2410-3 4.0910"3 7.89-10"3 8.4910"3

Таблица 2: Погрешность решения трехмерной задачи, г = 16 ■ 105с. Ниже для рисунков водонасыщенности используется следующая шкала:

О 2 0.3 0.4 0.5 0.6 0.7 0.В

Рис. 1: Шкала водонасыщенности.

В пункте 3.3 для двумерного случая исследуются плановая и вертикальная задачи. Для плановой задачи рассматриваются типичные схемы расположения

скважин (рисунок 2), для которых приводятся распределения водонасыщенно-сти и поля скоростей вытесняющей фазы Уг в начальной стадии эксплуатации и в момент прорыва воды через нефтяной слой. п--.,...,-7 о-

-Й

пятиточечная семиточечная девятиточечная

Рис. 2: Примеры схем разработки месторождения.

Для пятиточечной и девятиточечной схем разработки по достижению водой добывающих скважин вновь поступающая вода устремляется к ним по образовавшемуся каналу, почти не вытесняя оставшуюся в стороне нефть - возникают застойные зоны. В случае семиточечной схемы (рисунки 3 и 4) с нагнетательной скважиной в центре и шестью добывающими в её вершинах застойные зоны минимальны. Такая стратегия позволяет оптимизировать показатели добычи.

I = 0.8 • 105 с ¿ = 2.0 105 с

Рис. 3: Семиточечная схема. Водонасыщенность.

£ = 0.8-105с ¿ = 2.0105С

Рис. 4: Фрагмент семиточечной схемы. Поле скоростей

При разработке месторождений но девятиточной схеме для нагнетательных скважин в центрах сторон прорыв наступает раньше, чем в углах, поэтому

образовуются застойные зоны. Чтобы сделать процесс более равномерным и выгодным, на практике сначала добывают нефть по пятиточечной схеме, а через некоторый момент времени бурят скважины в центрах сторон и добывают нефть по девятиточечной схеме (рисунок 5).

I = 0.8 • 105 с /. = 1.6 -105 с

Рис. 5: Девятиточечная схема. Неугловые нагнетательные скважины начинают работать с момента времени 4 = 0.4 ■ 103 с. Водонасыщенность.

Как видим в этом «идеальном» случае застойных зон нет. Однако плановая задача не учитывает силы тяжести и является псевдотрехмерной.

Для вертикальной задачи изучаются скважины с боковыми стволами (рисунок 6), а также скважины с неполным вскрытием пласта.

20 30 40 ЭО 60 Ю 20 30 40 50 60

4 = 3.2-10" с I — 4.8 • 10'1 с

Рис. 6: Одна нагнетательная (с боковым стволом) и одна добывающая скважины.

В работе показано, что боковые стволы нагнетательных скважин, разработанные внизу нефтеносного пласта на начальных этапах заводнения нефтяного месторождения, позволяют вытеснить нефть к верху нефтеносного пласта, а на конечном этапе при бурении боковых стволов добывающих скважин на поверхности нефтеносного пласта добиться отсутствия нефтяных ловушек и более быстрого извлечения нефти.

В пункте 3.3 для трехмерного случая исследуются процессы вытеснения при различных схемах покрытия месторождения и типах задания нагнетательных и добывающих скважин. Область представляет собой параллелепипед, также учитывается сила тяжести. Ниже сравнивается вариант с одной нагнетательной и одной добывающей вертикальными скважинами (рисунок 7) и вариант, в котором внизу от нагнетательной скважины отходит два боковых ствола

(рисунок 8). Как и в двумерном случае, задание скважин с боковыми стволами демонстрирует корректную работу модели для иевертикальных скважин и улучшает нефтедобычу.

ю |

и ■

10

оА

о о

t = 0.8 ■ 105 с

о о

t 1.0- I05с

о о

t = 2.4- 105 с

о □ /. = 4.8- 105с

Рис. 7: Одна нагнетательная и одна добывающая скважины.

10

о ..

о о

1.0 • ) 0s с

о а

i - 2.4 • 10s с

о о t = 4.8- 105с

Рис. 8: Одна нагнетательная (с двумя боковыми стволами) и одна добывающая скважины.

В четвертой главе для эффективного решения численной модели фильтрации предлагается алгоритм распараллеливания задачи, удовлетворяющий кластерной структуре с использованием mpi технологии, реализованный на языке Fortran. Данный алгоритм равномерно распределяет все данные по процессам и одинаково загружает их в каждый момент времемени.

В подпунктах 4.1.1, 4.1.2 и 4.2.1, 4.2.2 изложен способ распределения данных по процессам (рисунок 9) и реализован алгоритм распараллеливания задачи совместной фильтрации для двумерного и трехмерного случаев, соответственно.

1-1-М-М-

/ \

{ I }

пл

Разбиение двумерного массива по процессам.

гтт

ТТЛ

тт

Распределение компонент скорости между процессами в двумерном случае.

Рис. 9: Разбиение трехмерного массива по процессам.

В подпунктах 4.1.3 и 4.2.3 приводятся расчеты, демонстрирующие коэффициенты ускорений 5Р = Т\/Тр, где Тр - время исполнения распараллеленной программы на р процессах, Т\ - время исполнения исходной программы. В двумерном случае коэффициенты ускорений (рисунок 10) вычислялись на последовательностях сеток 32 х 4, 64 х 8, 128 х 16, 256 х 32, 512 х 64, 1024 х 128 и 2048 х 256 с использованием до 256 ядер кластера нкс-зот. В трехмерном случае коэффициенты ускорений (рисунок 11) вычислялись на последовательностях сеток 32 х 32 х 4, 64 х 64 х 8,128 х 128 х 16, 256 х 256 х 32 и 512 х 512 х 64 с использованием до 64 процессов кластера.

Из графиков видно, что увеличение числа используемых процессов в какой-то момент приводит к замедлению роста коэффициентов ускорений. Но даже когда число процессов максимально, то есть равняется минимальной размерности задачи, коэффициент ускорения больше 0.3р. В случае меньшего количества процессов программа демонстрирует хорошую масштабируемость. Коэффициент ускорения меняется в пределах 0.5р — 0.85р.

Рис. 10: Коэффициенты ускорений для двумерного случая.

• 32x32x4

♦ 64x64x8

^ 128x123x16 -4-256x256x32 ^512x512x64

Рис. 11: Коэффициенты ускорений для трехмерного случая.

Отметим, что, когда используемые ядра находятся на одном узле, то память у процессов общая, и пересылка данных между ними происходит быстрее. Поэтому все вычисления, привиденные в работе, производились с оптимальным заданием процессов по узлам. Ниже в таблице 3 приведены отношения коэффициентов ускорений, полученные, когда каждый узел кластера использует только одно ядро, к коэффициентам ускорений, полученными, когда каждый узел использует максимально возможное число ядер на нем. Для нашей задачи и кластера нкс-зот, каждый узел которого это два процессора с четырьмя ядрами, данное отношение оказалось равным тройке.

В заключении сформулированы основные результаты работы.

V N х М 2 4 8 16 32 64

32x4 1,69 3,06 - - - -

64x8 1,47 2,06 2,75 - - -

128x16 0,93 1,28 2,02 2,96 - -

256x32 1,09 1,00 1,31 2,09 3,13 -

512x64 1,19 1,08 0,71 0,84 1,31 2,99

1024x128 0,94 0,99 0,88 0,97 1,28 1,81

2048x256 1,11 0,91 0,95 0,80 0,85 1,17

Таблица 3: Отношение коэффициентов ускорений.

Основные результаты

Результатом исследования является разработка и реализация новых эффективных методов, алгоритмов и программного обеспечения для численного моделирования задач фильтрации двухфазной несжимаемой жидкости.

1. На основе смешанного метода конечных элементов реализована и экспериментально обоснована численная модель Маскета-Леверетта в терминах «скорость-давление-насыщенность» с произвольным числом скважин, моделирование которых не требует сгущения сетки в прискважинных зонах и соразмерности диаметра скважин шагу сетки.

2. Создан эффективный алгоритм для обращения сеточного седлового оператора, возникающего в смешанной постановке и являющегося аналогом оператора Лапласа, который использовался в качестве переобуславливате-ля в итерационном методе сопряженных градиентов при решении эллиптического уравнения второго порядка с переменными коэффициентами.

3. Разработана методика распараллеливания двумерной и трехмерной задач для компьютерных систем, удовлетворяющих кластерной структуре, с использованием ми технологии, которая может быть применена к другим задачам механики сплошной среды. Продемонстрированы результаты, показывающие высокую масштабируемость и эффективность алгоритма с точки зрения операций и обмена данными на многопроцессорных системах.

4. Создана вычислительная среда, включающая алгоритмы и программы обработки на многопроцессорных вычислительных системах, позволяющая при освоении нефтяного месторождения проводить анализ рисков и своевременно минимизировать их, совершенствовать технологии, обосновывать стратегии доразработки, улучшать показатели добычи.

Публикации по теме диссертации

Рецензируемые журналы из перечня ВАК:

1. Popov P.E., Kalinkin A.A. The method of separation of variables in a problem with a saddle point. Russian journal of numerical analysis and mathematical modelling, v.23, No.l, 2008, p. 97-106.

2. Попов П.E., Калинкин A.A. Об одном классе переобуславливателей для задач в смешанной постановке и их обращении прямым методом. Вычислительные технологии, том 13, Спец. Выпуск 4, 2008, с. 107-113.

3. Лаевский Ю.М., Попов П.Е., Калинкин A.A. «О численном моделировании фильтрации двухфазной несжимаемой жидкости смешанным методом конечных элементов», Математическое моделирование, том 22, №3, 2010, с. 74-90.

В трудах конференций:

4. Попов П.Е. Метод разделения переменных в задачей с седловой точкой, Конференция молодых ученых ИВМиМГ, Новосибирск, 2006, с. 173-181.

5. Попов П.Е. Метод разделения переменных в задачей с седловой точкой, Труды XLV МНСК «Студент и научно-технический прогресс», Новосибирск, 10 - 12 апреля 2007.

6. Попов П.Е. Численное моделирование задач фильтрации смешанным методом конечных элементов, Конференция молодых ученых ИВМиМГ, Новосибирск, 27 - 29 апреля 2010, с. 106-121.

В тезисах конференций:

7. Попов П.Е., Калинкин A.A. Об одном классе переобуславливателей для задач в смешанной постановке и их обращении прямым методом, Конференция вычислительной математики, Новосибирск, 18 - 20 июня 2007.

8. Лаевский Ю.М., Попов П.Е., Калинкин A.A. Численное моделирование фильтрации двухфазной несжимаемой жидкости смешанным МКЭ, Международная конференция «Дифференциальные уравнения. Функциональные пространства. Теория приближений», посвященная 100-летию со дня рождения С. Л. Соболева, Новосибирск, 5-12 октября 2008.

9. Попов П.Е., Лаевский Ю.М., Калинкин A.A. Моделирование задач фильтрации смешанным методом конечных элементов, Конференция вычислительной математики, Новосибирск, 23 - 25 июня 2009.

Попов. П. Е. Математическое моделирование процессов фильтрации двухфазной несжимаемой жидкости на параллельных вычислительных системах

Подписано в печать 15.08.2011 Формат 60x84 1/16. Объем 1 п.л. Тираж 100 экз. Зак. №986

Отпечатано в типографии ЗАО РИЦ «Прайс-Курьер», г. Новосибирск, ул. Кутателадзе, 4г, т. (383) 330-7202

Введение

Глава 1 Уравнения фильтрации двухфазной жидкости

1.1 Математическая постановка задачи.'.

1.1.1 Основные физические параметры

1.1.2 Уравнения неразрывности и закон Дарси.

1.1.3 Капиллярное давление.

1.1.4 Система, как уравнения первого порядка.

1.1.5 Краевые условия.

1.2 Смешанная обобщенная формулировка.

Глава 2 Численное решение задачи

2.1 Пространственная аппроксимация.

2.1.1 Элементы ЯТ[0], двумерная задача.

2.1.2 Элементы ЯТ[0], трехмерная задача.

2.1.3 Итоговая сеточная задача.

2.2 Интегрирование по времени.

2.2.1 Явная схема предиктор-корректор.

2.2.2 Алгоритм решения задачи фильтрации.

2.2.3 Выполнение интегрального баланса.

2.3 Решение седловой задачи.

2.3.1 Свойства СЛАУ

2.3.2 Переобу слов ленный метод сопряженных градиентов

2.4 Построение переобуславливателя.

2.4.1 Решение одномерной спектральной задачи

2.4.2 Двумерный случай.

2.4.3 Трехмерный случай.

2.4.4 Сравнение со стандартным оператором Лапласа

Глава 3 Моделирование процесса фильтрации

3.1 Моделирование скважин.

3.2 Двумерная задача.

3.2.1 Сходимость.

3.2.2 Плановая задача.

3.2.3 Вертикальная задача.

3.3 Трехмерная задача.

3.3.1 Сходимость.

3.3.2 Примеры скважин.

3.4 Влияние капиллярного давления.

Глава 4 Параллелизация алгоритма

4.1 Двумерный случай.

4.1.1 Распределение данных по процессам.

4.1.2 Реализация алгоритма.

4.1.3 Результаты ускорения вычислений.

4.1.4 Архитектуры с распределенной и общей памятью

4.2 Трехмерный случай.

4.2.1 Распределение данных по процессам.

4.2.2 Реализация алгоритма.

4.2.3 Результаты ускорения вычислений.

4.2.4 Сетевой закон Амдала.

Выбор темы исследования обусловлен тем, что в современных условиях совместная фильтрация несмешивающихся жидкостей является одним из ключевых разделов в подземной гидродинамике, а определяющим инструментом по получению новых знаний выступает математическое моделирование. Важность проблемы интенсификации добычи нефти продиктована истощением месторождений и необходимостью снижения остаточной нефтенасыщенности и обводнённости продукции.

Использование именно моделирования при освоении нефтяного месторождения позволяет проводить анализ рисков и своевременно минимизировать их, совершенствовать технологии, обосновывать стратегические направления доразработки, улучшать показатели добычи, находить наилучшие интервалы вскрытия, исследовать поведение скважин и их групп, определять остаточные запасы, а также застойные зоны на конкретный период времени. Это связано с тем, что реализация изложенных задач с помощью проведения реальных экспериментов весьма затратна, а большое количество используемых при этом параметров влияет на их результаты. В свою очередь представленные выше задачи являются задачами оптимизации для эффективного управления процессами разработки нефтяного месторождения и требуют многократного повторения операций моделирования. В связи с этим возникает необходимость разработки таких алгоритмов и средств моделирования, которые позволят решать задачи по освоению нефтяного месторождения в приемлемые сроки.

Качество вычислительного эксперимента в значительной степени зависит от правильно выбранной математической модели явления. При построении модели двухфазной фильтрации несжимаемой жидкости в качестве основного уравнения движения для каждой фазы используются обобщенные законы Дарси (законы сохранения импульса), которые включают законы сохранения массы. Одной из самых распространенных моделей этого типа является модель Баклея-Леверетта, предполагающая равенство фазовых давлений. Эта модель подробно изучалась в работах А.Н. Коновалова [16, 58], 3. Узакова [32, 34], И.А. Чарного [35], М.И. Швидлера [39] и других. Уравнение для насыщенности поро-вого пространства какой-либо фазой в модели Баклея-Леверетта является нелинейным уравнением в частных производных гиперболического типа. Для этого уравнения характерно наличие разрывов в решении.

Другой распространенной моделью фильтрации является модель Маскета-Леверетта. В этой модели, в отличии от модели Баклея-Леверетта учитываются капиллярные силы, которые определяются характеристиками пористой среды и жидкостей и выражаются формулой Лапласа. Модель Маскета-Леверетта интенсивно исследовалась такими учеными как С.Н. Антонцев [1], Г.И. Баренблатт [5], В.М. Ентов [9, 10], Н.В. Зубов [12, 13], А.Н. Коновалов [15, 58], В.Н. Монахов [23],

3. Узаков [33, 34], А.Н. Чекалин [36, 37] и другими. В модели Маскета-Леверетта возможен богатый набор комбинаций искомых функций [58]. Наиболее удачные искомые функции для исследования качественных свойств модели предложили в свое время С.Н. Антонцев и В.Н. Монахов [2] (в - водонасыщенность, р - эффективное давление). Уравнение для насыщенности в модели Маскета-Леверетта является квазилинейным уравнением в частных производных параболического типа. Обращение относительных фазовых проницаемостей в нуль, как показывают исследования приведенные в монографии С.Н. Антонцева, А.В. Кажихова и В.Н. Монахова [4], приводит модель к вырождающейся системе дифференциальных уравнений. Последнее порождает сложности как при постановке граничных условий, так и при численной реализации модели. Этот анализ подробно проведен А.Н. Коноваловым в [58].

В данной работе, разработан подход, в котором модель Маскета-Леверетта формулируется в смешанной обобщенной постановке (см. [47] и цитируемую там литературу) в терминах «скорость-давление-насыщенность». В такой постановке отсутствует проблема вырождаемости краевых условий для насыщенности: в смешанной постановке для насыщенности не требуется задавать какие-либо краевые условия. При этом конструкция функций фазовых проницаемостей такова, что в любой момент времени уравнения для суммарной скорости и давления удовлетворяют условию коэрцитивности на множестве соленоидальных функций. Отметим, что смешанная формулировка для поиска скорости и давления использовалась в ряде работ Р. Ювинга с соавторами (см. [56] и цитируемую там литературу). В отличие от [56] в данной работе рассматривается полная смешанная постановка, ключом к которой является представление всех пространственных производных от векторных полей только как дивергенций искомых функций. Кроме того, для используемых ниже аппроксимаций на основе элементов Равьяра-Тома [62] не возникает проблем с описанием фронта насыщенности благодаря наличию в модели капиллярной диффузии.

Изучаемое явление было бы не полным без моделирования нагнетательных и добывающих скважин. Очень часто число узлов густой сетки возле прискважинного пространства не меньше числа узлов грубой сетки всей задачи. В нашем случае, отсутствие вырождаемости краевых условий дает корректную математическую постановку и при переходе к численной модели не требует сгущать сетку возле каждой скважины, что позволяет уменьшить число узлов сетки. Еще одной проблемой является то, что диаметр скважины во многих работах должен быть соизмерим с шагом сетки. Это, в свою очередь, требует введения очень мелкой сетки и использования неявных схем по времени. Согласно работе Ю.М. Лаевского [20] скважины можно моделировать в виде задания граничных условий не на самих скважинах, а на границах ячеек, внутри которых они расположены. Предложенный способ позволяет избежать использование неявных схем по времени, численное решение которых является достаточно трудоемким процессом.

Но в рамках вычислительного эксперимента совершенно недостаточно иметь просто корректную математическую модель. Последняя должна допускать численную реализацию. Выбор оптимального численного алгоритма немыслим без конкретных характеристик вычислительных систем, на которых решается задача. В результате активного развития вычислительной техники производительность существующих на данный момент многопроцессорных систем измеряется уже сотнями терафлопс. Однако новая архитектура предъявляет особые требования к алгоритмам и их реализациям. Попытки выполнения обычных последовательных алгоритмов на параллельных вычислительных системах во многих случаях не приводят к повышению быстродействия. Для реального уменьшения времени решения задач требуется применение специальных параллельных вычислительных алгоритмов, учитывающих архитектурные особенности многопроцессорных кластерных систем. Большое количество процессов требует высокой степени масштабируемости (scalable) алгоритма, многоядерные узлы - особенного внимания к оптимизации доступа к памяти. Передача данных между узлами должна осуществляться с использованием сетевых карт, которые имеют низкую задержку (latency) и высокую пропускную способность (throughput) и происходить без участия операционной системы. В этом случае исключается участие CPU в обработке кода переноса и необходимость пересылки данных из памяти приложения в буферную область ОС, то есть данные пересылаются напрямую на соответствующий сетевой контроллер.

В настоящее время нет доступных пакетов, обеспечивающих использование терафлопных вычислительных систем для решения задач совместной фильтраций несмешивающихся жидкостей. Статьи в соавторстве Б.Н. Четверушкина [17, 27, 51, 52] являются первыми российскими работами, посвященными распараллеливанию задач фильтрации. В них приведен алгоритм распределенной обработки глобальной информации и модельные примеры. Однако в этих работах не были представлены методы реализации и результаты по распараллеливанию. В работе Б.Т. Жумагулова [11] предлагается расщепление на отдельные этапы физических процессов в общем итерационном цикле для систем уравнений, но прирост производительности показан только для четырех процессов. В статье П.А. Мазурова и А.В. Цепаева [22] описывается алгоритм распараллеливания для решения задач двухфазной фильтрации несжимаемой жидкости на сетках со сгущающимися участками, однако данный алгоритм увеличивает число узлов сетки и приведенные результаты показывают не слишком хорошую масштабируемость, так как алгоритм является не полностью распределенным по процессам. В работах в соавторстве Е.А. Ярошенко [42, 43] численное решение строится на использовании неявной схемы для давления и явной для насыщенности, что усложняет процесс распараллеливания задачи. Приведенные результаты показывают плохую масштабируемость для малого числа узлов сетки. В статье В.И. Дробышевича и С.А. Литвиненко [55] предлагается полностью распределенный по данным алгоритм, однако он описан лишь для двумерного случая и использует метод редукции, который на этапе обмена данных при большом числе процессов не является масштабируемым, поскольку требует выполнения вычислений на одном процессе. Среди иностранной литературы выделим работы Alberto F. de Souza, Cao Jianwe, Cordovil A.G.D.P., Edik Hayryan, Fadi N. Sibai, Joao P. De Angeli, Hashir Karim Kidwai, Miron Pavlu, Neyval C., Schiozer D.J., Raul

H. C. Lopes, Reis Jr.l, Ribeiro C.M. [48, 53, 57, 59, 60]. В этих работах рассматриваются общие методы решения задач подземной гидродинамики, в особенности двумерные постановки задачи фильтрации для модели Баклея-Леверетта. Результаты распараллеливания приводятся для малого числа процессов и грубых сеток.

В процессе работы не было найдено статей, в которых для большого числа процессов были бы получены хорошие показатели масштабируемости. Многие работы просто предлагают параллельные решения некоторых частных модельных задач, с использованием известных тулов, не учитывая специфику задачи и не исследуя адекватность моделей фильтрации известным явлениям, сопутствующим процессу вытеснения нефти водой. В литературе не были обнаружены способы распараллеливания и результаты масштабирования для трехмерных задач фильтрации с произвольным числом скважин.

С учетом всего выше сказанного расчет конкретных задач механики сплошной среды, в том числе и задач фильтрации многофазных жидкостей, укладывается в схему, которую часто называют «технологической цепочкой» [58]. Схематически эта цепочка выглядит следующим образом: от изучаемого явления - к его математической модели; затем - к аппроксимационной модели; далее - к эффективному численному алгоритму, использующему всю мощь существующих многопроцессорных систем; программе, реализующей этот алгоритм; и, наконец, к вычислениям на суперкомпьютерах, анализу полученных результатов, уточнению в случае необходимости математической модели.

Актуальность диссертационной работы определяется необходимостью создания алгоритмов и средств, обеспечивающих эффективное решение задачи совместной фильтрации несмешивающихся жидкостей методами математического моделирования на вычислительных системах терафлопного диапазона в приемлемые сроки.

Целью диссертационной работы является построение «технологической цепочки», соответствующей процессам совместной фильтрации несмешивающихся жидкостей, и создание алгоритмов и компонентов вычислительной среды, обеспечивающих высокую масштабируемость и возможность эффективного решения поставленной задачи на многопроцессорных вычислительных системах терафлопного диапазона.

Научная новизна.

- Реализована и экспериментально обоснована численная модель Маскета-Леверетта в смешанной обобщенной постановке в терминах «скорость-давление-насыщенность» с произвольным числом скважин, моделирование которых не требует сгущения сетки в прискважинных зонах и соразмерности диаметра скважин шагу сетки.

- Создан эффективный алгоритм для обращения сеточного седлового оператора, возникающего в смешанной постановке и являющегося аналогом оператора Лапласа, который использовался в качестве переобуслав-ливателя в итерационном методе сопряженных градиентов при решении эллиптического уравнения второго порядка с переменными коэффициентами.

- В рамках данной модели разработан и изучен алгоритм распараллеливания двумерной и трехмерной задач на суперкомпьютерах, удовлетворяющий кластерной структуре с использованием МР1 [65] - [68] технологии.

Полученные результаты, приведенные в данной работе; являются новыми и опубликованы в рецензируемых научных журналах.

Практическая значимость диссертационной работы заключается в возможности использования разработанного комплекса программ для интенсификации разработки месторождений, а также в универсальности предлагаемой методики распараллеливания и ее применимости к другим задачам механики сплошной среды. Ярким примером такой задачи является процесс электромиграции атомов при функционировании устройств микроэлектроники, где одновременно решаются эллиптические уравнения электростатики, стационарной теплопроводности, упругости и параболическое уравнение диффузии атомов.

Достоверность и обоснованность полученных результатов подтверждается соответствием рассматриваемой модели фундаментальным законам сохранения. Для предложенной численной модели показано, что используемая аппроксимация в комбинации с явной схемой обеспечивают выполнение уравнения баланса; приводятся расчеты, демонстрирующие её аппроксимационные свойства и адекватность хорошо известным явлениям, сопутствующим процессу вытеснения нефти водой. Эти результаты хорошо согласуются с работами Дробышевича, Коновалова, Четве-рушкина. Для разработанной методики распараллеливания приводятся графики, подтверждающие её эффективность.

Перейдем к краткому описанию содержания диссертации. Диссертация состоит из введения, четырех глав, заключения и списка цитируемой литературы. Для удобства чтения каждая глава предваряется кратким введением. Заключение содержит резюме о полученных результатах. Ссылки на первоисточники даны во введении. В основной части текста упоминаются лишь работы, содержащие некоторые конкретные факты, используемые для доказательств утверждений. Каждая глава разделена на пункты с трехиндексными номерами. В диссертации принята сквозная трехипдексная нумерация формул, теорем, лемм и ссылок на них. Первый индекс соответствует номеру главы, второй - номеру пункта главы, третий - номеру формулы или утверждения данной главы. Работа содержит 33 рисунка, 10 таблиц, 71 наименование библиографии. Полный объем диссертации составляет 118 страниц.

Заключение

Перечислим основные результаты, полученные в диссертации.

1. На основе смешанного метода конечных элементов построена численная модель фильтрации двухфазной несжимаемой жидкости в терминах «скорость-давление-насыщенность». Данный подход позволил избежать в модели Маскета-Леверетта проблему вырождаемости краевых условий для насыщенности.

2. Приведен способ моделирования скважин как в двумерном, так и в трехмерном случае, не требующий сгущения сетки в прискважин-ных зонах и соразмерности диаметра скважин шагу сетки.

3. Создан эффективный алгоритм для обращения сеточного седлово-го оператора, возникающего в смешанной постановке и являющегося аналогом оператора Лапласа, который использовался в качестве переобуславливателя в итерационном методе сопряженных градиентов при решении эллиптического уравнения второго порядка с переменными коэффициентами.

4. Разработана методика распараллеливания двумерной и трехмерной задач для компьютерных систем, удовлетворяющих кластерной структуре, с использованием МР1 [65] - [68] технологии, которая может быть применена к другим задачам механики сплошной среды.

Продемонстрированы результаты, показывающие высокую масштабируемость и эффективность алгоритма с точки зрения операций и обмена данными на многопроцессорных системах.

5. Создана вычислительная среда, включающая алгоритмы и программы обработки на многопроцессорных вычислительных системах сеточных данных, средства распределенного ввода-вывода. Данный программный комплекс позволяет при освоении нефтяного месторождения проводить анализ рисков и своевременно минимизировать их, совершенствовать технологии, обосновывать стратегические направления доразработки, улучшать показатели добычи, находить наилучшие интервалы вскрытия, исследовать поведение скважин и их групп, определять остаточные запасы, а также застойные зоны на конкретный период времени.

1. Антонцев Н.Н. Задачи двухфазной фильтрации в неограниченных областях // Числ.методы решения задач фильтрации многофазной несжимаемой жидкости. - Новосибирск, 1980. - С.13-22.

2. Антонцев С.Н., Монахов В.Н. О некоторых задачах фильтрации двухфазной несжимаемой жидкости /. Динамика сплошной среды. 1969. Вып.2. С.156 167.

3. Антонцев С.Н., Монахов В.Н. Об общей квазилинейной модели фильтрации двухфазной несжимаемой жидкости // Динамика сплошной среды/АН СССР. Сиб. отд-ние. Ин-т гидродинамики.1969. Вып. II. - С.156-177.

4. Антонцев Н.Н., Кажихов А.В. Монахов В.Н. Краевые задачи механики неоднородных жидкостей. Новосибирск: Наука, 1983.

5. Баренблатт Г. И. К теории фильтрации двух несмешивающихся жидкостей в однородной пористой среде / / Численные методы механики сплошной среды/АН СССР. Сиб. отделение. ВЦ. 1971. - Т.2, №3. - С.103-117.

6. Баренблатт Г.И., Ентов В.М., Рыжик В.М. Движение жидкостей и газов в природных пластах. М.: Недра, 1984.

7. Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.

8. Демидов Г.В., Новиков Е.А. Экономичный алгоритм интегрирования нежестких систем обыкновенных дифференциальных уравнений // Численные методы в математической физике, 1979, Новосибирск: ВЦ СО АН СССР, с.69-83.

9. Ентов В.М. Нестационарные задачи нелинейной фильтрации. Дисс. на соиск. уч. степ. канд. техн. наук, МИНХ и ГП, 1964.

10. Ентов В.М., Зазовский А.Ф. Гидродинамика процессов повышения нефтеотдачи. М.: Недра, 1989.

11. Жумагулов Б. Т., Монахов В.Н., Смагулов Ш.С. Компьютерное моделирование в процессах нефтедобычи // Алматы: НИЦ «Гылым», 2002.

12. Зубов Н.В. Некоторые частные решения задачи вытеснения нефти водой в неоднородных пластах с учетом капиллярных сил. Тр. КФ ВНИИнефть. Вып. 21. М., «Недра», 1971, с. 46-60.

13. Зубов Н.В., Цибульский Г.П. Задачи о вытеснении нефти водой с учетом капиллярных сил и конечной скорости фронта вытеснения. -В сб.: Численные методы решения задач фильтрации несжимаемой жидкости. Новосибирск, ВЦ СО АН СССР, 1975, с.108-117.

14. Кнауб Л.В., Лаевский Ю.М., Новиков Е.А. Алгоритм интегрирования переменного порядка и шага, на основе явного двухстадийного метода Рунге-Кутты // Сиб. журн. вычисл. матем., 2007, т.10, №2, с.177-185.

15. Коновалов А.Н. О некоторых вопросах, возникающих при численном решении задач фильтрации двухфазной несжимаемой жидкости // Тр. Мат. ин-та им. В.А. Стеклова АН СССР. 1973. - Т.122. - С.3-23.

16. Коновалов А.Н., Смирнова Э.В. О модели Баклея-Леверетта фильтрации двухфазной несжимаемой жидкости // Докл. АН СССР. -1974. Т.216. - №2. - С.282-284.

17. Корнилина М.А., Самарская Е.А., Четверушкин Б.Н., Чурбанова Н.Г., Якобовский М. В. Моделирование разработки нефтяных месторождений на параллельных вычислительных системах // Математическое моделирование, 1995, т.7, №2, с.35-48.

18. Кузнецов Ю.А. Итерационные методы в подпространствах // Москва, 1984.

19. Лаевский Ю.М. Концентрирующие операторы в методе конечных элементов, Часть I. Препринт №907, ВЦ СО АН, СССР, 1990, Новосибирск: ВЦ СО АН СССР, 44с.

20. Лаевский Ю.М. Задача о скважинах для стационарного уравнения диффузии // Сибирский журнал вычислительной математики, т.13, №2, 2010, с.123-142.

21. Лаевский Ю.М., Попов П.Е., Калинкин А.А. О численном моделировании фильтрации двухфазной несжимаемой жидкости смешанным методом конечных элементов // Математическое моделирование, том 22, №3, 2010, с.74-90.

22. Мазуров П.А., Цепаев А.В. Алгоритмы для распараллеливания решения задач двухфазной фильтрации жидкости на сетках со сгущающимися участками // Вычислительные методы и программирование, 2006, Т.7, с. 251-258.

23. Монахов В.Н. Краевые задачи со свободными границами для эллиптических систем уравнений. Новосибирск: Наука, 1977.

24. Нигматулин Р.И. Динамика многофазных сред. Часть II. М.: Наука, 1987.

25. Новиков Е.А., Новиков В.А. Контроль устойчивости явных одношаговых методов интегрирования обыкновенных дифференциальных уравнений // Докл. АН СССР, 1984, т.277, №5, с.1058-1062.

26. Попов П.Е., Калинкин А.А. Об одном классе переобуславливателей для задач в смешанной постановке и их обращении прямым методом // Вычислительные технологии, т.13, Спец. Выпуск 4, 2008, с.107-113.

27. Самарская Е.А., Четверуилкин Б.Н., Чурбанова Н.Г., Якобовский ■ М. В. Моделирование на параллельных вычислительных системахпроцессов распространения примесей в горизонтах подземных вод // Математическое моделирование. 1994. Т.6. N 4. С.3-12.

28. Самарский А.А. Введение в теорию разностных схем. М.: Наука,1970.

29. Самарский А.А., Николаев Е.С. Методы решения сеточных уравнений. М.: Наука, 1978.

30. Самарский А.А., Михайлов А.П. Математическое моделирование: Идеи. Методы. Примеры. М.: Физматлит, 2001.

31. Тихонов А.Н. , Самарский А.А. Уравнения математической физики.- М.: Наука, 1977.

32. Узаков 3. О локализации разрыва в численном решении задачи Баклея-Леверетта // Численные методы механики сплошной среды/ АН СССР. Сиб. отд-ние. ВЦ и ИТиПМ. 1979. Т.10, №6. - С.141-149.

33. Узаков 3. Математическое моделирование в задачах фильтрации: Дис. . канд. физ-мат. наук: 01.01.07. Новосибирск, 1986.

34. Чарный И.А. Подземная гидрогазодинамика. М.: Гостоп-техиздат, 1963.

35. Чекалин А.Н. Численные решения задач фильтрации в водонефтяных пластах. Казань.: Изд-во Казанского университета, 1982.

36. Чекалин А.Н. О математической постановке задачи фильтрации жидкости в режиме задания дебитов. В сб.: Вычислительные методы и математическое обеспечение ЭВМ. Казань, изд-во КГУ, 1979, с.5-7.

37. Г.И.Шпаковский, В.И.Стецюренко, А.Е. Верхотуров, Н.В. Серикова Применение технологии МР1 в Грид // Белорусский государственный университет, Минск 2008, март.

38. Швидлер М.И., Леви Б.И. Одномерная фильтрация несмешиваю-щихся жидкостей. М.: Недра, 1970.

39. Якобовский М. В. Обработка сеточных данных на распределенных вычислительных системах. // Вопросы атомной науки и техники. Сер. Математическое моделирование физических процессов. 2004., Вып.2. с. 40-53.

40. Якобовский М. В. Вычислительная среда для моделирования задач механики сплошной среды на высокопроизводительных системах // Автореферат диссертации на соискание ученой степени доктора физико-математических наук.

41. Ярошенко Е.А. Применение универсальной многосеточной технологии для решения задач двухфазной фильтрации на многопроцессорном вычислительном комплексе // Учреждение Российской академии наук, Институт проблем управления им. В.А. Трапезникова РАН

42. Amdahl, Gene Validity of the Single Processor Approach to Achieving Large-Scale Computing Capabilities // AFIPS Conference Proceedings, 1967, p.483-485.

43. Aziz K., Settari A. Petrolium Reservoir Simulation // Calgary, Alberta: Blitzprint Ltd., 2002.

44. Babuska I., Aziz K. Foundations of the Finite Element Method // The Mathematical Foundations of the Finite Element Method with Applications to Partial Differential Equations, Ed. by A.K. Aziz, Academic Press, New York and London, 1972.

45. Brezi F. and Fortin M. Mixed and Hybrid Finite Element Methods // New York: Springer-Verlag, 1991.

46. Cao Jianwen Applications of a Parallel Reservoir Simulator to Large-Scale Industrial Test Cases on a Beowulf Cluster // Parallel Computing Laboratory, Institute of Software, CAS

47. Ciarlet Ph.G. The Finite Element Method for Elliptic Problems // Amsterdam: North-Holland, 1978.

48. Chen ZHuan G., Ma Yu. Computational Methods for Multiphase Flows in Porous Media // SIAM, Philadelphia, 2006

49. Chetverushkin B.N., Iakobovski M.V., Kornilina M.A. Parallel simulation of oil extraction // Parallel Computational Fluid Dynamics 1996, 1997, Pages 282-288

50. Cordovil A.G.D.P., Schiozer D.J., Ribeiro C.M. Distributed parallel computing applied to numerical simulation of petroleum reservoirs

51. Douglas J. Jr., Blair P.M., Wagner R. J. Calculation of linear water-flood behavior including the effects of capillarity pressure // Trans, of AIME.- 1958. V.213. - P.96-102

52. V. I. Drobyshevich, S. A. Litvinenko An Algorithm for Solving the Problem of Two-Phase Filtration of Incompressible Fluids in the 2-Dimensional Formulation // Journal of Applied and Industrial Mathematics, 2009, Vol. 3, No. 2, pp. 201-206.

53. Ewing R. Mathematical modeling and simulation for fluid flow in porous media // Institute for Scientific Computation, Texas A&M University, USA

54. Fadi N. Sibai, Hashir Karim Kidwai Parallel Simulation of Oil Reservoirs on a Multi-Core Stream Computer // Springer 2008, Transactions on Computational Sciences Journal, Dec. 2008

55. Konovalov A.N. Problems of Multiphase Fluid Filtration // New Jersey- London Hong Kong: World Scientific, 1994.

56. Miron Pavlu, Edik Hayryan Parallel Realization of Difference Schemes of Filtration Problem in a Multilayer System // Technical University of Koice, Department of Mathematics, Joint Institute of Nuclear Research, Laboratory of Information Technology

57. Popov P.E., Kalinkin A.A. The method of separation of variables in a problem with a saddle point // Russian J. Numer. Anal. Math. Model., 2008, vol.23, No.l, p.97-106.

58. Raviart P-А., Thomas J.M. A mixed finite element method for 2-nd order elliptic problems // New York: Springer-Verlag, 1977. P.292-315.

59. Rusten Т., Winter R. A preconditioned iterative method for saddle point problems // SIAM J. Matrix Anal., vol.13, 1992, p.887-904.

60. Infiniband: www.infinibandta.org

61. William Gropp, Ewing Lusk, Anthony Skjellum Using MPI: Portable Parallel Programming with the Message-Passing Interface // Cambridge, MA, USA: MIT Press Scientific And Engineering Computation Series.

62. William Gropp, Ewing Lusk, Anthony Skjellum Using MPI-2: Advanced Features of the Message Passing Interface I j MIT Press.

63. MPI: A Message-Passing Interface Standard // Version 1.3, May 30, 2008, www.mpi-fomm.org/docs/mpi-1.3/mpi-report-l.3-2008-05-30.pdf

64. MPI: A Message-Passing Interface Standard // Version 2.2, September4, 2009, www.mpi-forum.org/docs/mpi-2.2/mpi22-report.pdf

65. Remote direct memory access: www.rdmaconsortium.org/home/draft-recio-iwarp-rdmap-vl.O.pdf

66. Сибирский суперкомпьютерный центр: www2.sscc.ru

67. Суперкомпьютер «Ломоносов»: parallel. ru/cluster/lomonosov. html