автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Применение локально-рекурсивных нелокально-асинхронных алгоритмов в полноволновом численном моделировании

На правах рукописи

Закиров Андрей Владимирови

Применение локально-рекурсивных нелокально-асинхроиных алгоритмов в полноволновом численном моделировании

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

Автореферат

диссертации па соискание ученой степени кандидата физико-математических наук

1 3 ЛЕК 2012

Москва - 2012

005057259

Работа выполнена на кафедре прикладной математики факультета управления и прикладной математики Московского физико-технического института (ГУ)

Научный руководитель: кандидат физико-математических наук

Левченко Вадим Дмитриевич Официальные оппоненты: доктор (физико-математических паук

Тихоцкпй Сергей Андреевич Институт физики земли им. О.Ю. Шмидта Р/ заместитель директора по пауке заведующий лабораторией

Ведущая организация:

доктор физико-математических наук, профссс Ильинский Анатолий Серафимович Московский государственный университет им. М.В. Ломоносова, факультет ВМК заведующий лабораторией Санкт-Петербургский национальный

исследовательский университет ннформацнон: технологий, механики и оптики

Защита состоится « декабря 2012 г. в Ж. часов на заседании диссертацш совета Д 212.156.05 при Московском физико-техническом институте (государст университете) по адресу: 141700, Московская обл., г. Долгопрудный, Институте пер., д.9. ауд. 903 КПМ.

С диссертацией можно ознакомиться в библиотеке МФТИ.

Автореферат разослан «. Ученый секретарь диссертационного совета

ч-

.» ноября 2012 г.

Федько О. С.

Общая характеристика работы

Диссертация посвящена разработке эффективных методов численного решения волновых уравнении в пространственно-временной области is конечных разностях. В пси исследуются следующие вопросы:

• Реализация локально-рекурсивных нелокально-асинхронных (LRnLA) алгоритмов (Левченко, 2005) для трехмерного численного решения уравнений Максвелла методом FDTD (Finite-Difference Time-Domain) (Yee. 1966) н уравнений упругости с помощью численной схемы на смещенных сетках, аналогичной FDTD.

• Применение разработанного программного кода для решения актуальных задач нанооптнкн, геофизики и сейсморазведки.

Актуальность работы. Волновые уравнения описывают разнообразные физические процессы. Среди них особый интерес представляют процессы. происходящие в сложных структурах, состоящих из мелких объектов, размер которых сравним с длиной волны либо много меньше ее.

В наиооптике такими структурами являются современные искусственные оптические устройства и материалы, такие как фотонные кристаллы, метаматериалы, обтекаемые покрытия. IIx создание и изучение представляется актуальным ввиду открывающихся возможностей управления электромагнитным излучением, построением различных волноводов, конструирования материалов с отрицательным показателем преломления, суперлинз, скрывающих покрытий и т.д. Аналитические расчеты распространения света в них, как правило, возможны лишь при существенно упрощающих предположениях. Для конструирования таких устройств необходимо предварительное теоретическое исследование, которое может оказаться чрезвычайно трудоемким, либо вообще невозможным.

Задачи сейсморазведки и геофизики в России традиционно важны. В настоящее время ведется интенсивная разведка перспективных месторождений. таких как бажсиовская свита в западной Сибири. Эти месторождения имеют мощность нефте- и газоносных пластов зачастую меньше длины волны сейсмического поля (10-30 м против 100 м) при глубине залегания более 2 км.

В задачах сейсморазведки, кроме этого, также очень важен высокий абсолютный темп счета. Это связано с тем, что решение задач сейсморазведки имеет реальное практическое коммерческое применение, при котором критична минимизация стоимости расчетов. Основным результатом прямого моделирования в задачах сейсморазведки месторождений нефти и газа являются сейсмограммы. Генерация синтетических сейсмограмм обязана в этом случае быть а) быстрой (стоимость разработки эффективных программ экономически выгодней), б) адекватной (в смысле использования методов без существенных приближений), в) обладать высокой точностью, поскольку важно то, что конечной целыо является не качественное решение той или иной задачи, а генерация синтетических сейсмограмм, неотличимых от нолевых.

Таким образом, актуальные волновые задачи нанооптнки и сейсморазведки трехмерны, разномасштабны по пространству и требуют высокой точности и скорости вычислений. Наиболее адекватно и приближенно к реальности эти процессы описываются с помощью полноволнового численного моделирования, то есть моделирования в пространственно-времепной области.

Однако, из-за существенных размеров счетной области трехмерное полноволновое моделирование в пространственно-временной области требует больших вычислительных ресурсов.

В то же время длительный экспоненциальный рост производительности вычислительной техники к настоящему моменту привел, с одной стороны, к практической готовности п возможности решения таких задач, однако, с

другой стороны, существующие методы и алгоритмы не используют эти возможности в но.чнон мере и обладают в э том смысле низкой эффективностью. Такое положение вещей вынуждает уходить от трехмерного полноволнового моделирования в пространственно-временной области в пользу развития других методов, содержащих в свою очередь различные приближения и ограничения (например, замена трехмерной задачи двумерной, моделирование в частотной области, пренебрежение неоднородностями исследуемого материала, дисперсионными потерями, предположение бесконечности образца и т.п.), которые позволяют описывать результаты в лучшем случае только качественно.

Остается нерешенной актуальная задача разработки высокоэффективных алгоритмов, которые бы максимально использовали существующие вычислительные ресурсы для решения задач волнового моделирования без существенных приближений.

Для полповолиового моделирования в пространственно-временной области в качестве численной схемы, как правило, используется схема в конечных разностях РОТБ (ТаАоуе, 2005). Ввиду своей универсальности, эта схема затем была распространена и на остальные волновые уравнения, в частности на уравнения упругости.

Исходя из конкретной постановки задачи необходимо учитывать несколько ограничений:

• допустимые пределы численной дисперсии и анизотропии;

• условие устойчивости схемы (Куранта).

Известно множество различных модификаций метода РБТБ с целью ослабить или исключить данные условия. Но при этом сами по себе они сложнее как с вычислительной точки зрения, так и с точки зрения практической реализации. Поэтому необходимо количественно оценивать реальный практический выигрыш от использования тех или иных модификации ГБТО.

Несмотря на то. что неявные схемы с абсолютной устойчивостью позволяют исключить условие Куранта, тем не менее для большинства задач оно само по себе не является значительным ограничением и лишь немного может усиливать ограничения допустимой численной дисперсии. В то же время неявные схемы требуют существенно больше операций, чем явные. Численную дисперсию уменьшают, используя схемы FDTD повышенного порядка точности.

В силу больших размеров обрабатываемых данных (из-за большого размера трехмерной рассчстной области и полноволнового моделирования) требуется разработка и реализация эффективных алгоритмов численного моделирования. Существующие программные реализации метода FDTD обладают низкой эффективностью кода, особенно при больших объемах данных.

Решение ресурсоемких задач на данный момент производится на мас-сивно-иараллельпых вычислительных системах кластерного типа с использованием метода разделения области (domain decomposition). Но этот подход становится неэффективен для многоядерных систем и в особенности для гетерогенных систем с развитой иерархией параллельности.

Для достижения пиковой производительности при больших размерах данных необходимо учитывать иерархическую структуру подсистемы памяти вычислительного узла, с одной стороны, и иерархию параллельности, с другой стороны. Основываясь па этих требованиях, были разработаны локально-рекурсивные нелокально-асинхронные (LRnLA) алгоритмы, являющиеся универсальным эффективным инструментом программной реализации методов численного моделирования для явных схем эволюции во времени.

Отдельно можно отметить сложность программной реализации алгоритмов LRnLA, заключающуюся в новизне и оригинальности применяемых конструкций.

Одна из особенностей задач моделирования наноматериалов состоит в большом количестве границ сред, где коэффициенты численной схемы разрывны. Для сохранения порядка точности схемы необходимо корректно аппроксимировать моделируемые уравнения на этих границах. Одним из способов такой аппроксимации является метод нодсеточнош сглаживания (subpixel smoothing, Farjadpour, 2006).

При моделировании открытых систем размеры области моделирования можно существенно уменьшить при использовании поглощающих граничных условий PML (Perfectly Matched Layer, Bercngcr, 1994). В то же время до сих пор остается открытым вопрос поиска оптимальных параметров PML для минимизации численного отражения от граничных условии типа PML.

Цель работы состоит в разработке и реализации эффективных методов. алгоритмов, комплекса программ для численного моделирования волновых процессов в актуальных задачах нанооптики, геофизики и сейсморазведки.

Для достижения данной цели в рамках диссертации поставлены и решаются следующие задачи:

1. Реализация высокоэффективного программного кода для решения уравнений Максвелла в пространственно-временной области. Программный код является открытым и свободным для использования.

2. Реализация высокоэффективного ядра программного комплекса для трехмерного полноволнового моделирования упругой среды. Внедрение программного комплекса в задачах сейсморазведки месторождений нефти и газа и массового расчета синтетических сейсмограмм.

3. Реализация поглощающих граничных условий PML как для уравнений упругости, так и для уравнений электродинамики. При этом граничные слои также обрабатываются локально-рекурсивным образом, как и вся область.

4. Подбор оптимальных параметров поглощающего слоя PML исходя из требований максимально допустимого коэффициента отражения от границ

для схем ЕОТО '2-го и 4-го порядков аппроксимации.

5. В рамках решения уравнений Максвелла с: использованием алгоритмов ЫЗпЬА реализация возможности моделирования различных материалов: бездпснерснонных диэлектриков, материалов с дисперсией, проводников, анизотропных материалов, материалов с отрицательным показателем преломления. Реализация подсеточного сглаживания для разрывных коэффициентов материальных уравнений, реализация подсчета вектора Пойнтинга со 2-м порядком точности.

0. Для уменьшения дисперсионных отклонений волн реализация повышенного 4-го порядка точности разностной схемы по пространству; аналогичное изменение порядка схемы в РМЬ.

Методы исследования: теория численных методов, теория алгоритмов, теория упругости, методы волновой оптики, вычислительные методы математической физики, методы численного эксперимента, современные технологии программирования.

Научная новизна работы

1. Впервые реализован метод РБТО как для уравнений упругости, так и для уравнений электродинамики, с реальной производительностью, при-ближеной к пиковой при произвольном объеме обрабатываемых данных. Это качественно расширяет крут моделируемых систем. Программный код может одинаково эффективно применяться как на небольших персональных компьютерах, так и па кластерных суперкомпьютерах, с высокой эффективностью во всех случаях.

2. Предложен способ подбора оптимальных параметров граничных условий РМЬ для достижения минимального отражения от границ для схем ГОТО 2-го и 4-го порядков аппроксимации по пространству. При этом обнаружено, что расчет отражения от границ РМЬ, основанный на одномерном уравнении, хорошо описывает отражение и в реальных трехмерных расчетах.

3. С помощью программного комплекса продемонстрирована возможность численного моделирования ряда задач нанооптпкп, моделирование которых ранее требовало либо больших вычислительных мощностей и ресурсов, либо было в принципе невозможным.

4. С помощью программного комплекса впервые появилась возможность трехмерного численного моделирования распространения упругих волн в земной коре на глубину до 50 км и генерации синтетических сейсмограмм за приемлемое время.

Практическая ценность работы

1. Разработан программный комплекс для решения уравнений упругости для массовой генерации синтетических сейсмограмм в прямых задачах сейсморазведки нефти и газа. Программный комплекс обладает высокой эффективностью, позволяющий проводить расчеты с высокой скоростью без существенных приближений задач.

2. В программном комплексе для моделирования задач нанооптики реализованы методы задания сложных геометрических объектов, материалов, структур с различными материальными моделями, такими как анизотропные, дисперсионные среды, проводники и т.д.

3. Приведены примеры эволюции электромагнитного поля в реальных задачах распространения электромагнитных волн в таких материалах и структурах. как трехмерные фотонные кристаллы, метаматерналы, материалы с отрицательным показателем преломления. В рамках программного комплекса разработаны методы диагностики и анализа результатов. Реалистичное моделирование позволяет визуально наблюдать происходящие процессы, реальное поведение полей.

Достоверность и обоснованность результатов. Достоверность расчетов обеспечивается использованием признанных и неоднократно исследованных численных схем; сравнением реализованного программного кода с

другими аналогичными программами; сравнением результатов моделирования с реальными физическими процессами и явлениями.

Апробация работы. Результаты, описанные в диссертации, докладывались и обсуждались на следующих научных конференциях: 50-я, 51-я, 52-я, 53-я, 54-я научные конференции МФТИ (2007 - 2011, Долгопрудный); Progress in Electromagnetics Research Symposium (2009, Moscow: 2012, Kuala-Lumpur, Малайзия): Фундаментальные проблемы оптики (2010, Сан Петербург); First Russian — Italian joint seminar on mathematical and physical models applications to condensed matter and preservation of the cultural heritage (Oil the occasion of ICIAP) (2011, Рсвепна, Италия); Взаимодействие попов с поверхностью (2011, Звенигород); Вторая научно-практическая конференция «Суперкомиыотсрные технологии в нефтегазовой отрасли» (2011, Москва): Балтийская школа-семинар «Петрофизическое моделирование осадочных пород» (2012, Петергоф); XIII школа-семинар им. академика Л.М. Бреховских «Акустика океана» (2011, Москва); XI Международная научно-техническая конференция «Современные методы и средства океанологических исследований» (2009, Москва): Пятая международная конференция «Распределённые вычисления и Грпд-технологии в науке и образовании» (2012, Дубна); Международная конференция по математическим методам в геофизике (2008, Новосибирск) .

Также результаты были представлены и неоднократно обсуждались на научных семинарах кафедры прикладной математики Московского физико-технического института, семинарах научно-образовательного центра Института прикладной математики им. М.В. Келдыша РАН, семинарах ВНИИГеосиетем, семинаре лаборатории метаматериалов Санкт-Петербургского Университета информационных технологий, механики и оптики. Работа стала, лауреатом конкурса прикладных разработок и исследований в области компьютерных технологий «Компьютерный континуум: от идеи до воплощения», проводп-

мого компанией Intel в 2011 году.

Работа поддержана грантами РФФИ 09-07-00236, 12-01-00708, Гос. контрактом 02.740.11.0475.

Разработанный программный комплекс CFgeo в течение нескольких- лет используется па практике для моделирования синтетических сейсмограмм в ФГУП ВНИИГеосистсм.

На основе диссертации разработан курс «Моделирование устройств на-нооптпки». читаемый автором на кафедре прикладной математики МФТИ.

Личный вклад соискателя в работах с соавторами. Автором самостоятельно написана существенная часть программы, реализованы граничные условия, все модели среды. Автором был самостоятельно предложен и реализован способ подбора оптимальных параметров граничных условий для 2-го и 4-го порядков точности. Автором получены все результаты п примеры расчетов.

Публикации. Научные результаты диссертации опубликованы в 14 работах, из которых 5 в изданиях, рекомендованных ВАК РФ | ].

Структура и объем диссертации

Диссертация состоит из введения, четырех глав, заключения, списка использованных источников, состоящего из 122 наименований, и приложения. Объем диссертации без приложения составляет 137 страниц, диссертация содержит 51 рисунок.

Содержание работы

Во введении содержится описание проблемы, которой посвящена диссертация, анализ публикаций, сформулированы цели работы, обоснована актуальность диссертации и представлены выносимые на защиту научные положения. Также огшеаио современное состояние разработанных методов полноволнового моделирования в задачах сейсморазведки и наноонтики.

Первая глава посвящена постановке задач численного решения трех-

мерного волнового уравнения в пространственно-временной области в конечных разностях. II уравнения электродинамики (1), и уравнения упругости (2) можно записать как систему уравнений в частных производных первого порядка. являющуюся частным случаем более общего волнового уравнения. Численные схемы и алгоритмы решения строятся для уравнений, записанных именно в этом виде.

Ура1',нения Максвелла запишем в дифференциальном виде в отсу тствие токон и свободных зарядов:

<9В сЮ

-=-УхЕ, _= УхН,

У-Б = 0. У-В=0,

(1)

где В — вектор магнитной индукции, Б — электрической, Е, Н — напряженности электрического и магнитного полей соответственно. Для того, чтобы замкнуть эту систему уравнений, необходимо дополнить ее материальными уравнениями, связывающими вектора В с Е (электрические свойства материала) и В с Н (магнитные свойства). В простейшем случае эта связь линейна с двумя коэффициентами е (диэлектрическая проницаемость) и ц (магнитная):

Б = еЕ, В = /хН.

Уравнения упругости запишем в следующем виде:

/

XIX,-у х,-+

г х х у 2 у г х )

9(Тг дп- дт^ ■+ ■

дь'г

^ д1 дх{ дх,•+ ' <9ж,-

д(Ji дги ду,

дЬ дхг 1 дх{- 1

дх;-'

(2)

дп

ду)- дУг+

■= Иг

дЬ I дх-1+ дх1

Для решений уравнений Максвелла, используется конечно-разностный метод во временной области в виде численной схемы РОТБ и аналогичная схема в конечных разностях на сдвинутых сетках для уравнений упругости. Рассмотрению данных схем посвящен раздел 1.2.

Проведенный анализ схемы FDTD повышенного порядка точности в виде простейшей модификации показывает зависимость численной дисперсии от различных параметров. Можно сделать вывод о рациональности использования 4-го порядка аппроксимации по пространству, что вследствие значительного укрупнения сетки (по сравнению с незначительным уменьшением количества операций) будет давать ускорение по сравнению с использованием 2-го порядка точности. Более точно можно сказать, что для практических задач общее количество операций уменьшается примерно в 30 раз, а количество данных — в 60 раз.

Уравнения Максвелла необходимо дополнить материальными уравнениями, задающими ту или иную модель среды: модель простого бездисисрснои-пого диэлектрика, диэлектрика с дисперсией по модели Друде, проводники, материалы с отрицательным показателем преломления, анизотропные материалы. Также специальным образом связь векторов D и Е (равно как и на В с Н) задает метод иодсеточного сглаживания (subpixel smoothing) для разрывных коэффициентов модели среды, необходимый для сохранения 2-го порядка точности численной схемы. В уравнениях упругости модель среды задается посредством коэффициентов Аг, /¿,.

Для возможности моделирования открытых областей, граничные условия задаются посредством условий поглощения PML (Perfectly Matched Layer). Граничные условия PML формулируются схожим образом и для уравнений Максвелла и для уравнений упругости.

Также необходимо проанализировать отражение от граничных условий PML при дискретизации моделируемой области. Гармонический анализ позв-ляет получить рекуррентную формулу для вычисления отражения от PML в одномерном случае в общем виде для волновых уравнений, решаемых в конечных разностях на сдвинутой сетке ( |. как для 2-го, так и для 4-го порядка аппроксимации численной схемы по пространству.

Трехмерный численный эксперимент показал, что величина отражения от PML хорошо описывается полученной одномерной формулой при различных параметрах. Предлагается на основе полученной формулы подбирать параметры PML (и минимизировать толщину слоя) для практических задач (в том числе и трехмерных) численного решения волновых уравнений. На рис. 1 показано сравнение спектров падающей волны и отраженной от границы с PML.

В завершение главы описываются способы задания источника волн, метод TF/SF (Total field/ Scattered field).

Во второй главе подробно рассматриваются локально-рекурсивные нелокально-асинхронные алгоритмы (LRnLA). Учет современных требований к программной реализации численных методов моделирования физических процессов для больших задач с явными численными схемами с локальным шаблоном привел к созданию методики численного моделирования на основе алгоритмов LRnLA, которые и будут рассмотрены далее.

Для объяснения концепции алгоритмов LRnLA необходимо поэтапно ввести понятия графа зависимостей численной схемы, локальности. Обосновывается проблема достижения теоретической пиковой производительности с точки зрения необходимости правильно организованного хранения данных, использования алгоритма обхода графа зависимостей и распределения его

Рис. 1. Сравнение спектров падающей и отраженной водны при оптимальных параметрах РМЬ, обеспечивающих минимальное отражение. В квадрате на рисунке сравнение форм падающей и отраженной волн.

участков между параллельными потоками вычислений.

Для огранпзанпи данных используется локально-рекурсивное хранение на основе порядка. Мортоиа (Z-ordcr). программная реализация которого называется структурами cubeLR. Хранение данных в PML также можно огра-пизовать при помощи структур cubeLR.

Семейство алгоритмов LRnLA основано на рекурсивной декомпозиции графа зависимостей численной схемы и его локально-рекурсивном обходе. По аналогии с конусом Минковекого вводятся понятия конусоида зависимости-влияния, являющегося подг рафом исходного графа зависимостей; понятие элементарного конусоида; а также величина локальности конусоида. Предложен универсальный алгоритм ConeFold с набором конусоидов одной формы. Кроме этого, его коэффициент локальности больше коэффициента локальности элементарных конусоидов. Классификацию конусоидов можно провести по различным параметрам: класс, размерность, форма, вид, ранг, координаты; предложен способ буквенного кодирования ConeFold'oB.

Все численные схемы при реализации с помощью алгоримов LRnLA должны быть описаны в виде локального шаблона. В разделах 2.2.2 и 2.2.3 приводятся геометрические иллюстрации локальных шаблонов для схем FDTD уравнений Максвелла с анизотропными материальными уравнениями (которые содержат наибольшее количество зависимостей среди других материальных уравнений), локального шаблона для вычисления вектора Пойнтинга, локальный шаблон для уравнений упругости для схемы FDTD 4-го порядка точности но пространству. Численная схема на границе TF/SF является локальной, а значит для нее можно применять алгоритмы LRnLA. В рамках LRnLA рассмотрен способ реализации подсеточного сглаживания (subpixel smoothing). Для уменьшения хранимых данных проводится индексация параметров среды.

На основе конусоидов ConeFold можно построить асинхронные коиусои-

ды: ChessFold и ChessTorre. применяемые при разных способах параллели-зации. Для программной реализации алгоритмов LRnLA необходимо применение кодогенерацни.

Третья глава содержит описание тестирования эффективности программного комплекса CFmaxwell, основанного на алгоритмах LRnLA для численного решения задач нанооптики, а также примеры результатов моделирования. Вначале приводится описание программного комлекса CFmaxwell.

При тестировании эффективности сравнивалась производительность с аналогичной программой Меер, разработанной в MIT. для численного решения уравнений Максвелла с помощью FDTD. Тестирование проводилось по нескольким параметрам: ускорение при многоядерном распараллеливании, параллельная эффективность па системе с неоднородной памятью, зависимость абсолютной эффективности от размера данных.

Из рис. 2 видно, что для любого размера данных эффективность вычислений для CFmaxwell составляет примерно 30% от пиковой (1.4 млрд. ячеек в секунду), а для Меер не превышает 7%, а при использовании всех ядер составляет 4%. Кроме этого, стоит отметить тот факт, что максимально допустимый размер сетки для Меер составляет 231 ячеек, что принципиально ограничивает область применения этого программного кода задачами сравнительно небольшого размера, несмотря на сносные характеристики ее эффективности в скорости вычислений.

10а

V к

îë JT< Ci

S 5

о g

fH

. 10"

—•— CFmaxwell

Меер (6 потоков, 1 узел) Меер (4 потока, 1 узел) Меер (48 ядер) Идеальный вариант

-ж-

ю5

10е

1С9

1011

107 ю8

Число ячеек

Рис. 2. Темп обработки ячеек, отнесенный к количеству задействованных ядер.

Сверх того, зависимость темпа вычислений при размере данных, превышающем оперативную память, показало, что при размере данных больше оперативной памяти (примерно 3 • 108 узлов сетки), время вычислений для Меер резко возрастает (возникает «экспоненциальная стенка»), в то время как время вычислений для СйаахяеП растет лишь незначительно.

Во второй части приведены примеры расчетов: распространение волнового импульса в волноводе из трехмерного фотонного кристалла (рис. 3), в

Рис. 3. а) Структура волновода, белый цвет — диэлектрик, серый — вакуум; б) Распределение компоненты ноля Ех в различные моменты времени

волноводе в квазидвумерном фотонном кристалле с Г-образным изгибом под прямым углом, в сплиттере из квазидвумерного фотонного кристалла, про-

хождение волнового импульса в призме из метаматерпала с отрицательным показателем преломления.

Четвертая глава содержит описание программного комплекса CFgeo. основанного на алгоритмах ЬЫпЬА для численного решения задач сейсморазведки и геофизики, а также содержит примеры результатов моделирования.

Приведены примеры трехмерного полноволнового моделирования распространения волнового возмущения в реальной модели соляного купола в районе прикаспия. полноволнового трехмерного моделирования на глубину земной коры вплоть до границы Мохоровичича (50км). распространения мик-росейсм в океанической среде (импульсных сейсмоакустических полей по океаническим волноводам поверхность воды-дно и па границе океан-континент в низкочастотном диапазоне от 0.05 до 1Гц).

На рис. 4 изображена синтетическая сейсмограмма, полученная в результате моделирования на глубину 50км с фрактальной границей Мохоровичича.

, — Ю-6 4-10"

-60 -50 -40 -30 -20 -10 О

Рис. 4. Синтетическая сейсмограмма, полученная в результате моделирования на глубину земной коры. По горизонтальной оси — номер пункта приема, по вертикальной — время. Расстановка пунктов приема на дневной поверхности в одну линейку но оси X, взрыв производится с фланга. Показана величина компоненты поля <т2.

На рис. 5 (1-7) представлены последовательные, со сдвигом около 10 с, «снимки» распространения и преобразования поля микросейсм.

...........-'адрай— . "2,

......"ищннч'и1»11!!'"' —--- !!!! || щ: : . 3

------ дат • 4

—.-----------------------------,,','Н|Г1!1!1И!1||!|(!1И!'11! 7

1 :

Рис. 5. Последовательные (со сдвигом около 10 с сверху вниз) «снимки» распространения и преобразования поля микросейсм (компонента Уу) в океаническом волноводе, на континентальном склоне и части суши.

В заключении приводятся основные результаты диссертации. Приложение посвящено программно-аппаратному техническому описанию программных комплексов СРтахмеИ и СР§ео.

Основные результаты работы

1. Реализованы локально-рекурсивные нелокально-асинхронные алгоритмы для метода конечных разностей во временной области (численной схемы FDTD) 2-го и 4-го порядков, для поглощающих граничных условий (PML), для различных моделей сплошной среды.

2. Предложен способ подбора оптимальных параметров PML для достижения заданного отражения от границ.

3. Разработан высокоэффективный программный комплекс численного решения уравнений Максвелла, который может быть использован для моделирования сложных устройств и материалов нанооптики.

4. Разработан программно-аппаратный комплекс для прямого моделирования эволюции сейсмического поля в земной коре. Комплекс использован для решения задач геофизики (распространения штормовых микросейсм в океаническом волноводе) гг сейсморазведки нефти и газа.. Произведено моделирование волггового поля на глубину земной коры.

Список публикаций автора по теме диссертации

1. Закиров A.B.. Левченко В.Д. Подбор оптимальных параметров идеально-согласованного слоя для задач нанооптики // Математическое Моделирование. - 2011. - Т. 23, JVs 8. - С. 55-64.

2. Левченко Д.Г., Левченко В.Д., Закиров A.B. Динамическое полиоволио-вое моделирование распространения штормовых микросейсм в океанической среде // Океанология. - 2011. — Т. 51, X» 4. — С. 723-733.

3. Левченко Д.Г., Левченко В.Д., Закиров A.B. Динамическое моделирование распространения низкочастотных сейсмоакустических полей в оке-

анической среде /7 Доклады Академии наук. — 2010.— Т. 435, № 4.— С. 544-547.

4. Левченко В.Д., Змиевская Г.И., Бондарева А.Л.. Закиров A.D. Моделирование задач нанофотоникн и получения нанопленок: кинетический код lriila/inmo // Прикладная физика. — 2012.-— Л» 3.— С. 9-18.

5. Zakirov А. V., Lcvchenko V.D. The effective 3d modeling of electromagnetic waves' evolution in photonic crystals and metamaterials // PIERS Proceedings, Moscow, Russia. - 2009. - Pp. 580-584.

G. Закиров A.B., Левченко В.Д. Эффективный алгоритм для трехмерного моделирования распространения электромагнитных волн в фотонных кристаллах: Препринт / ИПМ. - М., 2008. - № 21. - 20 с.

7. Закиров A.B., Левченко В.Д. Реализация высокоэффективного кода для трехмерного моделирования эволюции электромагнитного поля в актуальных задачах электродинамики: Препринт ,/ ИПМ. — М., 2009. — № 28. - 20 с.

8. Закиров A.B., Левченко В.Д. Эффективный алгоритм для моделирования трехмерного фотонного кристалла /7 Современные проблемы фундаментальных и прикладных паук. Часть VII. Управление и прикладная математика, Т.2: Труды 50-й научной конференции МФТИ. /Моск. фпз.-техн. ин-т. — М. — Долгопрудный, 2007. — С. 77.

9. Закиров A.B., Левченко В.Д. Трехмерное моделирование эволюции во времени электромагнитного поля в фотонных кристаллах // Современные проблемы фундаментальных и прикладных наук. Часть VII. Управление и прикладная математика, Т.1: Труды 51-й научной конференции МФТИ. /Моск. физ.-техн. ин-т. - М. - Долгопрудный, 2008. - С. 76.

10. Закиров A.B., Левченко В.Д. Трехмерное моделирование эволюции во времени электромагнитного поля в актуальных задачах нанооптнкн /7 Современные проблемы фундаментальных и прикладных наук. Часть VII. Управление и прикладная математика, Т.1: Труды 52-i'i научной конференции МФТИ. /Моск. физ.-техн. ип-т. — М. — Долгопрудный, 2009.

- С. 162.

11. Закиров A.B., Левченко В.Д. Адаптация идеально согласованного слоя pml для задач нанооптнкн /7 Современные проблемы фундаментальных и прикладных наук. Часть VII. Управление и прикладная математика, Т.З: Труды 53-й научной конференции МФТИ. /Моск. физ.-техн. ин-т. — М. — Долгопрудный, 2010. — С. 116.

12. Закиров A.B., Левченко В.Д. Интерфейс задания параметров и обработки результатов программного комплекса lrnla/nano для моделирования задач нанооптнкн // Современные проблемы фундаментальных и прикладных наук. Часть VII. Управление и прикладная математика, Т.2: Труды 54-й научной конференции МФТИ. /Моск. физ.-техн. ин-т. — М.

— Долгопрудный, 2011. — С. 118.

13. Закиров A.B., Левченко В.Д. Трехмерное моделирование эволюции во времени электромагнитного поля в актуальных задачах нанооптики // Сборник трудов конференции «Фундаментальные Проблемы Оптики» / ИТМО - С.-Петербург, 2010. - С. 424.

14. Левченко Д.Г., Левченко В.Д., Закиров A.B. Численное моделирование распространения низкочастотных сейсмоакустичсских полей в океаничс-кой среде // Материалы XI международной научно-технической конференции «Современные методы и средства океанологических исследований». - Т. 1. - М., 2009. - С. 159-167.

Закнров Андрей Владимирович

Применение локально-рекурсивных нелокально-асинхронных алгоритмов в полноволновом численном моделировании

Автореферат

Подписано в печать 30.10.2012. Формат 60 х 84 Усл. печ. л. 1,0. Тираж 100 экз. Заказ X8 534. Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Московский фпзико-тсхипчсский институт (государственный университет)» Отдел оперативной полиграфии «Физтех-полиграф» 141700, Московская обл., г. Долгопрудный, Институтский пер., 9

Введение

Глава 1. Постановка задачи.

1.1. Волновые уравнения

1.2. Конечно-разностный метод во временной области.

1.3. Модели среды.

1.4. Граничные условия для открытых систем

1.5. Отражение от граничных условий РМЬ.

1.6. Источник волн.

Глава 2. Локально-рекурсивные нелокально-асинхронные алгоритмы

2.1. Специфика современных вычислительных систем.

2.2. Декомпозиция графа зависимостей разностной схемы.

Глава 3. Тестирование и апробация в задачах нанооптики

3.1. Программный комплекс СРтахд\ге11.

3.2. Тестирование эффективности

3.3. Примеры расчетов.

Глава 4. Применение в сейсморазведке и геофизике.

4.1. Программный комплекс CFgeo.

4.2. Модель соляного купола.

4.3. Полноволновое моделирование на глубину земной коры

4.4. Микросейсмы в океанической среде.

Диссертация посвящена разработке эффективных методов численного решения волновых уравнений в пространственно-временной области в конечных разностях. В ней исследуются следующие вопросы:

• Реализация локально-рекурсивных нелокально-асинхронных (LRnLA) [1] алгоритмов для трехмерного численного решения волновых уравнений с помощью метода FDTD (Finite-Difference Time-Domain) [2].

• Применение разработанного программного кода, для решения актуальных задач нанооптики, геофизики и сейсморазведки.

Наибольшее прикладное значение (в смысле распространенности и разнообразности задач) имеет трехмерное численное моделирование волновых процессов в основном для уравнений упругости и уравнений электродинамики. В диссертации описано применение алгоритмов LRnLA для реализации решения уравнений Максвелла методом FDTD и уравнений упругости с помощью численной схемы на смещенных сетках, аналогичной FDTD. В ходе реализации программного кода было решено несколько новых оригинальных промежуточных задач, также описанных в диссертации.

Актуальность работы Волновые уравнения характеризуют разнообразные физические процессы. Среди них особый интерес представляют процессы, происходящие в сложных структурах, состоящих из мелких объектов, размер которых сравним с длиной волны, либо много меньше ее.

В нанооптике такими структурами являются современные искусственные оптические устройства и материалы, такие как фотонные кристаллы, ме-таматериалы, обтекаемые покрытия [3-8]. Их создание и изучение представляется актуальным ввиду открывающихся возможностей управления электромагнитным излучением [9, 10], построением различных волноводов, конструирования материалов с отрицательным показателем преломления [113

18], суперлинз [11], скрывающих покрытий [19-23] и т.д. Аналитические расчеты распространения света в них как правило возможны лишь при существенно упрощающих предположениях. Для конструирования таких устройств необходимо предварительное теоретическое исследование, которое может оказаться чрезвычайно трудоемким, либо вообще невозможным.

Задачи сейсморазведки и геофизики в России традиционно имеют практическую экономическую основу. Перспективные месторождения, интенсивная разведка которых ведется к настоящему времени, имеют целевую мощность нефте- и газоносных пластов зачастую меньше длин волны сейсмического поля (10-30 м против 100м) при глубине залегания много больше длины волны (более 2км) [24-26].

Таким образом, актуальные волновые задачи нанооптики и сейсморазведки разномасштабны по пространству.

В задачах сейсморазведки, кроме этого, также дополнительно очень важен высокий абсолютный темп счета. Это связано с тем, что решение задач сейсморазведки имеет реальное практическое коммерческое применение, при котором критична минимизация стоимости расчетов. Основным результатом прямого моделирования в задачах сейсморазведки на нефть и газ являются сейсмограммы. Генерация синтетических сейсмограмм обязана в этом случае быть а) быстрой (стоимость разработки эффективных программ экономически выгодней), б) адекватной (в смысле использования методов без существенных приближений, то есть использование трехмерного полноволнового моделирования в пространственно-временной области с поглощающими граничными условиями), в) обладать высокой точностью, поскольку важно то, что конечной целью является не качественное решение той или иной задачи, а генерация синтетических сейсмограмм, неотличимых от полевых.

В полной мере наиболее адекватно и приближенно к реальности эти процессы в трехмерном случае описываются с помощью полноволнового численного моделирования, то есть моделирования в пространственно-временной области.

Однако, из-за существенных размеров счетной области трехмерное полноволновое моделирование в пространственно-временной области требует больших вычислительных ресурсов.

В то же время длительное экспоненциальное развитие вычислительной техники к настоящему моменту привело, с одной стороны, к практической готовности и возможности решения таких задач, однако, с другой стороны, существующие в данный момент методы и алгоритмы решения не используют эти возможности в полной мере и обладают в этом смысле крайне низкой эффективностью. Такое положение вещей вынуждает уходить от трехмерного полноволнового моделирования в пространственно-временной области в пользу развития других методов, содержащих в свою очередь различные приближения и ограничения. Тем не менее остается открытым вопрос актуальности разработки высокоэффективных алгоритмов, которые бы максимально использовали существующие вычислительные ресурсы для решения задач волнового моделирования без существенных приближений.

Исследование вопроса Во многих работах, описывающих численное моделирование того или иного эксперимента [16, 18], ввиду ограниченности счетных ресурсов и недостатков вычислительных алгоритмов делаются значительные упрощения (например, замена трехмерной задачи двумерной, моделирование в частотной области, пренебрежение неоднородностями исследуемого материала, дисперсионными потерями, предположение бесконечности образца и т.п.), которые позволяют описывать результаты в лучшем случае только качественно. Для прикладного использования может понадобиться количественное исследование большого набора таких экспериментов, которые гораздо проще и дешевле производить численно. Тем не менее численный эксперимент, максимально приближенный к реальному, должен учитывать множество различных факторов, которые, соответственно, зачастую могут уменьшать скорость расчетов.

Моделировать волновые процессы можно как в пространственно-временной области, так и в частотной области. Пространственно-частотное моделирование больше подходит для предварительного исследования спектральных характеристик материалов, которые нельзя оценить аналитически. Пространственно-временное моделирование позволяет проследить эволюцию поля и лучше понять принципы распространения волн в материале, а также обладает хорошей наглядностью. Для реалистичного изучения происходящих процессов необходимо именно пространственно-временное моделирование.

В таких разделах электродинамики, как нанооптика, размер моделируемой области как раз становится очень большим. Кроме того, теоретическое описание происходящих явлений и процессов, как правило возможно лишь в простейших случаях. В реальности же неидеальность и конечность объектов наномасштаба в оптическом диапазоне (когда характерный размер структурного материала сравним с длиной волны света) сильно влияют на свойства объекта. В этом случае понимание происходящих процессов требует численного моделирования, приближенного к реальности, а значит необходимо полноволновое трехмерное моделирование с большим размером сетки.

Для моделирования распространения волн в земле могут применяться различные методы — лучевой, моделирование в частотной области и т.д. Тем не менее ни один из этих методов, кроме полноволнового моделирво-ания, не дает адекватного решения для задач сейсморазведки. Этот выбор, кроме того, обосновывается тем, что размер целевых слоев меньше длины волны распространяющегося волнового возмущения в земле. Тем не менее в этом случае существенно повышается размер моделируемой области и время расчета. При этом, как правило, прикладные потребности заключаются в проведении большого количества расчетов, что приводит к необходимости создания эффективных алгоритмов и комплексов программ для проведения таких расчетов и получения синтетических сейсмограмм, так как на данный момент не существует программных комплексов для трехмерного моделирования сейсмических волн в земной коре до актуальных глубин (до 50км) без существенных приближений.

Для полноволнового моделирования в пространственно-временной области в качестве численной схемы, как правило, используется схема в конечных разностях ЕОТБ [2], базовый алгоритм которой предложен Йи в 1960х годах для уравнений Максвелла [27]. Ввиду своей универсальности, эта схема затем была распространена и на остальные волновые уравнения, в частности на уравнения упругости [28, 29]. Метод РОТБ описывает лишь общую картину и схему, поэтому требует уточнения, модификаций, исследований для различных типов моделей сплошной среды, для повышения порядка точности, дисперсии, анизотропии. При этом исходя из задачи необходимо учитывать несколько ограничений:

• допустимые пределы численной дисперсии;

• допустимые пределы численной анизотропии;

• условие Куранта [30];

Впоследствии было предложено различное множество модификаций метода РБТБ [2, 31-50] с целью ослабить или исключить данные условия. Но при этом сами по себе они сложнее как с вычислительной точки зрения, так и с точки зрения практической реализации. Поэтому необходимо однозначно оценивать реальный практический выигрыш от использования тех или иных модификаций ГОТБ.

Условие Куранта можно исключить, если использовать неявные схемы, обладающие абсолютной устойчивостью [41, 48-51]. Тем не менее условие Куранта для большинства задач само по себе не является значительным ограничением и лишь немного может усиливать ограничения допустимой численной дисперсии. В то же время неявные схемы требуют существенно больше операций для одной итерации по времени, чем явные.

Численную дисперсию уменьшают, используя схемы FDTD повышенного порядка точности по пространству (для уменьшения пространственной дисперсии) и/или по времени (для уменьшения временной дисперсии) [52].

При этом в силу больших размеров обрабатываемых данных (из-за большого размера трехмерной счетной области и полноволнового моделирования) требуется разработка и реализация эффективных алгоритмов численного моделирования. Существует множество реализаций метода FDTD, как платных и широко распространенных (CST MicroWave Studio, Lumerical FDTD Solutions, XFdtd, CrystalWave FDTD, OmniSim, FullWAVE), так и opensource и бесплатных программ (Меер, ЕМ Explorer, EMTL) [53, 54]. Тем не менее все они имеют один недостаток: при больших размерах данных существенно падает эффективность кода. Таким образом, общий класс решаемых задач ограничен сравнительно небольшими размерами области. Эти ограничения можно обходить с помощью различных упрощений, таких как уменьшение размерности задачи, периодические граничные условия и так далее. Тем не менее в задачах, в которых эти ограничения нельзя применять, большой размер области критически необходим.

Решение таких задач на данный момент производится на массивно-параллельных вычислительных системах кластерного типа с использованием метода разделения области [26, 55]. Тем не менее этот подход становится неэффективен для многоядерных систем, которые в настоящий момент являются наиболее популярными (в первую очередь из-за ограничений по пропускной способности оперативной памяти) и в особенности для гетерогенных систем с развитой иерархией параллельности, получающие все большее распространение. На практике производительность кода в результате оказывается существенно ниже пиковой.

Для достижения пиковой производительности при больших размерах данных необходимо учитывать иерархическую структуру подсистемы памяти вычислительного узла с одной стороны и иерархию параллельности с другой стороны. Основываясь на этих требованиях были разработаны локально-рекурсивные нелокально-асинхронные (ЬГ1пЬА) [1] алгоритмы, являющиеся универсальным инструментом для разработки алгоритмов численного моделирования для явных схем эволюции во времени.

Отдельно можно отметить сложность программной реализации алгоритмов ЬЯпЬА, заключающийся в новизне и оригинальности применяемых конструкций.

Кроме этого, при моделировании задач нанооптики и процессов, описываемых волновыми уравнениями вообще существует очень важная проблема аппроксимации границ материалов (вследствие разрывности коэффициентов уравнений) [56-60]. Она заключается в сохранении порядка точности схемы на границе. Особенность же задач моделирования наноматериалов как раз состоит в большом количестве этих границ, что говорит о недопустимости игнорирования и пренебрежения возможными неточностями схемы в этих областях. Дабы преодолеть этот недостаток, самым простым и очевидным является способ измельчения сетки в местах понижения порядка точности. Этот способ может являться достаточно трудоемким в реализации и неизбежно увеличивает время счета порой значительно, и, вообще говоря, не решает окончательно проблемы с точностью схемы. Альтернативным подходом является способ уточнения численной схемы на местах разрыва коэффициентов, а точнее, правильного (с точки зрения сохранения порядка точности) их усреднения на границах материалов. Для простых границ (плоских) усреднение проводится исходя из граничных соотношений для уравнений Максвелла [56]. Для неплоских границ материалов (таких как углы и ребра) граничные соотношения становятся уже не столь тривиальными в особенности из-за возникающих сингулярностей решения уравнений Максвелла [61-65].

При моделировании открытых систем, размеры области можно существенно уменьшить, применяя поглощающие граничные условия. В качестве таких условий наиболее удачными являются граничные условия PML (Perfectly Matched Layer) [66], впервые предложенные Ж.-П. Беренгером в 1994 году [67]. Они оказались настолько хорошими для большинства практических задач, что различные их модификации и улучшения [68-77] до сих пор представляют интерес скорее фундаментальный.

Однако, до сих пор остается открытым вопрос поиска оптимальных параметров PML для минимизации численного отражения от граничных условий типа PML [78-81]. Поглощающий слой PML на границах счетной области не будет отражать падающую на него волну для непрерывных уравнений. Тем не менее из-за дискретности пространства при численном моделировании незначительное отражение от границ в этом случае все равно будет присутствовать. Величина этого отражения сильно зависит от параметров задачи, при этом на практике существуют заданные требования на предел этой величины. В свою очередь толщина PML влияет на общую производительность кода, в силу чего необходим способ подбора оптимальных параметров PML в зависимости от требований на допустимый коэффициент отражений.

Классический FDTD имеет 2-ой порядок точности по пространству. При этом закон дисперсии волн начинает заметно отличатся от закона дисперсии для непрерывных волновых уравнений уже на 20 узлах сетки на длину волны. Существуют различные модификации метода FDTD для уменьшения этого отклонения. Одним из самых простых способов это сделать является увеличение порядка точности схемы до 4-го [52]. В этом случае аналогичное отклонение от закона дисперсии для непрерывных уравнений становится существенно заметным при 6-ти узлах сетки на длину волны. Кроме того, подбор оптимальных параметров PML для схем 4-го порядка будет отличаться от схем 2-го порядка.

Цель работы состоит в разработке и реализации методов, алгоритмов, комплекса программ для численного моделирования волновых процессов в актуальных задачах нанооптики, геофизики и сейсморазведки.

Решены следующие задачи

1. Реализован высокоэффективный программный код для решения уравнений Максвелла в пространственно-временной области. Программный код является открытым и свободным для использования.

2. Реализовано высокоэффективное ядро программного комплекса для трехмерного полноволнового моделирования уравнений упругости в пространственно-временной области. Произведено внедрение программного комплекса в задачах сейсморазведки на нефть и газ и массового расчета синтетических сейсмограмм.

3. Реализованы поглощающие граничные условия РМЬ как для уравнений упругости, так и для уравнений электродинамики. При этом граничные слои обрабатываются локально-рекурсивным образом, как и вся область.

4. Предложен способ подбора оптимальных параметров поглощающего слоя РМЬ исходя из требований максимально допустимого коэффициента отражения от границ для схем РБТБ 2-го и 4-го порядков аппроксимации.

5. В рамках решения уравнений Максвелла с использованием алгоритмов Ы1пЬА реализована возможность моделирования различных материалов: бездисперсионных диэлектриков, материалов с дисперсией, проводников, анизотропных материалов, материалов с отрицательным показателем преломления. Реализовано подсеточное сглаживание для разрывных коэффициентов материальных уравнений, реализован подсчет вектора Пойнтинга со 2-ым порядком точности.

6. Для уменьшения дисперсионных отклонений волн реализован повышенный 4-ый порядок точности разностной схемы по пространству. При этом аналогично изменился порядок схемы в РМЬ.

Научная новизна работы

1. Впервые реализован метод РБТБ как для уравнений упругости, так и для уравнений электродинамики, с реальной эффективностью, приближенной к пиковой, при произвольном объеме обрабатываемых данных. При этом качественно меняется весь класс задач, основанных на решении трехмерных волновых уравнений. Таким образом программный код может одинаково эффективно применяться как на небольших персональных компьютерах, так и на кластерных суперкомпьютерах и достигать предельной производительности во всех случаях.

2. Предложен способ подбора оптимальных параметров граничных условий РМЬ для достижения минимального отражения от границ для схем РБТБ 2-го и 4-го порядков аппроксимации по пространству. При этом обнаружено, что расчет отражения от границ РМЬ, основанного на одномерном уравнении, хорошо описывает отражение и в реальных трехмерных расчетах.

3. С помощью программного комплекса продемонстрирована возможность численного моделирования ряда задач нанооптики, моделирование которых ранее требовало либо больших вычислительных мощностей и ресурсов, либо было в принципе невозможным. 4. С помощью программного комплекса впервые появилась возможность трехмерного численного моделирования распространения упругих волн в земной коре на глубину до 50 км и генерации синтетических сейсмограмм за приемлемое время.

Практическая ценность работы

I. Разработанный программный комплекс для моделирования уравнений Максвелла может быть применен для расчета больших задач на суперкомпьютерах. При этом обладая высокой эффективностью благодаря использованию локально-рекурсивных нелокально-асинхронных (Ы1пЬА) алгоритмов, данный программный комплекс позволяет использовать его для решения совершенно новых типов задач.

2. Разработан программный комплекс для моделирования уравнений упругости для массовой генерации синтетических сейсмограмм в прямых задачах сейсморазведки на нефть и газ. Программный комплекс обладает высокой эффективностью, позволяющий проводить расчеты с высокой скоростью без существенных приближений задач.

3. Реализованы методы для задания сложных геометрических объектов, материалов, структур с различными материальными моделями, такими как анизотропные, дисперсионные среды, проводники и т.д

4. Приведены примеры эволюции электромагнитного поля в реальных задачах распространения электромагнитных волн в таких материалах и структурах, как трехмерные фотонные кристаллы, метаматериалы, материалы с отрицательным показателем преломления. В рамках программного комплекса разработаны методы диагностики и анализа результатов. Реалистичное моделирование позволяет визуально наблюдать происходящие процессы, реальное поведение полей.

Положения, выносимые на защиту

1. Реализованы локально-рекурсивные нелокально-асинхронные (ЬЫпЬА) алгоритмы для численной схемы РБТБ 2-го и 4-го порядков, граничных условий РМЬ, различных моделей сплошной среды.

2. Предложен способ подбора оптимальных параметров РМЬ для достижения заданного коэффициента отражения от границ.

3. Разработан высокоэффективный программный комплекс для моделирования уравнений Максвелла, который может быть использован для моделирования сложных устройств и материалов нанооптики.

4. Разработан программно-аппаратный комплекс для прямого моделирования эволюции сейсмического поля в земной коре. Комплекс использован для решения задач геофизики (распространения штормовых микросейсм в океаническом волноводе) и сейсморазведки на нефть и газ. Произведено моделирования волнового поля на глубину земной коры.

Личный вклад автора Автором были самостоятельно написана существенная часть программы, реализованы граничные условия, все модели среды. Автором был самостоятельно предложен и реализован способ подбора оптимальных параметров граничных условий для 2-го и 4-го порядков точности. Автором получены все результаты и примеры расчетов.

Достоверность и обоснованность результатов. Достоверность расчетов обеспечивается использованием всемирно признанных и неоднократно исследованных численных схем; сравнением реализованного программного кода с другими аналогичными программами; сравнением результатов моделирования с реальными физическими процессами и явлениями.

Апробация работы Результаты, описанные в диссертации, докладывались и обсуждались на международных научно-технических конференциях:

• 50-я, 51-я, 52-я, 54-я научные конференции МФТИ;

• Progress in Electromagnetics Research Symposium (PIERS2009 in Moscow, PIERS2012 in Kuala-Lumpur, Малайзия);

• Фундаментальные проблемы оптики — 2010 (Санкт-Петербург);

• First Russian — Italian joint seminar on mathematical and physical models applications to condensed matter and preservation of the cultural heritage (On the occasion of ICIAP 2011, Равенна, Италия);

• Взаимодействие ионов с поверхностью (ВИП-2011), Звенигород;

• Вторая научно-практическая конференция «Суперкомпьютерные технологии в нефтегазовой отрасли», Москва, МГУ, 2011;

• Балтийская школа-семинар «Петрофизическое моделирование осадочных пород» (Петергоф, 2012);

• XIII школа-семинар им. академика Л.М.Бреховских «Акустика океана»

Москва, 2011);

• XI Международная научно-техническая конференция «Современные методы и средства океанологических исследований» (Москва, 2009)

• Пятая международная конференция «Распределённые вычисления и Грид-технологии в науке и образовании» (Дубна, 2012);

• Международная конференция по математическим методам в геофизике «ММГ-2008» (Новосибирск).

Также результаты были представлены и неоднократно обсуждались на научных семинарах кафедры прикладной математики научно-образовательного центра ИПМ им. М.В. Келдыша РАН, семинарах ВНИИГеосистем, семинаре лаборатории метаматериалов ИТМО (Санкт-Петербург). Работа стала лауреатом конкурса прикладных разработок и исследований в области компьютерных технологий «Компьютерный континуум: от идеи до воплощения», проводимого компанией Intel в 2011 году.

Работа поддержана грантами РФФИ 09-07-00236, 12-01-00708, Гос. контрактом 02.740.11.0475.

Программный комплекс CFgeo в течение нескольких лет используется на практике для моделирования синтетических сейсмограмм для нужд ВНИИГеосистем.

На основе данной работы был разработан курс «Моделирование устройств нанооптики», читаемый автором на 5-ом и 6-ом курсе на базовой кафедре ФУПМ МФТИ «Прикладная математика» в ИПМ им.М.В. Келдыша РАН.

Научные результаты диссертации опубликованы в 14 работах [78, 82-94], из которых 5 в изданиях, рекомендованных ВАК РФ [78, 82-84, 92].

Объем диссертации составляет 137 страниц, диссертация содержит 51 рисунок и 122 наименования списка литературы.

Основные результаты работы

• Разработан метод подбора оптимальных параметров идеально-согласованного слоя РМЬ исходя из требований минимального коэффициента отражения от граничных условий. Данный способ подходит как для схемы КЭТИ РМЬ 2-го порядка точности по пространству, так и для схемы 4-го порядка точности. Показано, что данный способ может применяться также и для трехмерных задач.

• Разработан программный комплекс СРтахуеН для моделирования процессов электродинамики в нанооптике, обладающий высокой эффективностью (приближеной к пиковой) вне зависимости от вычислительной сложности задачи. Программный комплекс основан на полноволновом моделировании в пространственно-временной области с поглощающими граничными условиями, что позволяет преодолевать многие приближения других методов. Высокая эффективность достигается благодаря использованию локально-рекурсивных нелокально-асинхронных алгоритмов и позволяет решать с помощью численного моделирования широкое разнообразие задач оптики нано-масштаба, решение которых ранее считалось невозможным, либо требующим сверх-высокопроизводительных вычислительных систем (суперкомпьютеров).

• Аналогично в силу однотипности решаемых уравнений (т.е. волновых) разработан программный комплекс CFgeo для моделирования уравнений упругости в задачах сейсморазведки. Разработанный комплекс применяется в настоящее время в прямых задачах сейсморазведки на нефть и газ и по своей эффективности не имеет аналогов в мировой практике. В частности с помощью данного программного комплекса произведено трехмерное полноволновое моделирование распространения волнового возмущения на глубину земной коры вплоть до границы Мохоровичича.

• Также с помощью данного программного комплекса произведено моделирование распространения низкочастотных импульсных сейсмоакусти-ческих полей в океанической среде, позволившее подтвердить теоретические положения и данные экспериментов по распространению мик-росейсм в океаническом волноводе, а также выявить ряд неизвестных ранее подробностей и показать большое разнообразие процессов при распространении полей в волноводе с наклонным упругим дном.

• Проведено сравнение программного комплекса СРтахиеН с аналогичной программой Меер, предназначенной для численного моделирования уравнений Максвелла с помощью метода РОТБ. Сравнение показало характерное ограничение возможностей Меер'а, основанного на использовании традиционных алгоритмов численного моделирования, приводящее к крайне невысокой эффективности скорости вычислений по сравнению с СРтахиеН, основанного на использовании ЬЯпЬ А-алгоритмах.

В рамках реализации обозначенных выше требований к сложности задачи (которые преодолеваются с помощью локально-рекурсивных нелокально-асинхронных алгоритмов) решено несколько проблем и особенностей:

• были проанализированы рациональность использования схем ЕБТО повышенного порядка точности по пространству для задач сейсморазведки и нанооптики (положительно для повышения порядка точности до 4-го) и полностью реализована и внедрена данная схема в разработанный программный комплекс на основе идеологии локально-рекурсивных нелокально-асинхронных алгоритмов (Ы1пЬА);

• реализованы граничные условия РМЬ для волновых уравнений (для задач сейсморазведки и нанооптики) в алгоритмах Ы1пЬА;

• в программном комплексе СРтахуеН реализованы различные модели среды — бездисперсионные диэлектрики, диэлектрики с дисперсией по модели Друде, проводники, анизотропные материалы, метаматериалы с отрицательным показателем преломления;

• разработан и реализован локальный шаблон Ы1пЬА для подсеточно-го сглаживания разрывных коэффициентов материальных уравнений в уравнениях Максвелла, а также локальный шаблон ЬЯпЬА для подсчета вектора Пойнтинга со 2-м порядком точности.

Благодарности Хочу выразить благодарность Левченко Вадиму Дмитриевичу, моему руководителю за прекрасное научное воспитание, а также Горячеву Ивану и Перепелкиной Насте за проявленный интерес к работе и существенные критические замечания.

Заключение

1. В. Д. Левченко. Асинхронные параллельные алгоритмы как способ достижения эффективности вычислений // Информационные технологии и вычислительные системы. — 2005. — № 1.

2. A. Taflove, S. С. Hagness. Computational Electrodynamics: the Finite-Difference Time-Domain Method. — 3rd edition. — Norwood, MA: Artech House, 2005.

3. Minghao Qi, Elefterios Lidorikis, Peter T. Rakich et al A three-dimensional optical photonic crystal with designed point defects // Nature. — 2004. — Vol. 429. Pp. 538-542.

4. Sh.-Yu Lin, E. Chow, V. Hietala et al Experimental Demonstration of Guiding and Bending of Electromagnetic Waves in a Photonic Crystal // Science. 1998. - October. - Vol. 282, no. 5387. - Pp. 274-276.

5. E. Yablonovitch. Inhibited spontaneous emission in solid-state physics and electronics // Phys. Rev. Lett. 1987. - Vol. 58.- Pp. 2059-2061.

6. E. Yablonovitch, T. J. Gmitter, К. M. Leung. Photonic band structure: The face-centered-cubic case employing nonspherical atoms // Phys. Rev. Lett. — 1991. Vol. 67. - Pp. 2295-2297.

7. D. S. Filonov, A. E. Krasnok, A. P. Slobozhanyuk et al. Experimental verification of the concept of all-dielectric nanoantennas // Appl. Phys. Lett. 2012. - Vol. 100, no. 20. - Pp. 201113(1-4).

8. C. R. Simovski, P. A. Belov, A. V. Atrashchenko, Y. S. Kivshar. Wire Metamaterials: Physics and Applications // Advanced Materials. — 2012. — Vol. 24, no. 31.- Pp. 4229-4248.

9. В. А. Сойфер. Нанофотоника и дифракционная оптика // Компьютерная оптика. 2008. - Т. 32, № 2. - С. 110-118.

10. В. В. Котляр. Нанофотоника — манипулирование светом с помощью наноструктур // Компьютерная оптика.— 2008.— Т. 32, № 2.— С. 119-135.

11. J. P. Pendry. Negative Refraction Makes a Perfect Lens // Phys. Rev. Lett. 2000. - Vol. 85, no. 18. - Pp. 3966-3969.

12. V. M. Shalaev. Opical negative-index metamaterials // Nature Photonics. —2007.-Vol. l.-Pp. 41-48.

13. N. M. Litchinitser, I. R. Gabitov, A. I. Maimistov, V. M. Shalaev. Negative Refractive Index Metamaterials in Optics // Progress in Optics / Ed. by E. Wolf. Elsevier, 2008. — Vol. 51 of Progress in Optics. — Pp. 1-68.

14. N. M. Litchinitser, A. I. Maimistov, Gabitov I. R. et al. Metamaterials: electromagnetic enhancement at zero-index transition // Opt. Lett.—2008. Vol. 33, no. 20. - Pp. 2350-2352.

15. Maimistov A. I., Gabitov I. R. Nonlinear optical effects in artificial materials // Eur. Phys. J. Special Topics. — 2007.— Vol. 147, no. l.-Pp. 265-286.

16. U. K. Chettiar, S. Xiao, A. V. Kildishev et al. Optical Metamagnetism and Negative-Index Metamaterials // MRS Bulletin. — 2008. — Vol. 33, no. 10. — Pp. 921-926.

17. В. Г. Веселаго, E. А. Виноградов, В. И. Голованов и др. Волноводное распространение СВЧ-излучения в двухслойном метаматериале // Письма в ЖТФ. 2011. - Т. 37, № 5. - С. 57-63.

18. V. M. Shalaev, W. Cai, U. К. Chettiar et al. Negative index of refraction in optical metamaterials // Opt. Lett. — 2005.— Vol. 30, no. 24.— Pp. 3356-3358.

19. J. B. Pendry, D. Schurig, D. R. Smith. Controlling Electromagnetic Fields // Science. 2006. - Vol. 312, no. 5781. - Pp. 1780-1782.

20. V. M. Shalaev. PHYSICS: Transforming Light // Science. 2008.- Vol. 322, no. 5900. - Pp. 384-386.

21. J. Valentine, J. Li, T. Zentgraf et al. An Optical Cloak Made of Dielectrics // Nature Materials. 2009. — Vol. 8. — Pp. 568-571.

22. W. Cail, U. K. Chettiar 1, A. V. Kildishev, V. M. Shalaev. Optical cloaking with metamaterials // Nature Photonics. — 2007. — Vol. 1. — Pp. 224-227.

23. J.-W. Dong, H. H. Zheng, Y. Lai et al. Metamaterial slab as a lens, a cloak, or an intermediate // Phys. Rev. B. — 2011. — Vol. 83, no. 11. — P. 115124.

24. И. Д. Полякова, В. И. Богоявленский. Баженовская свита — источник промышленных нефтей и жирных газов в титон-неокомских отложениях Южно-Карского региона // Доклады Академии наук. — 2011.— Т. 440, № 1.-С. 105-110.

25. М. А. Вордюг, В. С. Славкин, С. С. Гаврилов, А. А. Потрясов. Особенности строения и формирования аномального разреза баженовской свиты на примере Северо-11онитлорского месторождения // Геология нефти и газа. 2010. — № 1. — С. 32-40.

26. В. И. Костин, В. В. Лисица, Г. В. Решетова, В. А. Чеверда. Конечно-разностный метод численного моделирования распространения сейсмических волн в трехмерно-неоднородных разномасштабных средах //

27. Вычислительные методы и программирование: новые вычислительные технологии. 2011. - Т. 12, № 1. - С. 321-329.

28. К. S. Yee. Numerical Solution of Initial Boundary Value Problems Involving Maxwell's Equations in Isotropic Media // IEEE Trans, on Ant. and Propagat. 1966. - May. - Vol. 14. - Pp. 302-307.

29. Raul Madariaga. Dynamics of an expanding circular fault // Bulletin of the Seismological Society of America. — 1976. — Vol. 66, no. 3. — Pp. 639-666.

30. Jean Virieux. P-SV wave propagation in heterogeneous media: Velocity-stress finite-difference method // Geophysics.— 1986.— Vol. 51, no. 4.— Pp. 889-901.

31. P. Курант. Уравнения с частными производными. — Москва: Мир, 1964. С. 832.

32. W. Gwarek. Analysis of an arbitrarily shaped planar circuit — A time-domain approach // IEEE Trans, on Microwave Theory and Techniques. — 1985.— Vol. 33, no. 10.- Pp. 1067-1072.

33. A. Taflove, K. R. Umashankar, B. Beker et al. Detailed FDTD analysis of electromagnetic fields penetrating narrow slots and lapped joints in thick conducting screens // IEEE Trans, on Ant. and Propagat — 1988. — Vol. 36, no. 2. Pp. 247-257.

34. T. G. Jurgens, A. Taflove, K. R. Umashankar, T. G. Moore. Finite-difference time-domain modeling of curved surfaces // IEEE Trans, on Ant. and Propagat. 1992. - Vol. 40, no. 4. - Pp. 357-366.

35. T. G. Jurgens, A. Taflove. Three-Dimensional Contour FDTD Modeling of

36. Scattering from Single and Multiple Bodies // IEEE Trans, on Ant and Propagat. 1993. - Vol. 41, no. 12.

37. T. Kashiwa, I. Fukai. A treatment by FDTD method of dispersive characteristics associated with electronic polarization // Microwave and Optical Technology Lett. — 1990. — Vol. 3, no. 6. Pp. 203-205.

38. R. Luebbers, F. Hunsberger, K. Kunz et al. A frequency-dependent finite-difference time-domain formulation for dispersive materials // IEEE Trans, on Electromagnetic Compatibility. — 1990. — Vol. 32, no. 3. — Pp. 222-227.

39. Q. H. Liu. The pseudospectral time-domain (PSTD) method: A new algorithm for solutions of Maxwell's equations // IEEE Ant. and Propagat. Society International Symposium Digest. — 1997. — Vol. 1. — Pp. 122-125.

40. A. S. Nagra, R. A. York. FDTD analysis of wave propagation in nonlinear absorbing and gain media // IEEE Trans, on Ant. and Propagat. — 1998. — Vol. 46, no. 3. Pp. 334-340.

41. J. B. Schneider, C. L. Wagner. FDTD dispersion revisited: Faster-than-light propagation // IEEE Microw. Guid. Wave Lett. — 1999. — Vol. 9, no. 2.— Pp. 54-56.

42. F. Zhen, Z. Chen, J. Zhang. Toward the development of a three-dimensional unconditionally stable finite-difference time-domain method // IEEE Trans, on Microwave Theory and Techniques. — 2000. — Vol. 48, no. 9. — Pp. 1550-1558.

43. F. Zheng, Z. Chen. Numerical dispersion analysis of the unconditionally stable 3-D ADI-FDTD method // IEEE Trans, on Microwave Theory and Techniques. 2001. - Vol. 49, no. 5. - Pp. 1006-1009.

44. T. Rylander, A. Bondeson. Stable FDTD-FEM hybrid method for Maxwell's equations // Computer Physics Communications. — 2000. — Vol. 125, no. 1-3.-Pp. 75-82.

45. H. De Raedt, K. Michielsen, J. S. Kole, M. T. Figge. Solving the Maxwell equations by the Chebyshev method: A one-step finite difference timedomain algorithm // IEEE Trans, on Ant. and Propagat. — 2003. — Vol. 51, no. 11.-Pp. 3155-3160.

46. I. Ahmed, E. K. Chua, E. P. Li, Z. Chen. Development of the three-dimensional unconditionally stable LOD-FDTD method // IEEE Trans, on Ant. and Propagat. 2008. - Vol. 56, no. 11. - Pp. 3596-3600.

47. P. Yang, G. W. Kattawar, K.-N. Liou, J. Q. Lu. Comparison of Cartesian grid configurations for application of the finite-difference time-domain method to electromagnetic scattering by dielectric particles // Appl. Opt. — 2004. Vol. 43, no. 23.

48. W. Sun, Q. Fu. Finite-difference time-domain solution of light scattering by dielectric particles with large complex refractive indices // Appl. Opt. — 2000. — Vol. 39, no. 30.

49. Y. Yang, R. S. Chen, E. K. N. Yung. The unconditionally stable Crank-Nicolson FDTD method for three-dimensional Maxwell's equations // Microwave and Optical Technology Lett. — 2006.— Vol. 48, no. 8.

50. Y. Yang, R. S. Chen, D. X. Wang, E. K. N. Yung. Unconditionally stable Crank-Nicolson finite-different time-domain method for simulation of three-dimensional microwave circuits // IET Microwaves, Ant. and Propagat. — 2007. Vol. 1, no. 4. - Pp. 937-942.

51. G. Sun, C. W. Trueman. Unconditionally-stable FDTD method based on Crank-Nicolson scheme for solving three-dimensional Maxwell equations // Electronics Lett. 2004. - Vol. 40, no. 10. - Pp. 589-590.

52. J. Crank, P. Nicolson. A practical method for numerical evaluation of solutions of partial differential equations of the heat conduction type // Proc. Camb. Phil Soc. 1947. - Vol. 43, no. 1.- Pp. 50-67.

53. N. V. Kantartzis, T.D. Tsiboukis. Higher Order FDTD Schemes for Waveguide and Antenna Structures. — 1st edition. — Morgan & Claypool Publishers, 2006.

54. A. F. Oskooi, D. Roundyb, M. Ibanescua et al Meep: A flexible free-software package for electromagnetic simulations by the FDTD method // Computer Physics Communications. — 2010. — Vol. 181. — Pp. 687-702.

55. I. Valuev, A. Deinega, S. Belousov. Iterative technique for analysis of periodic structures at oblique incidence in the finite-difference time-domain method // Opt. Lett. — 2008. — Vol. 33, no. 13.- Pp. 1491-1493.

56. Andrea Toselli, Olof Widlund. Domain Decomposition Methods Algorithms and Theory. — Springer, 2004. — Vol. 34 of Springer Series in Computational Mathematics.

57. A. Farjadpour, D. Roundy, A. Rodriguez et al Improving accuracy by subpixel smoothing in FDTD // Opt. Lett. 2006. - October 15. - Vol. 31, no. 20. - Pp. 2972-2974.

58. A. F. Oskooi, С. Kottke, S. G. Johnson. Accurate finite-difference timedomain simulation of anisotropic media by subpixel smoothing // Opt. Lett. 2009. - September 15. - Vol. 34, no. 18. — Pp. 2778-2780.

59. A. Deinega, I. Valuev. Subpixel smoothing for conductive and dispersive media in the finite-difference time-domain method // Opt. Lett. — 2007.— December 1. — Vol. 32, no. 23.- Pp. 3429-3431.

60. S. Dey, R. Mittra. A conformal finite-difference time-domain technique for modeling cylindrical dielectric resonators // IEEE Trans, on Microwave Theory and Techniques. 1999. -Sep. - Vol. 47, no. 9.- Pp. 1737-1739.

61. Y. Zhao, P. A. Belov, Y Hao. Accurate modeling of the optical properties of left-handed media using a finite-difference time-domain method // Phys. Rev. E. 2007. - Vol. 75, no. 3. - Pp. 037602(1-4).

62. J. Andersen, V. Solodukhov. Field behavior near a dielectric wedge // IEEE Trans, on Ant. and Propagat. 1978. - Vol. 26, no. 4. - Pp. 598-602.

63. Г. И. Макаров, Осипов А. В. К вопросу о структуре рядов Мейкснера // Изв. вузов. Радиофизика. 1986. - Т. 29, № 6. - С. 714-720.

64. C.-L. Хи, Wei-Ping Huang, К. Yokoyama, S. Seki. Full-vectorial mode analysis with considerations of field singularities at corners of optical waveguides // Journal of Lightwave Technology. — 1999. — Vol. 17, no. 8. — Pp. 1509-1513.

65. G.R. Hadley. High-accuracy finite-difference equations for dielectric waveguide analysis I: uniform regions and dielectric interfaces // Journal of Lightwave Technology. 2002. - Vol. 20, no. 7. — Pp. 1210-1218.

66. G.R. Hadley. High-accuracy finite-difference equations for dielectricwaveguide analysis II: dielectric corners // Journal of Lightwave Technology. 2002. - Vol. 20, no. 7. - Pp. 1219-1231.

67. J.-P. Berenger. Perfectly Matched Layer (PML) for Computational Electromagnetics. — 1st edition. — Morgan & Claypool Publishers, 2007.

68. J.-P. Berenger. A perfectly matched layer for the absorption of electromagnetic waves // Journal of Comp. Phys.— 1994.— Vol. 114. — Pp. 185-200.

69. Z. S. Sacks, D. M. Kingsland, R. Lee, J.-F. Lee. A perfectly matched anisotropic absorber for use as an absorbing boundary condition // IEEE Trans. Ant. Propagat. 1995. - Vol. 43. - Pp. 1460-1463.

70. J. L. Volakis, A. Chatterjee, L. C. Kempel. Finite-Element Method for Electromagnetics. — Piscataway, NJ: IEEE Press, 1998.

71. J. Fang, Z. Wu. Generalized perfectly matched layer — An extension of Berenger's perfectly matched layer boundary condition // IEEE Microw. Guid. Wave Lett. 1995. - Vol. 5, no. 12. - Pp. 451-453.

72. M. Kuzuoglu, R. Mittra. Frequency dependence of the constitutive parameters of causal perfectly matched absorbers // IEEE Microw. Guid. Wave Lett. 1996. - Vol. 6. - Pp. 447-449.

73. T.-B. Yu, G. h. Zhou, B. Chen. An unsplit formulation of the Berenger's PML absorbing boundary condition for FDTD meshes // IEEE Microw. Wirel. Comp. Lett. 2003. - Vol. 13. - Pp. 348-350.

74. J. A. Roden, S. D. Gedney. Convolutional PML (CPML): An efficient FDTD implementation of the CFS-PML for arbitrary media // Microw. Opt. Technol. Lett. 2000. - Dec. - Vol. 27, no. 5. - Pp. 334-339.

75. S. A. Cummer. A simple, nearly perfectly matched layer for general electromagnetic media // IEEE Microw. Wirel. Lett. — 2003.— Vol. 13, no. 3. Pp. 128-130.

76. J.-P. Berenger. On the reflection from Cummer's nearly perfectly matched layer // IEEE Microw. Wirel. Lett. 2004. - Vol. 14, no. 7. - Pp. 334-336.

77. W. Ни, A. Cummer. The nearly perfectly matched layer is a perfectly matched layer // Ant Wirel. Propagat. Lett. — 2004. — Vol. 3.

78. S. D. Gedney. An anisotropic perfectly matched layer-absorbing medium for the truncation of FDTD lattices // IEEE Trans. Ant. Propagat. — 1996.— Vol. 44. Pp. 1630-1639.

79. Закиров А.В., Левченко В.Д. Подбор оптимальных параметров идеально-согласованного слоя для задач нанооптики // Математическое Моделирование. 2011. - Т. 23, № 8. - С. 55-64.

80. Seunghwan Kim, Jaehoon Choi. Optimal design of PML absorbing boundary condition for improving wide-angle reflection performance // Electronics Lett. 2004. - Vol. 40, no. 2. - Pp. 104-106.

81. S.C. Winton, C.M. Rappaport. Specifying PML conductivities by considering numerical reflection dependencies // IEEE Trans, on Ant. and Propagat. — 2000.- Vol. 48, no. 7.- Pp. 1055-1063.

82. Jinyuan Fang, Zhonghua Wu. Closed-form expression of numerical reflection coefficient at PML interfaces and optimization of PML performance // IEEE Microw. Guid Wave Lett. 1996. - Vol. 6, no. 9. - Pp. 332-334.

83. Левченко Д.Г., Левченко В.Д., Закиров А.В. Динамическое полноволновое моделирование распространения штормовых микросейсм в океанической среде // Океанология. — 2011. — Т. 51, № 4. — С. 723-733.

84. Левченко Д.Г., Левченко В.Д., Закиров A.B. Динамическое моделирование распространения низкочастотных сейсмоакустических полей в океанической среде // Доклады Академии наук. — 2010.— Т. 435, № 4.— С. 544-547.

85. Левченко В.Д., Змиевская Г.И., Бондарева А.Л., Закиров A.B. Моделирование задач нанофотоники и получения нанопленок: кинетический код LRnLA/nano // Прикладная физика. — 2012. — №3. — С. 9-18.

86. Закиров A.B., Левченко В.Д. Эффективный алгоритм для трехмерного моделирования распространения электромагнитных волн в фотонных кристаллах // Препринт / ИПМ. — 2008. — № 21. — С. 20.

87. Закиров A.B., Левченко В.Д. Реализация высокоэффективного кода для трехмерного моделирования эволюции электромагнитного поля в актуальных задачах электродинамики // Препринт / ИПМ. — 2009. — № 28. С. 20.

88. Zakirov A.V., Levchenko V.D. The Effective 3D Modeling of Electromagnetic Waves' Evolution in Photonic Crystals and Metamaterials // PIERS Proceedings, Moscow, Russia. — 2009.— Pp. 580-584.

89. Закиров A.В., Левченко В.Д. Трехмерное моделирование эволюции во времени электромагнитного поля в актуальных задачах нанооптики // Сборник трудов конференции «Фундаментальные Проблемы Оптики» / ИТМО С.-Петербург, 2010. - С. 424.

90. Дж. Э. Уайт. Возбуждение и распространение сейсмических волн. — Москва: Недра, 1986. С. 263.

91. Masahiro Sato. Finite-Difference Time-Domain Numerical Analysis of Elastic Wave Fields Using both Elastic and Velocity Potential Variables // Jpn. J. Appl. Phys. — 2006. — Vol. 45, no. 5B.- Pp. 4453-4461.

92. A. R. Levander. Fourth-order finite-difference P-SV seismograms // Geophysics. — 1988. — Vol. 53, no. 11.- Pp. 1425-1436.

93. Дж. Слэтер. Диэлектрики, Полупроводники, Металлы. — Москва: Мир, 1969.

94. Т. О. Korner, W. Fichtner. Auxiliary differential equation: efficient implementation in the finite-difference time-domain method // Opt. Lett. — 1997. Vol. 22, no. 21. - Pp. 1586-1588.

95. A. Deinega, J. Sajeev. Effective optical response of silicon to sunlight in the finite-difference time-domain method // Opt. Lett. — 2012. — Vol. 37, no. 1.- Pp. 112-114.

96. В. Г. Веселаго. Электродинамика веществ с одновременно отрицательными значениями ей//// УФН. 1967. - Т. 92, № 7. - С. 517.

97. К. R. Umashankar, A. Taflove. A novel method to analyze electromagnetic scattering of complex objects // IEEE Trans, on Electromagnetic Compatibility. 1982. - Vol. 24, no. 4. - Pp. 397-405.

98. Matteo Frigo, Volker Strumpen. The memory behavior of cache oblivious stencil computations // The Journal of Supercomputing. — 2007. — Vol. 39, no. 2.- Pp. 93-112.

99. G. M. Morton. A computer Oriented Geodetic Data Base and a New Technique in File Sequencing: Tech. rep. — Ottawa, Canada: IBM Ltd., 1966.

100. Christoph Lameter. Local and Remote Memory: Memory in a Linux/NUMA System. — 2006.—June 20th. http://de.rpmfind.net/pub/mirror/ftp. kernel.org/people/christoph/pmig/numamemory.pdf.

101. Страуструп Б. Язык программирования С++. — Москва: Бином, 2011.- С. 1136.

102. Г. Россум, Ф.Л.Дж. Дрейк, Откидан Д. С. Язык программирования Python.-2001.-С. 454.

103. AMD. Performance Guidelines for AMD Athlon 64 and AMD Opteron ccNUMA Multiprocessor Systems. Application Note 40555. — 2006. — June, http://support.amd.com/us/ProcessorTechDocs/40555.pdf.

104. Intel.— Intel 64 and IA-32 Architectures Developer's Manual, 2012.— August.

105. F. Sturm. Numerical study of broadband sound pulse propagation in three dimensional oceanic waveguides // J AS A. — 2005.— Vol. 117, no. 3.— Pp. 1058-1079.

106. T. W. Yudichak, G. S. Royal, D. P. Knobles et al. Broadband modeling of downslope propagation in a penetrable wedge / / J ASA. — 2006. — Vol. 119, no. 1. Pp. 143-152.

107. Левченко Д. Г. Регистрация широкополосных сейсмических сигналов и возможных предвестников сильных землетрясений на морском дне. — Москва: Научный мир, 2005. — С. 240.

108. ИЗ. Webb S. С. The equilibrium oceanic microseism spectrum // JASA.— 1992.- Vol. 92, no. 4.- Pp. 2141-2157.

109. И. Толстой, К. С. Клей. Акустика океана. — М.: Мир, 1969. — С. 300.

110. F. Press, М. Ewing. A theory of microseisms with geologic applications // Trans. Am. Geoph. Un. 1948. - Vol. 29, no. 3. - Pp. 163-174.

111. JI. Д. Ландау, E. M. Лифшиц. Теоретическая физика. Теория упругости. М.: Наука, 1987. - С. 245.

112. Л. Д. Ландау, Е. М. Лифшиц. Теоретическая физика. Гидродинамика. — М.: Наука, 1988.-С. 720.

113. А. Е. Ляв. Математическая теория упругости. — M.-JL: ОНТИ, 1935.— С. 674.

114. Справочник геофизика. — М.: Недра, 1966. — Т. 4. — С. 750.

115. Hans Petter Langtangen. Python Scripting for Computational Science.— Springer, 2008. P. 750.

116. Stefan Behnel, Robert Bradshaw, Craig Citro et al. Cython: The Best of Both Worlds // Computing in Science and Engineering. — 2011. — Vol. 13, no. 2. Pp. 31-39.

117. Ludwig Hahne. — Empirical Comparison of SCons and GNU Make.— Technical University Dresden, 2008. —August 21. http: //www. genode-labs. com/publicat ions/scons-vs-make-2008.pdf.