автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Вихреразрешающее моделирование турбулентных течений и переноса примеси в уличных каньонах с использованием многопроцессорных вычислительных систем

На правах рукописи

Данилкин Евгений Александрович

Вихрсразрсшающее моделирование турбулентных течений и переноса примеси в уличных каньонах с использованием многопроцессорных вычислительных систем

05.13.18 - Математическое моделирование, численные методы и комплексы программ

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

1 7 ИЮН 2010

Томск-2010

004604132

Работа выполнена на кафедре вычислительной математики и компьютерного моделирования ГОУ ВПО «Томский государственный университет»

Научный руководитель:

доктор физико-математических наук, профессор

Старченко Александр Васильевич

Официальные оппоненты:

доктор физико-математических наук, профессор

Бубенчиков Алексей Михайлович

доктор физико-математических наук, старший научный сотрудник Тимченко Сергей Викторович

Ведущая организация:

Институт вычислительной математики РАН, г. Москва

Защита состоится 24 июня 2010 г. в 12:00 на заседании диссертационного совета Д 212.267.08 при ГОУ ВПО «Томский государственный университет» по адресу: 634050, г. Томск, пр. Ленина, 36, 2-й учебный корпус, ауд. 102.

С диссертацией можно ознакомиться в Научной библиотеке ГОУ ВПО «Томский государственный университет» по адресу: 634050, г. Томск, пр. Ленина, 34а.

Автореферат разослан 21 мая 2010 г.

Ученый секретарь диссертационного совета, доктор технических наук, профессор

А.В. Скворцов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В настоящее время более половины населения Земного шара проживает на урбанизированных территориях, причем количество городов-миллионников неуклонно растет. Такая ситуация приводит к появлению целого ряда экологических проблем, некоторые из них связаны с качеством атмосферного воздуха. Для понимания аэродинамических процессов, происходящих в городской застройке вблизи линейных (автомобильных дорог) и точечных источников, и для решения проблем охраны окружающей среды наряду с приборным контролем состава атмосферного воздуха активно применяются методы математического моделирования, которые позволяют численно предсказывать детальную картину распределения концентраций газовых составляющих, загрязняющих атмосферный воздух, на основе решения сложной системы многомерных нестационарных уравнений. Особо важную роль в распространении примеси между зданиями играет турбулентность, поскольку скорость движения воздуха в городской застройке относительно невелика.

На современном этапе развития теории турбулентности моделирование турбулентных течений в окружающей среде осуществляется, в основном, с использованием осредненных по Рейнольдсу уравнений Навье-Стокса и переноса (RANS-подход), для которых требуется решить проблему замыкания путем привлечения полуэмпирических моделей различного уровня сложности. Несмотря на то, что этот подход позволяет получить успешные результаты для целого ряда турбулентных течений (А.Ф. Курбатский, А. С. Гиневский, Г.С. Глушко, В.М. Иевлев, В.Е. Launder, W. Rodi и др.), тем не менее, он дает низкую точность при описании нестационарных турбулентных течений вблизи плохообтекаемых тел. Это объясняется определенными физическими особенностями отрывных течений, а именно, наличием в них организованных нестационарных вихревых структур, параметры которых определяются геометрическими характеристиками рассматриваемого течения и граничными условиями.

В таких случаях метод моделирования крупных вихрей (LES-подход) оказывается более предпочтительным, так как он хорошо предсказывает нестационарную структуру турбулентного течения и позволяет явно разрешать крупные вихри вплоть до размера ячейки расчетной сетки, а вихри меньшего масштаба моделируются с помощью различных подсеточных моделей. Вихреразрешаю-щему моделированию турбулентных течений посвящены работы О.М. Бело-церковского, A.M. Липанова, Ю.Ф. Кисарова, Ю.И. Хлопкова, A.B. Глазунова, К.Н. Волкова, J.W. Deardorff, W. Rodi, P. Moin, M. Germano, D.K. Lilly, S. Ghosal и др., однако широкое применение LES-подхода для исследования течений в окружающей среде сдерживается высокими требованиями к их численной реализации. Вихреразрешающее моделирование, в том числе и в элементах городской застройки, нуждается в численных схемах высокого порядка аппроксимации и высокопроизводительных вычислительных алгоритмах, подразумевающих использование многопроцессорной вычислительной техники для получения результатов моделирования за приемлемое время.

Целью диссертационной работы является построение вихреразрешаю-щей модели турбулентных течений и переноса примеси в уличных каньонах и

численного метода ее решения на многопроцессорных вычислительных системах с распределенной памятью.

Для достижения данной цели поставлены и решены следующие основные задачи:

1. Построение вихреразрешающей модели турбулентных течений и переноса примеси в уличных каньонах.

2. Разработка и апробация адаптированного на многопроцессорную вычислительную технику с распределенной памятью численного метода решения уравнений Навье-Стокса, описывающих движение несжимаемой среды, и ад-веюгивно-диффузионных уравнений, представляющих перенос примеси.

3. Численное исследование влияния соотношения ширины и высоты уличного каньона, расположения источника примеси и скорости потока воздуха на структуру течения и распространение концентрации примеси.

Научная новизна полученных автором результатов заключается в следующем:

1. Построена и впервые применена для исследования турбулентных отрывных течений и переноса пассивной газообразной примеси в городской застройке нестационарная трехмерная вихреразрешающая модель, учитывающая влияние плохообтекаемых препятствий и их шероховатости на поведение потока и распределение концентрации примеси.

2. На задачах турбулентного течения в канале и обтекания цилиндра квадратного сечения на основе вычислительного эксперимента впервые показано, что для корректного расчета параметров потока и его турбулентной структуры с помощью используемой вихреразрешающей модели, опирающейся на явные разностные схемы второго порядка аппроксимации в сочетании с динамической подсеточной моделью, лучшие результаты показывает применение противопотоковой схемы QUICK Леонарда для аппроксимации конвективных членов по сравнению с центрально-разностными схемами или противопотоковой схемой MLU.

3. На основе вычислительных экспериментов, проведенных на многопроцессорной вычислительной системе с распределенной памятью для рассматриваемых в работе задач, впервые показано, что необходимая для получения результатов за приемлемое время параллельная реализация вихреразрешающей модели турбулентности должна использовать двумерную геометрическую декомпозицию сеточной области исследования, а также параллельный алгоритм сопряженных градиентов в сочетании с предобуславливанием по методу Зейде-ля с красно-черным упорядочиванием для решения разностного эллиптического уравнения для поправки давления.

4. Впервые с использованием вихреразрешающей модели турбулентности проведено исследование влияние соотношения ширины и высоты уличного каньона, расположения источника примеси и скорости потока воздуха на структуру течения и распространение концентрации примеси. Выявлено существование трех режимов циркуляции воздуха внутри каньона в зависимости от его геометрических параметров.

Теоретическая значимость диссертационного исследования состоит в развитии теории турбулентности в части вихреразрешающего моделирования турбулентных течений и переноса примеси в окружающей среде. Это открывает перспективы в применении вихреразрешающего моделирования для решения фундаментальных экологических проблем, связанных с качеством атмосферного воздуха.

Практическая значимость работы определяется тем, что разработанные и апробированные в рамках диссертационной работы методы, могут быть применены для ускорения расчетов при численном моделировании реальных турбулентных течений. Предложенная и реализованная для многопроцессорной вычислительной техники математическая модель позволяет рассчитывать структуру турбулентного течения воздушных масс и предсказывать зоны превышения предельно допустимых концентраций примеси для конкретных участков городской застройки.

Работа выполнялась в соответствии с основными направлениями НИР Томского государственного университета в рамках темы 1.12.06 ЕЗН Министерства образования РФ, а также по научным проектам, поддержанным грантами РФФИ (№ 09-05-01126, № 08-05-90711-моб_ст) и программой СКИФ-ГРИД (№ 2007-СГ-04/3, № 2009-СГ-04/5).

Материалы проведенных исследований включены в программу специального курса лекций, читаемого на механико-математическом факультете ТГУ.

Достоверность и обоснованность научных положений и выводов, сделанных в диссертационной работе, основана на корректном применении фундаментальных уравнений механики сплошных сред и следует из адекватности физических и математических моделей и численных методов, используемых в работе, что подтверждается сравнением с результатами экспериментов, а также с известными теоретическими данными других авторов.

На защиту выносятся:

1. Вихреразрешающая модель для исследования турбулентных течений и переноса примеси в уличных каньонах.

2. Численный метод решения системы уравнений Навье-Стокса для несжимаемой среды и его параллельная реализация на многопроцессорной вычислительной системе с распределенной памятью.

3. Результаты исследования эффективности и масштабируемости разработанных параллельных численных алгоритмов. Предложенные и обоснованные способы декомпозиции расчетной области при численном решении систем дифференциальных уравнений на многопроцессорной вычислительной технике с распределенной памятью.

4. Результаты математического моделирования турбулентных течений и переноса примеси в уличных каньонах.

Личный вклад автора: Данилкин Е.А. под руководством профессора Старченко A.B. построил математическую модель турбулентного течения. Разработал эффективную параллельную реализацию численного решения уравнений Навье-Стокса, описывающих движение несжимаемой среды. Осуществил сравнение различных способов декомпозиции расчетной области по вычисли-

тельным узлам и выявил наиболее эффективный из них с точки зрения минимизации вычислительных затрат без потери в масштабируемости решаемой задачи. Построил параллельные алгоритмы реализующие рассматриваемые методы решения систем линейных алгебраических уравнений, определив особенности этих методов и возможность их применения для решаемой задачи. Осуществил тестирование модели турбулентности и переноса примеси.

Основные результаты диссертации доложены соискателем на 5-ти международных, 3-х всероссийских и 3-х региональных научных и научно-практических конференциях в Санкт-Петербурге, Казани, Новороссийске, Новосибирске, Красноярске, Томске и полностью представлены в 8 опубликованных работах, в том числе в 1 статье в издании из списка ВАК.

Структура и объем диссертации. Диссертационная работа состоит из введения, пяти глав и заключения; общий объем работы - 138 страницы; работа содержит 7 таблиц и 45 рисунков; список цитируемой литературы включает 112 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, сформулированы основные цели и задачи. Подчеркнута научная новизна и практическая значимость работы. Перечислены положения, выносимые на защиту, дано краткое изложение содержания диссертационной работы по главам.

В первой главе кратко описана структура развитого турбулентного течения, дано обоснование использования метода крупных вихрей в теории турбулентности. Рассматриваются основные подходы к моделированию турбулентных течений и особенности, связанные с их реализацией. На основе литературных источников приводятся характерные черты вихреразрешающего моделирования, оказывающие существенное влияние на результаты моделирования (например, порядок аппроксимации конвективных слагаемых и выбор схемы аппроксимации), а также описываются используемые в расчетах подсеточные модели и приводится их иерархическая структура. Представлена процедура построения динамической модели. С математической и физической точек зрения описаны трудности задания граничных условий при использовании вихреразрешающего моделирования турбулентности. Уделено внимание применению современной высокопроизводительной вычислительной техники в реализации математических моделей. В заключительной части главы формулируются основные требования, предъявляемые к современным математическим моделям, реализующим вихреразрешающее моделирование турбулентности.

Вторая глава представляет математическую формулировку задачи турбулентного течения несжимаемой среды вокруг плохообтекаемых тел, которая была поставлена на основе предварительного обзора литературных источников с обоснованием предпочтительности того или иного подхода.

Математическая модель трехмерного нестационарного турбулентного движения несжимаемой среды включает в себя отфильтрованные уравнения Навье-Стокса:

ди, о«,» <3/ дх,

1 ор д

:---—+V-

дх.

Р ох,

ш,

дх,

дт^ дх

-, « = 1,2,3,

дх.

= 0.

(1)

(2)

Здесь м, - отфильтрованные проекции мгновенного вектора скорости на оси координат Ох,; р - мгновенное значение давления; V - кинематическая вязкость; р - плотность; тч - тензор подсеточных напряжений. По повторяющемуся индексу у проводится суммирование.

Отфильтрованное транспортное уравнение имеет вид:

дС Ш,С

дгС дд.

at

+ —— = ---^ + 5,

дх.

dxjdxj

дх,

(3)

где С - концентрация или температура, 5 - функция, описывающая распределение источников, а - коэффициент диффузии, - подсеточный поток массы

или тепла.

Из-за наличия в системе уравнений (1)-(3) слагаемых ти и '¡] она является

незамкнутой, для ее замыкания использовалась одна из двух подсеточных моделей:

1. Модель Смагоринского1 с постоянным коэффициентом С] :

К

дй, ди л

—L +—=

dXj дх,

(4)

где Vт - турбулентная вязкость. Турбулентная вязкость определяется средним значением скорости диссипации энергии турбулентности, приходящейся на единицу объема, и масштабом подсеточных вихрей:

(5)

где С! - постоянная Смагоринского, Дг = А - шаг сетки модели, = -

s

норма тензора скорости деформации, Stj = ^

дй, ди Л +—

дх. дх. 1 '

2. Динамическая модель (Dinamic Model, DM), в которой коэффициент Смагоринского С, подбирается исходя из анализа информации, содержащейся в разрешимых масштабах дв!1жения, и является величиной зависящей от пространственных координат и времени. Подробно динамическая модель описана в первой главе, в третьей главе представлена ее численная реализация.

' Smagorinsky J. General circulation experiments with the primitive equations // Monthly Weather Review. 1963. Vol. 91, №. 3. P. 99-165.

2 Germano M., Piomelli U., Moin P., Cabot W.H. A dynamic subgrid-scale eddy viscosity model // Phys. Fluids. A. 1991. Vol. 3. P. 1760-1765.

В третьей главе приведена процедура численного решения поставленной задачи. На примере нестационарного трехмерного уравнения переноса показано, как происходит дискретизация исходной дифференциальной задачи и получение конечно-разностного аналога. Для аппроксимации использовался метод конечного объема. Основная идея этого метода заключается в разбиении расчетной области на непересекающиеся, граничащие друг с другом конечные объемы так, чтобы один узел расчетной сетки содержался только в своем конечном объеме. Значения компонент скорости определяются на гранях конечных объёмов, а скалярные характеристики - в центре. После разбиения расчетной области описанным способом, уравнение переноса интегрировалось по каждому конечному объему. При вычислении интегралов применялась кусочно-полиномиальная интерполяция для зависимых величин. Аппроксимация конвективных членов уравнения переноса выполнялась с использованием одной из четырех схем: противопотоковой схемы MLU Ван Лира3, схемы Леонарда QUICK4, центрально-разностных схем второго или четвертого порядка. Для решения уравнений движения применялась явная схема по времени (Адамса-Бэшфорда). В результате получена разностная схема второго порядка аппроксимации по времени и пространству, являющаяся условно устойчивой.

В гидродинамической части модели для согласования нолей скорости и давления использовалась схема предиктор-корректор, в соответствии которой явная схема Адамса-Бэшфорда для уравнения движения выполняла функцию предиктора, а коррекция поля скорости выполнялась на основе решения уравнение Пуассона для поправок давления. Рассмотрено несколько способов решения системы линейных алгебраических уравнений для отыскания поправок давления: метод Зейделя, метод сопряженных градиентов (CG), метод бисоп-ряженных градиентов со стабилизирующими коэффициентами (BiCGStab) и явный метод Булеева. Произведен выбор оптимального как с точки зрения минимизации количества итераций, требуемых для его сходимости, и времени на вычисления, так и с точки зрения возможности масштабирования распараллеленного метода на большое количество вычислительных узлов и эффективности его параллельной реализации. Описано использование предобуславливате-лей для улучшения сходимости методов сопряженных направлений, разработанных на основе метода Зейделя с красно-черным упорядочиванием или метода неполной факторизации Булеева.

Проведено тестирование полученного численного алгоритма решения уравнений Навье-Стокса на задаче исследования ламинарного течения в плоском канале при низких числах Рейнольдса. Результаты показали хороший уровень соответствия данных численного моделирования и приближенного аналитического решения5 для рассматриваемой задачи (рисунок 1). В заключение

3 Van Leer В. Towards the ultimate conervalive difference scheme. II. Monotonicity and conservation combined in a second order scheme // J. of Computational Physics. 1974. Vol. 14. P. 361-370.

4 Leonard B. A Stable and Accurate Convective Modeling Procedure Based on Quadratic Upstream Interpolation // Computer Methods in Applied Mechanics and Engineering. 1979. Vol. 19. P. 59-98.

5 Жукаускас A.A. Конвективный перенос в геплолриемниках. М., 1982. 472 с.

Аналитическое решение Численное решение

представлена численная реализация динамической процедуры вычисления турбулентной вязкости.

При расчёте течений в областях сложной геометрии в данной работе использовался метод фиктивных областей, суть которого заключается в том, что значения векторных и скалярных величин в области преграды равны нулю и на границах фиктивных конечных объемов отсутствуют диффузионные потоки.

Рисунок 1 - Распределение осевой скорости ламинарного течения в начальном участке плоского канала

Четвертая глава посвящена описанию технологии организации параллельных расчетов, рассматриваются вопросы распределения вычислительной нагрузки между процессорами. В качестве основного подхода распараллеливания выбрана геометрическая декомпозиция сеточной области. В рассматриваемом случае возможны три различных способа разделения значений сеточной функции по вычислительным узлам - одномерная или ленточная схема, двухмерное или блочное разбиение или трехмерное разбиение узлов вычислительной сетки.

На этапе декомпозиции, когда производится разделение данных на блоки для построения параллельного алгоритма, каждому процессорному элементу вместе с выделенной сеточной подобластью распределялись все значения сеточной функции, принадлежащие этой подобласти. На этане планирования коммуникаций, когда устанавливаются связи между блоками, расчеты в которых выполняются параллельно, из-за используемого шаблона явной разностной схемы для вычисления очередного приближения в приграничных узлах каждой подобласти потребовались значения сеточной функции с соседнего граничащего процессорного элемента. Для этого на каждом процессорном элементе создавались фиктивные ячейки для хранения данных с соседнего процессорного элемента и организовывались пересылки этих граничных значений, необходимых для обеспечения однородности вычислений.

Сравнение различных способов распараллеливания рассматриваемого явного алгоритма решения нестационарных уравнений Навье-Стокса с целью отыскания оптимального с точки зрения минимизации затрат на пересылку данных было проведено на примере одного адвективно-диффузионного уравнения.

Предварительный теоретический анализ эффективности различных способов декомпозиции расчетной области для рассматриваемого случая показал, что при использовании более 11 процессорных элементов для вычислений в случае ЗО-декомпозиции потребуется пересылать между процессорными элементами меньшее количество сеточных значений функции, и, как следствие, можно ожидать, что в этом случае затрачиваемое на пересылку время будет

минимально. Несмотря на это, вычислительные эксперименты (проведенные на кластере СКИФ СуЬепа) позволили установить, что при числе используемых процессорных элементов до 255 лучших результатов можно достичь, используя 20 декомпозицию за счет сохранения последовательного доступа к данным в оперативной памяти.

Рисунок 2 - Ускорение для различных способов декомпозиции расчетной области: слева - до оптимизации, справа - после оптимизации

Анализ полученных результатов показал, что при написании параллельных программ целесообразно использовать «динамические» массивы с подстраиваемыми под выделенное число процессорных элементов размерами. В этом случае прирост производительности для 20-декомпозиции составил 6-8 %, а для ЗБ-декомпозиции около 14 % (рисунок 2).

Также представлены особенности параллельной реализации методов, выбранных для решения системы линейных алгебраических уравнений разностной задачи для определения поправки давления, и описываются результаты, полученные при сравнении этих методов. Сравнение осуществлялось на примере численного решения эллиптического уравнения в единичном кубе с граничными условиями Дирихле на одной границе (*, =1) и условиями Неймана на остальных границах.

Результаты сравнения показали, что для задач большой размерности только метод Зейделя с красно-черным упорядочиванием при распараллеливании целиком повторяет процесс сходимости последовательного алгоритма, что выражается в сохранении количества итераций, требующихся для сходимости метода, вне зависимости от числа использованных процессорных элементов и способа декомпозиции. Важно отметить, что рассматриваемая реализация алгоритма очень хорошо масштабируется на любое разумное количество вычислительных узлов.

Параллельная реализация методов сопряженных и бисопряженных градиентов теоретически также не нарушает процесс сходимости последовательного алгоритма. Но на практике обнаружено, что количество итераций случайным образом меняется при различных способах декомпозиции. Численные эксперименты показали, что это является следствием некоммутативности в случае машинной арифметики вычисления суммы большего количества слагаемых (сбор частичных сумм скалярного произведения). Заметим, что сам итерационный

процесс в конце концов сходится, при этом лишь незначительно меняется получение последовательности приближений к решению.

Параллельный алгоритм метода Булеева для поставленной задачи работает корректно в том случае, если не используется разбиение области но оси Ох, и тем самым допускает использование лишь Ш и 20декомпозиции.

Таблица 1 - Время счета на разном количестве процессорных элементов

Метод \ Число процессорных элементов 1 9 25 64 144 225

Метод Зейделя 51756 15153 6054 2134 633 630

Метод Булева 60000 12393 5251 2539 1686 1567

Метод Сй 483 136 41 12 3,9 3,6

Метод Сй с нред-см методом Зейделя 212 59 21 5,3 1,74 1,35

Метод ШСОХшЬ с пред-ем методом Булева 152 47 20 - - -

Метод ВКХ^аЬ с пред-см методом Зейделя 125 41 14,4 3,5 1,38 1,3

В таблице 1 приведено время в секундах (для 2Г)-декомпозиции и разностной сетки 120x120x120), требующееся для сходимости рассматриваемых методов к решению с заданной точностью (вычисления выполнялись с точностью 10 % контроль сходимости метода выполнялся по норме ошибки и невязки) и показано, что методы сопряженных направлений на два порядка более эффективны при решении предложенной для тестирования задачи.

Методы Зейделя с красно-черным упорядочиванием и Булеева сходятся к решению более равномерно, но требуют значительного количества итераций: 306117 - метод Булеева и 421458 - метод Зейделя. Метод сопряженных градиентов также сходится равномерно и монотонно, ко за меньшее количество итераций 3683. Сходимость предобусловленных методов не является монотонной, но количество итераций сокращается на несколько порядков, так предобуслав-ленные методом Зейделя методы СС и В1Св81аЬ сходятся за 217 и 100 итераций соответственно. Метод В1СС$1аЬ с предобуславливанием по Булееву сходится за 271 итераций при расчете на одном процессорном элементе. Также отмечается, что количество итераций для сходимости метода Булеева увеличивается на 35 % при увеличении количества процессорных элементов до 225.

На основе полученных результатов для методов решения систем линейных алгебраических уравнений сделан вывод, что более эффективными с точки зрения ускорения и скорости сходимости являются методы сопряженных направлений. При этом выбор используемого метода должен определяться поставленной задачей. Так наиболее предпочтительным вариантом для рассматриваемой во второй главе задачи является метод сопряженных градиентов с предобуславливанием методом Зейделя с красно-черным упорядочиванием.

Также отмечается, что метод Зейделя с красно-черным упорядочиванием может быть использован для решения системы уравнений для поправок давления, при этом данный метод является наиболее надежным с точки зрения оценки влияния количества используемых процессорных элементов и сложности рассматриваемой задачи на результаты расчетов.

Таблица 2 - Время счета (20-декомпозиция) для случая моделирования ламинарного течения в канале на сетке 120x120x30

Число процессов 1 4 16 25 64 100

Время счета 464 280 34 13 10 9

В таблице 2 представлено время работы (в секундах) параллельной программы для различного количества процессорных элементов используемых при решении уравнений Навье-Стокса для ламинарного течения в канале (30 шагов по времени).

В пятой главе приводятся результаты тестирования построенной вихре-разрешающей модели на следующих задачах: течение в канале, обтекание цилиндра квадратного сечения. Результаты моделирования течения жидкости в канале при турбулентном числе Рейнольдса Я.ег =180 (Кег = и,к!у, и. - динамическая скорость, А - полуширина канала) с использованием динамической модели вихревой вязкости показали хорошее согласование с экспериментальными данными6 и данным прямого численного моделирования7 (рисунок 3).

1 10 100 V

Рисунок 3 - Профиль осредненной по времени продольной компоненты скорости

Для случая обтекания цилиндра квадратного сечения выбор области исследования и значение числа Рейнольдса Re = UlnD/v соответствовали эксперименту8. Для расчетов использовалась сетка Nx^ Nx2x l\f;с3 =132x126x42. Движение жидкости поддерживалось за счет задания постоянной скорости на входной границе. В качестве начальных данных использовались постоянные значения скорости щ - Um = 0.55 м/с, и2 = й3 = 0. Расчеты (и осреднение величин) проводились в течение двенадцати периодов отрыва вихря после времени инициализации, равного 50 D!UU, D - диаметр цилиндра.

6 Niederschulte М.Л., Adrian R.J., Hanratty T.J. Measurements of turbulent flow in a channel at low Reynolds numbers // Experiments in Fluids. 1990. Vol. 9. P. 222-230.

' Kim J., Moin P., Moser R. Turbulence statistics in fully developed channel flow at low Reynolds number//Journal of Fluid Mechanics. 1987. Vol. 177. P. 133-166.

' A laser-Doppler velocimetry study of ensemble averaged characteristics of the turbulent near wake of a square cylinder / D. Lyn [et al.] // J. Fluid Mech. 1995. Vol. 304. P. 285-319.

Эксперимент использовался для апробации построенной модели турбулентности. Показано, что набегающий ламинарный поток рассеивается на наветренной стороне цилиндра, а с боковых поверхностей отрываются вихри. Экспериментально установленная частота отрыва вихрей / соответствует значению безразмерного числа Струхаля Л7; = /1)/1/т = 0.13. Такое же значение частоты отрыва вихрей получено численно в результате расчетов. Вычислительный эксперимент обтекания цилиндра квадратного сечения показал хороший уровень согласования с экспериментальными данными. Профиль компоненты скорости (й,), осредненной по пространству и времени, хорошо соответствует данным измерений. На рисунке 4 представлены результаты расчетов изменения осредненной по времени продольной скорости потока и турбулентные

напряжения для пульсаций скорости (ги2^ вдоль оси, ориентированной но потоку и проходящей через середину поперечной плоскости расчетной области. Для моделирования подсеточных масштабов использовались модель Смагорин-ского или динамическое замыкание Гсрмано.

-4048 024 6

xJD xJD

Рисунок 4 - Сравнение профиля средней скорости (и,) при использовании различных подсеточных моделей и схем аппроксимации конвективных слагаемых - (слева), турбулентные напряжения для пульсаций скорости (^i^j ~~ (справа), ( ) - осреднение по времени

Сравнение результатов (рисунок 4) показывает, что схема MLU Ван Лира вносит свой вклад в подсеточное моделирование и позволяет достичь довольно точного согласования результатов численного эксперимента с измерениями для средних характеристик потока при использовании замыкания Смагоринского с постоянным коэффициентом С, =0,13. Однако лучшие результаты получаются при использовании направленной схемы QUICK для аппроксимации конвективных слагаемых в сочетании с динамическим замыканием для подсеточного моделирования (с осреднением вдоль однородных направлений).

Входное те1 и„= 5 м/с

¡п

Просгь услови

20 м

Условия скольжения или периодичности

50 м

Рисунок 5 - Расчетная область для случая уличного каньона

На основе построенной математической модели турбулентного течения несжимаемой среды для трехмерной модели уличного каньона проведен ряд расчетов. В поперечном направлении использовались условия скольжения или периодичности. В обоих случаях необходимо иметь определенное количество точек, для того, чтобы длина области в поперечном направлении была больше чем размер самого большого вихря в каньоне. Периодические граничные условия задавались в продольном направлении с целью имитировать бесконечную серию каньонов. Расчеты проводились на сетке 182x54x180. Источник поступления примеси постоянной интенсивности располагался вблизи поверхности на высоте = 0,125 м. Расчеты (и осреднение величин) проводились в течение 240 с после времени инициализации, равного 200 с и определяемого по аналогии с примером обтекания цилиндра 50НШш, Н - высота каньона.

Результаты расчетов показывают, что максимальные концентрации примеси наблюдаются у подветренной стороны каньона и вблизи источников примеси (рисунок 6). При перемещении источника примеси к наветренной стороне возрастают максимальные концентрации примеси. Это обусловлено увеличением расстояния, которое преодолевает примесь до выхода за пределы уличного каньона, так как с увеличением этого расстояния возрастает степень рассеяния примеси за счет турбулентной диффузии. С другой стороны, когда источник примеси располагается у подветренной стороны уличного каньона, примесь рассевается менее интенсивно и в большей степени выносится потоком из уличного каньона.

На основе численных экспериментов показано, что увеличение скорости основного потока способствует более интенсивному выносу примеси из уличного каньона. Также показано, как геометрические параметры уличного каньона влияют на вид течения и уровень загрязнения. Так, в случае уменьшения высоты уличного каньона // или увеличения ширины IV до соотношения

Н /IV = 0,5 центр основного вихря смещается к наветренному заданию и растягивается во всю длину канала (рисунок 6). Это приводит к уменьшению скорости вращательного движения воздушных масс у подветренной стороны каньона и как следствие, примесь менее интенсивно выносится из каньона и возрастают локальные значения концентрации примеси. Дальнейшее увеличение расстояния между зданиями Я/И7 = 0,125 приводит к образованию двух рециркуляционных зон: большой вихрь у подветренной стороны и малый у наветренной.

Рисунок 6 - Векторное поле скорости, изолинии концентрации примеси, осредненной вдоль оси Ох2, 111п =5 м/с; источник примеси в точке (х, = 30м, хг = 15 м,х3 = 0.125 м)

Проведено исследование турбулентного движения воздушных масс и распределения выбросов от автотранспорта для участка городской застройки для случая, описанного в работе9 где моделирование турбулентного течения в области городской застройки осуществлялось на основе RANS-подхода. Показано, что разработанная модель также фиксирует максимумы концентрации примеси вдоль дорог и за высотными зданиями вниз по потоку и дает более точную и подробную информацию о структуре турбулентного течения для исследуемой области.

В заключении сформулированы основные выводы по результатам диссертационного исследования.

9 Нутерман Р.Б., Бакланов A.A., Старченко A.B.Моделирование аэродинамики и распространения выбросов от автотранспорта в городском подслое // Математическое моделирование. 2010. Т. 22, №4. С. 3-22.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Данилкии Е.А. Параллельная реализация численного метода решения системы уравнений Навье-Стокса при моделировании крупных вихрей турбулентных течений / Е.А. Данилкин, A.B. Старченко // Вестник Новосибирского государственного университета. Сер. Информационные технологии. -2009. - Т. 7, № 2. - С. 49-61.

2. Данилкин Е.А. Моделирование турбулентных течений за плохообтекае-мыми телами с использованием многопроцессорной вычислительной техники / Е.А. Данилкин // Научный сервис в сети Интернет: масштабируемость, параллельность, эффективность : труды Всероссийской суперкомпьютерной конференции. - М.: Изд-во МГУ, 2009. - С. 192-201.

3. Данилкин Е.А. Моделирование турбулентных течений и теплообмена за плохообтекаемыми телами с использованием метода крупных вихрей / Е.А. Данилкин, A.B. Старченко // Теплофизические основы энергетических технологий. - Томск: Изд-во Том. политех, ун-та. 2009. - С. 60-68.

4. Данилкин Е.А. К вопросу об эффективности ЗО-декомпозиции при численном решении уравнения переноса с использованием МВС с распределенной памятью / Е.А. Данилкин // Вестник ТГУ. Механика и математика. - 2008. -№ 2 (3). - С. 39^16.

5. Данилкин Е.А. Вихреразрешающее моделирование турбулентности с использованием многопроцессорных вычислительных систем с распределенной памятью / Е.А. Данилкин, A.B. Старченко // Телематика 2008 : труды XV Всероссийской научно-методической конференции. - СПб., 2008. - С. 118.

6. Данилкин Е.А. Сравнение различных способов декомпозиции сеточной области при численном решении уравнения переноса / Е.А. Данилкин, A.B. Старченко // Высокопроизводительные параллельные вычисления на кластерных системах : труды 8-й Международной конференции. - Казань : Изд-во КГТУ, 2008. - С. 300-305.

7. Данилкин Е.А. Численное решение систем связанных нелинейных дифференциальных уравнений на многопроцессорной технике с распределенной памятью / Е.А. Данилкин, A.B. Старченко // Материалы XV международной конференции по вычислительной механике и современным прикладным программным системам. - М.: Вузовская книга, 2007. - С. 201-203.

8. Данилкин Е.А. К выбору способа декомпозиции при численном решении систем связанных дифференциальных уравнений на многопроцессорной технике с распределенной памятью / Е.А. Данилкин, A.B. Старченко // Третья Сибирская школа-семинар по параллельным вычислениям. - Томск : Изд-во Том. гос. ун-та, 2006. -С. 95-101.

Тираж 100 экз. Отпечатано в ООО «Позитив-НБ» 634050 г. Томск, пр. Ленина 34а

Введение.

Глава 1 Вихреразрешающее моделирование турбулентности.

1.1 Методы моделирования турбулентных течений.

1.2 Характерные особенности вихреразрешающего моделирования.

1.3 Выбор подсеточной модели.

L4 Задание граничных и начальных условий.

1.5 Использование современной вычислительной техники.

1.6 Основные задачи моделирования.

Глава 2 Математическая модель турбулентного течения вокруг плохообтекаемых тел.

2.1 Физическая постановка задачи.

2.2 Отфильтрованные уравнения Навье-Стокса.

2.3 Подсеточная модель Смагоринского и замыкание динамического типа.

2.4 Уравнение переноса тепла.

2.5 Уравнение переноса примеси.

2.6 Граничные условия.

2.7 Выводы.

Глава 3 Численный метод решения дифференциальной задачи.

3.1 Построение вычислительной сетки.

3.2 Аппроксимация уравнения движения.

3.3 Алгоритм расчета давления, согласованного с полем скорости.

3.4 Методы решения сеточных уравнений.

3.5 Тестирование численного метода.

3.6 Численная реализация динамической модели.

3.7 Выводы.

Глава 4 Параллельная реализация.

4Л Подходы к распараллеливанию адвективно-диффузионного уравнения.

4.2 Распараллеливание итерационных методов решения СЛАУ и анализ эффективности полученных реализаций.

4.3 Результаты тестирования методов решения СЛАУ.

4.4 Параллельная реализация численного метода решения разностной задачи.

4.5 Выводы.

Глава 5 Результаты применения вихреразрешающей модели турбулентности.

5.1 Турбулентное течение в канале.

5.2 Обтекание цилиндра квадратного сечения.

5.3 Исследование движения воздуха и переноса примеси в уличном каньоне.

5.4 Численное исследование аэродинамической картины и распространения выбросов автотранспорта для участка городской застройки.

5.5 Выводы.

В настоящее время более половины населения Земного шара проживает на урбанизированных территориях, причем количество городов-миллионников неуклонно растет. Такая ситуация приводит к появлению целого ряда экологических проблем, некоторые из них связаны с качеством атмосферного воздуха. Для понимания аэродинамических процессов, происходящих в городской застройке вблизи линейных (автомобильных дорог) и точечных источников, и для решения проблем охраны окружающей среды наряду с приборным контролем состава атмосферного воздуха активно применяются методы математического моделирования, которые позволяют численно предсказывать детальную картину распределения концентраций газовых составляющих, загрязняющих атмосферный воздух, на основе решения сложной системы многомерных нестационарных уравнений. Особо важную роль в распространении примеси между зданиями играет турбулентность, поскольку скорость движения воздуха в городской застройке относительно невелика.

На современном этапе развития теории турбулентности моделирование турбулентных течений в окружающей среде осуществляется, в основном, с использованием осредненных по Рейнольдсу уравнений Навье-Стокса и переноса (RANS-подход), для которых требуется решить проблему замыкания путем привлечения полуэмпирических моделей различного уровня сложности. Несмотря на то, что этот подход позволяет получить успешные результаты, для целого ряда турбулентных течений (А.Ф. Курбацкий, А. С. Гиневский, Г.С. Глушко, В.М. Иевлев, В.Е. Launder, W. Rodi и др.), тем не менее, он дает низкую точность при описании нестационарных турбулентных течений вблизи плохообтекаемых тел. Это объясняется определенными физическими особенностями отрывных течений, а именно, наличием в них организованных нестационарных вихревых структур, параметры которых определяются геометрическими характеристиками рассматриваемого течения и граничными условиями.

В таких случаях метод моделирования крупных вихрей (LES-подход) оказывается более предпочтительным, так как он хорошо предсказывает нестационарную структуру турбулентного течения и позволяет явно разрешать крупные вихри вплоть до размера ячейки расчетной сетки, а вихри меньшего масштаба моделируются с помощью различных подсеточных моделей. Вихреразрешающему моделированию турбулентных течений посвящены работы О.М. Белоцерковского, A.M. Липанова, Ю.Ф. Кисарова, Ю.И. Хлопкова, А.В. Глазунова, К.Н. Волкова, J.W. Deardorff, W. Rodi, P. Moin, M. Germano, D.K. Lilly, S. Ghosal и др., однако широкое применение LES-подхода для исследования течений в окружающей среде сдерживается высокими требованиями к их численной реализации. Вихреразрешающее моделирование, в том числе и-в элементах городской застройки, нуждается в численных схемах высокого порядка аппроксимации и высокопроизводительных вычислительных алгоритмах, подразумевающих использование многопроцессорной вычислительной техники для получения результатов моделирования за приемлемое время.

Целью работы является построение вихреразрешающей модели турбулентных течений и переноса примеси в уличных каньонах и численного метода ее решения на многопроцессорных вычислительных системах с распределенной памятью.

Для достижения данной цели сформулированы следующие основные задачи исследования:

1. Построение вихреразрешающей модели турбулентных течений и переноса примеси в уличных каньонах.

2. Разработка и апробация адаптированного на многопроцессорную вычислительную технику с распределенной памятью численного метода решения уравнений Навье-Стокса, описывающих движение несжимаемой среды, и адвективно-диффузионных уравнений, представляющих перенос примеси.

3. Численное исследование влияния соотношения ширины и высоты уличного каньона, расположения источника примеси и скорости потока воздуха на структуру течения и распространение концентрации примеси.

Научная новизна полученных автором результатов заключается в следующем:

1. Построена и впервые применена для исследования турбулентных отрывных течений и переноса пассивной газообразной примеси в городской застройке нестационарная трехмерная вихреразрешающая модель, учитывающая влияние плохообтекаемых препятствий и их шероховатости на поведение потока и распределение концентрации примеси.

2. На задачах турбулентного течения в канале и обтекания цилиндра квадратного сечения на основе вычислительного эксперимента впервые показано, что для корректного расчета параметров потока и его турбулентной структуры с помощью используемой вихреразрешающей модели, опирающейся на явные разностные схемы второго порядка аппроксимации в сочетании с динамической подсеточной моделью, лучшие результаты показывает применение противопотоковой схемы QUICK Леонарда для аппроксимации конвективных членов по сравнению с центрально-разностными схемами или противопотоковой схемой MLU.

3. На основе вычислительных экспериментов, проведенных на многопроцессорной вычислительной системе с распределенной памятью для рассматриваемых в работе задач, впервые показано, что необходимая для получения результатов за приемлемое время параллельная реализация вихреразрешающей модели турбулентности должна использовать двумерную геометрическую декомпозицию сеточной области исследования, а также параллельный алгоритм сопряженных градиентов в сочетании с предобуславливанием по методу Зейделя с красно-черным упорядочиванием для решения разностного эллиптического уравнения для поправки давления.

4. Впервые с использованием вихреразрешающей модели турбулентности проведено исследование влияние соотношения ширины и высоты уличного каньона, расположения источника примеси и скорости потока воздуха на структуру течения и распространение концентрации примеси. Выявлено существование трех режимов циркуляции воздуха внутри каньона в зависимости от его геометрических параметров.

Теоретическая^ значимость диссертационного исследования состоит в развитии теории турбулентности в части вихреразрешающего моделирования турбулентных течений и переноса примеси в окружающей среде. Это открывает перспективы в применении вихреразрешающего моделирования для решения фундаментальных экологических проблем, связанных с качеством атмосферного воздуха.

Практическая значимость определяется тем, что разработанные и апробированные в рамках диссертационной работы методы, могут быть применены для ускорения-расчетов при-численном моделировании реальных турбулентных течений. Предложенная и реализованная для многопроцессорной вычислительной техники математическая модель позволяет рассчитывать структуру турбулентного течения воздушных масс и предсказывать зоны превышения предельно допустимых концентраций примеси для конкретных участков городской застройки.

Работа выполнялась в соответствии с основными направлениями НИР Томского государственного университета в рамках темы 1.12.06 ЕЗН Министерства образования РФ, а ^также по научным проектам, поддержанным грантами РФФИ (№ 09-05-01126, № 08-05-90711-мобст) и программой СКИФ-ГРИД (№ 2007-СГ-04/3, № 2009-СГ-04/5).

Материалы проведенных исследований включены в программу специального курса лекций, читаемого на механико-математическом факультете ТГУ.

Достоверность и обоснованность научных положений и выводов, сделанных в диссертационной работе, основана на корректном применении фундаментальных уравнений механики сплошных сред и следует из адекватности физических и математических моделей и численных методов, используемых в работе, что подтверждается сравнением с результатами экспериментов, а также с известными теоретическими данными других авторов.

На защиту выносится:

1. Вихреразрешающая модель для исследования турбулентных течений и переноса примеси в уличных каньонах.

2. Численный метод решения системы уравнений Навье-Стокса для несжимаемой среды и его параллельная реализация на многопроцессорной вычислительной системе с распределенной памятью.

3. Результаты исследования эффективности и масштабируемости разработанных параллельных численных алгоритмов. Предложенные и обоснованные способы декомпозиции расчетной области при численном решении систем дифференциальных уравнений на многопроцессорной вычислительной технике с распределенной памятью.

4. Результаты математического моделирования турбулентных течений и переноса примеси в уличных каньонах.

Личный вклад автора: Данилкин Е.А. под руководством профессора Старченко А.В. построил математическую модель турбулентного течения. Разработал эффективную параллельную реализацию численного решения уравнений Навье-Стокса, описывающих, движение несжимаемой среды. Осуществил сравнение различных способов декомпозиции расчетной области по вычислительным узлам и выявил наиболее эффективный из них с точки зрения минимизации вычислительных затрат без потери в масштабируемости- решаемой задачи. Построил параллельные алгоритмы реализующие рассматриваемые методы решения систем линейных алгебраических уравнений, определив особенности этих методов и возможность их применения для решаемой задачи. Осуществил тестирование модели турбулентности и переноса примеси.

Основные результаты диссертации доложены соискателем на 5-ти международных, 3-х всероссийских и 3-х региональных научных и научно-практических конференциях в Санкт-Петербурге, Казани, Новороссийске, Новосибирске, Красноярске, Томске и полностью представлены в следующих опубликованных работах [18-25], в том числе в 1 статье в издании из списка ВАК.

Диссертационная работа состоит из введения, пяти глав и заключения.

5.5 Выводы

Результаты численных экспериментов показали, что построенная математическая модель турбулентности способна воспроизводить характерные особенности турбулентного потока, нестационарный характер исследуемого течения и моделировать процесс отрыва вихрей.

Проведено всестороннее тестирование математической модели, предложенных подсеточных замыканий и схем аппроксимации конвективных слагаемых. Проанализированы сильные и слабые стороны каждой схемы аппроксимации и подсеточной модели с точки зрения качества получаемых результатов. На основе этого для решения поставленной задачи предложено использовать динамическое замыкание в сочетании с направленной схемой QUICK второго порядка аппроксимации для конвективных членов.

Проведен параметрический анализ течения в уличном каньоне для различных метеорологических и геометрических условий. Выявлены основные типы течения и соответствующие для них картины распределения примеси. Показано, что расположение источников примеси на дне каньона существенно влияет на распределение примеси внутри каньона и интенсивности выветривания примеси.

В заключительной части раздела представлены результаты моделирования распространения загрязнения от автотранспорта для участка городской застройки. Получена картина турбулентного движения воздушных масс в городском квартале, а также распределение выхлопов от автотранспорта для различных вертикальных сечений и в виде изоповерхности концентрации примеси. На основе сравнительного анализа с RANS-подходом показано, что использование вихреразрешающего моделирования турбулентных течений в городской застройке позволяет повысить детализацию вихревых структур воздушных потоков, влияющую на уровень концентрации выбросов автотранспорта.

Заключение

1. Для исследования аэродинамики и переноса примеси в уличных каньонах разработана нестационарная пространственная модель, опирающаяся на использование вихреразрешающего моделирования турбулентности.

2. Численная реализация предложенной модели осуществляется на основе метода конечного объема, явных разностных схем второго порядка по времени и пространству. В гидродинамической части модели для согласования полей скорости и давления использовалась схема предиктор-корректор, в соответствии с которой явная схема Адамса-Бэшфорда для уравнения движения выполняет функцию предиктора, а коррекция поля скорости осуществлялась на основе решения разностного уравнения Пуассона для поправки давления.

3. На основе вычислительных экспериментов, проведенных на многопроцессорной вычислительной системе с распределенной памятью для рассматриваемых в работе задач, показано, что необходимая для получения результатов за приемлемое время параллельная реализация вихреразрешающей модели турбулентности должна использовать двумерную геометрическую декомпозицию сеточной области исследования, а также параллельный алгоритм сопряженных градиентов в сочетании с предобуславливанием по методу Зейделя- с красно-черным упорядочиванием для- решения разностного эллиптического уравнения для поправки давления.

4. Тестирование предложенной математической модели и численного метода проведены на экспериментальных и расчетных данных других авторов. На основании выполненных вычислительных экспериментов и результатов сравнительного анализа можно говорить об адекватности предложенной модели исследуемым физическим процессам.

5. На задачах турбулентного течения в канале и обтекания цилиндра квадратного сечения на основе вычислительного эксперимента показано, что для корректного расчета параметров потока и его турбулентной структуры с помощью используёмой вихреразрешающей модели, опирающейся на явные разностные схемы второго порядка аппроксимации в сочетании с динамической подсеточной моделью, лучшие результаты показывает применение противопотоковой схемы QUICK Леонарда для аппроксимации конвективных членов по сравнению с центрально-разностными схемами или противопотоковой схемой MLU.

6. На основе построенной математической модели турбулентного течения несжимаемой среды для трехмерной модели уличного каньона проведен ряд расчетов, результаты которых показывают, что максимальные концентрации примеси наблюдаются у подветренной стороны каньона и вблизи источников примеси. Кроме того показано, как расположение источника примеси на дне каньона и геометрические параметры исследуемой области влияют на картину течения и распределения примеси. В заключение предложенная микромасштабная математическая модель применена для расчета турбулентного течения и распространения примеси для реального участка городской застройки и на основе численного анализа полученных результатов выявлены зоны повышенной экологической опасности.

7. Материалы проведенных исследований включены в программу специального курса лекций, читаемого на механико-математическом факультете Томского государственного университета.

1. Андерсон Д. Вычислительная гидромеханика и теплообмен: пер. с англ. в 2-х т. / Д. Андерсон, Дж. Таннехилл, Р. Плетчер. М. : Мир, 1990. - Т. 2. - 392 с.

2. Антонов А.С. Параллельное программирование с использованием MPI / А.С. Антонов. М. : Изд-во МГУ, 2004. - 71 с.

3. Беликов Д. А. Высокопроизводительные вычисления на кластерах: учеб. пособие / Д. А. Беликов, И. В. Говязов, Е. А. Данилкин, В. И. Лаева, С. А. Проханов, А. В. Старченко; под редакцией Старченко А.В. Томск : ТГУ, 2008. - 198 с.

4. Белоцерковский О.М. Численное моделирование в механике сплошных сред / О.М. Белоцерковский. М. : Наука, 1982. - 520 с.

5. Белоцерковский О.М. Динамика пространственных вихревых течений в неоднородной атмосфере. Вычислительный эксперимент / О.М. Белоцерковский, В.А. Андрущенко, Ю.Д. Шевелев. М. : Янус-К, 2000. -456 с.

6. Белоцерковский О.М. Турбулентность: новые подходы / О.М. Белоцерковский, A.M. Опарин, В.М. Чечёткин. М. : Наука, 2002. - 286 с.

7. Белоцерковский О. М. Методы Монте-Карло в механике жидкости и газа: монография / О. М. Белоцерковский, Ю. И. Хлопков. М. : Азбука-2000, 2008.-329 с.

8. Богословский Н.Н. Параллельная реализация алгоритма вычислительной гидродинамики SIMPLE / Н.Н. Богословский, А.О. Есаулов, А.В. Старченко // Труды Сибирской школы-семенара по параллельным вычислениям, ТГУ. Томск, 2002. - С. 118-124.

9. Букатов А. А. Программирование многопроцессорных вычислительных систем / А. А. Букатов, В. Н. Дацкж, А. И. Жегуло. Ростов-на-Дону : Изд-во ООО «ЦВВР», 2003. -т 208 с.

10. Вабищевич П.Н. Метод фиктивных областей в задачах математической физики / П.Н. Вабищевич. М. : Изд-во МГУ, 1991. - 156 с.

11. Ветлудкий В.Н. Численные методы в динамике вязкой жидкости / Ветлуцкий В.Н. и др. // Моделирование в механике. 1987. - Т. 1, - № 4. -С. 22-45.

12. Воеводин В.В. Параллельные вычисления / В.В. Воеводин, Вл.В. Воеводин. СПб. : БХВ-Петербург, 2002. - 608 с.

13. Воеводин В.В. Численные методы, параллельные вычисления и информационные технологии / В.В. Воеводин. .- М. : БИНОМ, 2008. -320 с.

14. Волков К.Н. Моделирование крупных вихрей в расчетах турбулентных течений / К.Н. Волков, В.Н. Емельянов. М. : ФИЗМАТЛИТ, 2008. - 368 с.

15. Гергель В.П. Основы параллельных вычислений для многопроцессорных вычислительных машин / В.П. Гергель, Р.Г. Стронгин. ~ Нижний Новгород : Изд-во ННГУ им. Н.И. Лобачевского, 2000. 176 с.

16. Гергель В.П. Теория и практика параллельных вычислений / В.П. Гергель. М. : БИНОМ, 2007. - 424 с.

17. Глазунов А.В. Вихревое моделирование турбулентности с• использованием смешенного динамического локального замыкания // Известия РАН, Физика атмосферы и океана. 2009. - Т. 45, - № 1. - С. 7-28.

18. Данилкин Е.А. К выбору способа декомпозиции при численном решении систем связанных дифференциальных уравнений на многопроцессорной технике с распределенной памятью / Е.А. Данилкин, А.В. Старченко //

19. Третья Сибирская школа-семинар' по параллельным вычислениям. —j

20. Томск : Изд-во Том. гос. ун-та, 2006. С. 95-101.

21. Данилкин Е.А. Численное решение систем связанных нелинейных• дифференциальных уравнений на многопроцессорной технике с распределенной памятью / Е.А. Данилкин, А.В. Старченко // Материалы

22. XV международной конференции по вычислительной механике и современным прикладным программным системам. М. : Вузовская книга, 2007. - С. 201-203.

23. Данилкин Е.А. К вопросу об эффективности ЗБ-декомпозиции при численном решении уравнения переноса с использованием МВС с распределенной памятью // Вестник Томского государственного университета, Серия: математики и механика. 2008. - № 2(3). - С. 3946.

24. Деммель Дж. Вычислительная линейная алгебра. Теория и приложения / Дж. Деммель. М. : Мир, 2001. - 430 с.

25. Есаулов А.О. К выбору схем для численного решения уравнений переноса / А.О. Есаулов, А.В. Старченко // Вычислительная гидродинамика, ТГУ. Томск, 1999 - С. 27-32.

26. Жукаускас А.А. Конвективный перенос в теплоприемниках / А.А. Жукаускас. М. : Наука, 1982.-472 с.

27. Ильин В.П. Методы неполной факторизации для решения алгебраических систем / В.П. Ильин М. : Наука, 1995. - 287 с."

28. Корнеев В.В. Параллельные вычислительные системы / В.В. Корнеев. -М.: Нолидж, 1999. 320 с.

29. Колмогоров А.Н. Локальная структура турбулентности в несжимаемой вязкой жидкости при очень больших числах Рейнольдса / А.Н. Колмогоров // ДАН СССР, 1941. Т. 30. - С. 299-303.

30. Колмогоров А.Н. Уравнения турбулентного движения несжимаемой жидкости / А.Н. Колмогоров // ДАН СССР, Физика. 1942. Т. 6, № 1-2. -С. 56-58.

31. Крылов В.И., Бобков В.В., Монастырный П.И. Вычислительные методы0• высшей математики. В 2-х томах / В.И. Крылов, В.В. Бобков, П.и. Монастырный. — Минск : Вышэйшая школа, 1975. Т.2. - 670 с.

32. Курбацкий А. Ф. Лекции по турбулентности: В 2 ч. / А. Ф. Курбацкий. Введение в турбулентность. Новосибирск, 2000. Т. 1. - 118 е.; Моделирование турбулентных течений. - Новосибирск, 2001. Т. 2. - 136с.

33. Ладыженская О. А. Математические вопросы динамики вязкой несжимаемой жидкости. Изд. 2-ое перераб. и доп. / О. А. Ладыженская // Букинист, 1970.-288 с.

34. Лебедев В. И. Функциональный анализ и вычислительная математика / В. И. Лебедев. М.: ФИЗМАТЛИТ, 2000. - 296 с.

35. Лойцянский Л. Г. Механика жидкости и газа: учеб. для вузов. 7-е изд., испр. / Л. Г. Лойцянский. М.: Дрофа, 2003. - 840 с.

36. Малышкин В.Э. Параллельное программирование мультикомпьютеров / В.Э. Малышкин, В.Д. Корнев. Новосибирск : Изд-во НГТУ, 2006. -296 с.

37. Марчук Г.И. Математическое моделирование в проблеме окружающей среды / Г.И. Марчук. М. : Наука, 1982. - 320 с.

38. Методы расчёта турбулентных течений: Пер. с англ. / ред. В. Колльмана. М. : Мир, 1984.-463 с.

39. Монин А.С., Яглом A.M. Статистическая гидромеханика / А.С. Монин, A.M. Яглом. Спб.: Гидрометеоиздат, 1992.'Т. 1; -М. : Наука, 1967. Т. 2.

40. Немнюгин С.А., Стесик О.Л. Параллельное программирование для многопроцессорных вычислительных систем / С.А. Немнюгин, О.Л. Стесик. СПб. : БХВ-Петербург, 2002. - 200 с.

41. Нутерман Р.Б. Моделирование аэродинамики и распространения выбросов от автотранспорта в городском подслое / Р. Б. Нутерман, А.А. Бакланов, А.В.Старченко // Математическое моделирование. 2010. - Т. 22, № 4. - С. 3-22.

42. Оке Т.Р. Климаты пограничного слоя / Т.Р. Оке. -Л. : Гидрометеоиздат. -1982.-358 с.

43. Патанкар С. Численные методы решения задач теплообмена и динамики жидкости: Пер. с англ. / С. Патанкар. М. : Энергоатомиздат, 1984. - 149 с.48." Роуч П. Вычислительная гидродинамика: Пер. с англ. / П. Роуч М. : Мир. - 1980.-612 с.

44. Самарский А.А. Устойчивость разностных схем / А.А. Самарский, А.В. Гулин. М. : Наука, 1973. - 415 с.

45. Самарский А.А. Методы решения сеточных уравнений / А.А. Самарский, Е.С. Николаев. -М. : Наука, 1978. 519 с.

46. Самарский А.А. Теория разностных схем / А.А. Самарский. М. : Наука, 1989.-616 с.

47. Самарский А.А. Численные методы решения задач конвекции-диффузии ' / А.А. Самарский, П.Н. Вабищевич. М. : Эдиториал УРСС, 1999. - 247с.

48. Старченко А.В. Параллельные вычисления на многопроцессорных вычислительных системах / А.В. Старченко, А.О. Есаулов. Томск : Изд-во Том. ун-та, 2002. - 56 с.

49. Старченко А.В. Сравнительный анализ некоторых итерационных методов для численного решения пространственной краевой задачи для уравнения эллиптического типа / А.В. Старченко // Вестник Томского государственного университета. 2003. - №10. С. 70-80.

50. Современные проблемы вычислительной математики и математического моделирования: В 2-х. т. / ред. Бахвалов Н.С., Воеводин В.В. М. : Наука, 2005 Т. 2. - 405 с.

51. Турбулентность. Принципы и применение / ред. Фрост У., Моулден Т. -М.: Мир, 1980.-535с.

52. Турбулентные сдвиговые течения: Пер. с англ.; ред. А. С. Гиневский. -М.: Машиностроение, 1982. Т. 1. - 432 с.

53. Хинце О. Турбулентность: Пер с англ. под ред. Г. Н. Абрамовича / О. Хинце. М.: Физматгиз, 1963. - 680 с.

54. Хлопков Ю. И. Лекции по теоретическим методам исследования турбулентности / Ю.И. Хлопков. -М. : МФТИ, 2005. 178 с.

55. Хлопков Ю. И. Ренормгрупповые методы описания турбулентных движений несжимаемой жидкости / Ю.И. Хлопков, В.А. Жаров, С.Л. Горелов. М. : Изд-во МФТИ, 2006. - 491 с.

56. Шлихтинг Г. Теория пограничного слоя / Шлихтинг Г. М. : Наука, 1974.-712 с.

57. Bardina J. Improved subgrid scale models for large-eddy simulation / J. Bardina, J. H. Ferziger, W. C. Reynolds // Am. Inst. Astronaut. 1980. - P. 80-135.

58. Baggett J.S. Resolution requirements in large-eddy simulation of shear flows / J.S. Baggett, J. Jimenez, A.G. Kravchenko // CTR Annual Research Briefs, 1997.-P. 51-66.

59. Cabot W. Approximate wall boundary conditions in the large-eddy simulation . of high Reynolds number flow / W. Cabot, P. Moin // Flow Turb. Combust.2000.-Vol. 63.-P. 269-291.

60. Deardorff J.W. A numerical study of three-dimensional turbulent channel flow at large Reynolds numbers / J.W. Deardorff // J. Fluid Mech. 1970. -Vol. 41.-P. 453-480.

61. Deardorff J.W. The use of subgrid transport equations in a three-dimensional model of atmospheric turbulence / J.W. Deardorff // Journal of Fluids Engineering. 1973. - Vol. 9. - P. 429-438.

62. Germano M. Turbulence: the filtering approach / M. Germano // Journal of . Fluid Mechanics. 1992. - Vol. 238. - P. 325-336.

63. Germano M. A dynamic subgrid-scale eddy viscosity model / M. Germano, U. Piomelli, P. Moin, W. H. Cabot // Phys. Fluids. A. 1991'. - Vol. 3. - P. 1760-1765.

64. Ghosal S. An analysis of numerical errors in large-eddy simulation of turbulence / S. Ghosal // Journal Comput. Phys. 1996. - Vol. 125. - P. 187206.

65. Ghosal S. A dynamic localization model for large eddy simulation of turbulent flows / S. Ghosal, T. Lund, P. Moin, K. Akselvoll // J. Fluid Mech. -1995. Vol. 286. - P. 229-255.

66. Gokarn A. Large eddy simulations of incompressible turbulent flows using parallel computing techniques / A. Gokarn, F. Battaglial, R.O. Fox // Int. J. Numer.Meth. Fluids.-2008.-Vol. 56.-№ 10.-P. 1819-1843.

67. Grigoriadis D.G.E. LES of the flow past a rectangular cylinder using the immersed boundary boundary concept / D.G.E. Grigoriadis, J.G. Bartzis, A. Coulas // Int. J. Number. Meth. Fluids. 2003. Vol. 41. - № 6. - P. 616-632.

68. Gullbrand J. The effect of numerical errors and turbulence models in large-eddy simulation of channel flow, with and without explicit filtering / J. Gullbrand, F.K. Chow // J. Fluid Mech. 2003. - P. 323-341.

69. Hoyas S. Scaling of the velocity fluctuations in turbulent channels up to Re = 2003 / S. Hoyas, J. Jimenez // Annual Research Briefs, Center for Turbulence Research, NASA Ames/Stanford Univ. 2005. - P. 351-356.

70. Hoydysh W.G., Dabberdt W.F. Kinematics and dispersion characteristics of flows in asymmetric street canyons / W.G. Hoydysh, W.F Dabberdt // Atmospheric Environment. 1988. - Vol. 22. - P. 2677-2689.

71. Jimenez J. On why dynamic subgrid-scale models work / J. Jimenez // Center for Turbulence Research, NASA Ames/Standford Univ. Annual Research Briefs.- 1995.

72. Kim J. Turbulence statistics in fully developed channel flow at low Reynolds number / J. Kim, P. Moin, R. Moser // Journal of Fluid Mechanics. 1987. -Vol. 177.-P. 133-166.

73. Kravchenko A.G. On the Effect of Numerical Errors in Large Eddy Simulation of Turbulence Flows / A.G. Kravchnko and P. Moin // J. Сотр.• Phys.-1997.-P. 310-322.

74. Leonard B. A Stable and Accurate Convective Modeling Procedure Based on Quadratic Upstream Interpolation / B. Leonard // Computer Methods in Applied Mechanics and Engineering. 1979. - Vol. 19, - P. 59-98.

75. Lilly D. К. A proposed modification of the Germano subgrid-scale closure . model / D.K. Lilly // Phys. Fluids A. 1992. - P. 633-635.

76. Lubcke H. Comparison of LES and RANS in bluff-body flows / H. Lubcke, St. Schmidt, T. Rung, F. Thiele // J. Wind Engineering and Industrial Aerodynamics. 2001. - Vol.89. - P. 1471-1485.

77. Lund, T.S. On the use of discrete filters for large eddy simulation // Annual Research Briefs, Center for Turbulence Research, NASA Ames/Stanford Univ.- 1997.-P. 83-95.

78. Lund T.S. Experiments with explicit filtering for LES using finite-difference method / T.S. Lund, H.J. Kaltenbach // Center for Turbulence Research, Annual Research Briefs. 1995. - P. 91-105.

79. Lyn D. A laser-Doppler velocimetry study of ensemble averaged characteristics of the turbulent near wake of a square cylinder / D. Lyn, S. Einav, W. Rodi et al. // J. Fluid Mech. 1995. - V. 304. - P. 285-319.

80. Meneveau C. Scale-invariance and turbulence models for large eddy simulation / C. Meneveau, J. Katz // Annu. Rev. Fluid Mech. 2003. - Vol. 32.-P. 1-32. ;

81. Moin P. Direct numerical simulation: A tool in turbulence research / P. Moin, K. Mahesh // Annual Review of Fluid Mechanics. 1998. - Vol. 30. - P. 539-578.

82. Moin P. Advances in large eddy simulation methodology for complex flows // Int. J. Heat Fluid Flow. 2002. V. 23. - 710 p.

83. Moin P. On the numerical solution of time dependent viscous incompressible fluid flows involving solid boundaries / P. Moin, J. Kim // Journal of Computational Physics. 1980. - Vol. 35. - P. 381-392.

84. Morinishi Y. Subgrid scale modeling taking the numerical errors into consideration / Y. Morinishi, O.V. Vasilyev // Center of turbulence research. -1998.-P. 237-245.

85. Nakayama A. On the influence of numerical schemes and subgrid-stress models on large eddy simulation of turbulent flow past a square cylinder / A.

86. Nakayama, S.N. Vengadesan // Int. J. Numer. Methods Fluids. 2002. - Vol. 38.-P. 227-253.

87. Niederschulte M.A. Measurements of turbulent flow in a channel at low Reynolds numbers / M.A. Niederschulte, R.J. Adrian, T.J. Hanratty //

88. Experiments in Fluids. 1990. Vol. 9. - P. 222-230.

89. Orszag A. Transform method for calculation of vector coupled sums: application to the spectral form of the vorticity equation. // J. Atmos. Sci. -1970.-Vol. 27.-890 p.

90. Park N. Discretization errors in large eddy simulation: on the sutibility of centered and upwind-biased compact difference schemes / N. Park, J.Y. Yoo, H. Choi // J. Сотр. Phys. 2005. - P. 580-616.

91. Piomelli, U. Finite-Diference Computations of High Reynolds Number Flows Using the Dynamic Subgrid-Scale Model // Theoret. Comput. Fluid Dinamics.1995.-Vol. 7.-P. 2007-216.

92. Piomelli, U. The inner-outer layer interface in large-eddy simulation with wall-layer models / U. Piomelli, E. Balaras, H. Pasinato, K. Squires and P. Spalart // Int. J. Heat and Fluid Flow. 2003. - P. 538-550.

93. Rodi W. Comparison of LES and RANS calculations of the flow around bluff bodies // J. Wind Engineering and Industrial Aerodynamics. 1997. - Vol. 69-71.-P. 55-75.

94. Rodi W. Status of large eddy simulation: results of a workshop / W. Rodi, J. Ferziger, M. Breuer, M. Pourquie // J. Fluis Eng. 1997. - Vol. 119. - P.248.262.

95. Sagaut P. Large eddy simulation for Incompressible Flow 3rd ed. An Series: Scientific Computation, 2006. XXIX. 556 p.

96. Schmidt S. Comparison of numerical methods applied to the flow over wall-mounted cubes / S. Schmidt, F. Thiele // International Journal of Heat and Fluid Flow. 2002. - Vol. 23 - P. 330-339.

97. Smagorinsky J. General circulation experiments with the primitive equations. I: The basic experiment 11 Monthly Weather Review. 1963. - Vol. 91. - №. 3.-P. 99-165.

98. Spalart P. R. Strategies for turbulence modelling and simulations // Int. J. of Heat and Fluid Flow. 2000. - Vol. 21. - P. 252-263.

99. Stone C. Large-eddy simulations on distributed shared memory clusters / C. Stone and S. Menon // Journal of Parallel and Distributed Computing. 2004. -Vol. 64.-№10.-P. 1103-1112.

100. Tejada-Martines A. A parameter-free dynamic subgrid-scale model for large eddy simulation / A. Tejada-Martines, K. Jansen // Comput. Methods Appl. Mech. Engrg. 2006. - V. 195. - P. 2919-2938.

101. TOP500 Lists. Электронный ресурс. URL: http://www.top500.org.

102. Tseng Y. Modeling flow around bluff bodies and predicting urban dispersion using large eddy simulation / Y. Tseng, C. Meneveau, M. Parlange // Environ. Sci. Technol. 2006, Vol. 40. - P. 2653-2662.

103. Van der Vorst H.A. Bi-CGSTAB: a fast and smothly converging variant of Bi-CG for the solution of nonsymmetric linear systems //SIAM Journal. -1992.-Vol. 13.-№ 2.-P.631-644.

104. Van Leer B. Towards the ultimate conervative difference scheme. II. Monotonicity and conservation combined in a second order scheme // J. of Computational Physics. 1974. - Vol. 14. - P. 361-370.

105. Vengadesan S. Evalution of LES models for fkow over bluff body from engineering application perspective / S. Vengadesan, A. Nakayama // Sadhana. 2005. - Vol.30. -№ 1. - P. 11-20.

106. Walton A. Large-eddy simulation of pollution dispersion in an urban street canyon. Part 1: Comparison with field data / A. Walton, A.Y.S. Cheng, W.C. Yeung // Atmospheric Environment. 2002. - Vol. 36. - P. 3601-3613.

107. Walton A. Large-eddy simulation of pollution dispersion in an urban street canyon. Part 2: idealised canyon imulation / A. Walton, A.Y.S. Cheng // Atmospheric Environment. 2002. - Vol. 36. - P. 3615-3627.

108. Wilcox D.C. Turbulence modeling for CFD: DCW Industries Inc, 1993. 460 . P

109. Yakhot A. Turbulent flow around a wall-mounted cube: A direct numerical simulation / A. Yakhot, H. Liu, N. Nikitin // International Journal of Heat and Fluid Flow. 2006. - Vol. 27. - P. 994-1009.