автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Новые методы параллельного моделирования распространения загрязнений в окрестности промышленных и муниципальных объектов

На правах рукописи

ПЕКУНОВ ВЛАДИМИР ВИКТОРОВИЧ

НОВЫЕ МЕТОДЫ ПАРАЛЛЕЛЬНОГО МОДЕЛИРОВАНИЯ РАСПРОСТРАНЕНИЯ ЗАГРЯЗНЕНИЙ" В ОКРЕСТНОСТИ ПРОМЫШЛЕННЫХ И МУНИЦИПАЛЬНЫХ ОБЪЕКТОВ

Специальность: 05Л3.18- математическое моделирование,

численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук

00348ЭЭ70

Иваново — 2009

003489970

Работа выполнена на кафедре «Высокопроизводительные вычислительные системы» Государственного образовательного учреждения высшего профессионального образования « Ивановский государственный 'энергетический университет имени В.И.Ленина»

Научный консультант:

доктор физико-математических наук.

профессор Ясинский Федор Николаевич

Официальные оппоненты:

доктор технических наук, профессор Шувалов Сергей Ильич доктор физико-математических наук, Зибаров Алексей Владимирович доктор физико-математических наук, профессор Григорьев Александр Иванович

Ведущая организация:

Институт прикладной математики им. М.В. Келдыша РАН

Защита состоится « 5 » февраля 2010 г. в 11 часов в аул. Б-237 на заседании диссертационного совета Д 212.064.03 при Ивановском государственном энергетическом университете.

С диссертацией можно ознакомиться в библиотеке ИГЭУ.

Автореферат разослан «___»______2009 г.

Ученый секретарь

диссертационного совета Д 212.064.03

кандидат технических наук, доцент

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

Существует множество экологических проблем, обусловленных загрязнением воздушной среды в окрестностях промышленных предприятий, а также в больших городах. Крупными источниками твердых и газообразных загрязнителей являются ТЭЦ и ТЭС, котельные установки, предприятия черной и цветной металлургии, транспорт. Поглощение загрязнителей (преимущественно оксидов азота и серы) каплями воды приводит к образованию кислотных дождей. Неблагоприятная экологическая ситуация часто является следствием принятия проектных решений, плохо обоснованных с точки зрения экологической безопасности. Проблема, обычно, заключается в использовании недостаточно точных оценок предполагаемых уровней загрязнений при анализе проектных вариантов. Ряд исследований подтверждает, что применяемые нормативные методики (ОНД-86 и другие) недостаточно учитывают ряд важных факторов, например, турбулентность и химическую кинетику, воздействие солнечного излучения на тепловые и фотохимические процессы, поглощение загрязнителей каплями воды.

Актуальна задача повышения качества проектных решений за счет использования более точных средств оценки уровней загрязнений при проектировании ТЭЦ, ТЭС и иных предприятий энергетического профиля, а также объектов городской застройки. В САПР одним из наиболее эффективных и универсальных способов автоматизированного получения количественных и качественных оценок уровней загрязнений является численное моделирование образования и распространения загрязнений. Повышение точности моделирования требует усложнения моделей и увеличения объема расчетов, что приводит к необходимости применения многопроцессорных систем.

Универсальные пакеты моделирования процессов аэрогидродинамики (FlowVision, FLUENT, GAS DYNAMICS TOOL, PHOENICS, Star-CD и многие другие) позволяют учесть все необходимые факторы и провести расчет требуемой сложности на многопроцессорных системах. Однако универсальность таких пакетов, фактически, заключается в попытках применения достаточно ограниченного набора моделей, алгоритмов и методов к множеству различных случаев. Очевидно, что программы, ориентированные на решение конкретного класса задач, потенциально способны решать данные задачи более эффективно.

Однако большинство известных автору отечественных и зарубежных специализированных программных продуктов (например, ADAM, CAL3QHC, Chensi, TASCflow, ISC-3, PANACHE, REMSAD, UAM-IV, ЭКОЛОГ, ПРИЗМА, V1TECON, геоинформационные системы), предназначенных для расчета распространения загрязнении, ориентировано на однопроцессорные системы. В специализированных программных комплексах (например, ECOSIM и MAQSIP), адаптированных для работы на многопроцессорных системах, распараллелены лишь отдельные модули, что в ряде случаев не позволяет добиться высокой эффективности распараллеливания. Добавим, что в специализированных однопроцессорных разработках почта не рассматривается поглощение загрязнителей каплями воды (за исключением PANACHE), а в многопроцессорных — не учитывается перенос излучения и его влияние на тепловые и фотохимические процессы, что существенно снижает точность результатов.

Актуальность диссертационной работы определяется необходимостью разработки новых методов параллельного моделирования образования и распространения загрязнений. Необходимо создать: а) комплексную математическую модель, учитывающую большинство значимых факторов, б) соответствующие схемы эффективного распараллеливания. Такие схемы должны учитывать структуры задачи, вычислителя и транспортной сети. Адекватная реализация данных схем для конкретных случаев может требовать существенной перестройки программного комплекса, что приводит к необходимости автоматизации порождения соответствующего параллельного кода. Для повышения результативности расчета актуальна разработка компромиссных разностных схем (для интегрирования уравнений химической кинетики), сочетающих приемлемую точность вычислений с невысокой трудоемкостью и возможностью эффективного распараллеливания.

Цель работы

Новое, более целостное, точное и эффективное решение задачи численного моделирования распространения загрязнений в воздушном бассейне большого города и в окрестности энергетического предприятия, обеспечивающее повышение качества принимаемых проектных решений за счет более точной оценки предполагаемых уровней загрязнений.

Задачи исследования

(.Сформировать комплексную математическую модель процессов образования и распространения газообразных (в свободном состоянии или растворенных в каплях воды) и твердых пылевых загряз-

нений в окрестности энергетического предприятия и в воздушном бассейне города, которая может применяться при анализе проектных решений с точки зрения экологической безопасности; определить методы интегрирования. Модель должна учитывать множество значимых факторов: турбулентности, диффузии, переноса гепла, влажности, излучения, межфазных переходов, химической кинетики.

2. Создать схемы, модели и алгоритмы эффективного распараллеливания для решаемой задачи, разработать программный комплекс автоматизированной оценки уровней загрязнении (в однопроцессорном и параллельном вариантах).

3. Создать средства автоматизации программирования, облегчающие разработку и модификацию программ численного моделирования распространения загрязнений. Разработать специализированные отладочные средства (имитаторы).

4. Определить возможности повышения точности оценок экологической безопасности проектных решений при использовании разработанного программного комплекса путем: а) проведения численных экспериментов по моделированию процессов образования и распространения смога на улицах города, очистки атмосферы поливочными машинами, а также процессов распространения промышленных выбросов в окрестности предприятия; б) сравнения полученных результатов с реальными данными.

Научная новизна

1. Предложена комплексная математическая модель процессов образования и распространения загрязнений в окрестности энергетического предприятия и в воздушном бассейне большого города, предназначенная для использования на этапе анализа проектных решений по фактору экологической безопасности. По сравнению с аналогами модель учитывает большее количество факторов: динамику турбулентных воздушных потоков; перенос тепла, пыли и реагирующих газообразных загрязнителей; перенос прямого солнечного и диффузного излучений; влияние излучения на тепловые процессы и фотохимические реакции; динамику водяного пара и капель; конденсацию и испарение; поглощение (и высвобождение) газообразных загрязнителей каплями.

2. Предложен новый подход к моделированию многокомпонентной капельной фазы: в каждом компоненте параметры распределения капель не хранятся, а вычисляются посредством интерполяции из «физических» параметров — плотности и концентрации компонента. Подход имеет невысокую трудоемкость и особенно эффективен при актнв-

ном переносе капель между ячейками со значительно варьирующимися и нестандартными распределениями капель.

3. Разработана новая компромиссная разностная схема для интегрирования уравнений химической кинетики, комбинирующая подход Рожкова с неявной схемой Адамса-Моултона. Применение данной схемы позволяет существенно уменьшить вычислительные затраты при сохранении приемлемой точности и достаточной устойчивости.

4. Сформулированы четкие схемы выбора метода распараллеливания: а) быстрая (с выбором одного метода), основанная на оценках «вычислительной жесткости» и количества пересылок, зависящего от структуры взаимосвязей между переменными, б) полная (с выбором оптимальной комбинации методов), основанная на решении задачи целочисленного нелинейного программирования с учетом взаимосвязей переменных, трудоемкости вычислений и структуры среды передачи данных в многопроцессорной системе.

5. Разработан алгоритм исключения части обменов данными на стыках блоков расчетной области за счет периодической экстраполяции полиномами третьей степени, коэффициенты которых определяются по методу наименьших квадратов (МНК) с весовыми коэффициентами в критерии МНК. Новизна состоит в периодической подстройке весовых коэффициентов путем решения соответствующей оптимизационной задачи, что позволяет снизить погрешность экстраполяции.

6. Предложена нелинейная оптимизационная модель, позволяющая определить оптимальную асинхронную схему обменов данными на стыках блоков расчетной области и тем самым повысить эффективность распараллеливания. Ограничения модели учитывают структуру связей между переменными задачи. Целевая функция предусматривает возможность замедления вычислений при асинхронных обменах.

7. Предложен алгоритм балансировки загрузки процессоров при интегрировании уравнений химической кинетики при медленном дрейфе «горячих» областей. Новизна состоит в предсказании времени вычислений в узлах на основе результатов с предыдущей итерации, что позволяет эффективно произвести балансировку, избежав основного недостатка иных алгоритмов — множества пересылок.

8. Предложены объектно-событийные модели порождения программ, принципы их интерпретации и технология трансляции в программный код. Модели предназначены для предметных областей, где эффективное решение задачи требует сложных настройки и связывания комбинируемых типовых алгоритмов. Применение моделей позво-

ляег автоматизировать программирование задач параллельного численного моделирования распространения загрязнений.

Практическая ценность

1.Ha базе предложенных модели и алгоритмов разработаны однопроцессорная и многопроцессорная версии программы моделирования загрязнений AirEcology-P. Многопроцессорный вариант оптимизирован для работы с МВС-1000, МВС-100, Power XPlorer, а также с кластерными и блочно-кластерными (с многоядерными блоками) системами на платформах Windows и Unix/Linux. Применение разработанных программ позволяет повысить качество решений при проектировании промышленных предприятий и объектов городской застройки за счет более точной и эффективной оценки предполагаемых уровней загрязнений.

2. Помимо сетевого, разработан одномашинный имитатор Power XPlorer, реализующий больший набор функций и обладающий дополнительными отладочными возможностями по сравнению с аналогами. Сетевой имитатор позволяет оперативно переносить параллельные программы с Power XPlorer на Windows-кластеры.

3. На базе предложенных объектно-событийных моделей разработана система автоматизированного порождения программ PGEN++. Система используется для оперативной модификации и частичной верификации математической модели в программе AirEcology-P и для автоматизации разработки тестов в системе профильного тестирования ПРОФТЕСТ (компонент комплекса ГИПЕРТЕСТ).

4. Получены результаты параллельного численного моделирования процессов образования и распространения смога на улицах города, очистки атмосферы с помощью поливочных машин и распространения промышленных выбросов в окрестности предприятия. Даны рекомендации по применению результатов диссертации в САПР промышленных предприятий и САПР объектов городской застройки. Приведен пример итерационной процедуры поиска оптимального места размещения ТЭС с помощью разработанной подсистемы автоматизированной оценки предполагаемых уровней загрязнений.

Достоверность полученных результатов подтверждается итогами сравнения реальных данных с результатами, полученными в ходе численных экспериментов с применением предложенных модели, схем, алгоритмов, численных методов. Сравнение результатов моделирования переноса пассивной примеси, полученных с применением разработанной автором системы (AirEcology-P) и иных систем, показа-

ло, что по данному параметру AirEcoIogy-P дает один из наиболее точных результатов.

Обоснованность результатов исследования подтверждена корректным использованием методов вычислительной математики (интегрирования, оптимизации, приближения функций), имитационного моделирования, математической статистики, теорий графов и автоматов, теории распараллеливания вычислений, машинной графики, основные принципы объектно-ориентированного программирования.

Внедрение

Программа моделирования загрязнений AirEcology-P внедрена

- в учебный процесс кафедры «Безопасность жизнедеятельности» ИГЭУ по дисциплинам, предполагающим проведение экологических экспертиз;

-в ЗАО «ВВП» (г. Нижний Новгород) для оценки состояния окружающей среды в районе предприятия в зависимости от режима его работы и климатических условий.

Имитаторы многопроцессорной системы Power XPlorer внедрены в учебный процесс кафедры «Высокопроизводительные вычислительные системы» ИГЭУ для обеспечения лабораторного практикума по дисциплине «Параллельные вычисления».

Система автоматизированного порождения программ в составе системы профильного тестирования ПРОФТЕСТ (компонент комплекса ГИПЕРТЕСТ) внедрена в ООО «ЛУКОЙЛ-Коми» (г. Усинск) для автоматизации разработки сценариев тестирования.

На защиту выносятся:

1. Математическая модель процессов распространения газообразных и пылевых загрязнений в воздушной среде большого города и в окрестности энергетического предприятия.

2. Компромиссная разностная схема для интегрирования уравнений химической кинетики.

3. Быстрая и полная схемы выбора метода распараллеливания.

4. Методы и алгоритмы сокращения и оптимизации пересылок.

5. Алгоритм балансировки загрузки процессоров.

6. Объектно-событийные модели порождения программ.

Апробация работы

Материалы диссертации докладывались на следующих международных, всероссийских и межвузовских конференциях и семинарах:

- II Международном симпозиуме «Математическое моделирование экологических процессов» (Иваново, 2000);

- II Всероссийской научной конференции «Высокопроизводительные вычисления и их приложения» (Черноголовка, 2000);

- Международной научно-технической конференции «Состояние и перспекгивы развития электротехнологий» (Иваново. 2001,2003,2005,2007);

- VIII Всероссийском съезде по теоретической и прикладной механике (Пермь, 2001);

- IV Всероссийской научной internet-конференции «Компьютерное и математическое моделирование в естественных и технических науках» (Тамбов, 2002);

- Всероссийской научно-технической конференции «Современные технологии и оборудование текстильной промышленности» (Москва, 2004);

- Межвузовской научно-практической конференции «Экологические проблемы Ивановской области» (Иваново, 2005);

- семинарах в Институте прикладной математики имени М.В. Келдыша, РАН (23.05.2002; 26.06.2003; 24.03.2005; 10.04.2008);

- Межвузовском научно-техническом семинаре «Математическое моделирование и многопроцессорная вычислительная техника — 2006» (Иваново, 2006);

- Региональной научно-технической конференции «Применение многопроцессорных суперкомпьютеров в исследованиях, наукоемких технологиях и учебной работе» (Иваново, 2007, 2008);

-XXVII Российской школе по проблемам науки и технологий (Миасс. 2007);

- семинаре в Нижегородском гос. университете (26 июня 2008);

-семинаре в Институте вычислительной математики РАН (18

сентября 2008);

- семинаре в Институте математического моделирования РАН (9 октября 2008).

Разработанные программа моделирования загрязнений AirEcology-P и система автоматизированного порождения программ PGEN++ зарегистрированы в Российском агентстве по патентам и товарным знакам (Роспатент), (свидетельства об официальной регистрации программ для ЭВМ №2006611068 и №2007614631).

Разработки, выполненные в рамках работы над диссертацией, были представлены на выставке авторских разработок «Зворыкинского проекта» в рамках международного форума «Дни Русских Инноваций» (Москва, 2009).

Работа выполнена при финансовой поддержке Минобразования и науки (грант РНП.2.2.1.1.7280) в совместной работе с Региональным научно-образовательным центром «Жидкие кристаллы» (г.Иваново).

По материалам диссертации опубликованы 47 печатных работ, в том числе монография, глава в коллективной монографии, 3 учебных пособия, 14 статей в ведущих рецензируемых научных журналах, перечень которых определен Высшей аттестационной комиссией, 5 статей в сборниках трудов вузов, I препринт, 17 тезисов докладов на конференциях и другие работы.

Структура работы

Диссертация состоит из введения, четырех глав, заключения, библиографического списка из 287 наименований и включает 274 страницы (из них 29 страниц библиографии), в том числе 69 рисунков, 20 таблиц, а также приложение на 134 страницах.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, определены цель, задачи и методы исследования, даны сведения о научной новизне и практической ценности.

В первой главе рассмотрен вопрос о повышении качества решений при проектировании промышленных предприятий и объектов городской застройки за счет использования более точных оценок предполагаемых уровней загрязнений, сделан обзор моделей, применяемых для получения таких оценок, и определены требования к модели для рассматриваемого случая; сформирован базовый блок модели образования и распространения твердых и газообразных загрязнений.

На основании обзора моделей, используемых для оценок предполагаемых уровней загрязнений, выбраны модели в частных производных, отличающиеся точностью и универсальностью (в отличие от имитационных, системной динамики, гауссовских, нейросетевых).

Предлагается трехмерная многофазная многокомпонентная модель, учитывающая турбулентность, перенос излучения, тепла, пыли и реагирующих газов, динамику водяного пара и капель, конденсацию и испарение капель, поглощение газов каплями. Рассмотрим базовый блок: образование и распространение твердых и газообразных загрязнений. На основании анализа выбраны уравнения Навье-Стокса для вязкой несжимаемой среды в переменных «скорость-давление».

¿5 U j

~~д7

■+U

■VU3=V.((.

^ К10Л ^ туро

)-VUj)---VP+Fj; j= 1,2,3;

F = (0;0;bgAT); v)(])1

1ФФ

v + v - ■ d = V- U

v мол T v 'rypG ' LJ '

'1 1-1 i - i

Qui giij

+ ba-

<?T

tit

+ U-VT = V

cp

+ «Tvnp6

• VT

w дифф + wnp

cp

где и — вектор скорости основной фазы, Р — давление, умш1 и \\у|,6 — молекулярная и турбулентная вязкости, Т — температу ра, Хо, с, р, Ь — теплопроводность, удельная теплоемкость, плотность и термический коэффициент расширения воздуха, а — коэффициент, Х|, х^ I — переменные Эйлера. Коэффициенты а отражают влияние турбулентности на прочие процессы. Модель турбулентности К-Е (ЛМС):

В К д t

ОЕ

+ U-VK = V

j<M>

VK

+GK+Gb-E;

эфф

+ U • VE = V о t ( аР

К г

утур6 - сц"ТГ ' °К - чфф'

ь

VE

/

3 3 1

ZSt

i=i j=i

а и, | aUj

ч( xi 5x. у

U,

G - b , г7Г ■ с -с +c n3bil/ilo ■ л.

GK

и.,

чфф'1

включая стандартные параметры: ок= 0,7194, стЕ = 0,7194, с|=1,42, с21= 1,68, По = 4,38, Р = 0,012, см = 0,0845. Модель К-Е (RNG) показала хорошую точность и наибольшую адекватность передачи структуры потока в численных экспериментах с различными моделями (Абрамо-вича-Секундова, Спаларта-Аллмараса, четырьмя вариантами К-Е: стандартным, Yap, Chen-Kim, RNG) при сравнении с опытными данными (см. приложение 1) для стандартной задачи об обтекании препятствия CEDVAL А-1.

ас,

дХ

(и + wJ-VCj = V-((dc. +aCjvTyp6). VcJ-ACj + j = 1,N ;

z-i

¡=i

ас,

<и

к=1 ш=1 к=1 111=1

где С — вектор концентраций веществ (газов и переносимых воздухом пылевых частиц), Эс. — скорость витания и коэффициент диффузии ¡-го вещества, N — число веществ, я — число химических реакций, Я* и — стехиометрические коэффициенты при ¡-м веществе в правой и левой частях к-й реакции, Ак = Ак(Т) — константа скорости к-й реакции. Для фотохимических реакций Ак * 0 лишь в случае, если суммарная освещенность превышает заданный стартовый порог.

Выделим уравнение диффузии пара с концентрацией Сп = С1П:

■^^^(и-!-= +аСпУту1,б)-УСп)-АСП аС"

г г

с11

АС =

М,.

где 0<>

'к V ¡=1 ¡=1 коэффициент диффузии пара, Мк

молярная масса воды. Уравнения переноса диффузного гтучения в Ыгаа диапазонах (в последнем — теплового инфракрасного излучения) по модели К.Ш.юи:

" гас!

]=1

; w1""

Мы-"

I №

И

р,'

зр^п

—7—• если .1 < N га(1;

За ¡^ • |в(т)с1>,, если ] = N ы,

где 1ц 1 — первый компонент разложения интенсивности излучения в ,)-м диапазоне (метод сферических гармоник), ^ — интегральная освещенность (прямым солнечным излучением), Л.-1, и — начальная и конечная длины волн, В(Т) — функция Планка, (3,1, а], р^ — коэффициенты ослабления, поглощения и рассеивания, та' — альбедо однократного рассеивания, ^ — фактор асимметрии. Р(, находится обратной трассировкой луча, что упрощает вычисления, особенно в областях сложной формы. Из каждой ячейки трассируется несколько лучей (в

направлении, обратном вектору падения солнечного излучения) до ячейки с известной величиной F({, для каждого луча рассчитывается ослабление по закону Бугера-Ламберта, результаты усредняются. Это повышает точность расчета для частично затененных ячеек. Расчет распараллелен (ОрепМР) по лучам, в пределах блока области. Уравнения для фазы тяжелых пылевых частиц:

^ + -VUPJ = V• ((v)nf0;| + avTyi<!)- VUp j)-gj +[Fp(U-Up)].;j =1,2, 3;

Up-VPp = V-((dp +apv.iy|l6)-Vpp)-pp -(v-Up),

где U,, — вектор скорости пылевой фазы, vpM0JI — кинематическая вязкость пылевой фазы, gt = 0, g2 = 0, gr, = g, ^(AU) — сила сопротивления частицы потоку, рр — плотность пыли, Dp и ар — коэффициенты, введенные с целью придать единый вид параболическим уравнениям (в простейшем случае Dr = I, ар = 0). Аналогичные коэффициенты в уравнениях для капельной фазы имеют тот же смысл по умолчанию.

Граничные условия. Для большинства переменных ставятся обычные условия первого/второго рода. Для энергии пульсаций К — условия второго рода, для скорости диссипации — первого рода:

Е| = Е(у)= ср75[к(у)]',5/(0,41у), где у -— расстояние до стенки. Для диффузной интенсивности излучения (j = l,Niad) на открытых границах задается равенство потока освещенности извне известной величине Fe'xt. На закрытых границах для теплового инфракрасного итпчения:

мо

Зе, ß,N™< flxj _||„,м,1 ir 1",<п/

где ss — коэффициент черноты поверхности стенки, Ts — температура стенки, fT(Ts) — интеграл функции Планка по длинам волн диапазона излучения. В иных диапазонах излучения:

2(2-Ё5) 1

'о

= =fO>i—r-fr,

•„¡>01 n:<()(

где со;! — альбедо стенки, Г2„ — вектор падения лучей. Для температуры в верхнем слое стенки Г_!_Ох, решается двумерное уравнение теплопроводности с учетом кондуктивной и лучистой теплопередач:

где а8, с5, р8, сц — температуропроводность, теплоемкость, плотность и коэффициент теплоотдачи материала стенки, Ь - —размеряй ячейки стенки по Охь Р8 — поток лучистой энергии между стенкой и средой.

Во второй главе проведен анализ подходов к моделированию капельных фаз, предлагается новый подход к расчету распределений в компонентах капельной фазы (растворенных загрязнителей), проверяется адекватность подхода, разрабатывается новая компромиссная разностная схема для уравнений химической кинетики.

Предложена модель фазы капель из 7. компонентов (то есть секций, к ¡-й секции относятся капли с диаметрами [с!,; с!,. |]):

М- + (и +=у.((0'р, +а|>купрб)л^)-р'к -Ии + \^))+Др'к;

+(и + )• = V • ((о^ + а.,утур0).ду;; ] = й?, межфазные (Ф) и межкомпонентные (Д) переходы:

дР' = ф? + ф,;, + ф,+_, + -[- Д+(Ч - Д-р'к + л+р1Г' + Д"р1+|];

т

ф? =Ф,(СС4 ф; = с!> ; ФГ = ^ ); <^(<М2)п;(о)-оц(фо;

^ у' 1 Г 1

* % т

4

ф) 03<10; Д+р' ^р^пДо^сЮ;

Рк Рк Рк Рк

4 •((*): Ф,, = Фм(4*. >,); (ё,,с12)=тг}п,(о)- О- Ц(С^с!О,

причем характерные диаметры, соответствующие положению начала или конца участка распределения капель, переходящего между компонентами при конденсации/испарении, расчитываются по следующим формулам (полученным реконструкцией неявной разностной схемы):

унесли ¡=2+1 илиС,,<С;,()[!(у,);

2ц(у,).........агч

4 =

-т _ иначе; РкУ,

2Ь (х )

а*,

х( иначе,

где , Ы[., и'к — плотность, концентрация и вектор скорости ¡-го компонента, у^ — концентрация ]-го газа в каплях ¡-го компонента, Орк - 0\к > 11 а — коэффициенты, ^(ди) —сила сопротивления потоку с учетом деформации, т — шаг интегрирования, и — потоки пара и |-го газа между ¡-м компонентом и средой, р^ — плотность вещества ¡-го компонента, С'пов(<1) — концентрация пара на поверхности капли (с поправками Кельвина и Кехлера).

Новизна модели состоит в расчете параметров И/ и Ь, кусочных распределений (линейных при полном заполнении [капли с диаметрами от до с1,.|] и равномерных при частичном заполнении [с поиском начала х, или конца у; заполнения]) путем восстановления по значениям р'к и ЬГк. Сформулированы простые критерии для определения типа процесса в секции и ее заполненности. При полном заполнении решается система линейных уравнений относительно а; и Ь^

кЬл.1

- + Ь;(у, -х()= N5.;

5 ' 4 л р' ' а при частичном заполнении решается одно из двух уравнений:

лРкМк яр^

соответственно, у( = с!;+1 или =(1,; причем а, =0, Ь, =Кк/(у,--х,-).

Подход имеет невысокую трудоемкость и особенно эффективен при активном переносе капель между ячейками со значительно варьирующимися и нестандартными распределениями капель. Такие случаи могут некорректно обрабатываться при использовании традиционных подходов (А.Е.Алояна, метода мод и других). Сравнение результатов моделирования популяции капель с применением разработанного подхода и лагранжевой модели показало, что при низких вычислительных трудозатратах (в 540 раз меньше по сравнению с лагранжевой моделью на 1000 капель) предложенный подход показал приемлемые величины относительной погрешности (до 2+18% по плотности капель и 17+35% по загрязнителям), которая остается ограниченной. В практически важных случаях точность можно повысить, измельчив секции.

Для расчета оптических характеристик среды применена интерполяция полиномами, приближающими результаты точных вычислений по теории Ми для каждого капельного компонента.

Предложены решения, облегчающие расчет для областей сложной формы, в том числе компактные способы: а) хранения и адресации вектора значений на гранях угловых ячеек сетки, б) описания области в виде прямоугольного массива дескрипторов, представляющих списки цепочек свободных узлов, что облегчает реализацию метода прогонки.

По соображениям легкости и эффективности распараллеливания, достаточной точности и высокой устойчивости, для параболических уравнений выбран локально-одномерный метод расщепления с неявными разностными схемами первого порядка аппроксимации по времени и первого - второго порядка по пространственным переменным. Использован консервативный вариант схемы противоточных производных. Применена неравномерная расчетная сетка. Для уравнений Пуассона и Гельмгольца использован метод верхней релаксации (с «шахматным» порядком обхода узлов и чебышевским ускорением).

Для подсистемы уравнений химической кинетики используется метод Гupa. Также предлагаем компромиссную разностную схему (синтез схем Рожкова и Адамса-Моултона), обладающую хорошей устойчивостью и приемлемой точностью при невысокой трудоемкости.

Представим подсистему уравнений химической кинетики в виде:

^- = Crfi(C1,...CN)+gi(C1,...Ci_1,C¡+1,...CN);i=Üí, d t

что соответствует подходу Рожкова. Перейдем к разностной форме:

pS+l _pS

' u ¡ = F¡s+1; F/*1 =C?+If? +gf, h

h — шаг интегрирования по времени. Применив метод Адамса-Моултона и группируя выражения относительно С-+1, получим расчетную формулу компромиссной разностной схемы:

С-' = CI +h(Pngi +Pn-i^'S + 1 ~ l-hpnf,s где р — параметры метода Адамса-Моултона п-го порядка (п < 5). Экспериментально показано, что при высокой жесткости системы уравнений (например, при горении метана) совершенно устойчив расчет с периодическим изменением порядка метода: n~ l+[s mod NJ; N — максимальный порядок метода, N < 5. При расчете с простым контролем погрешности (циклическим делением шага пополам, пока погрешность не достигнет заданного уровня) компромиссная схема с N = 4 при точности, сравнимой с точностью метода Гира, показала меньшую (приблизительно в 1,2+2 раза) трудоемкость при небольшом исходном шаге h и равную трудоемкость при большой исходной величине h.

В третьей главе сформулированы быстрая и полная схемы выбора оптимальной комбинации методов распараллеливания для решения поставленной задачи; разработан алгоритм исключения части обменаа данными; предложена модель, позволяющая определить оптимальную асинхронную схему обменов данными; предложен новый алгоритм балансировки загрузки процессоров.

Схемы выбора комбинации методов распараллеливания для динамических уравнений (параболических, Пуассона и Гельмгольца). Возможны три основных метода: по функциям (уравнениям) — РПФ, по пространству — РПП, комбинированный — РПФ и РПП. Для систем с однородной средой передачи данных предложена быстрая схема выбора одного метода распараллеливания:

а) если «вычислительная жесткость» [тах(с>:)/тт(0|), где

) .1

— трудоемкость интегрирования ^го уравнения, измеряемая в количестве арифметических операций] высока, то выбирается РПП, поскольку отношение времен выполнения итерации для методов РПФ и РПП

К .

G, = max(Qj) /

будет существенно больше единицы. Здесь Ыур — число уравнений [используется 1ЧУР процессоров].

б) иначе анализируется структура орграфа взаимозависимостей переменных подсистемы динамических уравнений. Если есть подграф, являющийся пустым, или содержащий незначительное число дуг и не связанный с остальной частью графа, то для соответствующих переменных используется РГ1Ф, для остальных — РПП. Если такого подграфа нет, то оценивается отношение максимальных объемов пересылок для РПФ и РПП, приходящихся на долю одного процессора, в системах с индивидуальными каналами связи (коммутаторами):

с ^оГ'Мр.) ^^

~ го+чк^хр^лс^к '4" ^р ^ м''

где N0™ и N0™'— количества обменов данными на итерации при решении всех уравнений в блоке области (РПП) и при решении каждого уравнения во всей области (РПФ); Р| — степень ¡-й вершины орграфа взаимозависимостей; Т^с.10св — число слоев узлов, передаваемых за одну пересылку (РПП); N2 — число слоев узлов по оси, по которой разбивается область (РПП); М| е {0; I} — флаг необходимости значения ¡-й переменной для предварительных вычислений. В системах с разделяемой коммуникационной средой (с общим коммутатором) оценивается отношение общих объемов пересылок для РПФ и РПП:

05ЫРПФу р

и>- 1ЧООМ / У ' 1

__и)_

2 0 + с| (Ы п -1 ур N слоев /ы г ' где Мп — число процессоров. При С2 < 1 выбирается РПФ, иначе — РПП.

По предложенной методике был сделан предварительный выбор метода РПП. Область поделена на блоки, каждый из которых обрабатывается «своим» процессором. Блоки имеют два общих слоя узлов, что обеспечивает непрерывность интегрируемых функций.

Полная схема выбора оптимальной комбинации методов распараллеливания (РПФ, РПП, комбинированный) предназначена для систем с неоднородной средой передачи данных (например, кластерных систем из БМР-блоков, обменивающихся данными по коммуникационной сети). Минимизируются общие временные затраты на вычисления (то есть максимизируется полная полезная нагрузка процессоров) и пересылки данных. Соответствующая модель целочисленной нелинейной оптимизации с ограничениями содержит следующие переменные:

е {0; 1), выражающие факт отображения всего поля к-й переменной на^н процессор (РПФ), } = , к = 1,Мур :

е {0; 1 ], определяющие РПП для поля к-й переменной; е {0; I), определяющие участие .¡-го процессора в обработке переменных с применением РПП. Целевая функция:

( ("V М

V' 1

max max

ге(,Ч.„

■0-FT)

^F (

z-

V/2] G,+V+ I+Tsend(X, F, G) ->m in;

1=1

у t

Tscnd(X,F,G)=X

r=l

Nvp

Trn(F,G)+^T,i(X,F7G)

ы

; t1"(f,g)=2f;visxg,„qi

НШ1-1

Nn N

X„Xl]+(xnF(.Gj+XljFi

t£(x.f,g)=a jv^qii

( i=I .N

где V — объем поля (в байтах) одной переменной, т, — скорость обработки (байт/с) поля r-й переменной, V+ — объем дополнительных данных, обрабатываемых процессором при использовании РПП, Art- — матрица отношения зависимости f-й переменной от r-й переменной, Q,, — матрица значений времени (с/байт) пересылки одного байта данных из ¡-го в j-й процессор (латентностью пренебрегаем, поскольку она существенно меньше времени передачи), Vrs — объем данных поля г-й переменной, пересылаемых между двумя соседними процессорами (в одном направления) при использовании РПП.

Первый член целевой функции определяет общее время параллельного расчета полей переменных. Второй член выражает суммарное время передач данных. Функция T,n(F,G) определяет время передачи (в группе РПП-процессоров) в случае, когда для обработки r-й переменной используется РПП. Время передачи для прочих случаев (РПФ

и РПФ, РПФ и РПП) вычисляется функцией

Введем ограничения: любая переменная обрабатывается с использованием только одного метода распараллеливания; каждый процессор может участвовать в параллельной обработке с применением лишь одного из методов; если хотя бы одна переменная нуждается в обработке с использованием РПП, то под такую обработку должны быть выделены по меньшей мере два процессора; процессоры, отведенные под обработку с применением РПГТ, нумеруются непрерывно.

Nq N;p Vk:£xtj = l-Fk; Vj: ^Хк,<1-Сг

j=l k=l

Ny|, Nyp

G, = VFk; G, = VFk; k=i ' k=i

V j> 2: GH -Gj >0.

Применение данной модели подтвердило обоснованность выбора, сделанного в пользу РПП для решаемой задачи при работе с 128-ядерной кластерной системой ИГЭУ (четырехъядерные блоки, связанные сетью Gigabit Ethernet) и системой МВС-1000/16 (Fast Ethernet). Комбинации РПФ/РПП эффективны при решении ряда задач специфической структуры (например, при наличии одного или нескольких обособленных или слабосвязанных с остальными уравнений).

При интегрировании динамических уравнений на стыках блоков используется предвычисление по устойчивой явно-неявной схеме Го-ловичева, обеспечивая их взаимонезависимую обработку при прогонке. Число пересылок минимально (один массовый асинхронный обмен в топологии «труба» на итерации) и может быть дополнительно сокращено с помощью специального алгоритма.

Алгоритм исключения части обменов данными предполагает периодическую замену данных, которые должны быть получены в ходе обменов на стыках блоков расчетной области, результатами экстраполяции (кубическими полиномами) по времени значений переменных на стыках. Для нахождения коэффициентов полиномов используется метод наименьших квадратов с весами q,(t) в целевой функции: О ^

^Tq^t)),2 -» min , где Q — количество предыдущих точек, 8j — невяз-¡=1

ка для i-й точки. Соответствующая задача решается для каждого узла расчетной сетки. Веса определяются либо специальной сигмоидальной функцией, либо путем периодической подстройки.

Подстройка заключается в том, что для случайного набора из S узлов относительно q;(t) градиентным методом решается задача:

SM

2^2^(5jk(qj(t)))" -» min , где М — глубина предсказания, öjk<qj(t)> — .И к=1

невязка в j-м узле для k-й точки, полученная при текущих значениях qi(t). Для решаемой задачи подстройка снижает погрешность экстраполяции в 1,2-4-1,3 раза на наиболее критичных первых сотнях итераций, далее подстройка дает снижение не более чем в 1,05 раза.

Модель построения оптимальной асинхронной схемы обменов данными на стыках блоков. Совместим во времени вычисления и обмены данными на стыках. Расчет представим как серию процессов обработки групп переменных модели. Совмещение вычислений и обменов ограничивается наличием зависимостей между группами. Редуцируем орграф зависимостей переменных модели, объединяя узлы, образующие циклы. Получим сеть взаимозависимостей К групп переменных, по которой построим матрицу Р отношении строгого следования между группами. Задача сводится к определению значений целочисленных переменных Х^ (¡-я группа входит в блок групп, передаваемый |-м по счету и обрабатываемый (|' Н )-м по счету; Хц е {0; 1}), при которых достигается минимум временных затрат:

И 2к

+ WM -» m in ;

M 1=1

где j = l.M ; M — максимальное количество блоков групп; Tj'(N) —

табличная нелинейная функция времени обмена сообщениями (на j-ii стадии) из N элементов; к — коэффициент замедления вычислений при асинхронном обмене; 5 — доля объема данных блока поля, подлежащая передаче; tj — эмпирическая средняя скорость обработки поля одной переменной в i-й группе; Vj — объем данных в i-й группе (на одном процессоре). Введем отсутствие простоев при обработке блоков групп, вхождение группы в один блок и верный порядок обработки:

V j> 1: VX.j.] -VX,j > 0;

1=] f=l

vi: 2xu= 1; vi-j; M'-x^siiXp*,

j=l r=l V /

Для решаемой нами задачи такая модель оптимизации дает нетривиальные результаты лишь для систем с корректной реализацией асинхронных обменов, например, использующих специальные коммуникационные процессоры. Для иных систем (например, кластерных, Ethernet) модель дает одно решение: при обменах наиболее выгоден режим с объединением всех групп переменных в единый блок.

Стратегии исключения и оптимизации пересылок апробированы при компоновке схем обменов для кластерных систем. Для системы МВС-1000/16 стратегия исключения обменов позволила повысить

эффективность распараллеливания на 4+11% (при предсказании четырех новых точек по пяти предыдущим).

Интегрирование уравнений химической кинетики при наличии в расчетной области значительных тепловых неоднородностей требует динамической балансировки загрузки процессоров. Алгоритм централизованный балансировки малоэффективен в связи с высокой загрузкой управляющего процессора. Известные алгоритмы распределенной балансировки обладают невысокой коммуникационной эффективностью в связи с наличием множества «коротких» передач данных.

Новый алгоритм распределенной балансировки отличается минимальным числом пересылок. Алгоритм применим при медленном дрейфе «горячих» участков, когда Ьт;„/т> кУдрейф, где !)„„„ — минимальное расстояние между узлами расчетной сетки; т — шаг интегрирования по времени; УД|)ейф — максимальная скорость дрейфа «горячих» участков; к — коэффициент, к > 1. Для распределения нагрузки в начале итерации в + 1 с высокой степенью достоверности можно использовать информацию о времени обработки узлов на предыдущей итерации 5. Считаем, что время прямо пропорционально числу проделанных итераций метода Гира. Алгоритм включает три этапа:

1. Каждый ¡-й процессор подсчитывает предполагаемое суммарное время Ь; на обработку узлов, выделенных ему при блочном разбиении области, и передает значение Ь, остальным процессорам. ГТодсчи-тывается предполагаемое среднее время выполнения итерации Н.

2. Каждый ¡-й процессор определяет свой статус для данной итерации. Если - Н| больше допустимого дисбаланса, то ¡-й процессор

будет участвовать в обменах данными. Если Ь\ > Н, то он должен передать часть своих узлов другим процессорам. В противном случае процессор должен будет принять часть узлов от других процессоров. Число узлов и номера процессоров — партнеров по обмену рассчитываются по единой схеме всеми процессорами, в первую очередь распределяются наиболее длительно обрабатываемые узлы.

3. Процессоры приступают к обработке имеющихся узлов. При необходимости, одновременно с обработкой идут процессы асинхронного приема-передачи (единым блоком) «лишних» узлов. По окончании обработки исходного множества узлов процессоры обрабатывают узлы, полученные от других процессоров, и единым блоком отсылают обратно результаты обработки и данные о времени обработки.

Эксперименты (см. приложение 2) показали, что эффективность распараллеливания кинетического блока на МВС-1000/16 при использовании предложенного алгоритма балансировки повышается с 91% до

98% для двух процессоров, с 91% до 100% для четырех, с 90% до 94% для восьми. Прячем даже на восьми процессорах данный алгоритм показал лучшие результаты (на 12%) по сравнению с иными алгоритмами распределенной балансировки, что достигнуто за счет высокоэффективной организации обменов данными.

Обоснован выбор MPI в качестве основного программного средства распараллеливания по пространству. Также используются TCP Router н Emdedded Parix. При параллельной обработке фрагментов расчетной области многоядерными SMP-блоками используется комбинация MPI+OpenMP. Разработаны однопроцессорный и многопроцессорный варианты многоплатформенного (Windows, Linux, Parix) программного кода. Многопроцессорный вариант оптимизирован для работы с системами МВС-1000, Power XPIorer, Windows- и Linux-кластерами. В приложении 2 показаны высокая степень ускорения и хорошая общая эффективность распараллеливания на кластере ИГЭУ (95% на четырех, 75% на восьми, 81% на шестнадцати, 84% на 36 процессорах) и на МВС-1000/16 (88% на двух процессорах, 91% на четырех, 83% на девяти и 80% на одиннадцати). Комбинирование интерфейсов МР1/ОрепМР создало предпосылки для более эффективного распараллеливания при использовании значительного количества процессоров в кластерной системе ИГЭУ с SMP-блоками, на которой и было подучено ускорение в 30,4 раза на 36 процессорах, в 24,6 раза на 28 процессорах, в 15,6 раза па 20 процессорах, в 9 раз на 12 процессорах.

В приложении 3 описаны разработанные имитаторы Power XPIorer. Одномашинный имитатор реализует больший набор функций и обладает дополнительными отладочными возможностями по сравнению с аналогами. На базе PVM 3.4.2 разработан сетевой имитатор, позволяющий оперативно переносить параллельные программы (Embedded Parix) с Power XPIorer на Windows-кластеры. Имитаторы использованы при разработке программы моделирования распространения загрязнений.

В четвертой главе сделан обзор подходов к автоматизации программирования, разработан новый подход па базе предложенных автором объектно-событийных моделей, предлагаются принципы интерпретации и технология трансляции моделей в программный код.

Сделан обзор подходов [наиболее значимы: компилирующие шаблоны (Software Factories), прямое исполнение (Флорз/FloraWare), прямое преобразование (Draco, TAMPR), решающие системы (ПРИЗ,

IPGS), автоматный подход (SWITCH-технологии), специализированные системы (НОРМА, SciNapse, работы С.В.Востокина, В.Н.Нуждина) и, отчасти, ментальное программирование (1Р)] к автоматизации программирования (алгоритмизации и кодирования). Принято решение о разработке нового, более гибкого подхода, позволяющего: а) легко интегрировать стратегии оптимального распараллеливания, б) производить сложное комбинирование и настройку алгоритмов, реализующих различные методики численного интегрирования.

Представим предметную область как иерархию классов (понятий), описывающих общие свойства объектов, подпадающих под данное понятие. Формальное описание исходной задачи — совокупность связанных объектов (экземпляров классов предметной области). Представим такое описание в виде блочной схемы. Схема может служить основой для генерации программы, если считать, что каждый входящий в нее объект порождает программный ресурс (функцию, переменную, цикл и т.п.), представленный одним или несколькими фрагментами программы, которые могут перемежаться с другими фрагментами (решение проблемы «спутанного кода»). Содержание фрагментов определяется структурой связей между объектами и их параметрами. Порядок компоновки фрагментов определим не только структурой связей, но и интерпретацией описания как событийной модели, в которой каждое событие определяет некий этап генерации кода.

Такой подход обеспечивает требуемую гибкость порождения кода. Анализируя структуру модели (передавая данные по связям или с помощью XPath-запросов к XML-представлению модели), объекты могут выбрать оптимальные стратегии распараллеливания, скомбинировать и настроить стандартные алгоритмы численного интегрирования, осуществить контекстную генерацию вспомогательного кода.

Предлагается объектно-событийная модель (ОСМ), используемая как для описания задачи, так и для порождения программы. ОСМ представляется графом (Р, Е), где Р — множество узлов (объектов различных классов), Е — множество дуг (связей между объектами). На множестве Р определим функцию принадлежности к одному из классов: class: Р С, где С — множество классов.

Введем два основных пита связей. Основные связи определяют порядок срабатывания объектов и являются «каналами» передачи данных. Вспомогательные связи отражают структурные аспекты модели. Любая связь исходит из выходного контакта объекта и входит во входной контакт объекта. Граф модели может содержать циклы, но каждый

цикл должен содержать вспомогательную связь. Подграф, построенный лишь на основных связях, является сетью.

Иерархия классов определена отображением parent: С -> С ,

, , (Те, 0,0,0,0), если а есть корень иерархии;

Va е С Зрагепца) = -I

[се С, если с есть предок а,

где г — пустая цепочка. Класс S — пятерка (Nc, I, О, F, М), где Nc — идентификатор класса; I = in(S), О = out(S) — множества входных и выходных контактов; F — поля; М — порождающие методы.

Контакты, поля и методы могут быть собственными, унаследованными и/или переопределенными. Если S = ( Nj?, Is, Os, Fs, Ms), Q = (N£\ 1°, 0°, Fq, Mq), причем Q = parent(S), то IQ с Is, О0 с Os,

F° с Fs, My с Ms. Допускается вызов методов-предков из М'-' в соответствующих переопределенных методах Ms.

Контакт Z е in(s)uout(s) класса S есть шестерка (Nt, Т, L, Min, Max, D), где N, — идентификатор контакта, Т 6 {входной, выходной} — тип контакта, L — множество допустимых выходных связей:

е С & z = in(s)& [допустима связь(Б,2) -> (s,z)]},

Min е {0, 1} и Мах е {!,<»} — минимальная и максимальная степени контакта, D = D[N(J — ассоциативный кортеж (буфер передачи данных), отражающий состояние контакта, Nk — имя k-й ячейки кортежа.

Множество полей F класса S представим ассоциативным кортежем F = F[Nj], хранящим текущее состояние объекта, принадлежащего классу S, причем Nj — имя j-й ячейки кортежа.

В множестве М класса S каждый метод является программным скриптом (на языке PHP), реализующим реакцию на некоторое событие, произошедшее в процессе интерпретации модели. Представим данное множество в виде вектора М = (MSi, MS2, ... MSn), где N — размер календаря событий. Реакция на событие может включать действия четырех типов: а) контекстную генерацию фрагмента кода на основании значений полей F и информации, поступившей в кортежи D входных контактов; б) планирование нового события (включение его в календарь событий); в) изменение значений в кортежах D выходных контактов; г) изменение значений в глобальном ассоциативном кортеже В — «почтовом ящике», предоставляющем дополнительные прямые средства обмена данными между объектами.

Для удобства представления модели в виде схемы существует специальный класс-контейнер S* = (N*, Г, О*, 0, 0), представляющий «обертку» для произвольного фрагмента модели (Р*, Е*). При этом I* с jt|t € in(s)&s е Q'); О* е |t|t e oul(s)&s е О*); Q* = |q|q = class(p)& p e P*}.

При интерпретации модели контейнеры непосредственно заменяются фрагментами (Р , Е ), включаемыми в общую модель (Р, Е).

Интерпретация модели осуществляется на двух взаимосвязанных уровнях: событийным и объектно-сетевым. На событийном уровне интерпретация управляется календарем событий С = (С|,С2, ... CN). В начале интерпретации автоматически планируются четыре обязательных события: размещение, инициализация, вызов, деинициализация. Произошедшее событие интерпретируется на объектно-сетевом уровне, после чего происходит следующее событие. Интерпретация модели заканчивается, если исчерпан календарь событий.

Для интерпретации i-го события (объектно-сетевой уровень) используется та же методика, что и для сетевого графика работ. В первую очередь срабатывают объекты без входных контактов (I = 0), а также объекты, к входным контактам которых не подсоединены основные связи. При срабатывании j-ro объекта активизируется его метод (Mj)„ который генерирует фрагмент программы (символьную цепочку) (Zj)„ читает данные со входов, формирует данные на выходах и, возможно, планирует новые события. Все прочие объекты срабатывают тогда и только тогда, когда сработают все объекты, связанные по основным связям с их входными контактами.

Правила передачи данных по связям. Если ко входному контакту А = ( N,a , TA, La, MinA, МахА, DA) одного объекта подключены выходные контакты В' = (NJ, Т1, L1, Min', Мах1, D'), i = I, m , иных объектов, то в ячейку кортеж DA[Nk] контакта А помещается копия результата слияния ячеек кортежей D'[Nt] контактов В':

ш

VNk€Uvi:DA[Nk]=Dl[Nk]oD2[Nk]c,..oDni[Nk], ¡=1

где V' — множество имен ячеек кортежей D1, знаком «°» обозначена операция слияния массивов.

Интерпретация события заканчивается, когда сработают все объекты модели. Последовательность срабатываний объектов может быть описана вектором О, элемент qk которого содержит номер объекта, сработавшего k-м по счету. Если несколько объектов сработали одно-

временно, то их номера расположены в векторе Q единой группой. По окончании интерпретации i-ro события формируется цепочка

где п — число объектов модели, знаком «+» обозначена операция слияния цепочек. Порожденная программа G определяется цепочкой

G=Y,+YJ+...+YN, где N — общее количество произошедших событий.

Модель и схема ее интерпретации позволяют избежать неоднозначностей порядка компоновки цепочек, связанных с циклическим срабатыванием элементов модели. Неоднократное срабатывание объектов обеспечивается вводом в модель событийной составляющей, что позволяет добиться порождения одним объектом фрагментов кода, чередуемых с фрагментами, порожденными другими объектами.

Доказано, что ОСМ позволяет породить программу, реализующую любой вычислимый по Тьюрингу алгоритм. Для этого доказывается, что ОСМ способна породить программу, реализующую машину Тьюринга, алгоритм работы которой можно представить в виде графа вышеуказанного вида (Р, Е), например, блок-схемы (с помощью технологии «передачи идентификаторов событий»). На практике же ОСМ описывает алгоритмы в виде более высокоуровневых диаграмм.

Трансляция модели включает интерпретацию, результатом которой является программа на конкретном (Pascal, С) или специальном обобщенном алгоритмическом языке. Во втором случае проводится дополнительная трансляция обобщенной программы на конкретный язык программирования (более гибкий подход, упрощающий поддержку множества языков). Транслятор построен на языке SNOBOL4+.

На базе ОСМ разработана система автоматизации программирования PGEN++, позволившая в несколько раз повысить качество и сократить сроки оперативной модификации системы моделирования образования и распространения загрязнений (AirEcoiogy-P) при изменении математической модели. Повышение качества достигнуто за счет: а) контроля логических ошибок, которые могут быть внесены при построении/модификации модели, б) оптимальной настройки комбинируемых алгоритмов, в) устранения избыточного кода.

В приложении приведены результаты экспериментов по моделированию образования, распространения и вымывания загрязнений, произведено сравнение полученных результатов с реальными данными, даны рекомендации по применению результатов диссертации в

САПР промышленных предприятий и САПР объектов городской застройки.

В первых трех экспериментах моделируется участок, включающий улицу Göttinger Straße (Ганновер). На нижней границе задаются источники выделения газообразных загрязнителей (расчнтаны по модели MOBILE 6.2) и мелкой пыли. В первом эксперименте моделировалось распространение инертного загрязнителя, результаты сравнива-

Направленис ветра.0

Рис. 1. Результаты расчета концентрации разными системами и эксперимента в аэродинамической трубе («wind tunnel (numeric structure)»)

Наш расчет (AirEcology-P) занимает первое/второе места по ряду частных показателей и второе место в общем рейтинге систем (TASCflow, AirEco!ogy-P, Chensi, MIMO, Miskam, Phoenics).

Во втором эксперименте моделировалось образование фотохимического смога, использовалась модель CBM-IV (36 реагентов, 83 реакции). Влажность — 10,8%, температура — 27,7°С. В районе станции наземных измерений (отмечена крестом на рис. 2, а) образовалась зона застоя. В верхней части — температурная инверсия, препятствующая рассеиванию загрязнений (рис. 2, б, температура указана в °С). Учтены тепловые эффекты, связанные с поглощением излучения, лучистым теплообменом со стенами зданий (на рис. 3, а, б, показаны интенсивности рассеянного (диффузного) излучения, Вт/м").

I I I

I

I

Рис. 2. Скорость (а) и изолинии избыточной температуры (б) во фронтальном сечении, проходящем через точку расположения станции

I

а) б)

Рис. 3. Изолинии интенсивностей диффузного ультрафиолетового (а) и теплового инфракрасного излучений (б) во фронтальном сечении

Наиболее загрязненным участком оказалась зона застоя (наивысшие концентрации всех загрязнителей, см. рис. 4, а, б). Получены распределения концентраций основных компонентов смога: озона, пероксиацетилнктрата и паров азотной кислоты. Темп прироста концентрации озона составил 3,316-10" млн"/час, по данным станции, замеряющей фоновые концентрации озона, — 5,84310" млн''/час. Такое совпадение является достаточно хорошим с точки зрения расчета вторичных загрязнителей, особенно, если сделать поправку на неточность исходных данных (как показали результаты расчета по окислам азота, заданные интенсивности выделения некоторых первичных загрязнителей сильно завышены).

а) б)

Рис. 4. Изолинии концентраций (в млн"') озона в горизонтальном (а) и фронтальном сечении (б)

В третьем эксперименте моделируется очистка атмосферы при поглощении 8С)2 каплями воды (имитация работы поливочных машин).

а) б)

Рис. 5. Изолинии концентраций (в млн"') 8СЬ в горизонтальных сечениях на высотах хз = 0,5 м (а) и х3= 1,5 м (б)

Фоновая концентрация S02 была задана в размере 215 млн"1. В результате поглощения каплями концентрация SCb резко уменьшилась (в 10+40 раз) в зоне полива, вблизи поверхности (х3 = 0,5 м, рис. 5, а). На высоте полутора метров (рис. 5, б) концентрация уменьшилась в 1,2-ь2 раза. Результаты были признаны соответствующими действительности, что дополнительно подтверждает адекватность предложенного нами подхода к моделированию капельной фазы.

Целью четвертого эксперимента являлось моделирование распространения загрязнений в окрестности предприятия вблизи города Scunthorpe (Великобритания). Моделируется распространение газообразного

диоксида серы ЯСк выбрасываемого из дымовой трубы. Это общая ситуация как для предприятий энергетического профиля, в технологическом процессе которых используется сжигание топлива (ТЭЦ, ТЭС, котельные установки), так и для металлургических предприятий. На верхней границе задан горизонтальный воздушный поток, направленный в сторону города. Химическими реакциями пренебрегаем, так как влажность воздуха считается низкой и, следовательно, развитие влажного смога невозможно. Значения концентрации диоксида серы на выходе трубы рассчитаны приближенно, на основании данных о годовых выбросах.

В верхней части области образовался горизонтальный поток, уносящий большую часть выбросов на значительное расстояние (см. рис. 6. а). Загрязненность приземного слоя объясняется диффузией и оседанием части выбрасываемого в атмосферу ВО: (см. рис. 6, б).

/ ^ 4

ь "'Ы \

-. :ь I

',/1/ /

Iй Л I / )

ГА Ш -НА , - 4 б)

Рис. 6. Распределение скоростей (а) и изолинии концентраций 802 (б) во фронтальном сечении, проходящем через трубу предприятия

Результаты сравнивались с данными станции наземных измерений. С учетом отсутствия точных исходных данных о величине суточных выбросов, а также искажений под влиянием граничных условий (см. рис. 6), совпадение полученных концентраций Б02 с реальными данными было признано приемлемым.

В целом, при достаточно точных исходных данных, полученные в экспериментах результаты количественно и качественно соответствуют действительности. Это подтверждает достоверность математической модели, достаточную точность использованных численных методов и их адекватную реализацию в программном коде.

Показана возможность применения разработанного программного комплекса в САПР для оценки уровня загрязнений, которая может быть использована в целевой функции и/или в системе ограничений задачи выбора оптимального проектного варианта. В САПР промыш-

ленных предприятий оценка уровней загрязнений может влиять, например, на выбор места размещения предприятия, вида топлива, высоты дымовой трубы. В САПР объектов городской застройки оценка уровней загрязнений может влиять на определение плотности застройки, мест размещения и высот зданий и сооружений.

Предложена итерационная процедура поиска оптимального места размещения ТЭС, которая может применяться в САПР ТЭС.

В заключении приведены основные выводы работы.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработана новая комплексная модель образования и распространения твердых, газообразных и жидких (растворенных газообразных) загрязнений в окрестности энергетического предприятия и в воздушном бассейне большого города, предназначенная для анализа проектных решений по фактору экологической безопасности. Модель отличается учетом множества значимых факторов.

2. Предложен новый подход к моделированию многокомпонентной капельной фазы: параметры распределения капель вычисляются интерполяцией по значениям плотности и концентрации компонента. Подход имеет невысокую трудоемкость и особенно эффективен при активном переносе капель между ячейками со значительно варьирующимися и нестандартными распределениями капель.

3. Разработана новая компромиссная разностная схема для интегрирования уравнений химической кинетики, комбинирующая подход Рожкова с неявной схемой Адамса-Моултона. Новая схема имеет низкую вычислительную трудоемкость (по сравнению с методом Гира) при сохранении приемлемой точности и достаточной устойчивости.

4. Предложены новые решения по распараллеливанию расчета:

- сформулированы быстрая и полная схемы выбора оптимальной комбинации методов распараллеливания при интегрировании динамических уравнений (параболических, Пуассона и Гельмгольца), основанные на оценках «вычислительной жесткости» и количества пересылок [в зависимости от структур модели и вычислителя];

- разработан алгоритм исключения части обменов данными на стыках блоков расчетной области за счет периодической экстраполяции кубическими полиномами, коэффициенты которых определяются по методу наименьших квадратов (МНК) с весовыми коэффициентами в критерии МНК. Новизна состоит в периодической подстройке весо-

вых коэффициентов путем решения соответствующей оптимизационной задачи, что снижает погрешность экстраполяции;

- предложена нелинейная оптимизационная модель, учитывающая структуру задачи и особенности вычислителя, позволяющая определить оптимальную асинхронную схему обменов на стыках блоков расчетной области, повышающую эффективность распараллеливания;

- предложен алгоритм балансировки загрузки процессоров для задач с медленным дрейфом «горячих» областей, отличающийся от аналогов существенно уменьшенным количеством пересылок данных за счет использования предсказания времени вычислений. Показана более высокая (по сравнению с другими известными алгоритмами) эффективность при использовании в вычислительных системах с относительно медленными каналами связи.

5. Предложены объектно-событийные модели (ОСМ) порождения программ, принципы их интерпретации и технология трансляции в программный код. Модели позволяют осуществить сложную настройку комбинируемых типовых алгоритмов численного моделирования.

6. Разработан ряд программных комплексов:

- программа моделирования образования и распространения загрязнений AirEcolog\>-P, оптимизированная для работы с MBG-1000, Power XPIorer, Windows- и Linux-кластерами. В базовом варианте показана высокая степень ускорения и хорошая эффективность распар&алеливания на MBC-I000/I6 (80+91%, MPI/TCP Router) и на 128-ядерном кластере ИГЭУ (75+95%, MPI+OpenMP). Применение стратегий сокращения и оптимизации обменов позволило поднять эффективность распараллеливания до 91+94% на МВСЧ000/16. Система может использоваться в качестве подсистемы САПР промышленных объектов (ТЭЦ, ТЭС, котельных установок) и САПР объектов городской застройки, осуществляющей точную и эффективную оценку предполагаемых уровней загрязнений воздуха;

- на базе ОСМ разработана система автоматизированного порождения программ PGEN++, применяемая для модификации и частичной верификации математической модели в программе AirEcology-Р и для автоматизации разработки тестов в системе ПРОФТЕСТ;

- имитаторы системы Power XPIorer, позволяющие переносить параллельные программы на Windows-кластеры, в 1,5+2 раза сокращающие время разработки параллельных программ, снижающие нагрузку многопроцессорной системы.

7. Получены результаты моделирования процессов образования и распространения смога на улицах города, очистки атмосферы с помощью поливочных машин и распространения выбросов в окрестности

предприятия. Показано хорошее соответствие полученных результатов реальным данным. Показано, что при моделировании переноса пассивных примесей система А|'гЕсо!о§у-Р дает один из наиболее точных результатов среди систем такого класса. Даны рекомендации по применению результатов диссертации в САПР промышленных предприятий и САПР объектов городской застройки для повышения качества проектных решений. Описана процедура поиска оптимального места размещения ТЭС с помощью разработанной подсистемы автоматизированной оценки предполагаемых уровней загрязнений.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ РАБОТЫ

Публикации в ведущих рецензируемых научных журналах

1. ПекуновВ.В. Автоматизация параллельного программирования при моделировании многофазных сред. Оптимальное распараллеливание // Автоматика и телемеханика.— 2008.— №7. — С. 170-180.

2. Пекунов В.В. Модель образования и распространения твердых, жидких и газообразных загрязнителей. Оптимальное распараллеливание // Математическое моделирование.— 2009.—Т.21.— №3.— С.69-82.

3. Пекунов В.В. Автоматизация параллельного программирования при моделировании многофазных сред // Информационные технологии.— 2008,—№5,—С.З 7-42.

4. Пекунов В.В. Процедуры с планированием повторного входа в языках высокого уровня при традиционном и параллельном программировании // Информационные технологии.— 2009.— №8.— С.63-67.

5. Пантелеев Е.Р., Пекунов В.В., Первовский М.А. Распределенная компонентная модель тестов в СДО ГИПЕРТЕСТ // Информационные технологии.—-- 2004. — №8. — С.41 -46.

6. Пекунов В.В. Анализ производительности пакета \VMPI 1.3 при распараллеливании вычислительных задач газовой динамики на топологии "труба" в компьютерной сети // Вестник ИГЭУ. — Иваново, 2001. — Вып.2. — С.64-66.

7. Пекунов В.В. Выбор метода распараллеливания при численном интегрировании одного вида задач механики сплошной среды // Вестник ИГЭУ. — Иваново, 2003. — Вып. 1. — С.79-82.

8. Пекунов В.В. Объектно-событийные модели порождения программ // Вестник ИГЭУ. — Иваново, 2004. — Вып.З. — С.49-52.

9. Пекунов В.В. Компромиссная разностная схема для уравнений химической кинетики на основе схем Адамса-Моултона и Рожкова // Вестник ИГЭУ. — Иваново, 2005. — Вып.4. — С.92-95.

10. Пекунов В.В. Учет фактора излучения при моделировании процесса образования и распространения загрязнений в воздушной среде // Вестник ИГЭУ. — Иваново, 2006. — Выл.З. — С.76-79.

11. Пекунов В.В. Оптимальное распараллеливание для задач моделирования многофазных сред // Вестник ИГЭУ. — Иваново, 2007. — Вып.З—С.79-81.

12. Пекунов В.В. Моделирование образования и распространения твердых, жидких и газообразных загрязнителей в воздушной среде // Вестник ИГЭУ. — Иваново, 2007. — Вып.З. — С.81 -84.

13. Пекунов В.В. О новом решении проблемы расчета распределений при моделировании некоторых многофазных систем // Вестник ИГЭУ.

— Иваново, 2007. — Вып.4. — С.34-37.

14. Пекунов В.В. Дедуктивный вывод объектно-событийных моделей. Применение при решении задач динамики многофазных сред // Вестник ИГЭУ. — Иваново, 2008. — Вып.4. — С.81.

15. Пеку нов В.В., Ясинский Ф.Н. Сравнительная оценка моделей турбулентности в численном эксперименте // Изв. вузов. Технология текстильной промышленности. — 2001. — №6. — С. 102-107.

16. Пекунов В.В., Ясинский Ф.Н. О математическом моделировании экологических процессов в воздушной среде И Изв. вузов. Технология текстильной промышленности. —2002. —№1. —С.112-115.

17. Корочкина Е.Е., Герасимов М.Н.. Пекунов В.В., Лисицын М.В. Электронный комплекс для изучения кинетики пропитки волокнистых систем // Изв. вузов. Технология текстильной промышленности. — 2005.

— №1.— С. 139-140.

18. Пекунов В.В., Ясинский Ф.Н. Математическая модель микроклимата в производственных помещениях с повышенной влажностью // Изв. вузов. Технология текстильной промышленности. — 2006. — №2. — С.128-133.

Монографии

19. Информационные технологии: особенности применения и приоритетные направления развития: монография / Е.Д. Баран, Т.В. Белова, Р.В. Гребенников и др. / Под общ. ред. С.С. Чернова. — Новосибирск: ЦРНС — Изд-во "СИБПРИНТ", 2008. — 179 с.

20. Пекунов В.В. Численное моделирование распространения загрязнений. Оптимизация и автоматизация распараллеливания / ГОУВПО "Ивановский государственный энергетический университет В.ИЛенина", ГОУВПО "Ивановская государственная текстильная академия". — Иваново, 2009, — 304 с.

Препринты, тезисы докладов и иные работы

21. Пекунов В.В., Ясинский Ф.Н. Параллельное решение задачи численного моделирования распространения загрязнений в воздушном бассейне большого города и в окрестности предприятия // Препринт ИПМ Р АН. — 2003. — №36. — 16 с.

22. Ясинский Ф.Н., Чернышева Л.П., Пекунов В.В. Математическое моделирование с помощью компьютерных сетей: Учеб. пос. — Иваново: Изд-во ИГЭУ, 2000. —201 с.

23. Пекунов В.В., Нуждин Н.В. Имитаторы многопроцессорной вычислительной системы на персональном компьютере и работа компьютерных сетей в режиме супермашины // Высокопроизводительные вычисления и их приложения: Тр. Всеросс. науч. конф.— М.: Изд-во МГУ, 2000. — С.159-161.

24. Нуждин Н.В., Пекунов В.В., Сидоров С.Г., Чернышева Л.П., Ясинский Ф.Н. Опыт распараллеливания вычислений для моделей процессов в сплошных средах // Восьмой Всеросс. съезд по теорет. и прикл. механике. Анн. докладов.— Пермь, 2001. — С.461.

25. Балаев Э.Ф., Нуждин Н.В., Пекунов В.В., Сидоров С.Г., Чернышева Л.П., Ясинский И.Ф., Ясинский Ф.Н. Численные методы и параллельные вычисления для задач механики жидкости, газа и плазмы: Учеб. пос. — Иваново: Изд-во ИГЭУ, 2003. — 336 с.

26. Пекунов В.В., Сидоров С.Г., Чернышева Л.П., Евсеев A.B., Ясинский Ф.Н. Алгоритмы и программы для многопроцессорных суперкомпьютеров: Учеб. пос. — Иваново: ИГЭУ, 2007. — 132 с.

Формат бумаги 60x84 1/16. Тираж 100 экз.

Печать плоская. Заказ№125.

Отпечатано в УИУНЛ ИГЭУ. 153003, г. Иваново, ул. Рабфаковская, 34

Введение.

Глава 1. Моделирование несущей и пылевой фаз.

1.1. Обзор моделей, применяемых для оценки уровней загрязнений.

1.2. Определение общих требований к математической модели.

1.3. Динамические уравнения для основной и пылевой фаз.

1.4. Уравнения переноса излучения.

1.4.1. Диффузное излучение.

1.4.2. Прямое солнечное излучение.

Выводы к первой главе.

Глава 2. Моделирование капельной фазы.

2.1. Динамические уравнения для капельной фазы.

2.1.1. Поиск функции распределения и характеристик заполненности компонента.

2.1.2. Оптические характеристики среды с капельными фазами.

2.1.3. Основные уравнения.;.:.

2.1.4. Проверка адекватности предложенных уравнений.

2.2. Численные методы (для всех уравнений модели).

2.2.1. Решение параболических уравнений.

2.2.2. Решение уравнений Гельмгольца.

2.2.3. Решение уравнений химической кинетики.

2.2.3.1. Компромиссная разностная схема.

2.3. Особенности реализации выбранных численных методов для областей сложной формы.

2.4. Граничные условия (для всех уравнений модели).

2.4.1. Алгоритмическая реализация обработки угловых точек.

2.4.2. Давление и скорость.

2.4.3. Интенсивность излучения и освещенность.

2.4.4. Температура.

2.4.5. Прочие переменные.

Выводы ко второй главе.

Глава 3. Распараллеливание вычислений.

3.1. Распараллеливание вычислений при интегрировании динамических уравнений.

3.1.1. Выбор метода распараллеливания для систем с однородной средой передачи данных.

3.1.2. Выбор метода распараллеливания для систем с неоднородной средой передачи данных.

3.1.3. О выборе нетривиальных комбинаций методов распараллеливания.

3.2. Разбиение области и разностные схемы для стыков.

3.3. Проблема обработки стыков.

3.3.1. Построение оптимальной схемы обменов.

3.3.2. Сокращение количества обменов.

3.4. Распараллеливание вычислений при интегрировании уравнений химической кинетики.

3.5. Выбор программных средств распараллеливания.

3.6. Общий алгоритм вычислений и обменов данными.

3.7. Проблема автоматизации программирования.

3.8. Краткое описание разработанного программного кода.

Выводы к третьей главе.

Глава 4. Объектно-событийные модели порождения программ.

4.1. Обзор подходов к автоматизации программирования.

4.2. Объектно-событийная модель.

4.2.1. Структура.

4.2.2. Интерпретация.

4.2.3. Трансляция.

4.3. Применение объектно-событийных моделей для автоматизации программирования.

4.3.1. Параллельное численное моделирование образования и распространения загрязнений.

4.3.2. Генерация тестовых скриптов в системе профильного тестирования.

4.4. Некоторые следствия объектно-событийного подхода.

Выводы к четвертой главе.

В настоящее время существует множество экологических проблем, обусловленных загрязнением воздушной среды в окрестностях промышленных предприятий, а также в больших городах. Крупными источниками твердых и газообразных загрязнителей являются энергетические предприятия: ТЭЦ и ТЭС [8], котельные установки [49]. Здесь наибольшее количество загрязнителей (мелкой пыли, оксидов азота и серы) попадает в атмосферу при сжигании угля [7, 159]. Большое количество токсичных веществ выбрасывается в атмосферу предприятиями черной и цветной металлургии [7, 159] (например, горно-металлургическим комбинатом «Печенганикель»). Постоянными источниками пыли являются промышленные отвалы и взрывные работы. Поглощение загрязнителей (преимущественно оксидов азота и серы) каплями воды приводит к образованию кислотных дождей.

Выхлопы городского автомобильного транспорта являются постоянными источниками угарного газа, окислов азота, углеводородов. Истирание шин и дорожных покрытий приводит к образованию мелкой резиновой, асбестовой и битумной пыли. Химические реакции, протекающие между загрязнителями, приводят к появлению новых токсичных веществ (пары сернистой и азотной кислот, озон, пероксиацетилнитрат), возникает смог [64, 92, 102, 199]. Интенсивный смог может приводить к удушью, аллергическим реакциям, приступам астмы, обострению множества хронических заболеваний [92].

Неблагоприятная экологическая ситуация часто является следствием принятия проектных решений, плохо обоснованных с точки зрения экологической безопасности. Проблема, обычно, заключается в использовании недостаточно точных оценок предполагаемых уровней загрязнений при анализе проектных вариантов. Применяемые в настоящее время нормативные методики (ОНД-86 и другие) недостаточно учитывают ряд важных факторов, например, турбулентность и химическую кинетику [149], воздействие солнечного излучения на тепловые и фотохимические процессы, поглощение загрязнителей каплями воды. Актуальна задача повышения качества проектных решений за счет использования более точных средств оценки уровней загрязнений при проектировании ТЭЦ, ТЭС и иных предприятий энергетического профиля, а также объектов городской застройки.

Существует множество методов получения количественной и качественной картин распределения концентраций загрязняющих веществ. Методы делятся на два больших класса: теоретические и экспериментальные.

Теоретические методы основываются на попытках аналитического решения систем нелинейных уравнений газовой динамики. Такие методы, обычно, имеют высокую точность, однако их применимость ограничивается лишь некоторыми случаями, например, в работе [177] рассматриваются решения для стационарных течений. В работах [94, 145] также приведены некоторые аналитические решения, полученные при наличии серьезных допущений, например, о мгновенном приспособлении течений к перемене ветра и о постоянстве коэффициента диффузии во всей расчетной области. В сложных же случаях, особенно при наличии турбулентности, возможность существования аналитического решения не доказана. Более того, вероятно, при современном уровне развития методов интегрирования получение аналитических решений для многих практически важных задач невозможно.

Экспериментальные методы разделим на методы натурного эксперимента и математического моделирования. Методы натурного эксперимента отличаются разнообразием. Перечислим лишь небольшую часть методов, используемых для получения качественной картины распределения загрязнений: применение дыма и красителей, трассирующих частиц и нитей, метод запылепия, химические способы визуализации, интерферометрический, голографический методы, лазерный теневой метод [61], методы конденсации и кристаллизации, Шлирен-метод. К сожалению, данные методы позволяют дать информацию о распределении лишь одного -двух параметров, чаще всего плотности. Для получения количественных значений концентраций также существует множество методов: фотоколориметрический, потенциометрический, газовой хроматографии и другие. В сборнике [158] указано более шестидесяти методов для различных загрязняющих веществ. Следует отметить, что получение количественных результатов возможно лишь в ограниченном количестве точек, причем процесс измерения (например, наличие датчиков) также вносит определенные искажения. Поэтому, часто используются разного рода теоретические соображения, эмпирико-статистические модели и приближенные формулы, позволяющие восполнить картину.

Методы математического моделирования основываются на работе с математическими моделями различных уровней. Выбор метода зависит от требований, предъявляемых к точности, устойчивости расчета, вычислительной трудоемкости и другим параметрам. Данные методы отличаются высокой универсальностью и позволяют получить качественную и количественную картины распределения загрязнений, распределение всех параметров, а также проследить динамику процессов. Рассмотрим два наиболее интересных подкласса: а) нейросетевые методы ; б) численные методы.

Нейросетевые методы основаны на построении приближенных моделей распределения загрязнений путем обучения нейронных сетей [47, 151, 173] на экспериментальных данных. Данный подход привлекателен тем, что не требует построения строгой математической модели, описывающей процессы образования и распространения загрязнений. При этом используется тот факт, что можно получить достаточно точное приближение непрерывной функции многих переменных, используя стандартные нейросетевые операции сложения, умножения на вес, линейные и хотя бы одну нелинейную активационную функцию [35]. Безусловно, нейросетевые методы поиска распределения загрязнений позволяют быстро получить результат, который будет вполне точен, если сеть была обучена на полноценном наборе комбинаций входных данных, обладающих достаточной гладкостью [36]. Однако очевидно, что чем выше требуемая точность результата, тем больший объем обучающей выборки и большая сложность сети требуются, тем выше будут вычислительные затраты на обучение (даже при использовании специальных методик повышения эффективности обучения, описанных, например, в [161, 162]), тем труднее найти глобальный оптимум сети. Вероятно, нейросетевые методы (см., например, [36, 62, 250]) наиболее пригодны для получения распределений загрязнений в первом приближении [250], когда затраты на обучение сравнительно невысоки.

Традиционные численные методы [см., например, 34, 94, 95, 146], которые в дальнейшем будем также называть методами численного моделирования, предполагают численное решение уравнений, входящих в состав математических моделей, описывающих физику процессов образования и распространения загрязнений в сплошных средах. Данные методы имеют свои ограничения, преимущественно счетного характера. Также существуют работы (см., например, [62]), вообще ставящие под сомнение возможность корректной работы с численными моделями, связанными с физикой атмосферы, начиная со второго приближения. В работе [18] дано аналитическое доказательство стохастизации любых процессов, начиная со второго приближения. Не дискутируя с данным тезисом, отметим, что во многих случаях степень стохастизации, видимо, невелика (данный вопрос детально рассмотрен в [96]), поскольку большинство применяемых па практике атмосферных моделей все же дают достаточно точные результаты при правильной постановке начальных и граничных условий. Численные методы моделирования распространения загрязнений входят в число наиболее эффективных и универсальных способов автоматизированного получения количественных и качественных оценок уровней загрязнений в САПР различных промышленных объектов и в САПР объектов городской застройки.

Применение численных методов в САПР для оценки уровней загрязненности сталкивается с определенными трудностями. Проблема состоит в том, что для обеспечения приемлемых точности и устойчивости расчета приходится брать расчетную сетку с достаточно большим количеством ячеек и выполнять множество итераций. В результате число арифметических операций, необходимых для расчета динамики распространения загрязнений в течение часа на сетке с 104-И05 узлов

1С при шаге по времени порядка 10"" сек, может достичь 10 и более. Однопроцессорные вычислительные системы с такой нагрузкой справляются плохо, поэтому наиболее оправданно применение многопроцессорных систем. Но здесь возникают иные проблемы, связанные с тем, что различные численные методы могут быть распараллелены с различной эффективностью. Соответственно, при выборе метода следует искать приемлемый компромисс между точностью, устойчивостью и эффективностью распараллеливания.

В данной работе рассматривается численное моделирование распространения загрязнений в воздушном бассейне большого города и в окрестности энергетического предприятия с применением многопроцессорной вычислительной техники и компьютерных сетей в задачах автоматизации проектирования промышленных предприятий и объектов городской застройки.

Большинство известных автору отечественных и зарубежных специализированных программных продуктов, позволяющих рассчитывать распространение загрязнений, ориентировано на однопроцессорные системы. Подобные расчеты также могут производиться универсальными системами моделирования (FlowVi-sion [74, 194], FLUENT, GAS DYNAMICS TOOL, PHOENICS, Star-CD и другими, см., например, [197]), многие из которых существуют как в однопроцессорной так и в многопроцессорной версиях. Рассмотрим некоторые универсальные системы.

Пакет GAS DYNAMICS TOOL1 позволяет рассчитывать многофазные течения (с учетом тепла, химической кинетики, межфазных переходов) в областях сложной формы путем численного решения трехмерных уравнений Эйлера или Навье-Стокса (на однопроцессорных и многопроцессорных системах). Используется метод крупных частиц на основе явной двухшаговой схемы первого порядка, что накладывает определенные ограничения на шаг интегрирования по времени. Кроме того, данный пакет не учитывает факторы турбулентности и излучения.

Значительно более мощным является пакет Star-CD (информацию можно найти, например, в [41]), позволяющий рассчитывать многофазные потоки (с учетом межфазных переходов, тепла, турбулентности и химической кинетики) путем численного решения трехмерных уравнений Навье-Стокса или Рейнольдса. Пакет предоставляет широкий выбор моделей турбулентности. Существует и параллель

1 Данные получены с сайта www.cfd.ru ная реализация данного пакета Star-HPC1, показывающая достаточно хорошие результаты по эффективности распараллеливания. Данный пакет претендует на универсальность, вероятно, с его помощью могут решаться и задачи распространения загрязнений.

Пакет FLUENT (см., например, [2Ö4, 225]) является одним из наиболее популярных и мощных средств для однопроцессорных и параллельных расчетов многофазных реагирующих потоков с учетом межфазных переходов, тепла, излучения, наличия дискретных сред (капель, пылевых частиц) и других факторов. Имеются различные модели турбулентности и прочих физических процессов. Как и Star-CD, данный пакет претендует на универсальность и вполне способен решать задачи распространения загрязнений.

Универсальность упомянутых и других пакетов, фактически, заключается в попытках применения достаточно ограниченного набора моделей, алгоритмов и методов к множеству различных случаев. Очевидно, что программы, ориентированные на решение конкретного класса задач способны решать данные задачи более эффективно.

Существует большое количество зарубежных специализированных программ моделирования распространения загрязнений (см., например, обзор [229] на сайте www.epa.gov, а также [274, 275]): ADAM, ADMS-3, CAL3QHC, САМх, Chensi, ISC-3, PANACHE, REMS AD, RPM-IV, UAM-IV, UAM-V, WYND VALLEY и другие. Все перечисленные программы ориентированы на однопроцессорные системы. Большей частью используются модели на основе распределения Гаусса (например, ADAM, ADMS-3, CAL3QHC, ISC-3), реже модели на основе уравнений Эйлера и/или Навье-Стокса (например, Chensi, САМх, PANACHE, REMSAD, WYNDVALLEY). Иногда дополнительно применяется лагранжева модель для расчета переноса пыли (RAPTAD, PANACHE). Наиболее совершенные программы учитывают факторы химической кинетики (ADAM, ADMS-3, САМх, PANACHE, REMSAD, RPM-IV и другие), переноса тепла (ADAM, PANACHE),

1 Дополнительную информацию см. по ссылке www.cadfem.ru/program/starcd/starcd.htm сложной геометрии области (ADMS-3, ISC-3, PANACHE и другие), турбулентности (PANACHE).

Известны и отечественные исследования и разработки, посвященные теме распространения загрязнений (см., например, [8, 14, 15, 27, 39, 42, 80, 94, 148, 174]): ПРИЗМА, ЭКОЛОГ, VITECON и другие. Одной из наиболее совершенных разработок является система VITECON [15], использующая трехмерную модель на основе уравнений Навье-Стокса с учетом турбулентности, влагосодержания, переноса тепла в воздухе и почве. К сожалению, большая часть вышеупомянутых работ (в том числе и VITECON) не затрагивает вопроса распараллеливания. Там же, где данный вопрос рассматривается (см., например, [184]), обычно используются сравнительно несложные модели распространения загрязнений, учитывающие лишь часть значимых факторов.

Значительно меньшее число специализированных программ моделирования распространения загрязнений ориентировано на многопроцессорные системы. Назовем две известные нам разработки: ECOSIM [247] и MAQSIP1 [253]. Используются достаточно совершенные математйческие модели, позволяющие осуществлять сложные расчеты распространения загрязнений. Оба программных комплекса имеют модульную структуру, причем распараллелены лишь некоторые модули. Так, в ECOSIM распараллелен (с помощью PVM) модуль, осуществляющий интегрирование уравнений переноса загрязнителей и уравнений химической кинетики (подмодель DYMOS). В MAQSIP распараллелен (с использованием High Performance FORTRAN) модуль, отвечающий за моделирование образования аэрозолей. Безусловно, для обеспечения наивысшей эффективности вычислений необходима более высокая степень распараллеливания, что возможно лишь при организации системы как единого целого. В свою очередь, повышение эффективности вычислений позволяет использовать более сложные и точные математические модели и методы решения.

1 Информация в настоящее время доступна в Интернете по ссылке: http://www.ie.unc.edu/cempd/pubfiIes/maqsiptechnote.pdf

Особо отметим тот факт, что во всех известных автору версиях перечисленных выше специализированных программ не учитываются такие важные факторы как перенос излучения и его влияние на тепловые и фотохимические процессы, что существенно снижает точность результатов. Проблема заключается в громоздкости постановки и решения задачи такой сложности далее при использовании многопроцессорной техники [88]. В данной работе мы постараемся учесть указанные факторы с приемлемыми вычислительными затратами, выбрав: а) адекватную модель переноса излучения, имеющую достаточную точность, б) методы численного интегрирования, легко поддающиеся распараллеливанию.

В-целом, отсутствие специализированных программ моделирования распространения загрязнений, обладающих высокой степенью распараллеливания, учитывающих в едином коде все множество факторов, вероятно, следует объяснить значительной сложностью их создания и модификации. Сложность создания имеет два аспекта: а) сложность построения эффективных параллельных алгоритмов; б) сложность перевода параллельных алгоритмов в программный код.

Построение эффективных параллельных алгоритмов является нетривиальной задачей. Наиболее общими стратегиями [125, 140] здесь являются: а) минимизация числа и объемов пересылок; б) обеспечение равномерной загрузки процессоров. Для реализации этих стратегий необходимо применять специальные методики, позволяющие определить оптимальные схемы распараллеливания для различных частей задачи. Очевидно, что чем более однородной является задача, тем меньшее количество таких методик потребуется, тем меньше потребуется согласований частных схем распараллеливания и тем проще будет осуществить общее распараллеливание. Поэтому, если применяемая математическая модель неоднородна, что выражается в наличии подсистем уравнений нескольких типов, интегрируемых с помощью различных методов, то необходимо: а) стремиться к минимизации количества подсистем [125, 140], что, однако, может быть проблематичным для очень сложных моделей, учитывающих множество факторов [111, 117, 119]; А б) по возможности примененять (для разнородных подсистем) однотипные алгоритмы распараллеливания с одинаковыми схемами обменов данными.

Сложность перевода алгоритма в программный код при использовании параллельных вычислений во многом определяется следующими факторами: а) недоступностью многопроцессорной вычислительной техники; б) отсутствием (во многих системах) специализированных средств отладки. Проблема может быть решена с помощью имитаторов многопроцессорных систем, позволяющих запускать и отлаживать параллельные программы, предназначенные для таких систем, на однопроцессорных компьютерах.

Слоэюностъ модификации програлт моделирования распространения загрязнений объясняется необходимостью внесения множества изменений в различные фрагменты программного кода при модификации математической модели (при вводе дополнительного уравнения или изменении существующего). Данная проблема может быть отчасти решена путем рационального структурирования кода, но более общим и перспективным подходом представляется применение технологий автоматизации программирования. Например, было бы удобно разрабатывать и модифицировать математическую модель в виде некоторой блочной схемы, которая непосредственно транслировалась бы в набор фрагментов кода (подключений библиотек; деклараций и инициализаций конфигурационных данных; вызовов необходимых решателей для разных типов уравнений), вставляемых в соответствующие места базовой (каркасной) программы моделирования. Такое решение имеет еще одно важное достоинство: явное структурирование модели в виде блочной схемы создает предпосылки для автоматизации выбора наиболее эффективного метода распараллеливания путем анализа структуры взаимосвязей между переменными.

Целью данной работы является новое, более целостное, точное и эффективное решение задачи численного моделирования распространения загрязнений в воздушном бассейне большого города и в окрестности энергетического предприятия, обеспечивающее повышение качества принимаемых проектных решений за счет более точной оценки предполагаемых уровней загрязнений.

Для достижения поставленной цели сформулируем следующие задачи:

1. Сформировать комплексную математическую модель процессов образования и распространения газообразных (как в свободном состоянии так и растворенных в каплях воды) и твердых пылевых загрязнений в окрестности энергетического предприятия и в воздушном бассейне большого города, которая может применяться при анализе проектных решений с точки зрения экологической безопасности; определить методы интегрирования. Модель должна учитывать большое количество значимых факторов: турбулентности, диффузии, переноса тепла, влажности, излучения, межфазных переходов, химической кинетики.

2. Создать схемы, модели и алгоритмы эффективного распараллеливания для решаемой задачи, разработать программный комплекс автоматизированной оценки уровней загрязнений (в однопроцессорном и параллельном вариантах).

3. Создать средства автоматизации программирования, облегчающие разработку и модификацию программ численного моделирования распространения загрязнений. Разработать специализированные отладочные средства (имитаторы).

4. Определить возможности повышения точности оценок экологической безопасности проектных решений при использовании разработанного программного комплекса путем: а) проведения численных экспериментов по моделированию процессов образования и распространения смога на улицах города, очистки атмосферы поливочными машинами, а также процессов распространения промышленных выбросов в окрестности предприятия; б) сравнения полученных результатов с реальными данными.

Для численного интегрирования воспользуемся методами вычислительной математики. При выборе метода распараллеливания и создании параллельных алгоритмов воспользуемся методами оптимизации, теории приближения функций, теории графов, теории распараллеливания вычислений, основными принципами структурного программирования. При разработке имитаторов воспользуемся принципами структурного и объектно-ориентированного программирования, методами машинной графики. При разработке средств автоматизации программирования дополнительно применим теорию автоматов, методы имитационного моделирования, объектный подход. Кроме того, применим методы математической статистики.

По мнению автора, научная новизна данной работы заключается в следующих пунктах:

1. Предложена комплексная математическая модель процессов образования и распространения загрязнений в окрестности энергетического предприятия и в воздушном бассейне большого города, предназначенная для использования на этапе анализа проектных решений по фактору экологической безопасности. По сравнению с аналогами модель учитывает значительно большее количество факторов: динамику турбулентных воздушных потоков; перенос тепла, пыли и реагирующих газообразных загрязнителей; перенос прямого солнечного и диффузного излучений; влияние излучения на тепловые процессы и фотохимические реакции; динамику водяного пара и капель; конденсацию и испарение; поглощение (и высвобождение) газообразных загрязнителей каплями.

2. Предложен новый подход к моделированию многокомпонентной капельной фазы: в каждом компоненте параметры распределения капель не хранятся, а вычисляются посредством интерполяции из «физических» параметров — плотности и концентрации компонента. Сформулированы уравнения и алгоритм пересчета распределений. Подход имеет невысокую трудоемкость и особенно эффективен при активном переносе капель между ячейками со значительно варьирующимися и нестандартными распределениями капель.

3. Разработана новая компромиссная разностная схема для интегрирования уравнений химической кинетики, комбинирующая подход Рожкова с неявной схемой Адамса-Моултона. Применение данной схемы позволяет существенно уменьшить вычислительные затраты при сохранении приемлемой точности и достаточной устойчивости.

4. Сформулированы четкие схемы выбора метода распараллеливания: а) быстрая (с выбором одного метода), основанная на оценках «вычислительной жесткости» и количества пересылок, зависящего от структуры взаимосвязей между переменными, б) полная (с выбором оптимальной комбинации методов), основанная на решении задачи целочисленного нелинейного программирования с учетом взаимосвязей переменных, трудоемкости вычислений и структуры среды передачи данных в многопроцессорной системе.

5. Разработан алгоритм исключения части обменов данными на стыках блоков расчетной области за счет периодической экстраполяции полиномами третьей степени, коэффициенты которых определяются по методу наименьших квадратов (МНК) с весовыми коэффициентами в критерии МНК. Новизна состоит в периодической подстройке весовых коэффициентов путем решения соответствующей оптимизационной задачи, что позволяет снизить погрешность экстраполяции.

6. Предложена нелинейная оптимизационная модель, позволяющая определить оптимальную асинхронную схему обменов данными на стыках блоков расчетной области и тем самым повысить эффективность распараллеливания. Ограничения модели учитывают структуру взаимосвязей между переменными задачи. Целевая функция предусматривает возможность замедления вычислений при асинхронных обменах.

7. Предложен алгоритм балансировки загрузки процессоров при интегрировании уравнений химической кинетики при медленном дрейфе «горячих» областей. Новизна состоит в предсказании времени вычислений в узлах на основе результатов с предыдущей итерации, что позволяет эффективно произвести балансировку, избежав основного недостатка иных алгоритмов — множества пересылок.

8. Предложены объектно-событийные модели порождения программ, принципы их интерпретации и технология трансляции в программный код. Модели предназначены для использования в предметных областях, в которых эффективное решение задачи предполагает сложные настройку и связывание комбинируемых типовых алгоритмов. Применение данных моделей позволяет автоматизировать программирование задач параллельного численного моделирования распространения загрязнений.

Практическая ценность данной работы состоит в следующем:

1. На базе предложенных модели и алгоритмов разработаны однопроцессорная и многопроцессорная версии программы моделирования загрязнений Air-Ecology-P. Многопроцессорный вариант оптимизирован для работы с системами МВС-1000, МВС-100, Power XPlorer, а также с кластерными и блочно-кластерными (с многоядерными блоками) системами на платформах Windows и Unix/Linux. Применение разработанных программ позволяет повысить качество решений при проектировании промышленных предприятий и объектов городской застройки за счет более точной и эффективной оценки предполагаемых уровней загрязнений.

2. Помимо сетевого, разработан одномашинный имитатор Power XPlorer, реализующий больший набор функций и обладающий дополнительными отладочными возможностями по сравнению с аналогами. Сетевой имитатор позволяет оперативно переносить параллельные программы с Power XPlorer на Windows-кластеры.

3. На базе предложенных объектно-событийных моделей разработана система автоматизированного порождения программ PGEN++. Система используется для оперативной модификации и частичной верификации математической модели в программе AirEcology-P и для автоматизации программирования тестов в системе профильного тестирования ПРОФТЕСТ (компонент комплекса ГИПЕРТЕСТ).

4. Получены результаты численного моделирования (в параллельном режиме) процессов образования и распространения смога на улицах большого города, очистки атмосферы путем поглощения загрязнителей каплями воды (имитация работы поливочных машин) и распространения промышленных выбросов в окрестности предприятия. Сравнение результатов численного моделирования с реальными, данными подтвердило достоверность и обоснованность предложенных модели и алгоритмов, использованных численных методов, адекватность их реализации в программном коде. Сравнение результатов моделирования переноса пассивной примеси, полученных с применением разработанной нами системы (AirEcology-P) и иных систем, показало, что по данному параметру AirEcology-P дает один из наиболее точных результатов. Даны рекомендации по применению I I результатов диссертации в САПР промышленных предприятий и САПР объектов городской застройки. Приведен пример итерационной процедуры поиска оптимального места размещения ТЭС с помощью разработанной подсистемы автоматизированной оценки предполагаемых уровней загрязнений.

Программа моделирования загрязнений AirEcology-P [130] внедрена в учебный процесс кафедры «Безопасность жизнедеятельности» ИГЭУ по дисциплинам, предполагающим проведение экологических экспертиз;

- в ЗАО «ВВП» (г. Нижний Новгород) для оценки состояния окружающей среды в районе предприятия в зависимости от режима его работы и климатических условий.

Имитаторы многопроцессорной системы Power XPlorer внедрены в учебный процесс кафедры «Высокопроизводительные вычислительные системы» ИГЭУ для обеспечения лабораторного практикума по дисциплине «Параллельные вычисления».

Система автоматизированного порождения программ PGEN++ [129] в составе системы профильного тестирования ПРОФТЕСТ [131, 132] (компонент комплекса ГИПЕРТЕСТ [105]) внедрена в ОАО «Нефтяная компания «Коми ТЭК» (г. Усинск) для автоматизации разработки сценариев тестирования.

На защиту выносятся:

1. Математическая модель процессов распространения газообразных и пылевых загрязнений в воздушной среде большого города и в окрестности энергетического предприятия.

2. Компромиссная разностная схема для интегрирования уравнений химической кинетики.

3. Быстрая и полная схемы выбора метода распараллеливания.

4. Методы и алгоритмы сокращения и оптимизации обменов данными.

5. Алгоритм балансировки загрузки процессоров.

6. Объектно-событийные модели порождения программ.

Материалы диссертации докладывались на следующих международных, всероссийских и межвузовских конференциях и семинарах:

-II Международном симпозиуме «Математическое моделирование экологических процессов» (Иваново, 2000);

-II Всероссийской научной конференции «Высокопроизводительные вычисления и их приложения» (Черноголовка, 2000);

- Международной научно-технической конференции «Состояние и перспективы развития электротехнологий» (Иваново, 2001, 2003, 2005, 2007);

-VIII Всероссийском съезде по теоретической и прикладной механике (Пермь, 2001);

-IV Всероссийской научной internet-конференции «Компьютерное и математическое моделирование в естественных и технических науках» (Тамбов, 2002);

- Всероссийской научно-технической конференции «Современные технологии и оборудование текстильной промышленности» (Москва, 2004);

-Межвузовской научно-практической конференции «Экологические проблемы Ивановской области» (Иваново, 2005);

-семинарах в Институте прикладной математики имени М.В.Келдыша, РАН (23.05.2002; 26.06.2003; 24.03.2005; 10.04.2008);

-Межвузовском научно-техническом семинаре «Математическое моделирование и многопроцессорная вычислительная техника — 2006» (Иваново, 2006);

- Региональной научно-технической конференции «Применение многопроцессорных суперкомпьютеров в исследованиях, наукоемких технологиях и учебной работе» (Иваново, 2007, 2008);

-XXVII Российской школе по проблемам науки и технологий (Миасс,

2007);

- семинаре в Нижегородском государственном университете (26.06.2008);

- семинаре в Институте вычислительной математики РАН (18.09.2008);

- семинаре в Институте математического моделирования РАН (9.10.2008).

Разработанные программа моделирования загрязнений AirEcology-P и система автоматизированного порождения программ PGEN++ зарегистрированы в Российском агентстве по патентам и товарным знакам (Роспатент), (свидетельства об официальной регистрации программ для ЭВМ №2006611068 и №2007614631).

Разработки, выполненные в рамках работы над докторской диссертацией, были представлены на выставке авторских разработок «Зворыкинского проекта» в рамках международного форума «Дни Русских Инноваций» (Москва, 2009).

Автор благодарит за многолетнюю поддержку и обсуждение работы своего научного консультанта, Ф.Н.Ясинского, а также всех коллег, бывших соавторами некоторых совместных работ. Отдельная благодарность коллективу ученых и специалистов в области некоторых новых технологий за ряд бесед, способствовавших расширению мировоззрения, и за поддержку.

Работа выполнена при финансовой поддержке Минобразования и науки (грант РНП.2.2.1.1.7280) в совместной работе с Региональным научно-образовательным центром «Жидкие кристаллы» (г.Иваново).

По материалам диссертации опубликованы 47 печатных работ.

Диссертация состоит из введения, четырех глав, заключения, библиографического списка из 287 наименований и приложения.

Выводы к четвертой главе

В данной главе сформулированы основные требования к стратегиям автоматизации программирования для задач параллельного численного моделирования динамики и кинетики многофазных сплошных сред, в том числе задач моделирования образования и распространения загрязнений. Проведен краткий аналитический обзор современных технологий автоматизации кодирования и алгоримиза-ции, на основании которого сделан вывод о том, что ни одна из существующих технологий не соответствует выдвинутым требованиям в полной мере.

Предлагается новый подход к автоматизации параллельного программирования при решении задач механики многофазных сплошных сред позволяющий: а) применять стратегии оптимального распараллеливания, в том числе предложенные в главе 3, б) осуществлять сложное комбинирование и настройку алгоритмов, реализующих различные методики численного интегрирования.

Подход основан на применении объектно-событийной модели порождения программ, характеризуется четкой и гибкой схемой контекстной компоновки кода произвольной структуры, не имеющей существенных проблем с поддержанием целостности.

Описывается структура модели. Предложена двухуровневая схема интерпретации, сочетающая принципы сетевого графика работ и событийного управления, позволяющая: а) четко определить порядок компоновки символьных цепочек; б) любому объекту модели порождать фрагменты кода, чередуемые с фрагментами, порожденными другими объектами (за счет введения событийной составляющей). Анализ структуры модели, необходимый для применения стратегий генерации оптимального кода, обеспечивается: а) взаимным информированием объектов (передачей сообщений по каналам связи и через глобальный буфер обмена данными — «почтовый ящик»), б) выполнением XPath-запросов к модели, отображенной в XML-документ.

Формулируется технология трансляции моделей в программный код. Доказывается, что предложенная модель позволяет реализовать любой алгоритм и породить любую программу.

Теоретическим следствием объектно-событийного подхода явился формализм процедур с планированием повторного входа, легший в основу новых технологий традиционного и параллельного программирования для некоторых классов алгоритмов [127].

На базе предложенного объектно-событийного подхода разработана система автоматизации программирования (средства визуального представления задачи и генерации соответствующего программного кода) PGEN++, применение которой позволило в несколько раз повысить качество и сократить сроки оперативной модификации системы моделирования образования и распространения загрязнений (АкЕсо^у-Р) при изменении математической модели. Повышение качества достигнуто за счет: а) контроля логических ошибок, которые могут быть внесены при построении и/или модификации модели, б) оптимальной настройки комбинируемых алгоритмов, в) устранения избыточного (например, повторяющегося) кода.

Привлечение разработанных средств автоматизации программирования также позволило сократить сроки создания тестов в системе ПРОФТЕСТ в 1,5-^2 раза.

Система автоматизации программирования РОЕЫ++ (в составе комплекса ПРОФТЕСТ) внедрена в ОАО «Нефтяная компания «Коми ТЭК».

Заключение

1. Разработана новая комплексная^модель образования и распространения твердых, газообразных и жидких (растворенных газообразных) загрязнений в окрестности энергетического предприятия и в воздушном бассейне большого города, предназначенная для использования на этапе анализа проектных решений по фактору экологической безопасности. От аналогов модель отличается учетом существенно большего количества значимых факторов. Выбор модели турбулентности К-Е (RNG) сделан на основании сравнения результатов численных экспериментов с известными опытными данными стандартной задачи CED VAL A-l.

2. Предложен новый подход к моделированию многокомпонентной капельной фазы, параметры распределения капель не хранятся, а вычисляются путем интерполяции из «физических» параметров — плотности и концентрации компонента. Подход имеет невысокую трудоемкость и особенно эффективен при активном переносе капель между ячейками со значительно варьирующимися и нестандартными распределениями капель. Адекватность подхода подтверэюдена в численных экспериментах с различными подходами к моделированию.

3. Разработана новая компромиссная разностная схема для интегрирования уравнений химической кинетики, комбинирующая подход Рожкова с неявной схемой Адамса-Моултона. Схема отличается существенно меньшими вычислительными затратами (по сравнению с методом Гира) при сохранении приемлемой точности и достаточной устойчивости.

4. Предложен ряд новых решений по распараллеливанию расчетов: Сформулированы быстрая и полная схемы выбора оптимальной комбинации методов распараллеливания при решении параболических уравнений, уравнений Пуассона/Гельмгольца. Быстрая схема оценивает «вычислительную жесткость» и количество пересылок (в зависимости от структуры взаимосвязей между переменными). Полная схема включает решение задачи нелинейной целочисленной оптимизации с учетом структур модели и среды передачи данных.

Разработан алгоритм исключения части обменов данными на стыках блоков расчетной области за счет периодической экстраполяции полиномами третьей степени, коэффициенты которых определяются по методу наименьших квадратов (МНК) с весовыми коэффициентами в критерии МНК. Новизна состоит в периодической подстройке весовых коэффициентов путем решения соответствующей оптимизационной задачи, что снижает погрешность экстраполяции.

Предложена нелинейная оптимизационная модель, позволяющая определить оптимальную асинхронную схему обменов данными на стыках блоков расчетной области, повышающую эффективность распараллеливания. Учитываются структура взаимосвязей между переменными задачи и возможность замедления вычислений при асинхронных обменах.

Предложен новый алгоритм балансировки загрузки процессоров для задач с медленным дрейфом «горячих» областей, отличающийся от аналогов существенно уменьшенным количеством пересылок данных за счет использования предсказания времени вычислений. Показана его более высокая (по сравнению с другими известными алгоритмами) эффективность при использовании в вычислительных системах с относительно медленными каналами связи.

5. Предложены объектно-событийные модели (ОСМ) порождения программ, принципы их интерпретации и технология трансляции в программный код. Модели предназначены для использования в предметных областях, где эффективное решение задачи предполагает сложную настройку комбинируемых типовых алгоритмов. Применение моделей позволяет автоматизировать программирование задач параллельного численного моделирования распространения загрязнений.

6. Разработан ряд программных комплексов: программа моделирования образования и распространения загрязнений AirEcology-P, оптимизированная для работы с МВС-1000, Power XPlorer, Windows- и Linux-кластерами. В базовом варианте показана высокая степень ускорения и хорошая эффективность распараллеливания на МВС-1000/16 (80-^91%, MPI/TCP Router) и на 128-ядерном кластере ИГЭУ (75-95%, MPI+OpenMP). Применение стратегий сокращения и оптимизации обменов позволило поднять эффективность распараллеливания до 91-7-94% на МВС-1000/16. Программа может использоваться в качестве подсистемы САПР промышленных объектов (ТЭЦ, ТЭС, котельные установки) и САПР объектов городской застройки, осуществляющей точную и эффективную автоматизированную оценку предполагаемых уровней загрязнений воздуха;

-на базе ОСМ разработана система автоматизированного пороэюдения програлш PGEN++, применяемая для модификации и частичной верификации математической модели в программе AirEcology-P и для автоматизации разработки тестов в системе ПРОФТЕСТ;

-имитаторы системы Power XPlorer, позволяющие переносить параллельные программы на Windows-кластеры, в 1,5н-2 раза сокращающие время разработки параллельных программ, снижающие нагрузку многопроцессорной системы.

7. Получены результаты моделирования процессов образования и распространения смога на улицах города, очистки атмосферы с помощью поливочных машин и распространения выбросов в окрестности предприятия. Сравнение результатов моделирования с реальными данными подтвердило достоверность и обоснованность предложенных модели и алгоритмов, достаточно хорошую точность использованных численных методов, адекватность их реализации в программном коде. Сравнение результатов моделирования переноса пассивной примеси, полученных с применением разработанной нами системы (AirEcology-P) и иных систем, показало, что по данному параметру AirEcology-P дает один из наиболее точных результатов. Это подтверждает применимость AirEcology-P для точной автоматизированной оценки предполагаемых уровней загрязнений воздуха (например, в качестве подсистемы САПР промышленных предприятий и САПР объектов городской застройки), повышающей качество проектных решений. Описана процедура поиска оптимального места размещения ТЭС с помощью разработанной подсистемы (может быть применена в САПР ТЭС). Результаты работы внедрены в учебный процесс кафедр «Безопасность жизнедеятельности» и «Высокопроизводительные вычислительные системы» ИГЭУ, в ЗАО «ВВП» (г. Нижний Новгород) и в ОАО «Нефтяная компания «Коми ТЭК» (г. Усинск).

1. Автоматизация распараллеливания программ / Марлей В.Е., Воробьев В.И., Крылов P.A., Петров М.Ю., Быков Я.А. // Тр. СПИИРАН / РАН. С.-петерб. ин-т информатики и автоматизации. — 2005. — Т. 2, Вып. 2. — С. 101-110.

2. Алексеев Б.В., Гришин A.M. Физическая газодинамика реагирующих сред.— М.: Высш. шк., 1985. —464 с.

3. Аленкин А. А., Зубков В. П. Как автоматизировать процесс программирования//Мир ПК. 2002. №8. С.126-129.

4. Балаев Э.Ф., Нуждин Н.В., Пекунов В.В. и др. Численные методы и параллельные вычисления для задач механики жидкости, газа и плазмы: Учебное пособие. — Иваново: Изд-во ИГЭУ, 2003. — 336 с.

5. Бахвалов Н.И., Жидков Н.П., Кобельков Г.М. Численные методы. — Лаборатория Базовых Знаний, 2003. — 632 с.

6. Безуглая Э.Ю., Расторгуева Г.П., Смирнова И.В. Чем дышит промышленный город. — Л.: Гидрометеоиздат, 1991. — 254 с.

7. Белоцерковский О.М., Максимов Ф.А., Шевелев Ю.Д. Пространственные задачи вычислительной аэрогидродинамики // Восьмой Всероссийский съезд по теоретической и прикладной механике. Анн. докладов.— Пермь, 2001. — С.93.

8. Белоцерковский С. М. О моделировании на ЭВМ турбулентных струй и следов методом дискретных вихрей // Этюды по турбулентности. — М.: Наука, 1994. —С. 246-248.

9. Бобровский С.И. Технологии Delphi 2006. Новые возможности.— СПб.: Питер, 2006.— 288 с.

10. Борисов Е.С. Полуавтоматическая система декомпозиции последовательных программ для параллельных вычислителей с распределенной памятью // Кибернетика и системный анализ.— 2004.— №3. — С. 139-150.

11. Бочаров Н.В. Технологии и техника параллельного программирования // Программирование.— 2003.— №1.— С.3-18.

12. Бояршинов М.Г. Математическое моделирование взаимодействия растительного массива с воздушным потоком // Восьмой Всероссийский съезд по теоретической и прикладной механике. Анн. докладов.— Пермь, 2001. — С.118.

13. БузалоН.С. Математическое моделирование переноса примеси в мезо-метеорологическом пограничном слое атмосферы: Автореф. дис. канд. тех. наук.

14. Новочеркасск, 2003. — 19 с.

15. Бусленко Н.П., Калашников В.В., Коваленко И.Н. Лекции по теории сложных систем.— М.: Советское радио.— 1973.— 440 с.

16. Буч Г., Якобсон А., Рамбо Д. UML.— СПб.: Питер, 2006. — 736 с.

17. Бытев В.О. Групповые свойства в теории возмущений I. Уравнения На-вье-Стокса // Тр. межд. науч. конф. «Симметрия и дифференциальные уравнения».

18. Красноярск: ИВМ СО РАН, 2000. — С.59-62.

19. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. — СПб.: БХВ-Петербург, 2002. — 608 с.

20. Востокин C.B. Применение метода парного взаимодействия объектов для построения сред разработки распределенных приложений // Вестник СамГТУ.2005.— №38.— С.26-28.

21. Востокин C.B. Технология визуального проектирования параллельных и распределенных приложений // Системы управления и информационные технологии.— 2006.— №2(24).— С.39-43.

22. ГавриловМ.В. Развитие трехмерных математических моделёй приборов М-типа и их применение к магнетронным усилителям: Автореф. дис. канд. физ.-мат. наук. — Саратов, 2001. — 20 с.

23. Галанин М.П., Попов Ю.П., Уразов С.С. Математическое моделирование электромагнитных и тепловых полей в многосвязных областях и областях с изменяющимися во времени границами // Мат. моделирование. — 2007. — Т. 19.4. —С. 3-18.

24. Галиаскарова Г.Р. Математическое моделирование процесса накопления и распространения тяжелых выбросов в атмосфере // Восьмой Всероссийский съезд по теоретической и прикладной механике. Анн. докладов.— Пермь, 2001. — С.173.

25. Генерируем код для DSL / Фаулер М. // Технология клиент-сервер. — 2005. —№3. —С. 15-19.

26. Гергель В.П., Стронгин Р.Г. Основы параллельных вычислений для многопроцессорных вычислительных машин: Уч. пос. — Нижний Новгород: Изд-во ННГУ, 2000. —176 с.

27. Гилл А. Динамика атмосферы и океана. — М.: Мир, 1986. — Т.1. — 396с.

28. Гилл А. Динамика атмосферы и океана. — М.: Мир, 1986. — Т.2. — 416с.

29. Годунов С.К. Уравнения математической физики. — М.:Наука, 1979. —391 с.

30. Годунов С.К., Забродин A.B., Иванов М.Я. и др. Численное решение многомерных задач газовой динамики. —: М.: Наука, 1976. — 400 с.

31. Годунов С.К., Рябенький B.C. Разностные схемы.— М.: Наука, 1973.—400 с.

32. Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей // Сибирский журнал вычислительной математики. — Новосибирск, РАН. Сиб. отделение.— 1998.— № 1.— С. 11 -24.

33. Горбатенко В. И. Нейросетевые алгоритмы решения краевых задач теории поля// Нейрокомпьютеры: разработка, применение.— 2007.— №8.— С. 13-20.

34. Григорьев А.И. Критические условия неустойчивости движущейся заряженной капли в электростатическом поле // Письма в ЖТФ. — 2002. — Т.28. — Вып.5. — С.12-17.

35. Гришин A.M. и др. Общая математическая модель и некоторые результаты математического моделирования лесных пожаров // Восьмой Всероссийский съезд по теоретической и прикладной механике. Анн. докладов.— Пермь, 2001. — С.211.

36. Гришин A.M. Общие математические модели лесных и торфяных пожаров и их приложения // Успехи механики. — Т.1.— №4.— С.41-89.

37. Гудкова О.С. Модель «вложенных струй» в описании динамики распространения струй различного состава в атмосфере // Восьмой Всероссийский съезд по теоретической и прикладной механике. Анн. докладов.— Пермь, 2001. — С.216.

38. Долин П.А. Справочник по технике безопасности. — М.: Энергоиздат, 1982. —800 с.

39. Донченко В.А., Кабанов М.В. Рассеяние оптических волн дисперсными средами. Изд. Томского филиала СО АН СССР. — Томск, 1983. — 185 с.

40. Дьяконов В.П. MATLAB: Учебный курс. — СПб: Питер, 2001. — 560 с.

41. Дюк В., Самойленко A. Data mining: учебный курс.— СПб: Питер, 2001. — 368 с.

42. ЕноховичА.С. Справочник по физике и технике.— М.: Просвещение,1989.

43. Еремина H.A. Воздействие предприятий теплоэнергетики на экологическую обстановку в Ивановской области // Экологические проблемы Ивановской области: Сб. мат. межвуз. науч.-практ. конф.— Иваново: ИГТА, 2005.— С.43-45.

44. Ершов C.B., Русанов A.B. Численное моделирование турбулентных отрывных течений в пространственных решетках с использование неявной ENO схемы С.К.Годунова // Пробл. машиностроения. — 1998. — Т.1. — №1. — С.70-78.

45. Ефимкин К.Н., Жукова О.Ф., Ильяков В.Н., Крюков В.А., Островская И.П., Савицкая O.A. Средства отладки MPI-программ. Анализатор корректности // Препринт Института прикладной математики им. М.В.Келдыша РАН. — 2006. — №28. — 30 с.

46. Зимина Т.Н., Нуждин Н.В., Ясинский Ф.Н. Асинхронное интегрирование в задаче конверсии метана // Вестник ИГЭУ. — Иваново, 2004. — Вып.З. — С. 148.

47. Зубков В. П., Назаретский С. П. IPGS — интеллектуальная система автоматизированного программирования// Инф. среда вуза: Сб. ст. Иваново: ИГАСА, 2000. С.213-215.

48. Иванов В.П., Батраков A.C. Трехмерная компьютерная графика. — М.: Радио и связь, 1995. — 224 с.

49. Ильин В.П. Проблемы высокопроизводительных технологий решения больших разреженных СЛАУ // Вычислительные методы и программирование.— 2009. — Т. 10. — №3. — С.141-147.

50. Информационные технологии: особенности применения и приоритетные направления развития: монография / Е.Д. Баран, Т.В. Белова, Р.В. Гребенников и др. / Под общ. ред. С.С. Чернова. — Новосибирск: ЦРНС — Изд-во "СИБПРИНТ", 2008. — 179 с.

51. Исаев С.А. Методы и средства геокодирования баз данных в задачах автоматизированного проектирования систем энергопотребления: Автореф. дис. канд. тех. наук. —Иваново, 1999. — 16 с.

52. Калиткин H.H. Численные методы. — М.: Наука, 1978. — 512 с.

53. Капустин С.Ю. Теневые методы исследования воздушной среды // Тез. докл. Междунар. науч.-техн. конф. «Состояние и перспективы развития электротехнологий» (X Бенардосовские чтения). — Иваново, 2001. — Т.2. — С. 188.

54. Кашкин В.Б., Ланкин Ю.П., Сакаш И.Ю. Построение прогнозов динамики озонового слоя с помощью нейронных сетей // Тр. VII Всеросс. науч. конф. «Нейрокомпьютеры и их применение». — Москва, 2001. — С.241-244.

55. Кахро М.И., Калья А.П., Тыугу Э.Х. Инструментальная система программирования ЕС ЭВМ (ПРИЗ). М.: Финансы и статистика, 1988.

56. КейдлР. Твердые частицы в атмосфере и космосе. — М.: Мир, 1969. —142 с.

57. Кнорре Д.Г., Крылова Л.Ф., Музыкантов B.C. Физическая химия. — М.: Высшая школа, 1990. — 416 с.

58. Кобелева H.A., Никифоров А.Ю., Костров В.В. Оценка уровня воздействия бенз(а)пирена на качество окружающей среды города // Экологические проблемы Ивановской области: Сб. мат. межвуз. науч.-практ. конф.— Иваново: ИГТА, 2005.—С.34-35.

59. Коваленко С.М. О выборе числа процессоров в многопроцессорной вычислительной системе // Программные продукты и системы.— 1999.— №3.— С.11-13.

60. Коварцев А.Н. Автоматизация разработки и тестирования программных средств.— Самара: Самарский государственный аэрокосмический университет, 1999.—150 с.

61. Коварцев А.Н. Автоматизация разработки и тестирования программных средств на основе технологии графо-символического программирования: Дис. на соиск. учен. ст. докт. тех. наук. — Самара, 1999.— 284 с.

62. Кондратьев В.Н. Константы скорости газофазных реакций. Справочник. — М.: Наука, 1970. —351 с.

63. Коновалов H.A., Крюков В.А. DVM-система разработки параллельных программ // Высокопроизводительные вычисления и их приложения: Тр. Всеросс. науч. конф. — М.: Изд-во МГУ, 2000. — С.ЗЗ.

64. Конынин В.Н. Параллельная реализация программного комплекса FlowVision // САПР и графика. — 2006. — №12. — С.57-60.

65. Корнилина М.А., Якобовский М.В. Динамическая балансировка загрузки процессоров при моделировании задач горения // Высокопроизводительные вычисления и их приложения: Тр. Всеросс. науч. конф. — М.: Изд-во МГУ, 2000. — С.34-39.

66. Корнюхин И.П., Жмакин Л.И., Козырев И.В. Методы расчета тепломассообмена в массивных пористых телах // Изв. вузов. Технология текстильной промышленности. — 2004. — №4. — С.94-99.

67. Корочкина Е.Е., Герасимов М.Н., Пекунов В.В., Лисицын М.В. Электронный комплекс для изучения кинетики пропитки волокнистых систем // Изв. вузов. Технология текстильной промышленности. — 2005. — №1. — С. 139-140.

68. Костров В.В. Промышленная экология и ее роль в охране природы Ивановской области // Экологические проблемы Ивановской области: Сб. мат. меж-вуз. науч.-практ. конф.— Иваново: ИГТА, 2005.— С.3-5.

69. Косяков С.В., Исаев С.А., Ермошин A.B., Сизяков P.A. Разработка ГИС для анализа чрезвычайных ситуаций // Тез. докл. Междунар. науч.-техн. конф.

70. Состояние и перспективы развития электротехнологий» (X Бенардосовские чтения). — Иваново, 2001. — Т.2. — С.52.

71. Крупа В.Г. Расчет трехмерных вязких течений в элементах турбомашин // Восьмой Всероссийский съезд по теоретической и прикладной механике. Анн. докладов.— Пермь, 2001. — С.369.

72. Кудинов П.И. Сравнительное тестирование моделей турбулентности Спаларта-Аллмараса и Ментера на задаче о трансзвуковом обтекании одиночного профиля гае2822 // Вюник Дншропетровського ушверситету. Сер1я Мехашка. — 2004. — Випуск 8. — Т. 1. — С.34-42.

73. Куриземба А.Ж. Метод Монте-Карло для решения разностных уравнений Навье-Стокса // Сб. ст. VII Междунар. науч.-техн. конф. «Информационная среда вуза». — Иваново, 2000. ■— С.239.

74. Кэй Дж., Лэби Т. Таблицы физических и химических постоянных. М.: Физматгиз, 1962. —248 с.

75. Лацис А.О. Как построить и использовать суперкомпьютер.— М.: Бестселлер, 2003.— 240 с.

76. Лацис А.О. МВС-900: вариант МВС-1000 на базе локальной сети Windows-машин // Препринт Института прикладной математики им. М.В.Келдыша РАН. — 2003. — №13. — 16 с.

77. Лисицын М.В., Пекунов В.В. Мониторинг состояния водных объектов с использованием сотового радиоканала // Экологические проблемы Ивановской области: Сб. мат. межвуз. науч.-практ. конф.— Иваново: ИГТА, 2005.— С.56-57.

78. Лойцянский Л.Г. Механика жидкости и газа М.: Наука, 1978.-736 с.

79. Лыков A.B., Михайлов Ю.А. Теория тепло- и массопереноса.— М.-Л.: Госэнергоиздат, 1963. — 536 с.

80. Мазур И.И., Молдаванов О.И., Шишов В.Н. Инженерная экология. — М.: Высшая школа, 1996. Т.2. - 655 с.

81. Марчук Г.И. Математическое моделирование в проблеме окружающей среды. — М.: Наука, 1982. — 319 с.

82. Марчук Г.И. Методы вычислительной математики. — М.: Наука, 1989.—608 с.

83. Монин A.C. Теоретические основы геофизической гидродинамики.— Л.: Гидрометеоиздат, 1988. — 424 с.

84. Мэтьюз Дж.Г., ФинкК.Д. Численые методы. Использование MATLAB. — М.: Издательский дом «Вильяме», 2001. — 720 с.

85. Нуждин Н.В., Ясинский Ф.Н. Представление о вычисляющей среде и его применение для распараллеливания алгоритмов в механике жидкостей и газов // Вестник ИГЭУ. — Иваново, 2003. — Вып. 1. — С.82-84.

86. Одинцов И.О., Черноиванов Д.И. Методы реализации стандарта ОрепМР в компиляторах // Высокопроизводительные вычисления и их приложения: Тр. Всеросс. науч. конф. —М.: Изд-во МГУ, 2000. — С. 140-144.

87. Одум Ю. Экология. — М.: Мир, 1986. — Т.1. — 326 с.

88. Орлов Г.Г. Очистка уходящих дымовых газов тепловых электрических станций от диоксида серы (технологические методы и установки): Учеб. пособие / ГОУВПО «ИГЭУ им. В.И.Ленина» — Иваново, 2005. — 80 с.

89. Остерн М.Г. Обобщенное программирование и STL: Использование и наращивание стандартной библиотеки шаблонов С++. — СПб.: Невский Диалект, 2004. —544 с.

90. Пантелеев Е.Р., Малков И.В., Пекунов В.В. и др. Инструментальная среда разработки программ дистанционного обучения ГИПЕРТЕСТ // Свидетельство об официальной регистрации программы для ЭВМ №2001611279. —М.: РОСПАТЕНТ, 27.09.2001.

91. Пантелеев Е.Р., Пекунов В.В., Первовский М.А. Распределенная компонентная модель тестов в СДО ГИПЕРТЕСТ // Информационные технологии.— 2004. —№8. С.41-46.

92. Пасконов В.М. Параллельные вычислительные методы для новых задач аэрогидродинамики и их программное обеспечение // Высокопроизводительные вычисления и их приложения: Тр. Всеросс. науч. конф. — М.: Изд-во МГУ, 2000. —С.29-30.

93. Патанкар С. Численные методы решения задач теплообмена и динамики жидкости. — М.: Энергоатомиздат, 1984. — 152 с.

94. Пекунов В.В. Автоматизация параллельного программирования при моделировании многофазных сред // Информационные технологии.— 2008. — №5. — С.37-42.

95. Пекунов В.В. Автоматизация параллельного программирования при моделировании многофазных сред. Оптимальное распараллеливание // Автоматика и телемеханика.— 2008.— №7. — С.170-180.

96. Пекунов В.В. Анализ производительности пакета \VMPI 1.3 при распараллеливании вычислительных задач газовой динамики на топологии «труба» в компьютерной сети // Вестник ИГЭУ. — 2001. — Вып.2. — С.64-66.

97. Пекунов В.В. Выбор метода распараллеливания при численном интегрировании одного вида задач механики сплошной среды // Вестник ИГЭУ. — Иваново, 2003. — Вып. 1. — С.79-82.

98. Пекунов В.В. Компромиссная разностная схема для уравнений химической кинетики на основе схем Адамса-Моултона и Рожкова // Вестник ИГЭУ. — Иваново, 2005. — Вып.4. — С.92-95.

99. Пекунов В.В. Моделирование образования и распространения твердых, жидких и газообразных загрязнителей в воздушной среде // Вестник ИГЭУ. — Иваново, 2007. — Вып.З. — С.81-84.

100. Пекунов В.В. Моделирование распространения и эволюции загрязнений в воздушном бассейне большого города и в окрестности предприятия // Экологические проблемы Ивановской области: Сб. мат. межвуз. науч.-практ. конф.— Иваново: ИГТА, 2005.— С.54.

101. Пекунов В.В. Модель образования и распространения твердых, жидких и газообразных загрязнителей. Оптимальное распараллеливание // Математическое моделирование.— 2009. — Т.21. — №3. — С.69-82.

102. Пекунов В.В. О новом решении проблемы расчета распределений при моделировании некоторых многофазных систем // Вестник ИГЭУ. — Иваново, 2007. — Вып.4. — С.34-37.

103. Пекунов В.В. Объектно-событийные модели порождения программ // Вестник ИГЭУ. — Иваново, 2004. — Вып.З. — С.49-52.

104. Пекунов В.В. Оптимальное распараллеливание для задач моделирования многофазных сред // Вестник ИГЭУ. — Иваново, 2007. — Вып.З. — С.79-81.

105. Пекунов В. В. Параллельное моделирование распространения загрязнений окружающей среды при автоматизации проектирования энергетических и муниципальных объектов: Дис. на соиск. учен. степ. канд. техн. наук. — Иваново, 2003.— 161 с.

106. Пекунов В.В. Процедуры с планированием повторного входа в языках высокого уровня при традиционном и параллельном программировании // Информационные технологии.— 2009.— №8.— С.63-67.

107. Пекунов В.В. Система автоматизированного порождения программ PGEN++ // Свидетельство об официальной регистрации программы для ЭВМ №2007614631. — М.: РОСПАТЕНТ, 06.11.2007.

108. Пекунов В.В. Система параллельного численного моделирования экологии воздуха AirEcology-P // Свидетельство об официальной регистрации программы для ЭВМ №2006611068. — М.: РОСПАТЕНТ, 21.03.2006.

109. Пекунов В.В. Система профильного тестирования ПРОФТЕСТ // Свидетельство об официальной регистрации программы для ЭВМ №2003610746. — М.: РОСПАТЕНТ, 26.03.2003. .

110. Пекунов В.В. Система профильного тестирования ПРОФТЕСТ: средства автоматизации разработки тестов и тестирования // Вестник научно-промышленного общества. — М.: «АЛЕВ-В», 2003. — Вып.6. -— С.32-37.

111. Пекунов В.В. Учет фактора излучения при моделировании процесса образования и распространения загрязнений в воздушной среде // Вестник ИГЭУ. — Иваново, 2006. — Вып.З. — С.76-79.

112. Пекунов В.В., Сидоров С.Г., Чернышева Л.П., Евсеев A.B., Ясинский Ф.Н. Алгоритмы и программы для многопроцессорных суперкомпьютеров:

113. Учебное пособие. — Иваново: ГОУВПО "Ивановский государственный энергетический университет", 2007. — 132 с.

114. Пекунов В.В., Ясинский Ф.Н. Математическая модель микроклимата в производственных помещениях с повышенной влажностью // Изв. вузов. Технология текстильной промышленности. — 2006. ■— №2. — С.128-133.

115. Пекунов В.В., Ясинский Ф.Н. О математическом моделировании экологических процессов в воздушной среде // Изв. вузов. Технология текстильной промышленности. — 2002. — №1. — С. 112-115.

116. Пекунов В.В., Ясинский Ф.Н. Сравнительная оценка моделей турбулентности в численном эксперименте // Изв. вузов. Технология текстильной промышленности. — 2001. — №6. — С. 102-107.

117. Пекунов В.В., Ясинский Ф.Н., Николаева М.А., Пономарева К.А. Новый подход к моделированию динамики и кинетики некоторых многофазных систем // Тез. докл. Междунар. науч.-техн. конф. "XIV Бенардосовские чтения". — Иваново, 2007. — Т.1.— С.77.

118. Первовский М.А., Пекунов В.В., Пантелеев Е.Р. Открытая модель контроля знаний в СДО ГИПЕРТЕСТ /Л Тез. докл. Междунар. науч.-техн. конф. «Состояние и перспективы развития электротехнологий» (XI Бенардосовские чтения). — Иваново, 2003. — Т.1. — С.61.

119. Петросян Л.А., Захаров В.В. Введение в математическую экологию. — Л.: Изд-во ЛГУ, 1986. — 221 с.

120. Полак Л.С., Гольденберг М.Я., Левицкий A.A. Вычислительные методы в химической кинетике. — М.: Наука, 1984. — 280 с.

121. Полежаев В.И., ГрязновВ.Л. Метод расчета граничных условий для уравнений Навье-Стокса в переменных «вихрь, функция тока» // Доклады АН СССР. — 1974. — Т.219. — №2. — С.ЗО 1-304.

122. ПРИЗМА-ПРЕДПРИЯТИЕ унифицированный программный комплекс расчета загрязнений атмосферы. — http://www.logus.ru/catalog/info34.htm.

123. Прохоров В.Б., Рогалев Н.Д. Исследования загрязнения приземного слоя воздуха г. Москвы от вредных выбросов тепловых электрических станций. — http://promeco.hl.ru/stati/13.shtml.

124. Пышненко Е.А. Экология: Курс лекций. — Иваново, 2005. — 264 с.

125. Рассел С., НорвигП. Искусственный интеллект: современный подход.— М.: «Вильяме», 2007. — 1408 с.

126. Рид Р., Праусниц Дж., Шервуд Т. Свойства газов и жидкостей. — Л.: Химия, 1982. —592 с.

127. Розенберг Г.В. Рассеяние света в земной атмосфере // Успехи физических наук. — 1960. — Т.71. — Вып.2. — С. 173-213.

128. Роуч П. Вычислительная гидродинамика.— М.: Мир, 1980. — 612 с.

129. Рофэйл Эш, ШохаудЯ. СОМ и СОМ+: Полное руководство.— К.: ВЕК+, К.: НТИ, М.: Энтроп, 2000.— 560 с.

130. Русаков A.C. Численный алгоритм вариационной инициализации океанологических полей: Автореф. дис. канд. физ.-мат. наук. — Москва, 2007. — 16 с.

131. Самарский A.A., Попов Ю.П. Разностные методы решения задач газовой динамики. — М.: Наука, 1992. — 424 с.

132. Сборник методик по определению концентраций загрязняющих веществ в промышленных выбросах. — JL: Гидрометеоиздат, 1987. — 270 с.

133. Сборник методик по расчету выбросов в атмосферу загрязняющих веществ различными производствами. — Л.: Гидрометеоиздат, 1986. — 184 с.

134. Сена Л.А. Единицы физических величин и их размерности. М.: Наука, 1969. —304 с.

135. Сидоров С.Г. Разработка ускоренных алгоритмов обучения нейронных сетей и их применение в задачах автоматизации проектирования: Дис. на со-иск. учен. степ. канд. техн. наук. — Иваново, 2003. — 113 с.

136. Сидоров С.Г., Ясинский Ф.Н. Методы повышения эффективности распознающих нейросетевых алгоритмов // Вестник ИГЭУ. — Иваново, 2004. — Вып.З. — С.38-40.

137. Симхаев В.З., Рогозный A.A. Проблемы геоэкологической обстановки на сетях автомобильных дорог // Сб. ст. VII Междунар. науч.-техн. конф. «Информационная среда вуза». — Иваново, 2000. — С.191-196.

138. Солдатов A.B., Прусаков М.В., Ясинский Ф.Н., МитькинЮ.А. Математическое моделирование движения масла и распределение температуры в модели ввода высокого напряжения // Вестник ИГЭУ. -— Иваново, 2004. — Вып.З. — С.52-55.

139. Coy С. Гидродинамика многофазных систем М.: Мир, 1971 - 536 с.

140. Султанов В.Г. Трехмерное численное моделирование высокоэнергетических импульсных процессов: Автореф. дис. канд. физ.-мат. наук. — Черноголовка, 2001. — 15 с.

141. Taxa, Хемди А. Введение в исследование операций.— М.: Издательский дом "Вильяме", 2005.— 912 с.

142. Технология проектирования тепловых электростанций и методы ее компьютеризации/ Ильичев Н.Б., Ларин Б.М., МошкаринА.В. и др.; Под ред. Нуждина В.Н., Мошкарина A.B. — М.: Энергоатомиздат, 1997. — 234 с.

143. Тихонов А.Н., Самарский A.A. Уравнения математической физики.— М.: Наука, 1977. — 742 с.

144. Турбулентное смешение газовых струй/ Абрамович Г.Н., Крашенинников С.Ю., Секундов А.Н., Смирнова И.П. —М.: Наука, 1974.— 272 с.

145. Турбулентность: модели и подходы. Курс лекций. Часть I / П.Г.Фрик; Перм. гос. техн. ун-т. — Пермь, 1988. — 108 с.

146. Турбулентность: модели и подходы. Курс лекций. Часть II / П.Г.Фрик; Перм. гос. техн. ун-т. — Пермь, 1988. — 136 с.

147. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика.— М.: Мир, 1992.

148. УПРЗА ЭКОЛОГ/ЭКОЛОГ ПРО и комплекс ЭКО-расчет. — http://l c.ukg.kz/products63l 7.htm.

149. Филатов Е.Ю. Методы и комплекс программ для расчета ветровой нагрузки на здания и сооружения: Автореф. дис. канд. тех. наук. — Иваново, 2008. — 20 с.

150. Филимонов М.Ю. Применение метода специальных рядов для построения решений стационарных течений газа // Восьмой Всероссийский съезд по теоретической и прикладной механике. Анн. докладов.— Пермь, 2001. — С.579.

151. Форрест Дж. Мировая динамика.— М.: Наука, 1978. — 168 с.

152. ХокниР., ИствудДж. Численное моделирование методом частиц. — М.: Мир, 1987. —640 с.

153. ЧарнецкиК., Айзенекер У. Порождающее программирование: методы, инструменты, применение.— СПб.: Питер, 2005.— 731 с.

154. Чернышева Л.П. Сравнение алгоритмов распараллеливания при решении уравнений в частных производных // Тез. докл. Междунар. науч.-техн. конф.

155. Состояние и перспективы развития электротехнологий» (XI Бенардосовские чтения). — Иваново, 2003. — Т.1. — С.87.

156. Четверушкин Б.Н. Моделирование течений вязкого сжимаемого газа на многопроцессорных вычислительных системах // Высокопроизводительные вычисления и их приложения: Тр. Всеросс. науч. конф. — М.: Изд-во МГУ, 2000.1. С.21.

157. Шалыто A.A. SWITCH-технология. Алгоритмизация и программирование задач логического управления.— СПб.: Наука, 1998.— 628 с.

158. Шалыто А. А., Туккель Н. И. Программирование с явным выделением состояний// Мир ПК. — 2001. №8. С.116-121; №9. С. 132-138.

159. ШикинЕ.В., Боресков A.B. Компьютерная графика. Динамика, реалистические изображения. — М.: Диалог-МИФИ, 1995. — 288 с.

160. Шпаковский Г.И., Серикова Н.В. Программирование для многопроцессорных систем в стандарте MPI. — Минск: БГУ, 2002. — 324 с.

161. ШуинС.В., АленкинА.А., Зубков В.П. Язык описания алгоритмов в системе ИСАП // Тез. докл. Междунар. науч.-техн. конф. «Состояние и перспективы развития электротехнологий» (XI Бенардосовские чтения). — Иваново, 2003.1. Т.1. — С.56.

162. ЭйсымонтЛ.К. Оценочное тестирование высокопроизводительных систем: цели, методы, результаты и выводы // Суперкомпьютерные вычислительно-информационные технологии в физических и химических исследованиях: Сб. лекций. —Черноголовка, 2000. — С.33-42.

163. Эмануэль Н.М., Кнорре Д.Г. Курс химической кинетики. — М.: Высшая школа, 1974. — 400 с.

164. ЭндрюсГ.Р. Основы многопоточного, параллельного и распределенного программирования. — М.: Издательский дом «Вильяме», 2003. — 512 с.

165. Языковый инструментарий: новая жизнь языков предметной области (Domain Specific Languages) / Фаулер M. // Технология клиент-сервер. — 2005. — №3. —С. 3-14.

166. Якобовский М.В. Вычислительная среда для моделирования задач механики сплошной среды на высокопроизводительных системах: Автореф. дис. докт. физ.- мат. наук. — Москва, 2006. — 37 с.

167. ЯненкоН.Н. Метод дробных шагов решения многомерных задач математической физики. — Новосибирск: Наука, 1967. — 197 с.

168. Ясинский Ф.Н., Чернышева Л.П., Пекунов В.В. Математическое моделирование с помощью компьютерных сетей: Уч. пос. —Иваново: Изд-во ИГЭУ, 2000. —201 с.

169. Abdol-Hamid, K.S., Massey, S.J., Caldwell, S. Unified process management system for computational fluid dynamics (UPMS). 41st AIAA Aerospace Sciences Meeting and Exhibit, 2003. Reno, Nevada, USA, paper AIAA 2003-0803, 2003.

170. Adelman Z.E. A Réévaluation of the Carbon Bond-IV Photochemical Mechanism. M.S. Thesis, University of North Carolina at Chapel Hill. — 1999. — 194 pp.

171. Anderson, J.D., Jr. Computational Fluid Dynamics: The Basics with Applications. — McGraw-Hill, 1995. — 548 p.

172. ArbillaG., Oliveira Katia M.P.G. Otimizafao de um mecanismo fotoquimico para a simulatpao da atmosfera urbana brasileira / Quimica Nova. — 1999.1. No:22(6). — pp 790-800.

173. Binkowski F. S., Roselle S. J. (2003). Models-3 Community Multiscale Air Quality (CMAQ) model aerosol component, 1. Model description / J. Geophys. Res.— Vol.l08(D6), 4183, doi: 10.1029/2001JD001409.

174. BoillatJ.E. Load balancing and Poisson equation in a graph. /Currency Practice and Experience.— 1990. — Vol.2.— №4.— P.289-313.

175. Boulmezaoud T.Z., Medjden M. Vorticity-vector potential formulations of the Stokes equations in the half-space // Math. Meth. Appl. Sci. — 2005. — Vol.28. — P.903-915.

176. Boyle J.M., HarmerT.J., Winter V.L. The TAMPR Program Transformation System: Simplifying the Development of Numerical Software / Arge E., Bruaset A.M., Langtangen H.P. (eds.) Modern Software Tools in Scientific Computing.

177. Birkhauser, 1997. — P.353-372.

178. BradaJ. Mathematical model of two-phase flows // WM'01 Conference, February 25-March 1, 2001, Tucson, AZ.

179. Bruse, M. (2002), ENVI-met implementation of the gas/ particle dispersion and deposition model PDDM. — http://www.geographie.ruhr-uni-bochum.de/ agklima/envimet/documents/sources.PDF.

180. Cahalan R-F, OreopoulosL, MarshakA. et al. (2005) The International Intercomparison of 3D Radiation Codes (I3RC): Bringing together the most advanced radiative transfer tools for cloudy atmospheres. Bull. Amer. Met. Soc. doi: 10.1175/BAMS-86-9-1275.

181. CAMx User's Guide, Version 4.40, ENVIRON International Corporation, September 2006.

182. ChenY., LiouK.N., GuY. An efficient diffusion approximation for 3D radiative transfer parameterization: application to cloudy atmospheres // J. Quant. Spectrosc. Radiat. Transfer. — 2005.— Vol.92.— P. 189-200.

183. Chodes N., Warner J., GaginA. A determination of the condensation coefficient of water from the growth rate of small cloud droplets // J. Atmos. Sci. — 1974. — Vol.31. — P.1351-1357.

184. Chung, T.J. Computational Fluid Dynamics. — Cambridge University Press, 2002. — 1012 p.

185. Colonius T., Taira K. A fast immersed boundary method using a nullspace approach and multi-domain far-field boundary conditions / Comput. Methods Appl. Mech. Engrg. (2007), doi:10.1016/j.cma.2007.08.014.

186. Cybenko G. Load balancing for distributed memory multiprocessors /Par. Distr. Comp.— 1989.—Vol.7.—P.279-301.

187. Dingman S.E., Camp A.L., Wong C.C., KingD.B. and GasserR.D. HECTR Version 1.5 User's Manual // NUREG/CR-4507, SAND86-0101, Sandia National Laboratories. — Albuquerque, 1986.

188. Dupuis, M., Dernedde, E., Methot, J-C. La modélisation de la turbulence dans une enceinte avec ouvertures et sources chaudes localisées // The Canadian Journal of Chemical Engineering.— 1989.— Vol.67.— pp 713-721.

189. E Weinan, Liu Jian-Guo. Finite Difference Methods for 3D Viscous Incompressible Flows in the Vorticity-Vector Potential Formulation on Nonstaggered Grids / Journal of Computational Physics. — 1997. — Vol.138. — P.57-82.

190. E Weinan, Liu Jian-Guo. Vorticity Boundary Condition and Related Issues for Finite Difference Schemes / Journal of Computational Physics. — 1996. — Vol.124. — P.368-382.

191. Evaluation of MOBILE vehicle emission model/ http://ntl.bts.gov/DOCS/ mob.html. — FHWA-PD-94-38, Federal highway administration environmental analysis division/office of environment and planning, December, 1994. — 204 p.

192. Ferziger, J.H., Peric, M. Computational Methods for Fluid Dynamics. — Springer-Verlag, 2002. — 424 p.

193. FLUENT 6 User's Guide. — Fluent Inc., 2001.

194. Fowler M., BeckK., Brant J., Opdyke W., Roberts D. Refactoring: Improving the Design of Existing Code. — Addison-Wesley, 1999. — 464 p.

195. Frank, M. Partial Moment Entropy Approximation to Radiative Heat Transfer // Proc. Appl. Math. Mech. — 2005. — №5. — P.659-660.

196. GuY., LiouK.N. Radiation Parameterization for Three-Dimensional Inhomogeneous Cirrus Clouds: Application to Climate Models // J. Climate. — 2001.— Vol.14.—P.2443-2457.

197. Guideline on Air Quality Models (Revised) and Supplements. — EPA-450/2-78-027R et seq., Appendix W to 40 CFR Part 51 (7-1-99 Edition). U. S. Environmental Protection Agency, Research Triangle Park, North Carolina, 1999.

198. Hu, Y. A Study of the Link between Cloud Microphysics and Climate Change: PhD Thesis. —University of Alaska, Fairbanks, 1994.

199. Johnston H., Liu J.-G. Finite Difference Schemes for Incompressible Flow Based on Local Pressure Boundary Conditions / Journal of Computational Physics. —2002. — Vol. 180. — P. 120-154.

200. Kelleners P.H. Simulation of Inviscid Compressible Multiphase Flow with Condensation // Annual Research Briefs 2003. — Center for Turbulence Research, NASA Ames Research Center, 2003. — pp 49-67.

201. Ketzel M., Louka P., Sahm P., Guilloteau E., Sini J.-F., Moussiopoulos N. Intercomparison of Numerical Urban Dispersion Models — Part II: Street Canyon in Hannover, Germany / The 3rd Urban Air Quality conference Loutraki 19-23 March 2000.

202. Knyazikhin, et al. A primer in three-dimensional radiative transfer. In: A. Davis and A. Marshak Eds., «Three-Dimensional Radiative Transfer in the Cloudy Atmosphere», Springer-Verlag. — 2005. — pp 153-242.

203. Kokkola H., Romakkaniemi S., Laaksonen A. On the formation of radiation fogs under heavily polluted conditions // Atmos. Chem. Phys. Discuss., 2003. — Vol.3.—pp 389-411.

204. Laurien E. The Numerical Simulation of Three-Dimensional Two-Phase Flows as a Tool for Light-Water Reactor Design and Safety Analysis // Proc. of the Annual Meeting on Nuclear Technology 2002, INFORUM Verlagsgesellschaft. — Bonn, 2002. — pp.45-50.

205. Lehtinen K.E.J., Kulmala M. A model for particle formation and growth in the atmosphere with molecular resolution in size // Atmos. Chem. Phys. Discuss. —2003. — Vol.3.— pp 251-257.

206. Leitl В., Schatzmann M. CED VAL — Compilation of Experimental Data for Validation of Microscale Numerical Dispersion Models / Proc. 2nd East European Conference on Wind Engineering. Prague, September 7-11, 1998.

207. Li Y.Q., Davidovits P., Shi Q., Jayne J.T., Kolb C.E., Worsnop D.R. Mass and thermal accommodation coefficients of H20(g) on liquid water as a function of temperature//J. Phys. Chem.— 2001.—Vol.105 (A).— pp 10627-10634.

208. LiouK.N., Ou S.C. Infrared radiative transfer in finite cloud layers // J. Atmos. Sei. — 1979. — Vol.36. — P. 1985-1996.

209. Liou K.N., Rao N. Radiative transfer in cirrus clouds. Part IV: On cloud geometry, inhomogeneity and absorption// J. Atmos. Sei. —1996. — Vol.53. — P.3046-3065.

210. LoD.C., Young D.L., MurugesanK., Tsai C.C., GouM.H. Velocity-vorticity formulation for 3D natural convection in an inclined cavity by DQ method // International Journal of Heat and Mass Transfer. — 2007. — Vol. 50. — P.479-491.

211. Mätzler С. MATLAB Functions for Mie Scattering and Absorption, Version 2 // IAP Research Report, No.2002-11. — Institut für angewandte Physik, Universität Bern, 2002.

212. Medic G., MohammadiB., Pironneau О. A Critical Evaluation of к е Model and Wall-Laws for Unsteady Flows over Bluff Bodies /INRIA (Institut National de Recherche en Informatique et en Automatique) report RR-3056. — 1997.

213. Microsoft Domain-Specific Language (DSL) Tools // Технология клиент-сервер. — 2005. — № 3. — С. 20-27.

214. Mieth, P., Unger, S., Moussiopoulos, N. et al. ECOSIM Telematics Applications Project: ECOSIM Deliverable D05.02. ECOSIM User Documentation. — http://www.ess.co.at/ECOSIM/Deliverables/D0502.html.

215. Mihalas D., Mihalas B.W. Foundations of radiation hydrodynamics.— New York, Oxford: Oxford University Press, 1984.— 741 p.

216. Mitchell D.L. Parameterization of the Mie Extinction and Absorption Coefficients for Water Clouds // J. Atmos. Sei. — 2000. — Vol.57. — P.1311-1326.

217. Mlakar, P., Boznar, M. Perception neural network-based model predicts air pollution // IASTED International Conference on Intelligent Information Systems (IIS '97), 1997, p. 345.

218. MPI-2: Extensions to the Message-Passing Interface. — http://www.mpi-forum;org/docs/mpi-20-html/mpi2-report.html.

219. Ou S.C., Liou K.N. Generalization of the spherical harmonic method to radiative transfer in multi-dimensional space // J. Quant. Spectrosc. Radiat. Transfer. — 1982. —Vol.28.—P.271-288.

220. Ou S.C., Liou K.N. Numerical experiments on the Helmholtz equation derived from the solar radiation transfer equation in three-dimensional space // Appl. Math. Comput. — 1980.—№6.—P. 155-175.

221. Piva, R., Orlandi, P. Numerical Solutions for Atmospheric Boundary Layer Flows over Street Canyons. Proceedings of the Fourth Int. Conference «Numerical Methods in Fluids Dynamics», ed. R. D. Richtmeyer, Springer-Verlag, New York, pp. 319-325 (1975).

222. Pomraning G.C. The equations of radiation hydrodynamics.— Pergamon Press, 1973.—298 p.

223. Press, W.H. et al. Numerical recipes in C: The art of scientific computing. — Cambridge University Press, 1992.— 994 p.

224. Roberts A.J. Simple and fast multigrid solution of Poisson's equation using diagonally oriented grids // ANZIAM J. — 2001. — Vol.43 (E). — ppEl-E36.

225. RudophL., Slivkin-Allouf M., UpfalE. A simple load balancing scheme for task allocation in parallel machines. /Proc. 3rd Annual ACM Symp. On Parallel Algorithms and Architectures (APAA, 91).— 1991.— P.237-245.

226. Ryall D.B., Maryon R.H. Validation of the U.K. Met. Office's NAME model against the ETEX dataset// Atmos. Environment. — 1998. — Vol.32. — No.24. — pp 2381-2383.

227. Sander S.P., FriedlR.R., DeMore W.B. et al. Chemical Kinetics and Photochemical Data for Use in Stratospheric Modeling, Evaluation Number 13, JPL Publication 00-3, Jet Propulsion Laboratory, California Institute of Technology, Pasadena, CA, 2000.

228. Schwartz S.E., Freiberg J.E. Mass-transport limitation to the rate of reaction of gases in liquid droplets: Application to oxidation of SO2 in aqueous solutions // Atmos. Environment. — 1981. —Vol. 15, No. 7, pp. 1129-1144.

229. Segelstein, D.J. The complex refractive index of water: M.S.Thesis. — University of Missouri, Kansas City, 1981.

230. Seinfeld, J.H., Pandis, S.N. Atmospheric Chemistry and Physics. — New York: Wiley, 1998. — 1320 p.

231. Schädler G., Bächlin W., Lohmeyer A., van Wees T. (1996): Vergleich und Bewertung derzeit verfügbarer mikroskaliger Strömungs- und Ausbreitungsmodelle. In: Berichte Umweltforschung Baden-Württemberg, PEF 2 93 001 (FZKA-PEF 138).

232. Schatzmann M., Leitl B., Liedtke J. Ausbreitung von ICfz-Abgasen in Straßenschluchten / Forschungsbericht FZKA-BWPLUS (Final report of the research project PEF 2 96 001). — 1999.

233. ShibaS. Modelling of acidic cloud droplets formation process due to absorption of atmospheric gas // Atmospheric Environmental Impacts of Aerosols in East Asia. Research Report 2002.— Kyoto university, 2003.— pp 71-74.

234. Slingo A. A GCM Parameterization for the Shortwave Radiative Properties of Water Clouds //J. Atmos. Sei. — 1989. — Vol.46. — P.1419-1427.

235. Stephens G.L., Gabriel P.M., Partain P.T. Parameterization of Atmospheric Radiative Transfer. Part I: Validity of Simple Models // J. Atmos. Sci. — 2001. — Vol.58.—P.3391-3409.

236. Sun HPC ClusterTools™ 5 Software Performance Guide (817-0090-10). — Sun Microsystems, Inc., 2003.

237. The mpC Programming Language Specification. — http://www.ispras.ru/mpc.

238. Tenaud C., Pellerin S., Dulieu A., Ta Phuoc L. Large Eddy Simulations of a spatially developing incompressible 3D mixing layer using the v-co formulation // Computers & Fluids. — 2005. — Vol.34. — P.67-96.

239. User's Guide for CAL3QHC Version 2: A Modeling Methodology for Predicting Pollutant Concentrations Near Roadway Intersections. — EPA-454/R-92-006, U. S. Environmental Protection Agency, Research Triangle Park, North Caroline, 1992.

240. User's guide for the Industrial Source Complex (ISC3) dispersion models. Volume II description of model algorithms. — EPA-454/B-95-003b, U. S. Environmental Protection Agency, Research Triangle Park, North Caroline, 1995.

241. Versteeg H. K. Malalasekera W. An introduction to computational fluid dynamics. The finite volume method. — Longman, 1995. — 257 pp.

242. Wesseling, P. Principles of Computational Fluid Dynamics. — SpringerVerlag, 2001. —644 p.

243. Wilcox, D.C. Turbulence modeling for CFD. — DCW Industries, Inc, 1994. —460 p.

244. WongK.L., Baker A.J. A 3-D Incompressible Navier-Stokes Velocity-Vorticity Weak Form Finite Element Algorithm / Int. J. Num. Mtd. Fluids. — 2001. — V.38. —P.99-123.

245. WyserK, Yang P. A average crystal size and bull shortwave single scattering properties in ice clouds // J. Atmos. Res. — 1998. — Vol. 45. — P.315-335.

246. Xue H., Feingold G. A modeling study of the effect of nitric acid on cloud properties // J. Geophys. Res. — 2004. — Vol.109. — D18204.

247. Yang P., Gao B.-C., Wiscombe W. J. et al. Inherent and Apparent Scattering Properties of Coated or Uncoated Spheres Embedded in an Absorbing Host Medium // Appl. Opt. — 2002. — Vol. 41. — №15. — pp 2740-2759.

248. Yap C. J. Turbulent Heat and Momentum Transfer in Recirculating and Impinging flows, PhD Thesis, Faculty of Technology, University of Manchester, United Kingdom.— 1987.

249. Yershov, S.V., Rusanov, A.V. (1996), The new high resolution method of Godunov's type for 3D viscous flow calculations. The 3rd Colloq. Process Simulation, ed. A. Jokilaakso, 12-14 June 1996, Espoo, Finland, pp. 69-85.

250. Zender C.S., Talamantes J. Solar absorption by Mie resonances in cloud droplets // J. Quant. Spectrosc. Radiat. Transfer. — 2006. — Vol.98. — P.122-129.

251. Zhang M., LinW., Bretherton C.S., HackJ.J., RaschP.J. A Modified Formulation of Fractional Stratiform Condensation Rate in the NCAR Community Atmospheric Model (CAM2) // J. Geophys. Res. — 2003. — Vol. 108. — No. Dl. — pp. ACL 10-1.