автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Программный комплекс численного моделирования совместной системы океан-атмосфера на массивно-параллельных компьютерах

атмосферы (почвы). Таким образом, для удовлетворения физической постановке задачи, необходимо примерно каждый модельный час (около 10-20 итераций цикла, и зависимости от временного шага компонента) передавать 12 полей. В итоге, через объединяющее модели программное обеспечение только для двух компонентов океана и атмосферы будет проходить примерно: (3GOO• 1800)(3 + 9) + (1G00-8G4)(3 + 9) ~ 0(10s) ячеек. Указанные данные не могут быть напрямую переданы от компонента-источника компоненту-получателю, поскольку имеют, вообще говоря, различные сетки. Поэтому, помимо MPI-пересылки, поля должны быть перешперполировапы на новую сетку. Очевидно, такая задача может быть решена только с помощью распределенных вычислений. Поскольку число моделей, их разрешения, параллельные конфигурации и количество обмениваемых функций могут быть различными, то возникает требование поддержки произвольного числа связей «компонент-компонент».

В разделе 1.4 формулируются основные проблемы, связанные с созданием совместной модели Земной системы. Разрабатываемая система совместного моделирования должна учитывать высокое пространственное разрешение сеток компонентов Земной системы и их произвольность, из чего следует: 1) локальность коммуникаций, 2) параллельность алгоритма интерполяции и 3) абстрактный вид системы для поддержки различных комбинаций моделей па различных сетках. Кроме того, система должна 4) уметь объединять распределенный код моделей в единый исполняемый файл для запуска на супекомпьюте-ре, 5) реализовывать эффективный параллельный алгоритм работы с файловой системой и 6) производить поддержку всего цикла жизни модели (довычнелительная и поствычпе-лительные стадии).

Во Второй главе приводится описание двух вычислительных алгоритмов, являющихся ключевыми для производительности каплера ПКСМ и математической модели Мирового океана ИВМ-ПО.

Физические требования и абстрактная архитектура ПКСМ требуют разработки эффективного многоуровневого параллельного алгоритма интерполяции для произвольных пар логически-прямоугольных сеток. Данный алгоритм, являющийся ядром каплера ПКСМ, описан в первой части этой главы. Задача интерполяции данных между сетками является основной и решается тем или иным образом для каждой совместной системы. Очевидным решением является разделение ее на два этапа: подготовительный и вычислительный.

Поскольку подготовительный этап не зависит от архитектуры системы совместного моделирования, его работа может быть стандартизована. Поэтому сегодня во всех разрабатываемых в мире системах совместного моделирования для построения матрицы интерполяционных весов используется пакет SCRIP (Jones, 1998). Такие известные системы как CCSM/CESM, OASIS3, OASIS-MCT, ESMF и т.д. предполагают наличие матрицы в SCRIP-формате для объединения моделей па этапе счета. Представленная в работе система ПКСМ следует этому соглашению.

Пакет предоставляет возможность строить матрицы весов для билинейного, бикубпче-

времени и разрешим уравнения относительно г/'1 ',(/р4Kp+1:

11 = —t{6JJu + 6„Vcy + r(R")' + rf Up+1 = -тдН(&хг?)^1 + t(R")1 + U" + rfV" (14)

V"11 = -TgH{5yfj*y+' + r(HvY + V- tJU"

Здесь г) оператор разпостпого дифференцирования, члены (If)1. (Rv)' - фик-

сированы па шаге I. Решение (14) ищется с шагом т -С А/ па временном интервале 2А/.:[/.'. í' + 2Aí], где /' и А/ - момент времени и временной шаг трехмерной модели океана, соответственно. Количество шагов интегрирования равно 2-pi, где pi = Начальные условия: U" " = U1; V 0 = V1; rf' 0 = С,1.

Как упоминалось выше, уменьшение шага по времени для блока нахождения баротроп-ной скорости соответствует увеличению числа итераций цикла решения системы уравнений мелкой воды, что, за счет необходимости межпроцессорных обменов на каждой итерации, ведет к тому, что простейшая явная схема решения уравнения мелкой воды становится узким местом программы с точки зрения параллельной реализации. В разделе 2.2 описывается применение автором алгоритма с перекрытиями для решения системы уравнений мелкой воды на параллельных компьютерах с распределенной памятью (Калмыков. Ибраев, 2013). Алгоритм с перекрытиями рассматривался в ряде работ, например, для вычисления оператора Лапласа на регулярной сетке (Ding et al., 2001; Kjolstad et al., 2010) и тестируется всего па десятках вычислительных ядер компьютера. В данной работе алгоритм с перекрытиями применен к блоку решения уравнений мелкой воды для реальной модели Мирового океана высокого разрешения (Пбрасв и др., 2011), использующей трехполярную сетку и выполняющейся па тысячах ядер. Масштабируемость модели представлена на Рис. 0. Модификация данной процедуры позволила устранить единственное параллельное «узкое место» модели Мирового океана.

Во Третьей главе приводится архитектура ПКСМ на всех уровнях: уровне комплекса, уровне совместной системы и уровне каплера. Программный комплекс состоит из трех основных частей (Рис. 5), представляющих этапы жизни любой физической модели: довы-чнслитслыюго блока построения интерполяционных весов и подготовки начальных данных; основного вычислительного блока - каплера и интерфейсов к нему: блока визуализации. На уровень глубже находится вычислительный блок ПКСМ, представляющий собственно совместную систему. Разработанная абстрактная архитектура совместной системы и се драйвера являются расширением наиболее современной схемы с управляющей программой (Dennis et al., 2012) и позволяют сделать код пользователя полностью независимым от других моделей. Каплер и управляющая программа написаны для общего случая, что, во-первых, позволяет поддерживать несколько одновременных конфигураций совместной системы без изменения кода (например, для реального и файлового компонентов океана), а, во-вторых, обеспечить поддержку произвольного числа физических

(ПКСМ) на основе абстрактного драйвера и библиотечного вида физических компонентов, расширяющая схему синхронизации через управляющую программу. ПКСМ включает разработанную параллельную асинхронную схему работы с файловой системой, не реализованную сегодня ни в одной системе совместного моделирования.

4. С применением ПКСМ реализована математическая модель гидродинамики Мирового океана с разрешением 0.1° и разработана совместная модель Мирового океана ИВМ-ИО и глобальной атмосферы ПЛАВ с разрешением 0.225° в атмосфере и 0.25° в океане, ориентированная на использование в среднесрочном и долгосрочном прогнозе. Такое разрешение в совместной модели достигнуто впервые в России.

Основные публикации автора по теме диссертации

1. Программный комплекс совместного моделирования (ПКСМ) является зарегистрированным программным средством (Свидетельство о государственной регистрации программ для ЭВМ № 2013619320).

2. Калмыков В.В., Ибраев P.A. Программный комплекс совместного моделирования системы океан—лед—атмосфера—почва на массивно-параллельных компьютерах // Вычислительные методы и программирование. 2013. 14. с. 88-95.

3. Калмыков В.В., Ибраев P.A. Алгоритм с перекрытиями для решения системы уравнений мелкой воды на параллельных компьютерах с распределенной памятью // Вестник УГАТУ: науч. журн. Уфимск. гос. авиац. техн. ун-та. 2013. 17, JV4 5(58). с. 252-259.

4. Модели глобальной атмосферы и Мирового океана: алгоритмы и суперкомпьютеров технологии, Учеб. пособие / М.А. Толстых, P.A. Ибраев, Е.М. Володин, К.В. Ушаков, В.В. Калмыков, A.B. Шляева, В.Г. Мизяк, Р.Н. Хабеев; Прсдисл.: В. А. Садовничий. - М.: Издательство Московского университета, 2013.

5. Калмыков В.В. Программный комплекс для модели Земной системы IIBM РАН. Труды международной суперкомпыотерной конференции «Научный сервис в сети Интернет: все грани параллелизма», 23-28 сентября 2013, г. Новороссийск, пос. Абрау-Дюрсо, с. 554-5С1.

G. Толстых М.А., Калмыков В.В., Фадеев Р.Ю., Ушаков К.В., Ибраев P.A. Совместная модель атмосферы, океана, морского льда и почвы высокого разрешения. Труды международной суперкомпьютерной конференции «Научный сервис в сети Интернет: все грани параллелизма», 23-28 сентября 2013, г. Новороссийск, пос. Абрау-Дюрсо, с. 408-409.

7. Толстых М.А., Ибраев P.A., Калмыков В.В. Применение суперкомпьюторных вычислительных технологий в моделировании глобальной атмосферы и океана. Суперкомпьютерные технологии МГУ имени М.В, Ломоносова, Москва, 2012. 53с. Проект Комиссии при Президенте РФ по модернизации!! и технологическому развитию экономики России «Суперком-пыотерное образование».

8. Ибраев P.A., Калмыков В.В., Ушаков К.В., Хабеев Р.Н. Вихреразрешающая 1/10° модель Мирового океана. Экологическая безопасность прибрежной и шельфовой зон п комплексное использование ресурсов шельфа: Сб. научи, тр. Вып. 25, том 2 /' HAH Украины, МГИ, ИГН, ОФ ИнБЮМ. Редкол.: Иванов В.А. (гл. ред.) и др. - Севастополь, 2011. с. 30-44.

Подписано в печать: 20.11.2013 Объем: 1,0 п.л. Тираж: 100 экз. Заказ № 262 Отпечатано в типографии «Реглет» 119526, г. Москва, пр-т Вернадского, д. 39 (495) 363-78-90; www.reglet.ru

Учреждение Российской академии наук Институт вычислительной математики РАН

На правах рукописи

04201452504 ^

/ь---

Калмыков Владимир Владимирович

Программный комплекс численного моделирования совместной системы океан-атмосфера на массивно-параллельных компьютерах

Специальность 05.13.18 - Математическое моделирование, численные методы

и комплексы программ

Диссертация на соискание ученой степени кандидата физико-математических наук

Научный руководитель: д.ф-м.н. Ибраев Рашит Ахметзиевич

Москва - 2013

Оглавление

Введение 4

1 Постановка задачи математического моделирования динамики Мирового океана и глобальной атмосферы 27

1.1 Модель Мирового океана................................................27

1.1.1 Уравнения математической модели термогидродинамических процессов океана............................................27

1.1.2 Краевые условия..................................................29

1.1.3 Система координат. Сетка......................................30

1.1.4 Метод решения уравнений модели..............................31

1.2 Математическая модель глобальной атмосферы ПЛАВ ......33

1.3 Обмен информации между моделями в совместной системе .... 34

1.4 Обзор основных задач, решаемых системой совместного моделирования ....................................................................35

2 Вычислительные методы ПКСМ и математической модели Мирового океана ИВМ-ИО 38

2.1 Многоуровневая параллельная интерполяция каплера ПКСМ ... 38

2.1.1 Подготовительный этап..........................................39

2.1.2 Вычислительный этап............................................41

2.1.3 Схема источника.........................44

2.1.4 Схема получателя........................46

2.1.5 Комментарии...........................47

2.1.6 Тестирование...........................49

2.1.7 Сравнение с существующими системами......................53

2.1.8 Выводы............................................................56

2.2 Алгоритм с перекрытиями для решения системы уравнений мелкой воды ..................................................................58

2.2.1 Постановка задачи................................................59

2.2.2 Прямой алгоритм................................................61

2.2.3 Алгоритм с перекрытиями......................................64

2.2.4 Выводы............................................................67

3 Архитектура Программного комплекса для совместного моде-

лирования 68

3.1 Основные черты ПКСМ..................................................68

3.2 Общая конфигурация ПКСМ ..........................................74

3.3 Архитектура совместной системы......................................76

3.4 Довычислительный блок................................................77

3.4.1 Описание блока..................................................77

3.5 Блок визуализации ......................................................78

3.5.1 Описание блока ..................................................78

3.6 Общая конфигурация каплера ПКСМ ................82

3.7 Параллельная система ввода-вывода.................82

3.7.1 Стратегии работы с файловой системой ...........84

3.7.2 Описание блока ввода-вывода ПКСМ..........................87

3.7.3 Тестирование........................... 88

3.8 Блок сбора-распределения данных ....................................91

3.8.1 Описание блока......................... 91

3.9 Выводы.................................. 93

4 Реализация математической модели Мирового океана и совместной модели с применением средств ПКСМ 96

4.1 Применение ПКСМ в математической модели Мирового Океана . 96

4.1.1 Масштабируемость параллельной модели Мирового океана ИВМ-ИО в составе ПКСМ................... 97

4.1.2 Результаты численных экспериментов ............101

4.2 Применение ПКСМ для создания совместной математической модели Мировой океан-Атмосфера....................108

4.2.1 Краткие характеристики программ моделей-участников . . 108

4.2.2 Конфигурация совместной модели Мировой океан-глобальная атмосфера......................109

4.2.3 Результаты численных экспериментов ............112

4.3 Выводы..................................113

Заключение 118

Приложение 119

Введение

Как отмечалось на Всемирной конференции по моделированию и прогнозированию климата [55], существует общее согласие о том, что гораздо более высокое, по сравнению с существующим, разрешение моделей основных компонентов (атмосфера, океан, лед, суша) является главной предпосылкой для реалистичного представления климатической системы. На современном уровне знаний представляется, что перспективная модель Земной системы должна иметь горизонтальное разрешение около 1 км. Сложность физических и химико-биологических процессов в Земной системе и ее компонентах (атмосфера, океан, лед, суша) и большой объем данных о состоянии системы ставит задачу моделирования изменений климата Земли в ряд самых вычислительноёмких в науке.

Последние исследования подтверждают преимущества моделей высокого разрешения.

Например, в работе [59] были приведены прогнозы десятилетних изменений климата с использованием модели Community Climate System Model (CCSM) версии 3.5 для двух разрешений компонентов атмосфера-суша: текущего 2° и нового 0.5°. Основным отличием было уменьшение ошибки температуры поверхности океана в регионах апвеллинга, включающих западное побережье США, более чем на 60%. Также наблюдалось улучшение представления осадков и речного стока в Северной Америке, более реалистичный вид летнего Восточно-азиатского муссона, улучшение в описании Арктической атмосферной циркуляции, ведущее к более реалистичному региональному распределению морского льда в Северном Ледовитом океане.

В работе [65] авторы использовали раннюю версию Community Atmosphere Model (САМ) для исследования формирования и развития тропического шторма в Северной Атлантике. В ходе работы несколько штормов были изучены и классифицированы в соответствии с местоположением и силой. На разрешении 1° штормов было недостаточно и они были слишком слабы, тогда как при разрешении 0.5° распределение количества и силы было гораздо более точным. Еще более точные результаты были получены при разрешении 0.25°.

Улучшенное формирование тропического шторма было продемонстрировано в работе [68] при моделировании на несколько десятилетий с использованием CCSM версии 4. Разрешение модели атмосферы/суши составляло 0.25° и океа-

на/морского льда - 0.1°. Акцент был сделан на тропической западной части Тихого океана. Были смоделированы не только тропические штормы, но и подъем с глубин холодной воды, образующей слой пониженной поверхностной температуры. Исследования также показали гораздо более реалистичные амплитуды аномалии высоты поверхности океана в вихрях, в течении мыса Игольного по сравнению с версиями моделей, где атмосферный форсинг основывается на моделях атмосферы с более грубым разрешением.

В работе [64] был проведен анализ корреляции между температурой поверхности океана и напряжением ветра и результаты были сравнены со спутниковыми наблюдениями. Использовалась модель CCSM4: две модели океана, разрешения 1° и 0.1°, и общая для эксперимента 0.5° атмосфера. Верная положительная корреляция между поверхностной температурой и напряжением ветра наблюдается только при использовании вихреразрешающего разрешения океана.

Таким образом, современное понятие высокое разрешение предполагает горизонтальный шаг сетки около 0.1° для модели Мирового океана и около 0.25° для модели глобальной атмосферы (в работе [74]) подобное разрешение также называется «ultra high-resolution»). В настоящей работе под высоким пространственным разрешением мы будем понимать горизонтальный шаг сетки модели около 0.1° и менее. Несмотря на то, что подобного пространственного разрешения пока достигли только несколько исследовательских центров, в работе мы будем ориентироваться именно на него как на наиболее перспективное.

Разработка модели физического компонента Земной системы (океана, льда, атмосферы и т.д.) для сеток высокого пространственного разрешения требует повышенного внимания к параллельным алгоритмам: используемые численные схемы, внутрикомпонентные обмены, работа с большими массивами данных, их хранение в файловой системе. Увеличение размеров сеток ведет к росту вычислительной нагрузки, и в программном алгоритме могут возникнуть так называемые «узкие места», то есть участки кода, имеющие низкую параллельную эффективность. Особенностью таких мест является то, что они чаще всего не проявляются при использовании небольшого числа вычислительных ресурсов, когда коммуникационная нагрузка задачи относительно низка.

Первые совместные модели представляли собой прямое объединение моделей отдельных компонентов Земной системы и не требовали разработки дополнительных алгоритмов. По мере повышения сложности моделей, роста их разрешения и соответствующих вычислительных мощностей встала задача построения отдельных программных комплексов, в рамках которых могут совместно работать несколько компонентов Земной системы, причем связью моделей в единую систему занимается новый сервисный компонент - каплер (от англ. coupler). Разработка программного комплекса совместного моделирования

и численных алгоритмов для него является отдельной задачей, не связанной с разработкой физических моделей. К его главным задачам относятся синхронизация работы моделей, численные алгоритмы интерполяции данных между различными сетками компонентов и работа с файловой системой. Таким образом, современная совместная модель состоит из нескольких физических моделей и дополнительного внешнего программного обеспечения, разработка которого является чрезвычайно актуальной задачей.

Computing Capability & Model Grid Size (km)

Peak Rate: 10 T FLO PS 100 TFLOPS 1 PFLOPS 10 PFLOPS 100 PFLOPS

Cores 1,400 (2006) 12,000 (2008) 80-100,000 (2009) 300-800,000 (2011) 6,000.000? (20xx?)

Global NWP0: 5-10 days/hr 18-29 8.5- 14 4.0 - 6 3 1.8-2.9 0.85-1.4

Seasonal1: 50-100 days/day 17-28 8.0- 13 3.7 - 5 9 1.7-2.8 0.80-1.3

Decadal1: 5-10 yrs/day 57-91 27-42 12-20 57-91 2.7 -42

Climate Change2: 20-50 yrs/day 120-200 57-91 27-42 12-20 5 7-9 I

Range: Assumed efficiency of 10-40%

0 - Atmospheric General Circulation Model (AGCM: 100 levels)

1 - Coupled Ocean-Atmosphere-Land Model (CGCM; - 2X AGCM computation with IOC-level OGCM)

2 - Earth System Model (with blogeochemical cycles) (ESM; -2X CGCM computation)

• Core counts above 0(10J) are unprecedented for weather or climate codes, so the last 3 columns require getting 3 orders of magnitude in scalable parallelization (scalar processors assumed vector processors would have lower processor counts)

Thanks to Jim Abslas {IBM)

Рис. 1. Требуемые вычислительные ресурсы и шаг сетки модели по горизонтали в километрах (по данным работы [55]). Global NWP - численный прогноз погоды по глобусу, Seasonal - прогноз среднего состояния атмосферы за сезон, Decadal - прогноз среднего состояния системы на десятилетие, Climate change - оценка изменений климата Земной системы.

Объединенный ансамбль физических моделей, реализованный на параллельных компьютерах, задействует огромные вычислительные ресурсы. Согласно сделанным предварительным оценкам (Табл. 1), реализация перспективной модели Земной системы, предназначенной для моделирования климата, может потребовать миллионов процессорных ядер.

В 2008 году был впервые построен петафлопсный компьютер, преодолевший барьер 1015 операций с плавающей запятой в секунду. Сегодня первое место в рейтинге высокопроизводительных систем Тор500 [90] принадлежит суперкомпьютеру «MilkyWay-2», имеющим пиковую произвольность 55 петафлопс

и содержащему 3120000 вычислительных ядер. По предварительным оценкам, первая экзафлопсная система (1018 операций с плавающей запятой в секунду) должна появиться в 2016 году.

Использование десятков тысяч ядер (а затем сотен тысяч и миллионов) означает коренную ревизию вычислительных алгоритмов моделей - только локальные численные методы смогут обеспечить эффективное использование такого количества ресурсов. Кроме того, очевидно, что любое «узкое место» в реализации программы, объединяющей модели на миллионах ядер, станет причиной замедления работы всей совместной системы.

Существуют различные способы объединить две и более моделей в единую совместную систему: прямое слияние кода или объектно-ориентированный подход, последовательный или параллельный режим работы, ориентирование на конкретные модели Земной системы или создание архитектуры для общего случая. Каждый подход имеет свои сильные и слабые стороны, связанные с реализацией, поддержкой и сопровождением кода, удобством работы, эффективностью выполнения программы и т.д.

В диссертационной работе представлен Программный комплекс численного моделирования совместной системы океан-атмосфера на массивно-параллельных компьютерах. Для краткости мы будем использовать аббревиатуру ПКСМ (Программный Комплекс Совместного Моделирования). ПКСМ разработан для создания совместной модели высокого пространственного разрешения на основе моделей Мирового океана ИВМ-ИО [67, 73] и глобальной атмосферы ПЛАВ [32, 61]. Совместная модель предназначается для исследований внутри- и межгодовой изменчивости Земной системы и разработки на ее основе системы сезонного прогноза погоды.

История развития программных средств для создания совместных моделей

С момента возникновения первых геофизических моделей возникал вопрос их объединения из отдельных компонентов в единую функционирующую систему. По мере повышения алгоритмической и вычислительной сложности компонентов стало понятно, что упрощенное слияние нескольких моделей в одну (например, за счет прямого объединения кода) уже невозможно по причинам трудоемкости и неэффективности. Так возникает задача разработки системы для создания совместных моделей (или системы совместного моделирования), которая по определению не является частью какой-либо модели, а представляет собой внешнее для нее программное обеспечение.

Разработкой таких систем занимаются уже несколько десятилетий по всему миру [60, 93]. Наиболее известные центры: National Oceanic and Atmospheric Administration National Center for Atmospheric Research (NOAA NCAR),

Geophysical Fluid Dynamics Laboratory (GFDL), Centre Europen de Recherche et de Formation Avance en Calcul Scientifique (CERFACS), Argonne National Laboratory и т.д. Ниже приведен анализ исторического развития зарубежных программных комплексов и даны краткие выводы относительно существующих систем. В заключении главы сформулированы ключевые свойства систем совместного моделирования.

Первые совместные модели

Первые совместные модели представляли собой прямое объединение кода отдельных компонентов (Рис. 2), выполнялись последовательно и чаще всего на единой сетке. Данный метод работал для небольших проектов из нескольких процедур при обязательном условии наличия кода всех участников ансамбля.

atm осп

Рис. 2. Прямое объединение кода моделей.

Объединение моделей через файловую систему

По мере роста размера проектов и их постепенного распределения в различные институты, встала необходимость разработки программных средств и стандартов, позволяющих объединять в единую систему написанный разными людьми код.

Первая попытка создания программного обеспечения для объединения произвольных компонентов была предпринята во французском центре CERFACS (Centre Europen de Recherche et de Formation Avance en Calcul Scientifique) в 1991 году. Требовалось создать интерфейсы объединения модели общей циркуляции океана OPA, разрабатываемой в лаборатории LODYC, с двумя различными атмосферными моделями - ARPEGE и LMDz, разрабатываемыми, соответственно, Meteo-France и LMD (Laboratoire de Meteorologie Dynamique). Два года спустя появилась первая версия каплера OASIS (Ocean Atmosphere

Sea Ice Soil) [88], [75]. Система представляла собой набор процедур для обмена моделей через файловую систему (Рис. 3).

Запуск совместной системы выполнялся в режиме нескольких исполняемых файлов. Достигнув определенного шага, каждый процесс модели океана вызывал процедуры OASIS, которые выполняли сбор данных на одном процессе и запись их в файл. Мастер-процесс модели атмосферы опрашивал файловую систему до появления необходимых данных, считывал их, глобально интерполировал на свою сетку и распределял остальным ядрам. Такая же схема применялась и при интерполяции в обратном направлении.

осп

File System

Рис. 3. Объединение моделей через файловую систему.

Достоинством данного метода является минимальное вмешательство в код моделей, так как они лишь вызывают внешние процедуры. Очевидный недостаток - скорость. Дело в том, что канал обмена с файловой системой имеет наименьшую скорость среди всех коммуникационных каналов вычислительной системы. Поэтому использование файлов не по прямому назначению (редкое сохранение решения или диагностических данных), а для частых обменов полями между компонентами, выливается в крайне низкую параллельную эффективность совместной системы и постоянную загрузку 1/О-коммутатора суперкомпьютера. Отсюда следует полное отсутствие масштабируемости и серьезное падение скоростных характеристик системы при росте нагрузки.

Тем не менее, для небольших сеток в условиях создания максимально простого способа обмена компонентов этот метод имеет право на существование. Современные же размеры сеток моделей и количество используемых вычислительных ресурсов делают метод редко применимым для моделей высокого разрешения.

Сегодня единственная российская климатическая модель Института вычислительной математики ШМСМЗ.О [49], ШМСМ4.0 [62], представленная за рубежом, использует как раз метод обмена через файловую систему. Для работы

совместной модели запускаются отдельные MPI-задачи, которые обмениваются полями через разделяемый файловый ресурс.

Объединение моделей через мастер-процесс каплера

Важнейшим этапом развития совместных моделей становится добавление в совместную систему в конце 90-х год