автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка средств распределенного имитационного моделирования для многопроцессорных вычислительных систем

На правах рукописи

Окольнишников Виктор Васильевич

РАЗРАБОТКА СРЕДСТВ РАСПРЕДЕЛЕННОГО ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ ДЛЯ МНОГОПРОЦЕССОРНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

05.13.18 — математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук

Новосибирск — 2006

Paöoia выполнена в Конструкторско-технологическом институте вычислительной техники СО РАН

Научный консультант:

доктор физико-математических наук, профессор М.И. Нечепуренко

()фицнальн ые оппоненты:

доктор физико-математических наук,

профессор А.Г. Марчук

доктор физико-математических наук,

профессор В.К. Попков

доктор физико-математических наук,

профессор В.А. Сухомлин

Ведущая организация:

Институт системного программирования РАН

Защита состоится "_3_" октября 2006 г. в 15 часов на заседании диссертационного совета Д 003.061.02 при Институте вычислительной математики и математической геофизики СО РАН по адресу 630090, г. Новосибирск. пр. Акад. Лаврентьева, 6.

С диссертацией можно ознакомиться в читальном зале библиотеки ИВМиМГ СО РАН.

Автореферат разослан

Ученый секретарь диссер Рационного совета, д.ф.-м.н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Имитационное моделирование — один из наиболее распространенных и мощных методов исследования сложных систем.

Имитационное моделирование, как составная часть информатики, прошло более чем 40-летний путь развития. В последние годы основным направлением развития имитационного моделирования в мире является распределенное имитационное моделирование.

Классическое (последовательное) имитационное моделирование реализуется на однопроцессорном компьютере. Распределенное (параллельное) имитационное моделирование охватывает весь спектр современной вычислительной техники: суперкомпьютеры, кластерные вычислительные системы, локальные и глобальные сети,

Распределенное имитационное моделирование позволяет решать задачи, требующие большого количества процессорного времени, интегрировать модели, исполняющиеся Fia различных (в том числе и географически отдаленных) вычислительных системах, разрабатывать тренажеры для исследования систем и обучения персонала.

В настоящее время в России наблюдается стремительный рост числа многопроцессорных вычислительных систем кластерного типа и их суммарной производительности, Одновременно растет потребность в имитационных моделях сложных систем, требующих большого количества вычислительных ресурсов.

Широкому использованию имитационного моделирования для многопроцессорных вычислительных систем в России препятствует отсутствие или недоступность систем распределенного имитационного моделирования. В связи с этим разработка методов параллельного исполнения имитационных моделей и разработка средств распределенного имитационного моделирования для многопроцессорных вычислительных систем является актуальной.

Использованию имитационного моделирования для многопроцессорных вычислительных систем препятствует ¡акже разнообразие типов многопроцессорных вычислительных систем. В связи с ттим задача разработки переносимой системы распределенного имитационного моделирования также является актуальной.

Цель работы состоит в разработке архитектуры программного обеспечения, входного языка и алгоритмов синхронизации модельного времени системы распределенного дискретного имитационного моделирования, обладающей свойствами переносимости, эффективности, расширяемости, проверке полученных алгоритмов и подходов при разработке системы распределенного дискретного имитационного моделирования Мери для суперкомпьютера МВС— 1000/М.

Методы исследований. При разработке системы Мера испольювались математические методы для описания и исследования структуры и условий корректного исполнения формальной распределенной имитационной модели.

При разработке с помощью системы Мера имитационного стенда автоматизированной системы управления технологическими процессами Северомуйского тоннеля (АСУ ТГ1 СМТ) использовались методы математического моделирования, численные методы.

Новизна. Новыми результатами, полученньгми в процессе выполнения диссертационной работы, являются:

- разработка архитектуры программного обеспечения, входного языка и алгоритмов синхронизации модельного времени переносимой системы распределенного имитационного моделирования;

- разработка первой для суперкомпьютера МВС 1000/М системы распределенного дискретного имитационного моделирования Мера;

- разработка семейства системы Мера для различных операционных систем;

разработка имитационного стенда для проверки решений по созданию АСУ ТП движения железнодорожных составов но Северомуйскому тоннелю.

Теоретическая ценность результатов работы заключается в обосновании методов и алгоритмов, использованных при разработке системы распределенного имитационного моделирования, в предложенной методологии использования имитационного моделирования на этапах разработки и эксплуатации АСУ ТП транспортных систем.

Практическая значимость результатов диссертационной работы заключается в следующем:

- имитационный стенд АСУ ТП СМТ используется для разработки алгоритмов оптимального управления оборудованием СМТ и может быть использован при моделировании нештатных и чрезвычайных ситуаций;

- система распределенного имитационного моделирования Мера для МВС 1000/М может быть использована для моделирования систем, требующих для • своего выполнения большого количества вычислительных ресурсов, систем, моделирование которых на традиционных вычислительных средствах ограничено вычислительными ресурсами.

Связь с государственными программами. Работы по тематике диссертации проводились в рамках следующих проектов, поддержанных РФФИ: 95-01-00900-а, 98-01-00720-а, 02-01-00688-а,

Апробация работы. Результаты диссертационной работы докладывались на следующих Российских и международных конференциях;

- Пятый международный семинар "Распределенная обработка информации" (РОИ-95), Новосибирск, 1995;

- 15-th IMACS World Congress on Scientific Computation Modelling and Applied mathematics, Berlin, 1997;

- IASTED International Conference "Automation, Control, and Information Technology", Novosibirsk, 2002;

- VIII International Workshop on Advanced Computing and Analysis Techniques in Physics Research, Moscow, 2002;

'- ' Пятая международная1 конференция памяти академика АЛ, Ершова "Перспективы систем информатики (PSI 03)", Новосибирск, 2003.

Международная научно-техническая конференция "Новые информационные технологии в нефтегазовой промышленности и энергетике", Тюмень, 2003;

- The Second IASTED International Multi-Conference "Automation, Control, and Applications" Novosibirsk, 2005;

- Вторая Всероссийская научно-практическая конференция по имитационному моделированию и его применению в науке и промышленности "Имитационное моделирование. Теория и практика" (ИММОД 2005), Санкт-Петербург, 2005;

- Вторая Всероссийской конференции с международным участием "Инфокоммуникационные и вычислительные технологии и системы", Улан - Удэ, 2006.

Публикации. По теме диссертации опубликовано 39 работ, в том числе 7 статей в рецензируемых изданиях, 17 публикаций в сборниках трудов международных конгрессов, симпозиумов, конференций, 5 публикаций в сборниках трудов Всероссийских конференций.

Личный вклад автора. Диссертационная работа обобщает многолетние работы автора в области имитационного моделирования.

В 1975 г. автором была разработана система имитационного моделирования Модель-6 для БЭСМ-6, являющаяся первой в СССР реализацией языка GPSS. Автор принимал участие в разработке систем реального времени и систем моделирования для МВК "Эльбрус", имеет работы по интеллектуальному имитационному моделированию и распределенному имитационному моделированию.

Результаты диссертации получены автором самостоятельно. Разработка системы распределенного имитационного моделирования выполнялась группой студентов и аспирантов под руководством автора. В АСУ ТП СМТ автором разработаны программная часть подсистемы управления и имитационный стенд.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения и списка литературы. Объем диссертации - 227 листов. Диссертация содержит 24 рисунков и таблиц, и список литературы, содержащий 215 наименований.

Автор выражает глубокую благодарность научному консультанту доктору физико-математических наук,

профессору М.И, Нечепуренко за поддержку и многолетнее сотрудничество, благодаря которому был получен ряд результатов диссертационной работы,

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность работы, излагаются ее цели, указывается научная новизна полученных результатов, апробация работы, личный вклад автора и полученные результаты,

В главе I диссертации приводятся:

- сравнение распределенного имитационного моделирования с классическим последовательным имитационным моделированием (пп, 1.1-1.3,1);

- формальное описание распределенной имитационной модели и формальное описание проблем, возникающих при ее исполнении (п. 1.3.2);

- обзор методов синхронизации модельного времени в распределенном имитационном моделировании (пп. 1.3.3- 1.4).

В главе 1 определена и исследована абстрактная распределенная модель, состоящая из N параллельных процессов:

N 1

ОМ = \]1рк, к = 1

1рк = {*тк,Тк,8к\

Здесь ОМ - распределенная модель, 1р - процесс, лда -подмодель процесса, Т — значение локальных часов модельного времени процесса, <!> - локальный список событий процесса, О -событие в списке событий, ^ — модельное время наступления события <2 (временная метка события 0.

Каждый процесс выполняется в собственном модельном времени как автономная последовательная модель. Процесс взаимодействует с другими процессами, передавая им сообщения. Асинхронное сообщение М у , передаваемое от

процесса 1р1 процессу 1р^, в простейшем случае имеет следующую структуру:

Для распределенного моделирования критерий корректного исполнения имитационной модели сформулирован следующим образом: результат исполнения распределенной модели должен совпадать с результатом исполнения этой модели на однопроцессорном компьютере. Это означает, что для каждого параллельного процесса выполнение событий должно происходить в порядке не убывания их временных меток.

Нарушение этого порядка выполнения событий, названного автором "парадоксом времени", может произойти в случае получения процессом / от процесса / сообщения типа:

Для борьбы с парадоксами времени в системе распределенного имитационного моделирования имеется специальная программа синхронизации модельного времени, реализующая алгоритм синхронизации модельного времени.

Алгоритмы синхронизации модельного времени делятся на два основных класса: консервативные и оптимистические.

Консервативные алгоритмы предотвращают возникновение парадоксов времени путем задержки процесса Оптимистические алгоритмы не задерживают процесс, но в

случае возникновения парадокса времени осуществляют "откат" процесса] до значения модельного времени /у = .

Глава 1 содержит результаты исследования проблем реализации распределенных имитационных моделей и является теоретическим обоснованием разработанных для системы распределенного имитационного моделирования Мера алгоритмов синхронизации модельного времени.

Основные результаты, изложенные в главе 1, опубликованы в [30],

В главе 2 диссертации приводятся:

- обоснования архитектуры системы распределенного имитационного моделирования Мера, обеспечивающей распределенное исполнение, переносимость, эффективность, расширяемость (пп, 2,1 - 2,2);

- обзор возможностей системы распределенного имитационного моделирования Мера на уровне ядра системы (п. 2.3);

- методы и алгоритмы, использованные при разработке системы распределенного имитационного моделирования Мера (пп, 2.4 - 2.6);

- примеры расширения ядра системы распределенного имитационного моделирования Мера с помощью библиотек общего пользования, специализированных библиотек, визуально-интерактивной оболочки и особенности реализаций членов семейства системы распределенного имитационного моделирования Мера (п. 2.7).

Основными качествами системы распределенного имитационного моделирования Мера являются: параллельное исполнение, переносимость, эффективность исполнения, расширяемость. Эти качества обеспечиваются за счет особенностей архитектуры программного комплекса системы Мера,

Программный комплекс системы Мера состоит из следующих слоев (рис,1):

- ядро;

- последова1ельная имитационная машина;

- распределенная имитационная машина;

- коммуникационная машина.

Рис I. Структура системы распределенного имитационного моделирования Мера.

Каждый слой программного обеспечения системы распределенного имитационного моделирования Мера выполняет определенные функции. Каждый слой может послать команду вышестоящей по уровню иерархии машине. Формой посылки команды и получения ответа является вызов интерфейсной функции.

Основными функциями ядра являются: задание структуры модели, передача сообщений, задержка процессов, инициализация выполнения модели. Имеется возможность построения иерархической структуры модели и динамического изменения структуры модели во время выполнения.

Перечисленные выше функции определяют компактный, легко изучаемый программный пакет дискретного имитационного моделирования. Этот пакет для пракшческого

использования расширен библиотеками общего пользования и библиотеками для специализированных приложений,

В системе Мера такими библиотеками общего пользования являются: генераторы случайных величин с заданным распределением вероятности, средства сбора и обработки статистической информации, средства работы с устройствами обслуживания по аналогии с языком GPSS и другие.

Примером специализированных приложений является визуально-интерактивная система моделирования транспортных систем, включающая дополнительные средства ввода-вывода и визуализации процесса и результатов моделирования.

Последовательная имитационная машина является системой поддержки последовательного исполнения (Run time system) модельных процессов в условном модельном времени. Такие функции ядра, как задержка процессов и выполнение модели, являются командами последовательной имитационной машины.

Последовательная имитационная машина выполняет функции классической квазипараллельной системы имитационного моделирования: продвижение локально го модельного времени, задержка процессов на определенное модельное время или до выполнения некоторого условия, активизация процессов и другие.

Для исполнения 'модели на однопроцессорном компьютере требуется конфигурация системы Мера. в составе ядра и последовательной имитационной машины, Для исполнения модели на многопроцессорной вычислительной системе требуется подключение дополнительных слоев программного комплекса системы Мера.

При многопроцессорном исполнении для продвижения модельного времени последовательная имитационная машина посылает команду распределенной имитационной машине.

Распределенная имитационная машина является системой поддержки исполнения модельных процессов в едином модельном времени, выполняемых на различных процессорах многопроцессорной или распределенной вычислительной системы.

В распределенной имитационной машине реализованы базовые классы для двух основных типов алюритмов синхронизации модельного времени в распределенном имитационном моделировании — консервативного и оптимистического.

Основными функциями распределенной имитационной машины являются: запуск распределенной модели, синхронизация модельного времени, исключающая или нейтрализующая парадоксы времени, останов распределенной модели, взаимодействие с коммуникационной машиной для физического обмена сообщениями между параллельно исполняемыми модельными процессами.

В 200U г был принят международный стандарт ГЕЕЕ 1516, более и шестный как HLA (High Level Architecture), целью которого является обеспечение переносимости (переиспользования) моделей, разработанных в рамках различных систем распределенного имитационного моделирования.

Система команд (интерфейс) распределенной имитационной машины совпадает с интерфейсом HLA в части сервисов управления времени (Time management services), которые синхронизируют продвижение локального модельного времени федераюв при исполнении федерации.

При наличии библиотеки HLA выполнение большей части функций распределенной имитационной машины может заменить инфраструктура RT1 (Runtime Infrastructure) HLA, что делает систему распределенного имитационного моделирования Мера более надежной и переносимой, а модели, разработанные с ее помощью, способными к переиспользованию и взаимодействию с моделями, разработанными в рамках других систем имитационного моделирования, соответствующих стандарту HLA.

Коммуникационная машина обеспечивает обмен сообщениями, как пользовательскими, так и служебными, между параллельно исполняющимися модельными процессами.

11ередача сообщений в коммуникационной машине реализована на основе протокола посылки сообщений МР1 (Меььауе passing ¡nterface).

Использование MPI позволяет переносить систему распределенного имитационного моделирования Мера на другие вычислительные платформы, где имеется реализация MPI.

При многопроцессорном исполнении на каждом процессоре запускаются: система (подмодель), являющаяся структурной частью модели, распределенной на этот процессор, а также экземпляры последовательной имитационной, распределенной имитационной и коммуникационной машин. Межпроцессорная связь осуществляется с помощью MPI.

Использование MPI не является ограничением для переносимости системы Мера, MPI — это библиотека функций, обеспечивающая взаимодействие параллельных процессов с помощью механизма передачи сообщений. Это достаточно объемная и сложная библиотека, состоящая более чем из 125 функций, В системе Мера используются 15 общеупотребительных функций MPI,

Таким образом, для переносимости системы Мера может быть использована любая библиотека передачи сообщений, которая реализует эти 15 функций и имеет интерфейс, совпадающий с библиотекой MPI,

Семейство системы Мери, Особенностью системы распределенного имитационного моделирования Мера является наличие семейства совместимых по входному языку реализаций для различных операционных систем. Семейство системы распределенного имитационного моделирования Мера представлено на рис. 2.

Однопроцессорная реализация системы Мера под Windows на С++ представляет собой пакет дискретного имитационного моделирования в объеме ядра системы, расширенного общими библиотеками,

Для определенного класса моделей для автоматизации программирования типовых модельных конструкций был разработан специализированный пакет имитационного моделирования технологических процессов. Входным языком этого пакета является специализированный язык спецификаций, Язык спецификаций использовался при моделировании технологических процессов в цехе химической очистки воды

при разработке АСУ ТП ХВО (Химводоочистки) Сургутской ГРОС-! [13. 14].

Семейство Мера

I Многопроцессорная ^ реализация

VI ВС - I ООП/VI

_ ---1

Windows

L_.__I

-iiii

pioK пьнлл сеть} рчбо {их станции

Рис. 2. Семейство реализаций системы распределенного имитационного моделирования Мера

На базе ядра системы Мера в среде Java разработана специализированная визуально-интерактивная система моделирования транспортных систем Logistics Applet (LA) [31].

Система LA обеспечивает следующие возможности: создание, исполнение и сохранение моделей, загрузку рисунка как пиктограммы транспортного средства,

ускорение/замедление эффектов анимации. прокрутку изображения для просмотра различных частей модели, в том числе во время исполнения модели, сохранение моделей в формате xml и др.

В системе распределенного имитационного моделирования Мера для МВС 1000/М используется программный пакет MPI МР1СН2 версии 1.0.1, поддерживающий режим работы MPI THREAD_MULTTPLE.

Система Мера на МВС-1000/М была оттестирована на комплексе моделей передачи сообщений между отправителем и получателем и распределенной модели сети массового обслуживания,

Архитектура МВС-1000/128 Сибирского

суперкомпьютерного центра (ССКЦ) и состав базового программного обеспечения функционально идентичны МВС-1000/М Межведомственного суперкомпьютерного центра РАН (МСЦ РАН, г, Москва), Это позволяет пользователю отладить распределенные модели на МВС-1000/М в ССКЦ и перенести их в случае недостатка вычислительных модулей на более производительную МВС-ЮОО/М МСЦ РАН,

Основные результаты, изложенные в главе 2, опубликованы в [7, 8, 10-12, 13-15, 20, 22-24, 27, 31, 33, 34],

В главе 3 диссертации приводятся:

- постановка задач моделирования АСУ ТП (пп, 3,1, 3,2);

- определение структуры и функций типового имитационного стенда АСУ ТП, интегрированного с АСУ ТП, обоснование технологии использования имитационного стенда на всех этапах разработки и сопровождения АСУ ТП (п, 3,3);

- выбор структуры и функций имитационного стенда АСУ ТП Северомуйского тоннеля (СМТ) (пп, 3.4 -3,7.2);

- математические модели параметров микроклимата СМТ (п. 3.7.3);

- практическая проверка технологии использования имитационного стенда на всех этапах разработки и сопровождения АСУ ТП на примере имитационного стенда АСУ ТП СМТ (пп. 3,7.4-3.8),

Разработка АСУ ТП является в настоящее время одной из наиболее трудоемких и наукоемких задач. АСУ ТП — это сложная, разнородная, иерархическая, распределенная программно-аппаратная система управления, работающая в реальном масштабе времени и включающая человека в контур управления.

Центральной час1ью АСУ "ГП является подсистема управления, обеспечивающая выполнение основной функции АСУ Т11 — управление технологическими процессами.

Сложностью подсистемы управления является:

- невозможность комплексной отладки и тестирования подсистемы управления в полном объеме на инструментальных средствах разработчика — отладочном стенде, ввиду невозможности подключения реального оборудования, управляемого АСУ ТП;

- невозможность комплексной отладки и тестирования системы в полном объеме на реальном объекте, ввиду нецелесообразности или небезопасности искусственного создания всевозможных (в том числе и нештатных) ситуаций.

Вместе с тем, отказ или неправильное функционирование подсистемы управления может принести значительный экономический, экологический или моральный ущерб. Наиболее подходящим методом решения этой проблемы является имитационное моделирование, а инструментом решения — имитационный стенд, включающий комплекс имитационных моделей, интегрированных с АСУ ТП. Под интегрированностыо понимается использование в моделях интерфейсов других подсистем АСУ ТП и исполнение моделей как составных частей АСУ ТП.

В минимальном объеме имитационный стенд содержит набор основных подсистем АСУ ТП, обеспечивающих исполнение подсистемы управления, подсистему управления АСУ ТП, комплекс имитационных моделей.

Имитационный стенд может быть реализован как на одном компьютере, так и на локальной сети компьютеров, входящих в АСУ ГГ1. В случае локальной сети имитационные модели могут исполняться либо на специально выделенном для имитации компьютере, либо на одной из рабочих станций АСУ ТП, либо на нескольких станциях, если система моделирования поддерживает распределенное исполнение имитационных моделей

В 4ависимости о г состава и связей имитационных моделей имитационный стенд используется на различных этапах

разработки и сопровождения АСУ ТП и выполняет следующие функции:

— инструментальной среды для разработки, отладки и тестирования программ управления и подсистем АСУ ТП;

тренажера для обучения управляющего персонала АСУ ТП;

— подсистемы АСУ ТП, включенной в оперативный контур, для предварительного просчета результатов действий диспетчера,

— интеллектуального "эксперта" для получения знаний по эксплуатации технологического объекта управления; средства презентации.

В диссертации приводятся обоснования состава и структуры типового имитационного стенда, обеспечивающего выполнение перечисленных функций. Эти положения были использованы и практически проверены при разработке АСУ ТП Северомуйского тоннеля (АСУ ТГ1 СМТ).

Северомуйский железнодорожный тоннель (Байкало-Амурской магистраль) имеет длину 15,3 км и находится в эксплуатации с декабря 2003 года. Это самый длинный железнодорожный тоннель в России и входит в первую десятку самых длинных железнодорожных тоннелей в мире.

Особенностями эксплуатации СМТ являются следующие негативные факторы:

воздействие сурового климата, приравненного по степени суровости к субарктическому;

- вечная мерзло 1а;

- высокая сейсмичность — до 10 баллов по 12-балльной шкале,

выход термальных вод с температурой 60—70 "С;

- выделение радона.

Для поддержания параметров микроклимата в шннеле в допустимых пределах на порталах и стволах тоннеля установлено около 200 единиц тепловентиляционного, запорно1о. осветительного и другого технологического оборудования.

Для управления технологическими процессами в СМТ в КТИ ВТ СО РАН разработана АСУ ТГ1 СМТ, обрабатывающая более 2500 входных и выходных сигналов.

Контроль и управление технологическим оборудованием СМТ осуществляет разработанная автором подсистема управления АСУ ТП СМТ, которая выполняет команды диспетчера и программы автоматического управления.

Программы автоматического управления разрабатываются с помощью разработанной под руководством автора визуально-интерактивной системы — Конструктора программ управления. Конструктор программ управления представляет собой систему технологического программирования, ориентированную на специалистов технологов.

На основании исследований, выполненных в ходе разработки структуры и функций типового имитационного стенда, и для практической проверки полученных результатов разработан имитационный стенд для АСУ ТП СМТ.

Имитационный стенд АСУ ТП СМТ включает в себя следующие модели: модель оборудования СМТ, модель внешней среды, модель движения железнодорожных составов, модель микроклимата тоннеля.

Модель оборудования СМТ состоит из множества моделей объектов оборудования, имитирующих работу реальных объектов оборудования,

В модели внешней среды имитируются значения параметров атмосферного воздуха: температуры и давления в точках выхода подземных коммуникаций тоннеля на поверхность, Значения параметров наружного воздуха на порталах тоннеля задаются таблично на основе средних значений, наблюдаемых за многолетний период,

В модели движения железнодорожных составов имитируется движение железнодорожного состава с соблюдением масштаба времени через тоннель (открытие/закрытие портальных ворот, положение железнодорожного состава на блок-участках тоннеля, состояние проходных и заградительных светофоров), Этот процесс визуализируется на мнемосхеме тоннеля в виде анимационного фильма,

Движение железнодорожных составов через тоннель имитируется по реальному расписанию или осуществляется циклически со средним значением интервалов движения железнодорожных составов в обоих направлениях, вычисленным по реальному расписанию.

Модель микроклимата тоннеля является самой сложной. Под микроклиматом понимается температура, давление и скорость движения воздуха в тоннеле. Особенностью СМТ является сложная топология вентиляционной сети. Для практического расчета распределения потоков воздуха Северомуйский гоннель представлен в виде ориентированного графа, имеющего т вершин и п ду| (т - 33, п = 47).

Расчет ус тановившегося распределения потоков воздуха для вентиляционной сети СМТ выполняется с помощью итерационного решения известной системы алгебраических уравнений, составленных на основе первого и второго законов сетей:

1десь V^ — множество дуг, входящих в вершину у, М^

— множество дуг, входящих в независимый замкнутый контур и

Для каждой дуги вентиляционной сети !</</?

где о — поток воздуха, .— депрессия (перепад давлений), /?1 и А'о — квадратичное и линейное сопротивления / ой дуги.

Для каждого вершины у вентиляционной сети алгебраическая сумма величин потоков, входящих (выходящих)

1<ЕУу

в вершину (из вершины) равна 0. Для каждого независимого замкнутого контура /л алгебраическая сумма величин депрессий дуг, входящих в контур, равна 0, если в контуре нет источника тяги, или равна тяге Я, развиваемой этим источником. После расчета потоков воздуха по дугам выполняется расчет температур в вершинах.

Модель установившегося состояния параметров микроклимата имеет следующие недостатки. Она упрощенно учитывает влияние давления и температуры на плотность воздуха. Поле температур при этом определяется на основе предварительно рассчитанных гидравлических параметров потока как отдельная задача.

Для устранения этих недостатков была разработана более точная математическая модель, в которой поля давлений, скоростей потоков воздуха и температур рассчитываются одновременно как взаимосвязанные параметры потока,

В качестве основных параметров потока воздуха для каждой дуги принимаются следующие параметры;

Р = P(x,t) — давление;

Т — T(x,t) — абсолютная температура;

V = V(x,t) — средняя по сечению скорость.

Здесь х — координата вдоль направления дуги тоннеля, t — время.

Для каждой дуги эти величины определяются как решения следующей системы обобщенных уравнений гидравлического удара для идеального газа:

--У--р - = --

dt дх дх &Ср

dV irdV 1 др fw dz — + V— +--с. - _ g —

dt дх р дх рсо дх

дт, + у К + rQ„

dt дх ср дх ра>с,.

Здесь р плотность воздуха, у — показатель адиабаты.

тоннеля. О,,— удельный тепловой приток извне на единицу длины дуги тоннеля, J — удельная сила сопротивления трения на единицу длины дуги тоннеля.

Величина j вычисляется по формуле:

где Я — коэффициент гидравлического трения, Хп — коэффициент гидравлического трения воздуха о стенки поезда, % — периметр поперечного сечения тоннеля, % — периметр поперечного сечения поезда, уп —скорость поезда.

Полное описание математической модели, граничные условия и начальные значения параметров потоков воздуха приведены в [291.

Общая схема имитационного сгенда АСУ ТП СМТ представлена на рис. 3. На различных этапах разработки АСУ ТП СМТ использовались различные конфигурации взаимодействия моделей и компонентов программного обеспечения АСУ ТП СМТ в рамках имитационного стенда АСУ ТП СМТ.

На этапе разработки, ошадки и тестирования программ авюматического управления отсутствует связь подсистемы управления с реальным оборудованием СМТ.

I Ia этапе опытной эксплуатации АСУ ТП СМТ отсутствует связь подсистемы управления с моделью микроклимата. АСУ ТП СМ Г может работать на неполной конфигурации реального оборудования. В этом случае временно отсутствующее оборудование заменяет модель оборудования.

В дальнейшем развитии АСУ ТП СМТ предполагается включение модели микроклимата в оперативный контур управления АСУ ТП СМТ.

СО

площадь поперечного сечения ветви

Рис. 3, Общая схема имитационного стенда,

В оперативном контуре управления" АСУ ТП СМТ'модель микроклимата тоннеля получает входные данные не от сопутствующих моделей (модель оборудования СМТ, модель внешней среды, модель движения железнодорожных составов), а непосредственно с датчиков АСУ ТП СМТ, На основании этих данных модель микроклимата рассчитывает "будущие" значения параметров микроклимата в тоннеле. Модель будет использована для прогнозирования состояния микроклимата СМТ и выдачи рекомендаций диспетчеру.

Основная задача АСУ ТП СМТ — поддержание параметров микроклимата внутри Северомуйского тоннеля в заданных пределах. При решении этой задачи возникает проблема оптимального использования тепловентиляционного оборудования. Целевой функцией для решения этой

оптимизационной задачи является расход электроэнергии при выполнении необходимых технологических и экологических условий внутри тоннеля.

В связи с этим основная задача имитационного стенда АСУ ТП СМТ заключалась в проверке и настройке различных программ автоматического управления, обеспечивающего эти условия. Полученные результаты были использованы при включении программ автоматического управления в состав АСУ ТП СМТ.

Комплекс моделей, входящих в имитационный стенд АСУ ТП СМТ, реализован с помощью системы имитационного моделирования Мера.

Система Мера предоставляет возможность моделирования в реальном масштабе времени. Масштаб задается в качестве параметра имитационного стенда.

В системе Мера имеется возможность задавать разные масштабы для разных периодов модельного времени Например, для удобства визуализации происходит "замедление" моделирования при прохождении железнодорожного состава через тоннель и "ускорение" моделирования в интервалах между движениями железнодорожных составов.

Использование имитационного стенда на всех этапах проектирования, разработки, отладки и внедрения подсистемы управления и программ автоматического управления АСУ ТП СМТ в значительной степени способствовало успешному завершению разработки АСУ ТП СМТ. С 2005 г. АСУ ТП СМТ находится в опытной эксплуатации.

Основные результаты, изложенные в главе 3, опубликованы в [17-19, 21, 25-26, 28-29, 32].

В заключении сформулированы основные результаты диссертации, выносимые на защиту.

Основные результаты диссертации

- Предложены архитектура программного обеспечения, входной язык, алгоритмы синхронизации переносимой и расширяемой системы распределенного имитационного

моделирования.

- Создана система распределенного имитационного моделирования Мера для многопроцессорной вычислительной системы МВС 1000/128. С использованием свойств переносимости и расширяемости создано семейство реализаций системы Мера для различных операционных систем,

- Предложены и обоснованы состав и функции имитационного стенда, методология использования имитационного стенда на всех этапах разработки и эксплуатации АСУ ТП.

- Создан имитационный стенд АСУ ТП Северомуйского тоннеля (АСУ ТП СМТ). Предложена математическая модель микроклимата СМТ. Получены имитационные модели в составе имитационного стенда. Практически проверено использование имитационного стенда на всех этапах разработки АСУ ТП СМТ. С использованием имитационного стенда выполнены отладка и тестирование подсистемы управления и программ автоматического управления АСУ 'ГП СМТ.

Список основных работ автора по теме диссертации

1, Окольнишников В.В, Система моделирования Модель-б // Имитационное моделирование систем (СМ-3), — Новосибирск: ВЦ СО АН СССР, 1975. — С. 74-88.

2. Окольнишников В.В, Имитационное моделирование шахты как сети массового обслуживания // Системное моделирование-4, — Новосибирск: ВЦ СО АН СССР, 1976, —С, 91-104.

3. Катков B.JL, Окольнишников В.В., Резниченко Л.Л.. Фишелев В.И. Имитационное моделирование систем машинной графики. — М.: HTM и ВТ АН СССР, 1977. — 70 с.

4 Ахламов А.Г., Бекетова Е.А., Окольнишников В.В. Программное обеспечение имитационного моделирования на ПЭВМ // Системное моделирование -17. — Новосибирск: ВЦ СО АН СССР, 1991. — С. 3-33.

5. Окольнишников В.В. Черты реального времени в системе программирования АЛГОЛ-ЭЛЬБРУС // Управляющие системы и машины — Киев, 1991. — № 3. — С. 41—48.

6. Окольнишников В.В. Введение в языки реального времени. — Новосибирск: НГУ, 1993. — 63 с.

7 Окольнишников В.В. Предложения по разработке специализированной системы моделирования АСУ ТП топливно - энергетических устройств и систем // Системное моделирование-20. — Новосибирск: ВЦ СО РАН, 1994. — С. 125-138.

8. Окольнишников В.В., Якимович Д.А. Входной язык специализированной системы моделирования АСУ ТП топливно-энергетических устройств и сис1ем // Системное моделирование-20. — Новосибирск: ВЦ СО РАН, 1994. — С. 139-151.

9 Окольнишников В.В., Ротова A.B. Базовые концепции входного языка интеллектуальной системы моделирования // Системное моделирование-20. — Новосибирск- ВЦ СО РАН, 1994. — С. 59-74.

10. Окольнишников В.В., Ротова A.B. Направления развития средств имитационного моделирования // Системное модепирование-20. — Новосибирск: ВЦ СО РАН, 1994. — С.3-20

11. Нечепуренко М.И., Окольнишников В.В., Якимович Д.А. Имитационное моделирование систем управления в энергетике // Тр. Пятого междунар. семинара "Распределенная обработка информации'' (РОИ-95). — Новосибирск, 1995 —С 221-226.

12, OkoPnishnikov V.V., D.A, Iakimovitch, Visual Interactive Industrial Simulation Environment // Proc. of the 15-th IMACS World Congress on Scientific Computation Modelling and Applied mathematics (Berlin, August 1997), — V, 3. Systems Engineering, — P. 391-395.

13, Zolotuchin Y,P., Okol'nishnikov V.V, Simulation of Control System for Water Treatment // Proc. of the Third International Congress of the Federation of European Simulation Societies. — Helsinki, 1998, — V. 3. — P. 526-529,

14, Золотухин Е.П., Окольнишпиков В,В. Моделирование системы химической очистки воды // Труды Шестого Международного семинара "Распределенная обработка информации". - Новосибирск, 1998, — С. 249-252.

15, Окольнишпиков В.В, Система моделирования распределенных систем реального времени // Системное моделирование: Сб, науч. тр, / РАН. Сиб. отд-ние. ИВМиМГ. Т. 4 (22), — Новосибирск, 1998, —С, 129-140.

16, Окольнишников В,В., Рудометов С,В, Моделирование систем управления распределенных систем реального времени // Системное моделирование: Сб. науч. тр. / РАН. Сиб. отд-ние, ИВМиМГ. Т. 4(22). — Новосибирск, 1998, —С. 141-150,

17, Окольнишников В.В, Информационно-функциональная модель АСУ 'ГП // Системное моделирование: Сб. науч, тр,/ РАН, Сиб, отд-ние, ИВМиМГ. Т. 5 (23), — Новосибирск, 1998, —С. 123-139,

18, Зензин А.С., Окольнишников В,В,, Рудометов С,В, Интегрированная с АСУ ТП система распределенного моделирования // Труды Шестого Международного семинара "Распределенная обработка информации", — Новосибирск, 1998, —С. 511-514.

19, Okol'nishnikov V.V., Rudometov S,W, Distributed simulation system integrated into control system, // Proc, of 13th Europ. Simulation Multiconference, — Warsaw, 1999, — V, 2, — P. 510-512.

20, Иечепуренко М.И., Окольнишников B.B., Рудометов C.B. Разработка библиотеки параллельного имитационного моделирования с использованием MPI И Труды

Всероссийской научной конференции

"Высокопроизводительные вычисления и их приложения".— М.: Изд-во Московского университета, 2001. — С. 144-147.

21. Okol'nishnikov V.V. Development of Control Programs for Process Control System of North-Muisk Railway Tunnel // Proc. of the IASTED International Conference "Automation, Control, and Information Technology". — Novosibirsk, Russia, 2002 — P. 49-52.

22. Okol'nishnikov V.V. Parallel Simulation System // Proc. of VIII International Workshop on Advanced Computing and Analysis Techniques in Physics Research.. — Moscow, 2002.

23 Окольнишников В.В. Система распределенного имитационного моделирования // Методы и средства обработки информации. — М.: МГУ им. М.В Ломоносова, 2003 —С. 468-473.

24 Okol'nishnikov V.V. Simulation on parallel and distributed systems // Пятая международная конференция памяти академика А.П. Ершова "Перспективы систем информатики (PSI 03)". Рабочий семинар "Наукоемкое программное обеспечение". Доклады и тезисы. — Новосибирск, 2003. — С. 30-32.

25. Окольнишников В.В. Использование имитационного моделирования при разработке АСУ ГП // Сборник докладов Первой всероссийской научно-практической конференции "Опыт практического применения языков и программных систем имитационного моделирования в промышленности и прикладных разработках" (ИММОД 2003). — Санкт-Петербург, 2003. - Т. 2. — С. 178-180.

26. Окольнишников В.В. Моделирование естественных и техноло1 ических процессов АСУ ТП Северо-Муйско! о тоннеля // Международная научно-техническая конференция "Новые информационные технологии в нефтегазовой промышленности и энергетике". Материалы конференции. — Тюмень: ТюмГНГУ, 2003. — С. 109-111.

27 Victor Okol'nishnikov, Sergey Rudometov. Development of distributed simulation system // Lecture Notes Comput. Sci. — Beilm Springei, 2003. - V. 2763. - P 524-527.

28. Окольнишников В.В. Использование имитационного моделирования при разработке Автоматизированной системы управления технологическими процессами Северомуйского тоннеля // Вычисл. технологии, — 2004. — Т. 9, №5.— С. 82-101,

29. Тарасевич В.В., Мороз А.А., Окольнишников В.В. Математическая модель управления вентиляционным режимом Северо-Муйского тоннеля // Труды VI Международной конференции "Проблемы управления и моделирования в сложных системах", — Самара, 2004, — С.397-402.

30. Окольнишников В.В, Представление времени в имитационном моделировании И Вычисл, технологии. — 2005. — Т. 10, № 5. — С. 57-80,

31. Okol'nishnikov V.V., Rudometov S,V. Simulation of Complex Transportation Systems // Proc, of the Second IASTED International Multi-Conference Software Engineering (ACIT-SE), — Novosibirsk, 2005. — P. 60-64,

32. Chernakov D,V., Okol'nishnikov V.V. Control Program Development System // Proc, of the Second IASTED International Multi-Conference Automation, Control, and Application (ACIT-ACA). — Novosibirsk, 2005. — P. 142145.

33. Окольнишников В,В, Разработка системы распределенного имитационного моделирования для различных операционных сред // Сборник докладов Второй Всероссийской научно-практической конференции по имитационному моделированию и его применению в науке и промышленности "Имитационное моделирование. Теория и практика" (ИММОД 2005), — Санкт-Петербург, 2005, —Т, 1, —С. 256-260.

Окольнишников Виктор Васильевич

Разработка средств распределенного имитационного моделирования для многопроцессорных вычислительных систем

Автореферат диссертации на соискание ученой степени доктора технических наук

Издание подготовлено с использованием Microsoft Word

Подписано в печать 28.06.06. Формат 60 х 84 Via . Уел печ. л. 1,75. Уч.-изд. л. 1,75 Тираж 70. Заказ № 92

Отпечатано в ООО «Омега Принт» 630090 Новосибирск, пр. Лаврентьева, 6

ВВЕДЕНИЕ.

1. ПОСЛЕДОВАТЕЛЬНОЕ H РАСПРЕДЕЛЕННОЕ ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ.

1.1. Понятие модельного времени.

1.2. Последовательное имитационное моделирование.

1.3. Распределенное имитационное моделирование.

1.3.1. Понятие распределенного имитационного моделирования.

1.3.2. Выполнение модели при распределенном моделировании.

1.3.3. Алгоритмы синхронизации модельного времени.

1.4. Имитационное моделирование высокого уровня.

1.4.1. Введение в HLA.

1.4.2. Правила HLA.

1.4.3. Управление временем в HLA.

1.5. Направления развития.

2. СИСТЕМА РАСПРЕДЕЛЕННОГО ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ МЕРА.

2.1. Цели разработки системы распределенного имитационного моделирования Мера.

2.2. Архитектура системы распределенного имитационного моделирования Мера.

2.2.1. Ядро.

2.2.2. Последовательная имитационная машина.

2.2.3. Распределенная имитационная машина.

2.2.4. Коммуникационная машина.

2.2.5. Однопроцессорная реализация.

2.2.6. Многопроцессорная реализация.

2.3. Язык описания моделей.

2.3.1. Описание структуры модели.

2.3.2. Передача сообщений.

2.3.3. Задержка субъектов.

2.3.4. Исполнение модели.

2.4. Алгоритмы последовательной имитационной машины.

2.5. Алгоритмы распределенной имитационной машины.

2.5.1. Запуск распределенной имитационной модели.

2.5.2. Передача сообщений между системами.

2.5.3. Алгоритмы синхронизации модельного времени.

2.5.4. Останов распределенной имитационной модели.

2.6. Алгоритмы коммуникационной машины.

2.7. Семейство реализаций системы распределенного имитационного моделирования Мера.

2.7.1. Пакет имитационного моделирования.

2.7.2. Специализированный пакет имитационного моделирования.

2.7.3. Визуально-интерактивная система.

2.7.4. Реализация для МВС-1000/М.

2.7.5. Реализация для локальной сети рабочих станций.

3. ИСПОЛЬЗОВАНИЕ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ ПРИ РАЗРАБОТКЕ АСУ ТП.

3.1. Типовая структура АСУ ТП.

3.2. Задачи моделирования.

3.3. Имитационный стенд.

3.3.1. Инструментальная среда разработки, отладки и тестирования.

3.3.2. Тренажер.

3.3.3. Подсистема АСУ ТП на этапах пусконаладки и опытной эксплуатации.

3.3.4. Подсистема АСУ ТП на этапе эксплуатации.

3.3.5. Интеллектуальный эксперт.

3.4. Краткое описание Северомуйского тоннеля.

3.5. Краткое описание АСУ ТП Северомуйского тоннеля.

3.6. Подсистема управления АСУ ТП Северомуйского тоннеля

3.7. Имитационный стенд АСУ ТП СМТ.

3.7.1. Модель технологического объекта управления.

3.7.2. Модель для имитации внешних сигналов.

3.7.3. Модель микроклимата тоннеля.

3.7.4. Схема взаимодействия компонентов имитационного стенда АСУ ТП СМТ.

3.8. Реализация имитационного стенда АСУ ТП СМТ.

Имитационное моделирование — один из наиболее распространенных и мощных методов исследования сложных систем.

Имитационное моделирование [129] является экспериментальной и прикладной методологией, имеющей целью:

- описать поведение системы;

- построить теории и гипотезы, которые могут объяснить наблюдаемое поведение;

- использовать эти теории для предсказания будущего поведения и оценки (в рамках ограничений, накладываемых некоторым критерием или совокупностью критериев) различных стратегий, обеспечивающих функционирование данной системы.

Основными понятиями имитационного моделирования являются понятия реальной системы и модели. Реальная система (или просто система) — это совокупность элементов, которая принадлежит ограниченной части реального мира, являющейся объектом исследования. Поэтому система — понятие относительное. В одном случае некоторая • совокупность элементов может рассматриваться как система, а в другом случае — как подсистема, то есть часть объемлющей системы.

Модель представляет собой абстрактное описание системы, уровень детализации которого определяет сам исследователь, он принимает решение о том, является ли данный элемент системы существенным, то есть, будет ли он включен в описание системы. Это решение принимается с учетом цели, лежащей в основе разработки модели.

Далее под имитационной моделью понимается логико-математическое описание системы, которое можно перевести в описание, исполняемое на вычислительной машине — программу. С такой программой проводятся машинные эксперименты, которые позволяют сделать выводы о поведении моделируемой системы:

- без ее построения, если эта проектируемая система;

- без вмешательства в ее функционирование, если эта действующая система, экспериментирование с которой либо слишком дорого, либо небезопасно;

- без ее разрушения, если цель эксперимента состоит в определении пределов воздействия на систему.

В [48] приводится более детальный перечень ситуаций, когда при исследовании реальной системы целесообразно использование имитационного моделирования:

- проведение экспериментов с реальной системой невозможно или дорого;

- требуется изучить поведение системы при ускоренном или замедленном времени;

- аналитическое описание поведения сложной системы невозможно;

- поведение системы зависит от случайных воздействий внешней среды;

- требуется выявить реакцию системы на непредвиденные ситуации;

- должны быть проверены идеи по созданию или модернизации системы;

- требуется подготовить специалистов по управлению реальной системой.

Система характеризуется набором величин, каждая комбинация значений которых описывает ее конкретное состояние. Следовательно, путем изменения этих величин в модели (переменных, структур данных) можно имитировать переход системы из одного состояния в другое. Таким образом, имитационное моделирование — это представление динамического поведения системы посредством продвижения ее от одного состояния к другому во времени. Более кратко — имитационная модель воспроизводит поведение моделируемой системы во времени [94].

Модели систем разделяются на дискретно и непрерывно изменяющиеся модели. Следует отметить, что эти термины относятся к модели, а не к реальной системе.

При дискретном имитационном моделировании зависимые от времени переменные изменяются в определенные моменты модельного времени, называемые моментами наступления событий. В дискретных моделях состояния моделей не изменяются в промежутках между моментами наступления событий.

При непрерывном имитационном моделировании переменные модели изменяются непрерывно, то есть являются непрерывными функциями модельного времени.

Существуют комбинированные имитационные модели, сочетающие элементы как дискретного, так и непрерывного имитационного моделирования. Поскольку дискретное имитационное моделирование более распространено, то дальнейшее изложение будет относиться только к дискретному имитационному моделированию.

В дискретном имитационном моделировании сформировалось несколько основных методологических подходов, в рамках которых описывается структура и поведение реальной системы.

Событийно-ориентированный подход

Суть событийно-ориентированного подхода — моделирование системы с помощью описания изменений состояния системы, происходящих в дискретные моменты времени.

Момент времени, в который может измениться состояние системы, называют моментом наступления события, а соответствующая функция обработки изменений состояния системы называется событием. Имитация функционирования системы осуществляется путем выполнения упорядоченной во времени одной последовательности логически-взаимосвязанных событий.

Процессно-ориентированный подход

Процессно-ориентированный подход заключается в выделении в системе нескольких компонентов и описании функционирования системы с помощью нескольких последовательностей событий.

Каждая последовательность событий (процесс) представляет изменения состояния системы с точки зрения одного компонента (изменения, в которых этот компонент принимает участие). Общая последовательность событий, соответствующих событийному подходу, получается путем комбинации последовательностей событий, соответствующих отдельным процессам.

В результате модель представляется как совокупность взаимодействующих квазипараллельных процессов, что более адекватным образом (чем совокупность событий) отражает структуру и поведение реальной системы. Квазипараллельность заключается в том, что программа, соответствующая процессу, составляется из последовательности программ событий независимо от других процессов (если отсутствуют явные указания взаимодействия), а исполняется с прерываниями, во время которых исполняются другие процессы. Это вызвано тем, что события в модельном времени происходят "мгновенно", и могут выполняться при событийно-ориентированном подходе последовательно в соответствии с упорядоченностью моментов времени наступления события, а процессы обладают "протяженностью" в модельном времени и не могут исполняться последовательно, так как момент времени наступления события одного процесса может оказаться между моментами времени последовательных событий другого процесса. Таким образом, в каждый момент исполнения модели выполняется только один процесс, называемый активным, остальные процессы находятся в приостановленном состоянии.

Структура программы, соответствующая событию, проста — это подпрограмма, к которой обращается управляющая программа модели в момент модельного времени, на который запланировано событие. По окончанию исполнения подпрограммы, соответствующей событию, управление возвращается управляющей программе модели.

Программа, соответствующая процессу, имеет более сложную структуру. С каждым приостановленным процессом связывается точка реактивации — место в программе процесса, с которого возобновится выполнение процесса, когда процесс снова станет активным.

Одно из неудобств событийно-ориентированного подхода заключается в "дроблении" логики модели на отдельные события. При процессно-ориентированном подходе, наоборот, логика каждого процесса сосредотачивается в одной программе, что облегчает описание динамики системы.

Объектно-ориентированный подход

При объектно-ориентированном подходе объект определяется как некоторая сущность, имеющая атрибуты и методы, определяющие этот объект. Объекты взаимодействуют друг с другом с помощью передачи сообщений. Сообщение представляет собой требование к объекту выполнить один из своих методов.

Одной из ключевых особенностей объектно-ориентированных систем является организация объектов в иерархические классы. Другая ключевая особенность объектно-ориентированных систем состоит в том, что сообщения специфицируют только метод, который должен быть выполнен, но не то, как этот метод должен быть выполнен.

Разработка моделей при объектно-ориентированном подходе обеспечивает модульность программы и дает разработчику естественную парадигму представления передачи информации, присущую в реальном мире иерархиям принятия решений.

Логический подход

Логический подход — это использование в имитационном моделировании концепций из области искусственного интеллекта — концепций неалгоритмического программирования, поиска по образцу и бэктрекинга. Такой подход дает возможность строить ориентированные на поиск цели или генерирующие цель самоорганизующиеся модели с переменной структурой.

Использование логического подхода в имитационном моделировании привело к развитию мощной ветви базирующихся на знании средств имитационного моделирования [191].

Существуют и другие методологические подходы в имитационном моделировании, например, акторский подход. Наиболее интересными и продуктивными оказались гибридные средства имитационного моделирования, сочетающие в различных комбинациях элементы различных методологических подходов.

Далее будет рассматриваться ветвь имитационного моделирования, сочетающая процессно-ориентированный и объектно-ориентированный подходы.

Имитационное моделирование, как составная часть информатики, прошло более чем 40-летний путь развития. Парадигмы имитационного моделирования, основные подходы, терминология, наиболее известные языки моделирования сложились в первые 20 лет. Со всем разнообразием имитационного моделирования можно познакомиться в классических трудах по имитационному моделированию, переведенных на русский язык [32, 64, 129,131,47,100].

За последние 30 лет по имитационному моделированию было издано множество книг Советских и Российских авторов [28, 132, 16, 17, 29, 11, 58, 18, 111, 4, 56, 54, 43, 113, 2, 115, 110, 97, 51, 116, 112] и опубликовано множество работ. Одними из последних изданных книг являются [130, 123, 124, 55,109, 20,35,122,117].

История становления и развития имитационного моделирования в СССР, России и странах СНГ связана с соответствующими этапами в мировой практике в данной области. Признанная хронология развития имитационного моделирования включает следующие этапы [13, 34,49].

Этап 1 (1955 - 1960). Программы для задач моделирования разрабатывались на основе таких общеизвестных универсальных языков как FORTRAN и ALGOL.

Этап 2 (1961 - 1970). Появились языки моделирования: GPSS, SIMSCRIPT, SIMULA, CSL, SOL, SIMULA 67. Была разработана так называемая концепция взгляда на мир (world view).

Наиболее интересна судьба языка GPSS. Специализированный язык имитационного моделирования GPSS (General Purpose Simulation System) был разработан Д. Гордоном из корпорации IBM (США) в 1961г. До сих пор он остается самым распространенным языком имитационного моделирования дискретных систем, последовательно развиваясь в версиях GPSS II, GPSS/360, GPSS IV, GPSS V, GPSS PC, GPS S/H, GPSS World [34].

Этап 3 (1971 - 1979). Появились языки SIMAN, GASP, SLAM. Осуществлялось развитие уже разработанных языков и средств моделирования, ориентированных на повышение эффективности процессов моделирования и превращение моделирования в более простой и быстрый метод исследования сложных систем.

В это время на развитие имитационного моделирования за рубежом и в СССР оказали большое влияние работы Зиглера (Zeigler) и Ёрена (Oren).

Этап 4 (1980 - 1984). Годы перехода от программирования к развитию моделей. Основной акцент был перенесен на разработку интегрированных средств имитационного моделирования.

В СССР в 70 - 80 годы имитационное моделирование было одним из наиболее развитых направлений в информатике. Был достигнут своеобразный "паритет" с Западом. Это выражалось в:

- наличии собственных разработок средств имитационного моделирования для всех отечественных ЭВМ: М-220, БЭСМ-б, ЕС ЭВМ, МВК "Эльбрус";

- широком применении имитационного моделирования для нужд народного хозяйства;

- преподавании имитационного моделирования почти во всех вузах страны;

- мировом признание передовых отечественных разработок.

Были разработаны следующие отечественные системы имитационного моделирования: АЛСИМ БЭСМ, АЛСИМ 2, ДАСИМ, ДИСМА, Модель 6, НЕДИС, ПМДС, ПМДС 2, СИДМ 2, Симула 67 БЭСМ б, Симула 67 МВК "Эльбрус", СЛЭНГ, СТАМ-КЛАСС, ТАИС, ФОРОС и др.

В эти годы в СССР сформировались четыре ведущих школы имитационного моделирования: Московская, Киевская, Новосибирская и Ленинградская.

Методологической основой для развития имитационного моделирования явились работы Н.П. Бусленко, В.М. Глушкова, Г.И. Марчука, H.H. Моисеева.

К числу наиболее известных специалистов по имитационному моделированию в СССР, России, странах СНГ относятся: Е.Ф. Аврамчук,

A.Н. Андрианов, A.A. Бакаев, В.В. Баранюк, В.Б. Бигдан, A.B. Борщев, Н.П. Бусленко, В.Н. Бусленко, С.П. Бычков, А.Г. Варжапетян, С.А. Власов, Т.В. Вознесенская, Т.Н. Воскресенская, В.В. Гусев, А.Ф. Дедков,

B.В. Девятков, Б.К. Елтышев, C.B. Емельянов, К.Д. Жук, Е.Б. Замятина, В.В. Калашников, JT.A. Калиниченко, Ю.Г. Карпов, И.Н. Коваленко, B.JI. Конюх, Е.М. Кудрявцев, A.A. Летичевский, В.В. Литвинов, В.И. Лутков, H.H. Лычкина, Л.Н. Лядова, И.В. Максимей, В.И. Мановицкий, Т.П. Марьянович, Ю.А. Меркурьев, А.И. Миков, Б.В. Немчинов, М.И. Нечепуренко, А.И. Никитин, В.В. Окольнишников, Ю.Н. Павловский, Ю.Г. Полляк, Ю.Б. Пигарев, Н.Я. Ривес, A.C. Родионов, Ю.И. Рыжиков, М.А. Сахнюк, Ю.А. Семишин, Б.Я. Советов, Р.Л. Смелянский, Е.М. Сурков, В.А. Сухомлин, Ю.И. Толуев, В.Н. Томашевсий, Б.Ф. Фомин,

A.И. Хорошилов, В.Г. Хорошевский, В.М. Черненький, Г.Д. Чинин,

B.А. Шапцев, И.М. Якимов, С.Я. Яковлев, Н.В. Яровицкий, А.Ф. Ярославцев и др.

Успехи в области имитационного моделирования были отмечены присуждением в 1986 г. Государственной премии СССР в области науки и техники: "Разработка теории, методов, технологий и универсальных программных средств имитационного моделирования сложных технических систем для отечественных ЭВМ". Государственной премией была награждена группа ученых: В.В. Баранюк, Т.Н. Воскресенская, В.В. Гусев,

B.B. Калашников, Jl.A. Калиниченко, B.B. Литвинов, Т.П. Марьянович, М.И. Нечепуренко, М.А. Сахнюк, Г.Д. Чинин, Н.В. Яровицкий, Н.П. Бусленко (посмертно).

Этап 5 (1985 - 1994). Перенос программного обеспечения для имитационного моделирования на персональные ЭВМ с использованием средств графического интерфейса (для визуализации и анимации процессов моделирования).

В этот период произошла смена поколений вычислительных машин, появились и стали широко внедряться персональные компьютеры. Вместо систем моделирования с входным языком имитационного моделирования стали развиваться пакеты имитационного моделирования как универсальные, так и специализированные.

Особенностью таких пакетов является возможность построения имитационной модели с помощью графического интерфейса. Такие пакеты позволяют автоматизировать все этапы разработки и исследования имитационной модели: создание модели, проведение имитационных экспериментов, обработку и интерпретацию результатов моделирования. Причем основное внимание уделяется визуализации процесса построения модели, процесса моделирования и результатов моделирования с помощью средств машинной графики.

Самая распространенная область применения таких пакетов является разработка и оптимизация производственных систем. Список наиболее часто применяемых пакетов (симуляторов), специализированных на моделирование производственных систем, включает в себя следующие пакеты и системы: Arena, AutoMod, eM-Plant, Extend, ProModel, QUEST, SIMFACTORY, Taylor ED, WITNESS и др. [120].

В СССР, России перенос программного обеспечения для имитационного моделирования на персональные ЭВМ с использованием средств графического интерфейса начался на 5 - 10 лет позже Запада, чем объясняется сегодняшнее отставание России в области имитационного моделирования.

В настоящее время для моделирования производственных систем в России используются преимущественно импортные системы и пакеты. Из отечественных следует упомянуть AnyLogic — разработку ООО "Экс Джей Технолоджис" (Санкт-Петербург) [167, 45].

Этап 6 (1995 - настоящее время). Разработка средств распределенного имитационного моделирования на мультипроцессорных ЭВМ и сетях.

Поскольку основным содержанием диссертационной работы является разработка системы распределенного имитационного моделирования, то описание основных понятий распределенного имитационного моделирования, обзор методов синхронизации модельного времени в распределенном имитационном моделировании, стандарт HLA (High Level Architecture) подробно рассматриваются в отдельной главе.

Наиболее известными специалистами в области распределенного имитационного моделирования являются: R. Ayani, R. Bagrodia, К.М. Chandy, A. Ferscha, Р.А. Fishwick, R.M. Fujimoto, D. Jefferson, D. Nicol, J. Misra, B.R. Preiss и др. Наибольший вклад в развитие и популяризацию распределенного имитационного моделирования внес R.M. Fujimoto [157, 160, 161].

Доклады по тематике распределенного имитационного моделирования присутствуют в программах практически всех зарубежных конференций по имитационному моделированию. Наиболее известными и престижными по тематике распределенного имитационного моделирования являются журнал "Simulation" и конференция Winter Simulation Conference, проводимая ежегодно в США.

Наиболее известными специалистами в области распределенного имитационного моделирования в России являются: Т.В. Вознесенская, Е.Б.

Замятина, А.И. Миков, Ю.Н. Павловский, A.C. Родионов, P.J1. Смелянский и ДР.

В России с работами по имитационному моделированию кроме книг и трудов конференций можно познакомиться на Internet порталах по имитационному моделированию: www.gpss.ru и www.simulation.org.ua.

На портале www.gpss.ru. организованным главой ООО "Элина-Компьютер" (Казань) В.В. Девятковым, можно познакомиться с Proceedengs of the Winter Simulation Conference, начиная с 1997 г., и с докладами, сделанными на Первой и Второй Всероссийских научно-практических конференциях по имитационному моделированию и его применению в науке и промышленности "Имитационное моделирование. Теория и практика" (ИММОД 2003 и ИММОД 2005), проходивших в Санкт-Петербурге, соответственно, в 2003 и 2005 гг.

Насколько важно для России развитие мультипроцессорной вычислительной техники можно судить по докладу комиссии PITAC президенту США "Вычислительная наука: обеспечение конкурентоспособности Америки" [168], в котором говорится, что "высокопроизводительные вычисления являются стратегическим направлением развития государства".

Для сравнения состояния дел в этой области на Западе и в России можно привести несколько фактов.

Регулярно публикуются список пятисот самых мощных компьютеров мира (Список Тор500) и список пятидесяти самых мощных суперкомпьютеров СНГ (Список Тор50). Соотношение — 500 к 50.

Самый высокопроизводительный суперкомпьютер МВС-15000ВМ, установленный в Межведомственном суперкомпьютерном центре РАН, занимающий первое место в списке Тор50 на сентябрь 2005 г. [170], занимает в списке Тор500 на ноябрь 2005 г. [169] 69-ое место.

Белорусский суперкомпьютер СКИФ К—1000, занимающий второе место в списке Тор50, занимает в списке Тор500 330-ое место. Суперкомпьютер Межведомственного Суперкомпьютерного центра (МСЦ РАН, Москва), занимающий третье место в списке Тор50, в список Тор500 не попал. В то же время самые мощные китайские суперкомпьютеры занимают 25,41, и 93 места в списке Тор500.

Соотношение программного обеспечения для имитационного моделирования является еще более критичным. Число систем распределенного имитационного моделирования за рубежом исчисляется десятками, а в России - единицами. Такими системами распределенного имитационного моделирования являются:

- система комплексного моделирования и разработки встроенных систем реального времени Диана [42, 138, 114, 24, 12], разработанная в Лаборатории вычислительных комплексов факультета ВМиК МГУ [171];

- система автоматизированного проектирования и имитационного моделирования вычислительных систем и телекоммуникационных сетей TRIAD.net [194, 61, 62, 63], разработанная в Пермском Государственном университете.

- распределенная среда моделирования систем с дискретными событиями [5], разработанная в ИВМиМГ СО РАН и др.

Вместе с тем, наблюдается стремительный рост суммарной производительности мультипроцессорных систем в России. Например, суммарная производительность первых пяти систем, находящихся в списке Тор50 за 20 сентября 2005г., превышает суммарную производительность всех 50 систем, находящихся в первой редакции списка Тор50 за декабрь 2004 г.

Мультипроцессорные вычислительные системы используются в России для многих приложений, в том числе, и для моделирования. Но, в основном, это математическое [23], а не имитационное моделирование.

Таким образом, с одной стороны, имеется спрос на мультипроцессорные вычислительные ресурсы, а, с другой стороны, имеется предложение таких ресурсов. Однако существующие решения в области имитационного моделирования не позволяют в полной мере использовать преимущества мультипроцессорной архитектуры. Использование имитационного моделирования тормозится из-за отсутствия методов и программной поддержки параллельного исполнения имитационных моделей. В связи с этим задача разработки системы распределенного имитационного моделирования является актуальной.

В 2000 г. был принят стандарт IEEE 1516, более известный как HLA (High Level Architecture). Целью стандарта HLA является обеспечение переносимости (переиспользования) моделей, разработанных в рамках различных систем моделирования, для уменьшения времени и стоимости разработок новых моделей.

Для России более актуальной задачей является переносимость систем моделирования на новые мультипроцессорные и распределенные вычислительные архитектуры для уменьшения времени и стоимости разработок систем моделирования для новых вычислительных архитектур. В связи с этим задача разработки переносимой распределенной системы имитационного моделирования, какой является система Мера, также является актуальной.

Значимость результатов представленной работы заключается в том, что система Мера является первой реализацией системы распределенного имитационного моделирования для MBC-1000/M и третьей в России после Московского и Пермского государственных университетов реализацией систем такого класса.

Новым результатом, полученным в процессе выполнения диссертационной работы, является разработка архитектуры переносимой системы распределенного имитационного моделирования и реализация этой архитектуры.

Архитектура программного обеспечения системы распределенного имитационного моделирования Мера позволяет переносить систему Мера, разработанную для Суперкомпьютера МВС-1000/М, как на однопроцессорные компьютеры, так и на мультипроцессорные и распределенные вычислительные системы. С использованием этой возможности было реализовано совместимое по входному языку семейство реализаций системы Мера для различных операционных сред.

Система Мера была использована в нескольких приложениях, основным из которых является разработка Имитационного стенда Автоматизированной системы управления технологическими процессами Северомуйского тоннеля (АСУ ТП СМТ).

Новым в реализации Имитационного стенда АСУ ТП СМТ является одновременная с разработкой АСУ ТП разработка комплекса имитационных моделей и использование Имитационного стенда на всех фазах жизненного цикла разработки и эксплуатации АСУ ТП СМТ.

Результаты диссертационной работы могут иметь следующее практическое применение:

1. Система распределенного имитационного моделирования Мера на МВС-1000/М может быть использована для моделирования систем, требующих для своего выполнения большого количества вычислительных ресурсов, систем, моделирование которых на традиционных вычислительных средствах, невозможно или нецелесообразно;

2. Имитационный стенд АСУ ТП СМТ используется для разработки алгоритмов оптимального управления оборудованием СМТ и может быть использован в управляющем контуре АСУ ТП СМТ для прогнозирования состояния СМТ в зависимости от внешних событий и действий (или бездействия) диспетчера. Методология использования имитационного моделирования на всех фазах жизненного цикла разработки и эксплуатации АСУ ТП СМТ может быть использована при разработке других АСУ ТП.

3. Визуально-интерактивная система моделирования транспортных потоков, входящая в семейство реализаций системы Мера, может быть использована для моделирования движения автомобильного или железнодорожного транспорта, а также для моделирования систем логистики.

Автор представленной работы более 30-ти лет занимается разработкой систем имитационного моделирования. В 1975 г. им была реализована система имитационного моделирования Модель-6 [69] для БЭСМ-6, являющаяся первой в СССР реализацией языка GPSS.

С помощью системы Модель-6 было осуществлено моделирование ряда систем [70, 46]. В 1979 г. автор защитил кандидатскую диссертацию по теме "Система моделирования Модель-6 и ее приложения" [71].

Автор занимался "реальным временем" и моделированием для МВК "Эльбрус" [72, 73] и разработкой интеллектуальной системы моделирования для ПЭВМ [10, 76, 77].

С 1995 г. автор занимается распределенным имитационным моделированием. Для компьютера с параллельной архитектурой Siemens ЕС RM-600 была сделана прототипная реализация системы распределенного моделирования.

Автором были разработаны входной язык и архитектура программного обеспечения системы распределенного имитационного моделирования Мера. Реализация системы Мера для MBC-1000/M осуществлялась в период с 1997г. по 2005 г. группой студентов и аспирантов под руководством автора. Наибольший вклад в реализацию внесли: А.И. Винюков, И.В. Пчела, C.B. Рудометов, Д.А. Якимович.

Разработка АСУ ТП СМТ осуществлялась в период с 2001 г. по 2005 г. группой разработчиков в составе: М.В. Богданов, JI.A. Воронцова, В.А. Гурьев, A.JI. Дедух, П.В. Йосифов, В.П. Казаков, A.B. Комаров, J1.B. Лебедева, В.Д. Нескородев, В.В. Новак, В.В. Окольнишников, Т.М. Осокина, Б.Н. Пищик, А.И. Федоров, A.A. Хундоев, Д.В. Чернаков, Д.О. Шевченко. Руководитель работ — заведующий лабораторией КТИ ВТ СО РАН, к.т.н. Б.Н. Пищик.

При разработке АСУ ТП СМТ автором была реализована подсистема управления. Конструктор программ управления разработан аспирантом Д.В. Чернаковым под руководством автора.

Автором была разработана и экспериментально проверена методология использования имитационного моделирования на всех фазах жизненного цикла разработки и эксплуатации АСУ ТП. Экспериментальная проверка этой методологии была осуществлена с помощью Имитационного стенда АСУ ТП СМТ, интегрированного с АСУ ТП СМТ.

В составе Имитационного стенда АСУ ТП СМТ автором разработан комплекс имитационных моделей с помощью системы Мера. Математическая модель микроклимата СМТ разработана автором совместно с к.ф.-м.н. В.В. Тарасевичем и к.т.н. A.A. Морозом.

По тематике диссертации автор участвовал в выполнении следующих грантов РФФИ:

- 93-01-00461-а "Развитие теории интеллектуального имитационного моделирования" (1993 - 1994 гг.);

- 95-01-00900-а "Развитие теории, методов и моделей анализа и синтеза надежных программно - аппаратных систем управления" (1995- 1996 гг.);

- 98-01-00720-а "Исследование и разработка систем имитационного моделирования в операционных средах параллельных вычислительных систем" (1998 - 2000 гг.);

- 02-01-00688-а "Исследование различных форм представления модельного времени в имитационных моделях для вычислительных средств параллельной архитектуры" (2002 - 2004 гг.).

Результаты диссертационной работы докладывались на следующих Российских и международных конференциях:

- Пятый международный семинар "Распределенная обработка информации" (РОИ-95), Новосибирск, 1995 [67];

- 15-th IMACS World Congress on Scientific Computation Modelling and Applied mathematics, Berlin, 1997 [80];

- Ill Международная конференция "Проблемы управления и моделирования в сложных системах", Самара, 2001 [85];

- IASTED International Conference "Automation, Control, and Information Technology", Novosibirsk, 2002 [86];

- VIII International Workshop on Advanced Computing and Analysis Techniques in Physics Research, Moscow, 2002 [87];

- Пятая международная конференция памяти академика А.П. Ершова "Перспективы систем информатики (PSI 03)". Рабочий семинар "Наукоемкое программное обеспечение", Новосибирск, 2003 [89];

- Международная научно-техническая конференция "Новые информационные технологии в нефтегазовой промышленности и энергетике", Тюмень, 2003 [91];

- The Second IASTED International Multi-Conference "Automation, Control, and Applications" Novosibirsk, 2005 [95, 149];

- Вторая Всероссийская научно-практическая конференция по имитационному моделированию и его применению в науке и промышленности "Имитационное моделирование. Теория и практика" (ИММОД 2005), Санкт-Петербург, 2005 [96].

По теме диссертации опубликовано 39 работ, в том числе 3 статьи в рецензируемых журналах [92, 93, 94], 18 докладов на международных конгрессах, симпозиумах, конференциях, 6 докладов — на Всероссийских конференциях. Остальные публикации — статьи в сборниках научных трудов.

Диссертация состоит из введения, трех глав, заключения и списка литературы.

ЗАКЛЮЧЕНИЕ

На основании изложенного в предыдущих главах материала можно сделать вывод, что результатами представленной работы являются решения актуальных задач: разработки переносимой системы распределенного имитационного моделирования для многопроцессорных вычислительных систем; разработки методологии использования имитационного моделирования на всех этапах разработки АСУ ТП и практической проверки этой методологии при разработке имитационного стенда АСУ ТП СМТ.

На защиту выносятся следующие основные результаты:

1. Предложены входной язык, алгоритмы синхронизации и архитектура программного обеспечения переносимой и расширяемой системы распределенного имитационного моделирования.

2. Создана система распределенного имитационного моделирования Мера для многопроцессорной вычислительной системы МВС 1000/128. С использованием свойств переносимости и расширяемости создано семейство реализаций системы Мера для различных операционных систем.

3. Предложены и обоснованы состав и функции имитационного стенда, методология использования имитационного стенда на всех этапах разработки и эксплуатации АСУ ТП.

4. Создан имитационный стенд АСУ ТП Северомуйского тоннеля (АСУ ТП СМТ). Предложена математическая модель микроклимата СМТ. Получены имитационные модели в составе имитационного стенда. Практически проверено использование имитационного стенда на всех этапах разработки АСУ ТП СМТ. С использованием имитационного стенда выполнены отладка и тестирование подсистемы управления и программ автоматического управления АСУ ТП СМТ.

Автор выражает глубокую благодарность научному консультанту д.ф.-м.н. М.И. Нечепуренко, а также коллективу студентов и аспирантов, принимавших участие в разработке системы распределенного имитационного моделирования Мера, коллективу разработчиков АСУ ТП СМТ во главе с к.т.н. Б.Н. Пищиком. с

1. Абрамов Ф.А., Тян Р.Б., Потемкин В.Я. Расчет вентиляционных сетей шахт и рудников. — М.: Недра, 1978.

2. Аврамчук Е.Ф., Вавилов A.A., Емельянов C.B. Теория системного моделирования. — М.: Машиностроение; Берлин: Техник, 1998. —520 с.

3. Альтшуль А.Д. Гидравлические сопротивления. — М.: Недра, 1982. — 224 с.

4. Андрианов А.Н., Бычков С.П., Хорошилов А.И. Программирование на языке Симула-67. — М.: Наука, 1985. — 288 с.

5. Анисимов A.A., Привалов А.Г., Рудых Я.И. DEJaViev: Распределенная среда моделирования систем с дискретными событиями // Труды X конференции молодых ученых ИВМиМГ СО РАН. — Новосибирск, 2005. — С. 3-12.

6. Антипина Г., Ярцев A. Arena — система имитационного моделирования. — 1997. — http://www.interface.ru

7. Антонов A.C. Параллельное программирование с использованием технологии MPI. — M.: Изд-во МГУ, 2004.

8. АСУ ТП Северомуйского тоннеля // Технический проект. — Новосибирск: Конструкторско-технологический институтвычислительной техники СО РАН, 2001.

9. Ахламов А.Г., Бекетова Е.А., Окольнишников В.В. Программное обеспечение имитационного моделирования на ПЭВМ // Системное моделирование — 17. — Новосибирск: ВЦ СО АН СССР, 1991.1. С. 3-33.

10. Бакаев A.A., Костина Н.И., Яровицкий Н.В. Имитационные модели в экономике. — Киев: Наук, думка, 1978. — 302 с.

11. Баранов A.C., Грибов Д.И., Поляков В.Б., Смелянский P.JL, Чистолинов М.В. Комплексный стенд математического моделирования КБО JIA // Труды Первой Всероссийской научной конференции "Методы и средства обработки информации".

12. М.: МГУ, 2003. — С. 282-295.

13. Бигдан В.В., Гусев В.В., Марьянович Т.П., Сахнюк М.А. Становление и развитие имитационного моделирования в Украине // Пр. м1жнар. симп. "Комп'ютери у Сврош. Минуле, сучасне та майбутне". — Киев, 1998. —С. 182-193.

14. Санкт-Петербург, 2003. — Т. 1. — С. 59-63.

15. Бобров В.И. Принципы построения цифровой имитационной многофакторной модели процесса функционирования полиграфических автоматизированных систем машин // Проблемы полиграфии и издательского дела. — 2000. — № 1-2. — С. 36-49.

16. Бусленко В.Н. Автоматизация имитационного моделирования сложных систем. — М.: Наука, 1977. — 240 с.

17. Бусленко Н.П. Моделирование сложных систем. — М.: Наука, 1978.420 с.

18. Вавилов А.А. Имитационное моделирование производственных систем. — М.: Машиностроение; Берлин: Техник, 1983. — 416 с.

19. Варжапетян А.Г. Имитационное моделирование на ОРББ/Н. — М.: Вузовская книга, 2004.

20. Вассерман А.Д. Проектные обоснования параметров вентиляции рудников и подземных сооружений. — Л.: Наука, Ленингр. отделение, 1988.

21. Воеводин В.В. Суперкомпьютеры: вчера, сегодня, завтра // Сборник научно-популярных статей "Российская наука на заре нового века" / Под ред. акад. В.П. Скулачева. — М.: Научный мир. — 2001.1. С. 475-483.

22. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. — Санкт-Петербург: БХВ-Петербург, 2002.

23. Гендлер С.Г., Беспалов С.Е., Соколов В.А. Управление тепловым режимом тоннелей в суровых климатических условиях // Транспортное строительство. — 1990. — № 4. — С. 18-22.

24. Гендлер С.Г. Выполнение имитационного моделирования воздействия климатических и эксплуатационных факторов на вентиляционный режим Северо-Муйского тоннеля и оценка эффективности различных средств управления его параметрами.

25. Санкт-Петербург: Санкт-Петербург. Государственный горный институт, 2002. — Хоздоговор 20/2001.

26. Гендлер С.Г., Соколов В.А., Пищик Б.Н. Обоснование режимов работы автоматизированной системы управления параметрами микроклимата в Северо-Муйском железнодорожном тоннеле // Горный информационно-аналитический бюллетень, МГТУ.2002. —№8 —С. 148-153.

27. Глушков В.М., Гусев В.В., Марьянович Т.П., Сахнюк М.А. Программные средства моделирования непрерывно-дискретных систем. — Киев: Наукова думка, 1975.

28. Голованов О.В., Дуванов С.Г., Смирнов В.Н. Моделирование сложных дискроетных систем. — М.: Энергия, 1978.

29. Гололобов В.И., Окольнишников В.В., Чинин Г.Д. Макросистема моделирования МОДЕЛЬ-6 // Развитие программного обеспечения БЭСМ-6. — М.: ВЦ АН СССР, 1975. — С. 43-49.

30. Гололобов В.И., Окольнишников В.В., Чинин Г.Д. Язык моделирования СИТРАН // Имитационное моделирование систем

31. СМ-3). — Новосибирск: ВЦ СО АН СССР, 1975. — С. 35-65.

32. Дал О.И., Нигард К. Симула — язык для программирования и описания систем с дискретными событиями // Алгоритмы и алгоритмические языки. — Вып. 2. — М.: ВЦ АН СССР, 1967.

33. Дал У.-И., Мюрхауг Б., Ньюгорд К. Симула-67 универсальный язык программирования. — М.: Мир, 1969.

34. Санкт-Петербург, 2003. — Т. 1. — С. 15-18.

35. Емельянов A.A., Власова Е.А., Дума Р.В. Имитационное моделирование экономических процессов. — М.: Финансы и статистика, 2004.

36. Ермаков С.М., Михайлов Г.А. Статистическое моделирование. — М.: Наука, 1982.

37. Забродин A.B. СуперЭВМ МВС-100, МВС-1000 и опыт их использования при решении задач механики и физики // Математическое моделирование. — 2000. — Т. 12, № 5.1. С. 61-66.

38. Зензин A.C., Окольнишников В.В., Рудометов C.B. Интегрированная с АСУ ТП система распределенного моделирования // Труды Шестого Международного семинара "Распределенная обработка информации". — Новосибирск, 1998. — С. 511-514.

39. Золотухин Е.П., Окольнишников В.В. Моделирование системы химической очистки воды // Труды Шестого Международного семинара "Распределенная обработка информации". — Новосибирск, 1998. —С. 249-252.

40. Иванова Л.И. Анализ и обоснование выбора численного метода для решения вентиляционных задач // Эффективность вентиляционных систем подземных рудников. — Апатиты, 1974. — С. 88-96.

41. Казаков Ю.П., Смелянский P.JI. Об организации распределенного имитационного моделирования // Программирование. — 1994.1. N. 2. —С. 45-63.

42. Калашников В.В., Немчинов Б.В., Симонов В.М. Нить Ариадны в лабиринте моделирования. — М.: Наука, 1993. — 192 с.

43. Калашников В.В. Объектно-ориентированная среда для имитационных экспериментов // Вопросы экономики и организации информационных технологий. Ч. II. — Гомель, 1991. — С. 63-65.

44. Карпов Ю.Г. Имитационное моделирование систем. Введение в моделирование с AnyLogic 5 (с CD-ROM). — Санкт-Петербург: Изд. "BHV", 2005. —400 с.

45. Катков В.Л., Окольнишников В.В., Резниченко JI.JI., Фишелев В.И. Имитационное моделирование систем машинной графики. — М.: ИТМ и ВТ АН СССР, 1977. — 70 с.

46. Киндлер Е. Языки моделирования. — М.: Энергоатом из дат, 1985.

47. Конюх B.JI., Игнатьев Я.Б., Зиновьев В.В. Методы имитационного моделирования систем. Применение программных продуктов.

48. Электронное издание, зарегистрированное в Федеральномдепозитарии электронных изданий, № 0320401123. Регистрационное свидетельство. ФГУП НТЦ "Информрегистр" от 06.09.2004.4753.

49. Корнеев В.Д. Параллельное программирование в MPI.

50. Новосибирск: Изд-во СО РАН, 2000.

51. Краснощекое П.С., Петров A.A. Принципы построения моделей. — М: Фазис, 2000. —400 с.

52. Крюков В.А. Разработка параллельных программ для вычислительных кластеров и сетей // http://parallel.ru

53. Левин Вл. К. Отечественные суперкомпьютеры семейства МВС // http://parallel.ru

54. Литвинов В.В., Марьянович Т.П. Методы построения имитационных систем. — Киев: Наукова думка, 1991.

55. Лоу A.M., Кельтон А. Д. Имитационное моделирование.1. Санкт-Петербург, 2004,

56. Максимей И.В. Имитационное моделирование на ЭВМ. — М.: Радио и связь, 1988.

57. Максимей И.В., Еськова О.И., Левчук В.Д. и др. Имитационное моделирование распределенной обработки в информационных сетях ЭВМ // Тр. Пятого междунар. семинара "Распределенная обработка информации" (РОИ-95). — Новосибирск, 1995. — С. 216-220.

58. Мановицкий В.И., Сурков Е.М. Система имитационного моделирования дискретных процессов (ДИСМ). — Киев-Одесса: Вища школа, 1981.

59. Математическое обеспечение автоматического проектирования (моделирование дискретных систем) / Под ред. В.П. Чистова.

60. Свердловск: УНЦ АН СССР, 1981.

61. Миков А.И. Моделирование вычислительных систем. — Учебное пособие по спецкурсу. — Пермь: ПГУ, 1982.

62. Миков А.И., Замятина Е.Б., Фатыхов А. Система оперирования распределенными имитационными моделями сетей телекоммуникаций // Труды Первой Всероссийской научной конференции "Методы и средства обработки информации".

63. М.: МГУ. — 2003. — С. 437-442.

64. Миков А.И., Замятина Е.Б., Осмехин К.А. Метод динамической балансировки процессов имитационного моделирования // Труды Второй Всероссийской научной конференции "Методы и средства обработки информации". — М.: МГУ, 2005. — С. 472^77.

65. Нейлор Т. Машинные имитационные эксперименты с моделями экономических систем. — М.: Мир, 1975.

66. Нечепуренко М.И. Модели имитации в неархимедовом времени: время, системные динамики // Эффективность и структурнаянадежность информационных систем (СМ-7). — Новосибирск: ВЦ СО АН СССР, 1982. — С. 63-71.

67. Нечепуренко М.И., Окольнишников В.В., Родионов A.C. Вопросы интеллектуализации систем моделирования // Труды 2-го Североморского симпозиума "Имитация систем" — ЧСФР, Острава, 1989.

68. Нечепуренко М.И., Окольнишников В.В., Якимович Д.А. Имитационное моделирование систем управления в энергетике // Тр. Пятого междунар. семинара "Распределенная обработка информации" (РОИ-95). — Новосибирск, 1995. — С. 221-226.

69. Окольнишников В.В. Система моделирования Модель-6 // Имитационное моделирование систем (СМ-3). — Новосибирск: ВЦ СО АН СССР, 1975. — С. 74-88.

70. Окольнишников В.В. Имитационное моделирование шахты как сети массового обслуживания // Системное моделирование-4. — Новосибирск: ВЦ СО АН СССР, 1976. — С. 91-104.

71. Окольнишников В.В. Система моделирования Модель-6 и ее приложения: Дис. канд. физ.-мат. наук: 01.01.10. — Новосибирск, 1979. — 148 с.

72. Окольнишников В.В. Черты реального времени в системе программирования АЛГОЛ-ЭЛЬБРУС // Управляющие системы и машины. —Киев, 1991. —N3.— С. 41-48.

73. Окольнишников B.B. Введение в языки реального времени.

74. Новосибирск: НГУ, 1993. — 63 с.

75. Окольнишников В.В. Предложения по разработке специализированной системы моделирования АСУ ТП топливно -энергетических устройств и систем // Системное моделирование-20.

76. Новосибирск: ВЦ СО РАН, 1994. —С. 125-138.

77. Окольнишников В.В., Якимович Д.А. Входной язык специализированной системы моделирования АСУ ТП топливно-энергетических устройств и систем // Системное моделирование-20.

78. Новосибирск: ВЦ СО РАН, 1994. —С. 139-151.

79. Окольнишников В.В., Ротова A.B. Базовые концепции входного языка интеллектуальной системы моделирования // Системное моделирование-20. — Новосибирск: ВЦ СО РАН, 1994. — С. 59-74.

80. Окольнишников В.В., Ротова A.B. Направления развития средств имитационного моделирования // Системное моделирование-20.

81. Новосибирск: ВЦ СО РАН, 1994. — С. 3-20.

82. Окольнишников В.В., Черкасов А.Г., Якимович Д.А. Визуальная модель АСУ ТП энергоблока ГРЭС // Микропроцессорные системы автоматики. Материалы III международной научно-технической конференции. — Новосибирск, 1996. — С. В27-В28.

83. Окольнишников В.В. Разработка имитационного стенда АСУ ТП энергоблока ГРЭС // Труды третьей международной научно-технической конференции "Актуальные проблемы электронного приборостроения" (АПЭП-96), Том 11, Промышленная информатика.

84. Новосибирск, 1996. — С. 43-44.

85. Okornishnikov V.V., D.A. Iakimovitch. Visual Interactive Industrial Simulation Environment // Proc. of the 15-th IMACS World Congress on Scientific Computation Modelling and Applied mathematics (Berlin,

86. August 1997). — V. 3. Systems Engineering. — P. 391-395.

87. Окольнишников B.B. Система моделирования распределенных систем реального времени // Системное моделирование: Сб. науч. тр. / РАН. Сиб. отд-ние. ИВМиМГ. Т. 4 (22). — Новосибирск, 1998.1. С. 129-140.

88. Окольнишников В.В., Рудометов С.В. Моделирование систем управления распределенных систем реального времени // Системное моделирование: Сб. науч. тр. / РАН. Сиб. отд-ние. ИВМиМГ. Т. 4(22).

89. Новосибирск, 1998. —С. 141-150.

90. Окольнишников В.В. Информационно-функциональная модель АСУ ТП // Системное моделирование: Сб. науч. тр. / РАН. Сиб. отд-ние. ИВМиМГ. Т. 5 (23). — Новосибирск, 1998. — С. 123-139.

91. Okol'nishnikov V.V., Rudometov S.W. Distributed simulation system integrated into control system. // Proc. of 13th Europ. Simulation Multiconference. — Warsaw, 1999. — V. 2. — P. 510-512.

92. Окольнишников B.B. Моделирование систем управления // Труды III Международной конференции "Проблемы управления и моделирования в сложных системах". — Самара, 2001. — С. 594— 599.

93. Okol'nishnikov V.V. Development of Control Programs for Process Control System of North-Muisk Railway Tunnel // Proc. of the IASTED International Conference "Automation, Control, and Information Technology". — Novosibirsk, Russia, 2002. — P. 49-52.

94. Okol'nishnikov V.V. Parallel Simulation System // Proc. of VIII International Workshop on Advanced Computing and Analysis Techniques in Physics Research. Book of abstracts. — Moscow, 2002.1. P.21.

95. Окольнишников B.B. Система распределенного имитационного моделирования // Тр. Первой Всерос. научн. конференции "Методы и средства обработки информации". — М.: МГУ им. М.В. Ломоносова, 2003. —С. 468-473.

96. Okol'nishnikov V.V. Simulation on parallel and distributed systems // Пятая международная конференция памяти академика А.П. Ершова "Перспективы систем информатики (PSI 03)". Рабочий семинар "Наукоемкое программное обеспечение". Доклады и тезисы.

97. Новосибирск, 2003. — С. 30-32.

98. Victor Okol'nishnikov, Sergey Rudometov. Development of distributed simulation system // Lecture Notes Comput. Sei. — V. 2763. — Berlin: Springer, 2003, —P. 524-527.

99. Окольнишников В.В. Использование имитационного моделирования при разработке Автоматизированной системы управления технологическими процессами Северомуйского тоннеля // Вычисл. технологии. — 2004. — Т. 9,№ 5. —С. 82-101.

100. Окольнишников B.B. Представление времени в имитационном моделировании // Вычисл. технологии. — 2005. — Т. 10, №5.1. С. 57-80.

101. Okol'nishnikov V.V., Rudometov S.V. Simulation of Complex Transportation Systems // Proc. of the Second LASTED International Multi-Conference SOFTWARE ENGINEERING (ACIT-SE) (June 20-24, 2005). — Novosibirsk, 2005. — P. 60-64.

102. Павловский Ю.Н. Имитационные модели и системы. — М.: ВЦ РАН, 2000. — 134 с.

103. Санкт-Петербург: Изд-во Политехи, ун-та, 2005. — С. 292-293.

104. Прицкер А. Введение в имитационное моделирование и язык СЛАМ-2. — М.: Мир, 1987. —646 с.

105. Пушкин A.C. Дубровский. Полное собрание сочинений. — Л.: Наука, Ленингр. отделение, 1978. — Т. 6. — С. 142-209.

106. Рогов Е.И. Теория и методы математического моделирования производственных процессов в горном деле. — Алма-Ата: Наука, 1973.

107. Родионов A.C. Объектная ориентация в интеллектуальных системах моделирования // Тр. ВЦ СО РАН. Сер. Системное моделирование.

108. Новосибирск, 1994. — Вып. 2(20). — С. 21-42.

109. Родионов A.C. Пакет моделирования систем с дискретными событиями в пакете СИДМ-2 // Тр. Шестого междунар. семинара "Распределенная обработка информации" (РОИ-98). — Новосибирск, 1998. —С. 269-272.

110. Родионов A.C. Имитационное моделирование на ЭВМ. Избранные лекции. Учебное пособие. — Новосибирск: НГУ, 1999. — 84 с.

111. Родионов А. С. Разработка систем дискретного имитационного моделирования информационных сетей: Дис. д-ра техн. наук: 05.13.18. — Новосибирск, 2002.

112. Родионов А. С. Проблемы создания систем имитационного моделирования инфотелекоммуникационных сетей // Материалы 8-й Международной конференции "Связь 2004". — Новосибирск, 2004.1. Т.2. —с. 268-272.

113. Рудометов C.B. Язык распределенного имитационного моделирования и его реализация // Труды Шестого Международного семинара "Распределенная обработка информации". — Новосибирск, 1998, —С. 147-151.

114. Рыжиков Ю.И. Имитационное моделирование. Теория и технологии.

115. Санкт-Петербург: КОРОНА принт. — 2004. — 384 с.

116. Савин Г.И. Системное моделирование сложных процессов — М.: Фазис: ВЦ РАН, 2000. — 276 с.

117. Саломатин H.A., Беляев Г.И., Петроченко В.Ф., Прошлякова Е.В. Имитационное моделирование в оперативном управлении производством. — М.: Машиностроение, 1984. — 208 с.

118. Самарский A.A., Михайлов А.П. Математическое моделирование: Идеи. Методы. Примеры. — М.: Физматлит, 2002. — 320 с.

119. Семишин Ю.А., Гурший В.П., Литвинов О.В. Моделирование дискретных систем на ДАСИМ. — М.: 1995.

120. Смелянский P.JI. Проблемы разработки и анализа функционирования встроенных систем реального времени // Труды Первой Всероссийской научной конференции "Методы и средства обработки информации". — М.: МГУ. — 2003. — С. 57-73.

121. Советов Б.Я., Яковлев С.А. Моделирование систем. Практикум. М.: Высш. шк., 1999. —224 с.

122. Советов Б.Я., Яковлев С.А. Моделирование систем. 3-е изд. перераб. и доп. — М.: Высшая школа. — 2001. — 343 с.

123. Советов Б.Я., Яковлев С.А. Моделирование систем. 4-е изд. перераб. и доп. — М.: Высшая школа. — 2005.

124. Таненбаум Э., Стеен М. Распределенные системы. Принципы и парадигмы. — Санкт-Петербург: Питер, 2003.

125. Санкт-Петербург, 2003. —Т. 1. —С. 23-27.

126. Труб И.И. Объектно-ориентированное моделирование на С++ : Учебный курс. — Санкт-Петербург: Изд. дом "Питер", 2005. — 416 с.

127. Томашевский В.Н., Жданова Е.Г. Имитационное моделирование в среде GPSS. — М.: Бестселлер, 2003. — 416 с.

128. Филиппович А.Ю. Интеграция систем ситуационного, имитационного и экспертного моделирования. — М.: ООО Эликс+, 2003. —300 с.

129. Фути К., Судзуки Н. Языки программирования и схемотехника СБИС. —М.: Мир, 1988.

130. Хинчин А.Я. Работы по математической теории массового обслуживания. — М.: Физматгиз, 1963.

131. Хорошевский В.Г. Архитектуры вычислительных систем. — М.: МГТУ им Баумана, 2005. — 511 с.

132. Черненький В.М. Процессно-ориентированная концепция системного моделирования: Дис. д-ра техн. наук / МГТУ им. Н.Э. Баумана. —1. М., 2000.

133. Шеннон Р. Имитационное моделирование систем — искусство и наука. — М.: Мир, 1978.

134. Шмидт Б. Искусство моделирования и имитации. — М.: Франтэра,2003. —550 с.

135. Шрайбер Т.Дж. Моделирование на GPSS. — М.: Машиностроение, 1984.

136. Яковлев Е.И. Машинная имитация. — М.: Наука, 1975.

137. Allen R., Garlan D. A Formal Basis for architectural connection // ACM Transactions on software Engineering and Methodology. — 1997. — P. 213-249.

138. Allen R., Garlan D., Ivers J. Formal modeling and analysis of the HLA component integration standard // Proc. of the 6th ACM SIGSOFT international symposium on Foundations of software engineering. — 1998. —P. 70-79.

139. Altuntas В., Wysk R.A. A Framework for Adaptive Synchronization of Distributed Simulations // Proc. of the Winter Simulation Conference. —2004. —P. 371-377.

140. Ayani R. A Parallel Simulation Scheme Based on the Distance Between Objects // Proc. of the SCS Multiconference on Distributed Simulation, Society for Computer Simulation. — 1989. — P. 113-118.

141. BaldonyR., RaynalM. Fundamentals of Distributed Computing: A Practical Tour of Vector Clock Systems. — IEEE Distributed Systems Online. — 2002.http://csdl.computer.org/comp/mags/ds/2002/02/o20Q 1 .pdf

142. Bakhmurov A., Kapitonova A., Smelinasky R. DYANA: An Environment for Embedded System Design and Analysis // Proc. of 32-nd Annual Simulation Symposium, San Diego, California, USA. — 1999.

143. Beraldi R., Nigro L. Exploiting Temporal Uncertainty in Time Warp Simulations // Proc. of the 4th Workshop on Distributed Simulation and Real-Time Applications. — 2000. — P. 39^6.

144. Bracha G., Toueg S. Distributed Deadlock Detection // Distributed Computing. — 1987. —V. 2. —P. 127-138.

145. Bryant R.E. Simulation of packet communications architecture computer systems. — MIT-LCS-TR-188. — 1977.

146. Cai W., Turner S.J. An Algorithm for Distributed Discrete-Event Simulation — "Carrier Null Message'" Approach // Proc. of the SCS Multiconference on Distributed Simulation, SCS Simulation Series.1990. —P. 3-8.

147. Carothers C.D., Perumalla K. Efficient Optimistic Parallel Simulation Using Reverse Computation // ACM Transactions on Modeling and Computer Simulation. — 1999. — V. 9, N 3. — P. 224-253.

148. Chandy K.M., Misra J. Distributed Simulation: A Case Study in Design and Verification of Distributed Programs // IEEE Transactions on Software Engineering. — 1978. — SE — 5 (5). — P. 440-452.

149. Chandy K.M., Misra J. Asynchronous Distributed Simulation via a Sequence of Parallel Computations // Communications of the ACM.1981. — V. 24,N4. —P. 198-205.

150. Chandy K., Lamport L. Distributed Snapshots: Determining Global States of Distributed Systems // ACM Trans. Comp. Syst. V. 3, N 1. — 1985.1. P. 63-75.

151. Chen G., Szymanski B.K. Lookback: A New Way of Exploiting Parallelism in Discrete Event Simulation // Proc. of the 16th Workshop on Parallel and Distributed Simulation. — 2002. — P. 153-162.

152. Chen G., Szymanski B.K. Four Types of Lookback // Proc. of the 17th Workshop on Parallel and Distributed Simulation. — 2003. — P. 3-10.

153. Chernakov D.V., Okol'nishnikov V.V. Control Program Development System 11 Proc. of the Second LASTED International Multi-Conference AUTOMATION, CONTROL, AND APPLICATIONS (ACIT-ACA).

154. Novosibirsk, 2005. — P. 142-145.

155. Das S.R., Fujimoto R.M. Adaptive Memory Management and Optimism Control in Time Warp // ACM Transactions on Modeling and Computer Simulation. —1997. —V. 7, N2.— P. 239-271.

156. Das S.R. Adaptive Protocols for Parallel Discrete Event Simulation // Journal of the Operational Research Society. — 2000. — V. 51. — P. 385-394.

157. Dickens P.M., Reynolds J. SRADS With Local Rollback // Proc. of the SCS Multiconference on Distributed Simulation. — 1990. — P. 161-164.

158. Ferscha A. Probabilistic Adaptive Direct Optimism Control in Time Warp // Proc. of the 9th Workshop on Parallel and Distributed Simulation.1995. —P. 120-129.

159. Ferscha A. Parallel and Distributed Simulation of Discrete Event Systems. Parallel and Distributed Computing Handbook. — McGraw-Hill, 1996.1. P. 1003-1041.

160. F&H Simulations. Inc. Taylor Enterprise Dynamics User Manual. — 1998.

161. Fujimoto R.M. Time Warp on a Shared Memory Multiprocessor // Transactions of the Society for Computer Simulation. — 1989. — V. 6, N3. —P. 211-239.

162. Fujimoto R.M. Time Management in the High Level Architecture // Simulation. — 1998. —V. 71, N6. —P. 388^00.

163. Fujimoto R.M. Exploiting Temporal Uncertainty in Parallel and Distributed Simulations // Proc. of the 13th Workshop on Parallel and Distributed Simulation. — 1999. — P. 46-53.159.160,161.162,163164165166167168169170171172173174

164. Fujimoto R.M. Parallel and Distributed Simulation Systems. — Wiley Interscience, 2000.

165. Fujimoto R.M. Parallel and Distributed Simulation Systems // Proc. of the

166. Winter Simulation Conference. — 2001. — P. 147-157.

167. Fujimoto R.M. Distributed Simulation Systems // Proc. of the Winter

168. Simulation Conference. — 2003. — P. 124-134.

169. Helary J. Observing Global States of Asynchronous Distributed

170. Applications // Proc. International Workshop on Distributed Algorithms.

171. Berlin: Springer-Verlag, 1989. — P. 124-135. (Lecture Notes

172. EE Std 1278.1-1995. IEEE Standard for Distributed Interactive Simulation. — Application Protocols. New York, NY, Institute of Electrical and Electronics Engineers, Inc. 1995.

173. New York, NY, Institute of Electrical and Electronics Engineers, Inc.2000.

174. IEEE Std P172. IEEE Standard for Modeling and Simulation (M\&S) High Level Architecture (HLA). Federation Development and Execution Process. — New York, NY, Institute of Electrical and Electronics Engineers, Inc. — 2000.

175. Jefferson D. Virtual Time // ACM Transactions on Programming Languages and Systems. — 1985. — V. 7, N 3. — P. 404-425.

176. Jefferson D.R. Virtual Time II: Storage Management in distributed Simulation // Proc. of the Ninth Annual ACM Symposium on Principles of Distributed Computing. — 1990. — P. 75-89.

177. Jha V, Bagrodia R. Simultaneous Events and Lookahead in Simulation Protocols // ACM Transactions on Modeling and Computer Simulation. — 2000. —V. 10, N3.— P. 241-267.

178. Lanner Group, Inc. WITHNESS Version 9 User Manual. — 1998.

179. Lamport L. Time, Clocks, and the Ordering of Events in a Distributed Systems // Commun. ACM. — 1978. — V. 21, N 7. — P. 558-565.

180. Lamport L. Concurrent Reading and Writing of Clocks // ACM Trans. Comp. Syst. — 1990. — V. 8, N 4. — P. — 305-310.

181. Lee B., Cai W. A Causality Based Time Management Mechanism for Federated Simulations // Proc. of the 15th Workshop on Parallel and Distributed Simulation. — 2001. — P. 83-90.

182. Lin Y.B., Preiss B.R. Optimal Memory Management for Time Warp Parallel Simulation // ACM Transactions on Modeling and Computer Simulation. —1991. —V. 1,N4. — P. 283-307.

183. Lin Y.B., Preiss B.R. Selecting the Checkpoint Interval in Time Warp Simulations // Proc. of the 7th Workshop on Parallel and Distributed Simulation. — 1993. — P. 3-10.

184. Liskov B. Practical Uses of Synchronized Clocks in Distributed Systems // Distributed Computing. — 1993. — V. 6. — P. 211-219.

185. Loper M., Fujimoto R.M. Exploiting Temporal Uncertainty in Process-Oriented Distributed Simulations // Proc. of the Winter Simulation Conference. — 2004. — P. 395^100.

186. Lorenz P.H., Dorwarth K.C. Towards a Web-Based Simulation Environment // Proc. of the Winter Simulation Conference. — 1997.1. P. 1338-1344.

187. Lubachevsky B.D. Efficient Distributed Event-Driven Simulations of Multiple-Loop Networks // Communications of the ACM. — 1989.1. V. 32, N 1. — P. 111-123.

188. Mattern F. Algorithms for Distributed Termination Detection // Distributed Computing. —1987. —V. 2. —P. 161-175.

189. Mattern F. Efficient Algorithms for Distributed Snapshots and Global Virtual Time Approximation // Journal of Parallel and Distributed Computing. —1993. —V. 18, N4. —P. 423^134.

190. Merkurjeva G.V., Merkurjev Y.A. Knowledge Based Simulation // Simulation. —1994. —V. 62,N2.—P. 74-89.

191. Meyer R.A., Bagrodia R.L. Path Lookahead: A Data Flow View of PDES Models // Proc. of the 13th Workshop on Parallel and Distributed Simulation (PADS99). — 1999. — P. 12-19.

192. Miller D.C., Thorpe J.A. SIMNET: The Advent of Simulator Networking //Proc. of the IEEE. — 1995, — V. 83, N 8. — P. 1114-1123.

193. Mikov A.I. Simulation and Design of Hardware and Software with Triad // Proc. of 2nd Intl. Conf. on Electronic Hardware Description Languages. — Las Vegas, 1995.—P. 15-20.

194. Misra J. Distributed Discrete-Event Simulation // ACM Computing Surveys. — 1986. —V. 18, N 1. — P. 39-65.

195. Moore R.E. Methods and Applications of Interval Analyses. — 1979.

196. Palaniswamy A.C., Wilsey P.A. An Analytical Comparison of Periodic Checkpointing and Incremental State Saving // Proc. of the 7th Workshop on Parallel and Distributed Simulation. — 1993. — P. 127-134.

197. Pishchik B.N., Khundoyev A.A., Shevchenko D.O. Signal transmission in SCADA system // Proc. of the IASTED International Conference "Automation, Control and Information Technology". — Novosibirsk, Russia, 2002. —P. 65-68.

198. Pishchik B.N. Software structure of process control system for distant railway tunnel // Proc. of the IASTED International Conference "Automation, Control, and Information Technology". — Novosibirsk, Russia, 2002. — P. 83-85.

199. Preiss B.R., Loucks W.M. Memory Management Techniques for Time Warp on a Distributed Memory Machine // Proc. of the 9th Workshop on Parallel and Distributed Simulation. — 1995. — P. 30-39.

200. Ramanathan P., Shin K., Butler R. Fault-Tolerant Clock Synchronization in Distributed Systems // IEEE Computer. — 1990. — V. 23, N. 10. — P. 33-42.

201. Rao D.M., Thondugulam N.V., Wilsey P.A. Unsynchronized Parallel Discrete Event Simulation // Proc. of the Winter Simulation Conference.1998, —P. 1563-1570.

202. Rao D.M., Wilsey P.A. An ultra-large-scale simulation framework // Journal of Parallel Distrib. Comput. — 2002. — V. 62, N11.1. P. 1670-1693.

203. Raynal M., Singhal M. Logical Time: Capturing Causality in Distributed Systems // IEEE Computer. — 1996. — V. 29, N 2. — P. 49-56.

204. Raynal M. Simple Vector Clocks are Limited to Solve some Causality-Related Problems // Proc. of the 3rd Int. Symposium On Principles Of

205. Distributed Systems (OPODIS-99). — 1999. — P. 195-203.

206. Sokol L.M., Stucky B.K. MTW: Experimental Results for a Constrained Optimistic Scheduling Paradigm // Proc. of the SCS Multiconference on Distributed Simulation. — 1990. — P. 169-173.

207. Steinman J.S. SPEEDES: A Multiple-Synchronization Environment for Parallel Discrete Event Simulation // International Journal on Computer Simulation. —1992. —P. 251-286.

208. Wilson A.L., Weatherly R.M. The Aggregate Level Simulation Protocol: An Evolving System // Proc. of the Winter Simulation Conference.1994.— P. 781-787.

209. Xiao Z., Unger B. Scheduling Critical Channels in Conservative Parallel Simulation // Proc. of the 13th Workshop on Parallel and Distributed Simulation (PADS99). — 1999.— P. 20-28.

210. Zeigler B.P. Hierarchical discrete-event modeling in an object-oriented environment // Simulation. — 1987. — V. 49, N 5. — P. 219-230.

211. Zeigler B.P., Hu J., Rozenblit J.W. Hierarchical Modular Modeling in DEVS-Scheme // Proc. of the Winter Simulation Conference. — 1989.1. P. 84-89.

212. Zeigler B.P., Vahie S. DEVS Formalism and Methodology: Unity Conception/Diversity of Application // Proc. of the Winter Simulation Conference. — 1993.—P. 573-579.

213. Zhang J.L., Tropper C. The Dependence List in Time Warp // Proc. of the 15th Workshop on Parallel and Distributed Simulation. — 2001. — P. 35-45.

214. Zolotuchin Y.P., Okol'nishnikov V.V. Simulation of Control System for Water Treatment // Proc. of the Third International Congress of the Federation of European Simulation Societies. — Helsinki, 1998. — V. 3. — P. 526-529.