автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Распределенное имитационное моделирование на магистрально-модульных вычислительных системах

МОСКОВСКИЙ ОРДЕНА ЛЕНИНА, ОРДЕНА ОКТЯБРЬСКОЙ РЕВОЛЮЦИИ И ОРДЕНА ТРУДОВОГО КРАСНОГО ЗНАМЕНИ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ имени М. В. ЛОМОНОСОВА

ФАКУЛЬТЕТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И КИБЕРНЕТИКИ

На правах рукописи КАЗАКОВ Юрий Петрович

УДК 519.088

РАСПРЕДЕЛЕННОЕ ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ НА МАГИСТРАЛЬНО-МОДУЛЬНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ

специальность 05.13.11 — математическое и программное обеспечение вычислительных машин, комплексов, систем и сетей

АВТОРЕФЕРАТ диссертации на соискание учёной степени кандидата физико-математических наук

МОСКВА 1992

Работа выполнена на кафедре Автоматизации систем вычислительных комплексов факультета Вычислительной математики и кибернетики Московского государственного университета им. М. В. Ломоносова.

Научный руководитель: доктор физико-математических наук СМЕЛЯНСКИЙ Руслан Леонидович.

Официальные оппоненты: доктор физико-математических наук ТОМИЛИН Александр Николаевич; кандидат физико-математических наук ГИГЛАВЫЙ Александр Владимирович.

Ведущая организация: Вычислительный центр Российской АН, г. Москва.

в 11 часов на заседании специализированного совета Д.053.05.38 при Московском государственном университете им. М. В. Ломоносова по адресу: 119899, ГСП, Москва, Ленинские горы, МГУ, 2-й учебный корпус, факультет ВМиК, аудитория 685.

С диссертацией можно ознакомиться в библиотеке факультета ВМиК МГУ.

Автореферат разослан «_»_ 1992 г.

Защита диссертации состоится

1992, г.

Ученый секретарь специализированного совета профессор

Н. П. Трифонов

Общая характеристика работы.

Актуальность теш.

Важную ' роль в проектировании параллельны! вычислительных систем играет имитационное моделирование. Это одна из наиболее ресурсоемких областей программирования. Для сложных имитационных моделей (в частности для моделей параллельных вычислительных систем) требования к времени моделирования зачастую становятся критическими- Одним из путей сокращения времени моделирования является использование внутреннего параллелизма моделей. Перспективным направлением распараллеливания моделей представляется распределенное имитационное моделирование (РИМ). Этот способ распараллеливания предполагает описание модели в виде совокупности параллельно развивающихся компонент (далее процессов). Процессы модели могут выполняться на разных процессорах, таймеры которых могут быть не согласованы между собой.

Отличительной особенностью программ имитационного моделирования является то, что они должны воспроизводить поведение всех процессов имитационной модели в едином модельном времени. Поддержание единства модельного времени является основной задачей системы"РИМ.

Отсчет модельного времени в системе может проводиться как централизовано, так и распределений¿ всеми процессами модели в индивидуальном порядке. Поэтому, кроме синхронизации процессов, диктуемой особенностями каждой модели и которую пользователь должен явно описать в тексте модели, система РИМ • должна обеспечивать ' дополнительную) синхронизацию процессов модели, которая. бы обеспечивала такие результаты моделирования» как если, бы система действительно развивалась в едином модельном времени. Любая система РИМ должна автоматическй поддерживать такую дополнительную синхронизацию, и она должна быть прозрачна для пользователя. Соответствующий системный механизм ограничения выполнения процессов модели для поддержки

единства модельного времени, традиционно называется алгоритмом синхронизации распределенного имитационного моделирования (алгоритм 1С)..' Заметим, что. проблема дополнительной синхронизации специфична для . распределенного имитационного моделирования. В других программах нет модельного времени и, следовательно нет проблемы.

Алгоритм АС является ключевым алгоритмом системы РИМ. При фиксированных классах моделей и аппаратуры эффективность РИМ определяется организацией алгоритма АС.

Перспективным направлением разработки средств моделирования и анализа является комплексный подход к моделированию и анализу ([1]). Основная идея комплексного подхода заключается- в использовании единой понятийной и синтаксической системы для построения моделей, которые можно исследовать методами как алгоритмического анализа, так и имитационного моде'лирования. В работе [1] предлагается способ описания распределенных вычислительных систем в виде ■ МС-модёлей, синтаксис которых основан • на комплексном подходе .'

Предметом рассмотрения в данной работе будет алгоритм АС для моделирования MC-моделей на магистрально-модульных. вычислительных системах (ШВС системах).

Цель работы.

Целями диссертационной, работы, являются:

.1) исследование подходов и способов построения алгоритмов АС;

2) разработка алгоритма АС для системы РИМ, которая:

является частью системы комплексного моделирования и анализа, основанной на МС-моделях,

- предназначена для использования на системах

ММВС.

- критериями оптимальности алгоритмов которой считаются/ время моделирования и память, требуемая для поддержки системы.

Основные результаты работы.

1). Проведена классификация алгоритмов АС, отражающая такие характеристики алгоритмов АС, как • параллелизм и накладные,расхода на алгоритм АС, и позволящая сравнивать алгоритмы АС и выбирать наиболее оптимальные.

2). Разработан алгоритм АС. предназначенный для моделирования МС-моделей на ММВС системах и .обеспечивающий для данных классов задач и аппаратуры наиболее гибкое использование параллелизма модели при наименьших накладных расходах на поддержку моделирования.

3). Выполнены проектирование, реализация и . внедрение системы РИМ для ММВС "Стенд", которая явилась частью системы комплексного моделирования и анализа систем РВС на основе МС-моделей. С помощью этой системы был построен комплекс моделей транспортной станции ЛВС "Невод" • и проведено исследование перспектив развия программно - аппаратной структуры этой станции.

Научная новизна.

В диссертации построена классификация алгоритмов АС и проведено их сравнение.

На основе разработанного понятийного аппарата создан алгоритм АС для моделирования МС-моделей на системах ММВС.

Практическая ценность.

На основе разработанного в диссертации единого подхода к описанию алгоритмов АС построен алгоритм для МС-моделей и ММВС систем.

На основе предложенного алгоритма АС разработана и реализована система имитационного моделирования для экспериментальной ММВС "Стенд".

С помощью построенной системы РИМ был реализован комплекс моделей транспортной станции ЛВС "Невод" и проведено исследование перспектив развия программно аппаратной структуры этой станции.

Метода исследования.

При разработке алгоритма АС для МС-моделей и ММВС систем использовался широкий спектр" строго синхронных, консервативных и оптимистических методов синхронизации в распределенном имитационном моделировании.

Апробация работы и публикации'.

По теме диссертации опубликовано 6 печатных работ. Результаты работы докладывались на конференции "Локсеть-88" (Рига, 1988 г.), на школе-семинаре по вычислительным сетям (Ленинград, '1990 г.), на • научных" семинарах лаборатории Вычислительных комплексов кафедры АСВК.факультета ВМиК МГУ, .на других научных семинарах факультета.

Структура и объем диссертации.

.. Диссертация■ состоит . из введения, 'четырех глав, библиографии и трех приложений. Общий объем .диссертации без приложений_страниц. Объем приложений_страниц.

Краткое содержание работы.

. Во введении отражена актуальность проблемы и сформулирована цель исследования.

Задачей диссертационного ■ исследования, которая сформулирована в. первой главе, является разработка алгоритмов системы РИМ для моделирования МС-моделей на ММВС системах.

МС-модель - это совокупность процессов, которые могут взаимодействовать только путем передачи ' сообщений. Для хранения пришедших сообщений у каждого процесса имеется индивидуальный набор буферов, посылать (писать) сообщения в которые могут все процессы МС-модели, а получать (читать) сообщения из этих буферов может только процесс - владелец. Операция чтения из буфера "ждущая". То есть, если в буфере нет сообщений, то операция чтения из этого буфера вызовет задержку читающего процесса до прихода первого сообщения.

ММВС системы - это совокупность модулей взаимодействующих через сеть магистралей. Модуль - это процессор с оперативной памятью.

Основной алгоритм системы РИМ - это алгоритм АС. В функции алгоритма АС входит упорядочение действий процессов модели с целью сохранения семантики единого модельного времени.

В главе 2 вводятся основные понятия, необходимые для решения поставленной задачи.

Исходным понятием является понятие МС-модели (далее программы).

Опр.: Будем называть программой тройку: <Р, В, Ч>, где Р = (Р1- конечное множество процессов программы; в = "" конечное множество буферов процессов

программы (первый индекс буфера обозначает индекс процесса владельца, второй - индекс буфера среди других буферов владельца); V с Р х В - топология связи процессов ( (Р^ В^) е V <► в теле процесса Р есть операторы посылки сообщения в буфер В ). Программа определяет множество возможных развитий программы. Каждое развитие - это частично упорядоченное множество модельных событий. Под модельным событием понимается срабатывание одного оператора процесса программы. Каждое модельное событие характеризуется модельным временем.

Опр.: Развитие программы - это тройка: <ЕМ, Тм, Огйн>, где Ем - конечное множество модельных событий; Тн - модельное время модельных событий

(функция Тя: Ен ■» й - множество вещественных чисел); 0гс1и - отношение упорядоченности' событий развития программы (строгое отношение порядка на множестве Ен). Для нас существенно, что события- связаны между собой ■ причинно-следственными связями. Естественно, что отношение причинности может связывать только упорядоченные события.

Опр.: -Отношением причинности Рг называется отношение на

множестве Ем, такое что

v a, v b (а е Е" & b е Ен: а Рг Ь 4 a OrdM b).

При вшолненш программы, воспроизводится одно из возможных развитий программы. При этом выполняются не только модельные события, но и системные события, реализующие алгоритм АС. Объединение множеств модельных событий и системных событий будем называть множеством событий выполнения. Выполнение программы происходит в ■ физическом времени. Физическим, временем события выполнения будем называть время, когда началось его выполнение. События выполнения частично упорядочены, но в отличие от упорядочения OrdM события выполнения упорядочиваются не по процессам, а по процессорам, на которых они выполняются. Кроме того .при упорядочивании учитываются не только модельные сообщения но и системные.

Опр.: Выполнение программы - это тройка <ЕА, ТА, OdrA>, где

ЕА - конечное множество событий выполнения;

ТА - физическое время событий выполнения (ТА: ЕА ■* R);

OdrA - отношение упорядоченности событий выполнения (строгое отношение"порядка на множестве Ех).

На основе введенных понятий формулируется Критерий корректности алгоритма АС.

Критерий корректности:

v a, vb (а е Ен & b с Ен: а Рг b a Ord Ab).

Разнообразные подходы к синхронизации процессов •' 'унифицируем с помощью понятий критических событий и условий освобождения критических событий.

Критическое событие - это модельное . событие, перед выполнением которого процесс задерживается алгоритмом АС. Задержанный по критическому событию процесс программы освобождается, когда выполнено условие освобождения критического события (условие ОКС).

В разных алгоритмах АС разные модельные события могут считаться критическими и могут использоваться разные условия ОКС. Традиционно алгоритмы АС делятся на три класса: строго

- а -

синхронные, консервативные и оптимистические. Мы Судам считать, что класс алгоритма АС определяется выбором множества критических событий и условий ОКС. При таком понимании класса алгоритмов АС из строго синхронных алгоритмов АС выделится еще один класс, и мы получим четыре класса:

(1) Строго синхронные алгоритмы АС. Критическими являются все модельные события увеличения модельного времени. Условие ОКС заключается в следующем. Все процессы программы выполнили все модельные события, модельное время которых меньше, чем модельное время критического события увеличения модельного времени.

(2) Алгоритш АС с синхронизацией взаимодействий. Критическими являются все модельные события чтения из буфера. Условие ОКС - все процессы программы выполнили все события, модельное время которых меньше, чем модельное время критического события чтения.

(3) Консервативные алгоритмы АС. Критическими являются все модельные события чтения из буфера. Условие ОКС - все процессы, которые могут посылать сообщения в буфер из которого читает процесс, выполнили все события, модельное время которых меньше, чем модельное время критического события чтения.

(4) Оптимистические алгоритмы АС. В модели нет критических событий. Это может приводить к некорректному выполнению программы. Некорректное развитие процессов отлавливается и устраняется с помощью механизмов отката и антисообщений, то есть таких сообщений, которые' аннулируют некорректно посланные сообщения.

■В главе 2 доказано, что такие способы выбора критических событий и условий ОКС гарантируют истинность критерия корректности.

Для освобождения процесса, заблокированного по критическому событию, алгоритм АС не может использовать непосредственно условия ОКС, так как они содержат информацию недоступную для алгоритма АС.

Обозначим S(p,t) - фазу активности процесса р (S: Р 2 R -> {0,1-,2>). S(p,t) = 0 (процесс заблокирован), если процесс р к моменту физического времени t задержан алгоритмом АС по критическому событию, или ' процесс задержан • по событию получений.из буфера, когда буфер пуст. S(p,t) = '1, если процесс р активен. S(p,t) = 2, если процесс р закончил свое выполнение.

Обозначим Bl(p,t) - буфер по которому заблокирован процесс (Bl: Р х R -» В U 0). Если процесс р к моменту физического времени t активен, закончился, или задержан алгоритмом АС по критическому событию, которое не является событием чтения, то Bl(p,t) = 0. Если S(p,t)=0 и процесс р 'задержан по событ::ю чтения из буфера Ь, то Bl(p,t)=b.

... Следующая характеристика процесса программы - модельное время процесса. Модельное. время процесса T(p,t) - это модельное время последннего выполненного события этого процесса (Т: Р х R -> R U «>). Если S(p,t)=2, то будем считать T(p.t) =

Когда процесс заблокирован важно знать, предполагаемое модельное время следующего события. Будем называть его планируемым временем события ' и обозначать отображением Tp(p,t): Р х R-> R U «.

Таким образом состояние процесса программы р будем определять четверкой <S(p,t), T(p,t), Tp(p,t), Bl(p,t)>.

Для проверки условий ОКС алгоритм АС использует достаточные условия освобоадения критических событий "(условия ДУ). Из истинности условия ДУ следует истинность условия ОКС. Будем формулировать условия ДУ следующим образом. Пусть процесс р' - это произвольный процесс, заблокированный по критическому событию. Если условие- ДУ выполнено, то процесс р' можно разблокировать и позволить ему выполнить критическое событие.

В строго синхронных алгоритмах АС могут использоваться условия ДУ1 и ДУ2. Условие ДУ1:

vp (реР & р*р' -». S(p,t)=2 V S(p,t)=0 & Tp(p.t)aTp(p* ,t))-

Условие ДУ1 описывает следующий подход к сикхронизашш. Процессы задерживаются по критическим событиям и не освобождаются, пока все процессы не будут заблокированы. То есть пока не наступит тупиковая ситуация: у р (р с Р Б(р)=2 V Б(р)=0). Такая тупиковая ситуация отлавливается и организуется выход из нее путем освобождения тех процессов для которых выполнено условие ДУ1. Условие ДУ2:

В критическом событии увеличения модельного времени, по которому заблокирован процесс р', задержка = 0. Условие ДУ2 не может использоваться одно без условия

ДУ1.

В алгоритмах АС с синхронизацией взаимодействий могут использоваться условия ДУ1, ДУЗ и ДУ4. Условие ДУЗ:

ур (реР & р*р' Тр(р,г)аТр(р'Д)). Условие ДУЗ идейно близко условию ДУ1. Но оно позволяет освобождать процессы программы не дожидаясь тупиковой ситуации. УслоЕне ДУД:

Тр(р') = смодельному времени последнего выполненного процессом р* события чтения>.

Условие ДУД не может использоваться одно без условий ДУ1 или ДУЗ.

В консервативных алгоритмах АС могут использоваться условия ДУ1, ДУЗ, ДУ5, ДУб и ДУ7. Условие ДУ5:

ур (р€Р & р*р'& (р.ВКр'.Ш «74 Т(рД)аТр(р'Д)). Если алгоритм АС использует • для освобождения критических событий'только условие ДУб, то в системе могут возникать тупиковые ситуации. Поэтому условие ДУб . должно использоваться вместе с условиями ДУГ или ДУЗ.

Использование же только условий ДУ1 или ДУЭ приведет к тому, что алгоритм АС будет не консервативным, а, аягорйтмом АС с синхронизацией взаимодействий. Условие ДУД:

V р (р € Р ¿с р*р'& (p.Bl(P')) € V + Т(р)йТр(р') v S(p)=Q & Т(р)аТр(р') &

(v {Pl>^o(fe2 & ро=р & р^р/1^) &

Pj*P' (Oslsk) & S(pi)=Q & Kp-jXTpip') & Tp(pi)aTp(pf) & (Pj^.BKPj)) e V (0*1<k)

- Тр(рк)*Тр(р')) )).

Использование условия ДУб не может привести к тупикам, поэтому его можно использовать без других"условий. Условие ДУ7:

В буфере Bl(p') есть сообщения от всех процессов, которые могут посылать сообщения в этот буфер, с временем • отправления не меньше Тр(р').

Условие ДУ7 не может использоваться одно без условий ДУ5 (с условиями ДУ1 или ДУЗ) или ДУб.

Для проверки достаточных условий алгоритм АС должен обладать информацией о состоянии процессов программы. Отслеживание состояния распределенной системы - это одна из проблем реализации алгоритма. АС, решение которой зависит от свойств среды передачи между процессами. Во второй главе для разных сред передачи предлагаются разные алгоритмы сбора информации.

Для разработки алгоритма АС необходимо решить вопрос о размещении алгоритма АС в системе. Алгоритм АС может быть реализован централизовано в виде одного процесса управления (процесса ПУ). Кроме того возможны распределенные реализации алгоритма АС вплоть до случая, когда функции синхронизации выполняют сами процессы программы.

Таким образом, во второй главе были введены основные понятия, позволившие унифицировать представления о синхронизации в РИМ и классифицировать алгоритмы АС. В соответствии с предложенной системой понятий, каждый алгоритм АС характризуется:

классом (выбором множества критических событий и условий ОКС);

'множеством условий ДУ для проверки условий ОКС; размещением алгоритма АС в системе. Перечисленные характеристики алгоритмов АС определяют параллелизм алгоритмов и накладные расходы на поддержку параллелизма. Поэтому далее под разработкой алгоритма АС мы будем понимать выбор конкретных значений этих трех характеристик. ■

Предложенная классификация алгоритмов АС оставляет вне рассмотрения вопросы:

(1) Распределение процессов по процессорам. При проведении оценок расходов алгоритмов АС мы предполагали, что. процессы распределены по процессорам так, чтобы обеспечить наиболее равномерную загрузку процессоров.

(2) Подход "сквозных сообщений". Мы предполагали что условия ДУ проверяет некоторая компонента алгоритма АС, которая собирает всю необходимую для этого информацию. Существует альтернативный подход к проверке условий ОКС - подход

."сквозных сообщений", при котором в проверке одного условия ДУ участвуют несколько процессов программы. Этот подход не рассматривался, так как он может быть использован, лишь когда условия ДУ отслеживают процессы программы, а мы • при построении алгоритма АС остановились на централизованном размещении.. .'

В главе 3 разрабатывается алгоритм АС для моделирования МС-моделей на..ММВС системах, путем выбора значений трех основных характеристик алгоритма АС.

Критерии, по которым разрабатывался алгоритм АС для МС-моделей и ММВС систем, вполне, традиционны: время моделирования и дополнительная память, которая требуется для поддержки алгоритма АС. Время моделирования .зависит от параллелизма моделирования и накладных расходов на .время.-Накладные расходы на время складываются из: время, требуемое для выполнения события посылки и приема служебных' сообщений, которые необходимы для поддержки алгоритма АС;

. время, . необходимое для проверки условий освобожения

задержанных процессов.

В ходе рассмотрения возможных алгоритмов АС отсеивались заведомо неприемлимые решения (решение - это тройка значений характеристик алгоритма АС). Неприемлимыми. считались решения:

- решения, существенно сужающие область применения.алгоритма АС (решения расчитанные на узкие подмножества классов МС-моделей и ММВС систем);

- решения, дающие меньший параллелизм и большие накладные расходы на память и время, чем другие решения.

Для ■проведения ' отсева "неприемлимых решений использовались количественные оценки .на память и время, .приведенные в тексте диссертации. В результате отсева были выделаны'три алгоритма АС:

синхронизация взаимодействий, условие ДУД отслеживают •щюцессы программы, условие ДУЗ отслеживает один процесс ПУ;

консервативный алгоритм, условие ДУТ' отслеживают процессы программы, условия ДУ5 и ДУЗ отслеживает один процесс ПУ;

консервативный алгоритм,- условие ДУ7 отслеживают процессы программы, условие'ДУб"отслеживает один процесс БУ;

Относительно этих трех, алгоритмов АС, уже нельзя говорить о безусловной предпочтительности какого-то одного из них. Алгоритмы АС перечислены в порядке возрастания накладных расходов и параллелизма, и при выборе одного из них приходится чем-то жертвовать.

Затраты на память алгоритма с синхронизацией взаимодействий меньше, чем у .консервативных алгоритмов. В случае алгоритма с синхронизацией взаимодействий процесс ПУ должен хранить только информацию о состоянии процессов программы; Процесс ПУ консервативных алгоритмов должен кроме этого хранить информацию о топологии связей процессов (кто, кому, в какой буфер может писать и характеристики буферов).

-Накладные расходы времени на передачу служебных сообщений равны, так как равно, количество служебных сообщений.

Накладные расходы времени на проверку условий ДУ такие увеличиваются от первого к третьему алгоритму АС. Количественные оценки временных расходов на проверку условий ДУ получить трудно, так как неизвестно, сколько раз выполняется проверка каждого условия. Если сравнивать расходы на проверку одного условия, и считать единицей измерения время доступа к информации о состоянии одного процесса (г), то можно сделать следующие оценки.- Накладные расходы на проверку условия ДУЗ меньше либо равны пП (п -количество процессов программы). Накладные расходы условия ДУ5 - меньше либо равны ЬП (Ъ - среднее по буферам количество отправителей в буфер), а условия ДУ6 - меньше либо равны п*Ь*г. Эти расходы существенно меньше расходов оптимистичеких или смешанных алгоритмов АС, использующих принципы синхронизации из разных классов алгоритмов АС.

При выборе одного алгоритма-АС из трех мы исходили из того, что использование распределенного моделирования'вместо последовательного наиболее перспективно для высокопараллельных' программ с маловзаимодействующими процессами, с большой внутренней .работой процессов программы. Для таких задач накладные расходы алгоритма АС менее существенны, более существенней параллелизм моделироания.

Поэтому рекомендуется, как более перспективный, третий алгоритм АС: консервативный, с центральным процессом . ПУ, проверяющим условия ДУб и ДУ7. Этот алгоритм сравнительно прост (по сравнению к примеру с оптимистическими или смешанными алгоритмами АС) и позволяет гибко исцользовать параллелизм программы.

В главе 4 описывается система РИМ для ММВС системы "Стенд", реализованная на основе предложенного алгоритма АС.

В приложении 1 описывается имитационная модель транспортной станции, использовавшаяся для изучения характеристик построенной системы моделирования. Она написана на языке МС-моделей. ■ .. В приложении 2 приводятся тексты той же модели

транспортной станции, ко написанной на языке С с использованием пакета LOW. Тексты приводятся в качестве иллюстрации технологических преимуществ языка МС-моделей.'

Все представленные результаты получены автором

самостоятельно и изложены в следующих работах:

1. SmelyansklJ R.L., Kazakov Y.P., Bakalow Y.V. Combined approach to distributed computers simulation// Novosibirsk, Proc.'of the Conference PaCT-91, 1991.

2. Смелянский P.JI., Казаков Ю.П. Исследование влияния структуры и ПО транспортной станции на ее производительность методом имитационного моделирования // Тез. 3-ей Всесоюзной конференции ЛОКСЕТЬ-88. -Рига: 1988, ч. 1, е.. 190-194.

3. Смелянский Р.Л., Казаков Ю.П. Исследование влияния структуры и ПО транспортной станции на ее производительность методом имитационного моделирования // В сб. "Программное и математическое обеспечение вычислительных систем", - М.: Изд-во МГУ, 1988, с.51-57.

4. -Казаков Ю.П., Фурман Е.С. Моделирование системного монитора транспортной станции // Тез. 15-ой Всесоюзной школы-семинара по Вычислительным сетям, М. - Ленинград, ч. 3, 1990, с. 51-57.

'5. Евстигнеева Л.И., Казаков Ю.П., Фурман Е.С. Моделирование монитора транспортной станции высокоскоростной локальной сети // В сб. "Системное программирование и модели "исследования операций", - М.:Изд-во МГУ, 1992, (в печати).

6. Казаков Ю.П. Упорядоченность событий и' методы синхронизации в распределенном имитационном моделировании. // В . сб. "Программно - аппаратное- и математическое обеспечение вычислительных систем", МГУ, 1992, (в печати).

Предприятие «ПАТЕНТ». Москва, Г-59, Бережковская наб., 24