автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка и исследование метода построения программного комплекса моделирования для распределенных систем с многоуровневым представлением сложных объектов

На правах рукописи

РЕЗНИКОВ Владимир Борисович

РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДА ПОСТРОЕНИЯ ПРОГРАММНОГО КОМПЛЕКСА МОДЕЛИРОВАНИЯ ДЛЯ РАСПРЕДЕЛЕННЫХ СИСТЕМ С МНОГОУРОВНЕВЫМ ПРЕДСТАВЛЕНИЕМ СЛОЖНЫХ ОБЪЕКТОВ

Специальность: 05.13.18 — Математическое моделирование, численные методы, комплексы программ

Автореферат диссертации на соискание ученой степени кандидата технических наук

Таганрог - 2006

Работа выполнена ь радиотехническом университете.

Таганрогском государственном

Научный руководитель:

Официальные оппоненты:

Ведущая организация:

доктор технических наук, профессор Золотовскнй Виктор Евдокимович.

доктор технических наук, профессор Кох а не и ко Игорь Константинович (Ростовский военный институт ракетных войск, г. Ростов-на-Дону),

доктор технических наук, профессор Захаров Анатолий Григорьевич (Таганрогский государственный радиотехнический университет, г. Таганрог).

ОАО «Научно-исследовательский институт системотехники», г. Санкт-Петербург.

Зашита диссертации состоится 29 декабря 2006 г. в 14го на заседании диссертационного совета Д.212.259.03 Таганрогского государственного радиотехнического университета по адресу: 347928, Таганрог, пер. Некрасовский, 44, ауд. Д-406.

С диссертацией можно ознакомиться в библиотеке государственного образовательного учреждения высшего профессионального образования «Таганрогский государственный радиотехнический университет».

Автореферат разослан

Ученый секретарь д иссертацион ного доктор технически:

Целых А.Н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность темы. Моделирование как метод познания, издавна служит основным инструментом как исследователя, расширяющего границы науки, так и инженера, развивающего существующие технические средства. Обеспечение успешного решения задач моделирования является крайне актуальной научно-технической проблемой. Сложность решаемых задач, а так же качество их решения в значительной мере зависят от уровня развития и возможностей моделирующих средств.

В современной науке н технике объектами моделирования преимущественно являются технические (инженерные) системы — системы созданные человеком. Бурное развитие науки и техники ведет к тому, что объект исследования непрерывно усложняется, И уже сейчас технические объекты представляются в виде сложных систем, состоящих из большого числа взаимосвязанных друг с другом компонент. Для исследования таких систем наиболее пригодным и нередко единственно возможным является современный метод компьютерного моделирования, который позволяет изучать системы без их физической реализации, исследовать критические режимы работы технических объектов, а так же поведение таких систем, функционирование, которых опасно для человека или окружающей среды.

Постоянный рост сложности моделируемых объектов делает актуальным проблему разработки соответствующих программных комплексов, способных обеспечить расчет их моделей. Поскольку сложные инженерные объекты в общем случае описываются совокупностью моделей разной физической природы, то для их создания привлекаются ученые из различных областей науки, нередко не обладающие навыками программирования вычислительных средств. Кроме того, большое количество компонент объектов и их высокая размерность делают невозможным ручную обработку этих моделей. В этой связи не менее актуальным представляется разработка комплекса моделирования обеспечивающего максимальную автоматизацию всех этапов вычислительного эксперимента, от разработки общих математических моделей до их программирования на параллельных системах,

В этой связи диссертационная работа посвящена актуальной и важной научно-технической проблеме, как разработка новых и развитие существующих принципов организации и функционирования систем моделирования, обеспечивающих не только достижение требуемых характеристик для решения задач исследования сложных объектов, но и поднимающих процесс моделирования на высокий уровень, не требующий от ученых-исследователей квалификации в области программирования вычислительных средств, организуя их совместную работу в условиях территориального распределения.

Данная работа является развитием результатов исследований, проводимых на кафедре вычислительной техники ТРТУ под руководством д.т.н., профессора Гузика В.Ф. н д.т.н., профессора Золотовского В.Е. в рамках

научной школы «Высокопроизводительные проблемно-ориентированные вычислительные системы для структурно-процедурного моделирования и интеллектуального управления».

Цель работы м задачи исследования. Целью диссертационной работы является разработки и исследование метода построения проблемно-ориентированного программного комплекса моделирования, способного обеспечить поддержку конструирования моделей структурно сложных многокомпонентных технических систем и эффективное проведение вычислительного эксперимента с ними. Для достижения поставленной цели в работе были решены следующие основные задачи:

1) проведено исследование, показана возможность и разработаны методы автоматизации проведения основных этапов вычислительного эксперимента, таких как формирование обшей математической модели и программная реализация ев численного решения для распределенных систем;

2) разработаны методы оптимизации распределения решаемых моделей и автоматизации процесса их параллельного решения па различных аппаратных платформах с неоднородными вычислительными узлами;

3) разработана специализированная форма многоуровневого представления моделируемых объектов для автоматизации их обработки;

4) синтезирована архитектура и детализирован состав модулей высокопроизводительного распределенного комплекса имитационного моделирования;

3) реализована программно-аппаратная система структурного моделирования «СнмНП» на базе вычислительной сети и многопроцессорных акселераторов.

Методы исследования. В качестве методов исследования использованы: элементы теории множеств, теории алгоритмов, теории графов и теории численных методов. Гак же в работе были использованы методы и средства математического . моделирования, теории вычислительных систем, параллельного и объектно-ориентированного программирования.

Научная новизна заключается в создании нового метода организации и функционирования систсм моделирования сложных технических объектов и принципов создания на его основе оригинального программно-аппаратного комплекса структурного моделирования на базе неоднородной проблемно-ориентированной вычислительной системы.

К числу наиболее важных результатов диссертации относятся:

1) новая форма представления моделей сложных технических объектов, которая в отличие от существующих объединяет основные способы описания объектов в виде вложенных уровней, что позволяет автоматизировать процесс проведения вычислительного эксперимента;

2) новый метод построения систем * структурного моделирования, отличающийся от существующих распределенным характером компонент и реализацией конструирования моделей с учетом архитектуры базового распределенного вычислителя;

г

3) Разработан оригинальный метод распределения структурных моделей, отличающийся от существующих последовательной декомпозицией, динамической оценкой трудоемкости, ориентированный на неоднородные вычислительные среды, и позволяющий повысить скорость расчета математических моделей за счет более эффективного использования имеющихся вычислительных ресурсов;

4) усовершенствованная форма организации базы моделей (репозцтария) в части реализации многопользовательского распределенного характера, введения ссылок (метаданных) для хранения зависимостей между элементами структурных моделей (артефактами проектирования), что позволяет осуществлять модификацию отдельных уровней моделей без перестраивайия всей модели в целом.

Достоверность и обоснованность полученных в работе результатов подтверждается _ полнотой и корректностью исходных посылок, непротиворечивостью математических выкладок, проведенным теоретическим обоснованием и практической реализацией. Исследования и эксперименты были осуществлены при решении широкого класса задач моделирования (задачи управления, оптимизации параметров, расчет критических режимов работы) с использованием действующих прототипов многопроцессорных акселераторов. Получены свидетельства о регистрации программ для ЭВМ.

Научная н практическая ценность работы. В диссертационной работе решена важная научно-техническая задача, заключающаяся в развитии технологии создания программных комплексов моделирования для обеспечения проведения исследований структурно сложных технических объектов.

Научная ценность работы заключается в создании нового метода построения моделирующего комплекса, основанного на многоуровневом представлении моделей, которое устанавливает соответствие между моделями исследуемых объектов н моделями вычислителей, на которых они рассчитываются. Использование этого метода позволяет снизить трудоемкость этапов подготовки и сократить длительность проведения вычислительного эксперимента над сложными техническими объектами с использованием распределенных неоднородных вычислительных сред.

Практическая ценность работы заключается в реализации оригинального программно-аппаратного моделирующего комплекса «СимНП», использование которого позволяет 2-4 раза ускорить процесс построения моделей сложных систем и автоматизировать написание программ их численного решения, благодаря использованию наглядной визуальной формы описания структурных компонент моделей и автоматизации процессов их обработки. Данная среда позволяет сделать процесс моделирования доступным для специалистов различных областей науки, не обладающих квалификацией в области программирования вычислительных средств.

Реализация и внедрение результатов работы. Основные теоретические и практические результаты диссертационной работы использованы при проведении научно-исследовательских работ кафедрой вычислительной техники

Таганрогского государственного радиотехнического университета (ВТ ТРТУ) совместно с Университетом штата Южная Каролина в области разработки промышленного моделирующего стенда УТВ, при выполнении совместных работ ФНПЦ ОАО «НПО «Марс» и ТРТУ, а так же в ряде госбюджетных и хоздоговорных работах.

Материалы диссертации использованы и учебном процессе на кафедре ВТ ТРТУ при проведении практических занятий в цикле лабораторных работ по курсу: «Проблемно-ориентированные высокопроизводительные системы».

Апробация работы н публикации. Основные результаты диссертации докладывались и обсуждались на всероссийских и международных научно-технических конференциях и выставках.

На международной научно-практической конференции "Развивающиеся интеллектуальные системы автоматизированного проектирования и управления", Новочеркасск, 2001; на IV научной сессии МИФИ, Москва, 2001, на международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика», Москва, 2001, 2002; на всероссийской научно-технической конференции студентов, молодых ученых и специалистов "Новые информационные технологии в научных исследованиях и в образовании" (НИТ-2001), Рязань, 2001; на международной научно-технической конференции «СуперЭВМ и многопроцессорные вычислительные системы МВС2002» - Таганрог, 2002, на международной научной конференции «Системный подход в науках о природе, человеке и технике», Таганрог, 2003; на международной научно-технической конференции «Интеллектуальные системы» • Дивноморское, 2006.

Практические результаты выставлялись на выставке «Студент и научно-технический прогресс», Таганрог, 2001, на выставке посвященной 50-летию ТРТУ, Таганрог, 2002. Работа является лауреатом конкурса «Фундаментальные и прикладные проблемы современной техники», Ростов-на-Дону, 2002.

Основные положения и результаты, выносимые на защиту:

1) метод построения программных комплексов структурного моделирования структурно сложных технических объектов;

2) новый способ многоуровневого представления моделируемых объектов;

3) новый метод распределения структурных моделей для параллельного расчета в неоднородной вычислительной среде;

4) усовершенствованные алгоритмы автоматизации синтеза математического описания сложных систем и генерации параллельных программ их численного решения;

5) программно-аппаратный комплекс моделирования сложных технических объектов.

ЛичиыП вклад автора. Все научные и практические результаты, анализ организации систем моделирования, разработка оригинальной таксономии современных средств моделирования, многоуровневая форма представления моделей сложных технических объектов, метод построения распределенной

системы моделирования с адаптацией под базовый вычислитель, усовершенствованная форма организации репозитария моделей, метод распределения структурных моделей в неоднородном вы чистителе, создание программно-аппаратного моделирующего комплекса «СимНП», получены автором лично.

Публикации. По. теме диссертационной работы опубликовано 27 печатных работы, из них 15 статьей, 7 тезисов и материалов докладов на российских и международных научно-технических конференциях, 5 отчетов о. НИР, а так же 3 свидетельства о регистрация программ для ЭВМ.

Структура п объем работы. Диссертационная работа состоит из введения,- четырех разделов и заключения, изложенных на 188 страницах, содержит 56 рисунков, 12 таблиц, 146 наименований библиографии н 50 страниц приложений.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении приводиться обоснование актуальности темы диссертационной работы, описывается цель работы, определяется круг задач, формулируется объект и предмет исследования, указываются методы исследования, сообщается научная новизна и практическая значимость, а так же подтверждается достоверность полученных результатов.

В первой главе рассматриваются основные проблемы моделирования сложных технических систем и способы их решения, а так же дается сравнительный анализ современных систем моделирования, с целью оценки качества полученного решения - разработки моделирующих систем, позволяющих решить проблемы снижения трудоемкости задания исходных данных и программ при компьютерном исследовании сложных технических объектов и систем.

Основными характеристиками исследуемых сложных систем являются: большое количество компонент, имеющих различную физическую природу; взаимодействие компонент системы отражается сложной структурой связей, поведение системы описывается большим набором функций, поведение компонент может меняться с течением времени, присутствует динамика в структуре системы. Чем большим количеством данных характеристик обладает моделируемая система, тем выше ее сложность. Основа технологии и методологии проведения исследований таких систем, была заложена школой академика А, А. Самарского н получила название вычислительного эксперимента.

Специфика проведения вычислительного эксперимента для сложных систем требует автоматизацию всех этапов вычислительного эксперимента. В соответствии с этим, был проведен анализ современных моделирующих систем для оценки качества реализации каждого этапа вычислительного эксперимента. Результаты сравнительного анализа сведены в единую таблицу, представленную на рисунке 1.

X * Системы ^х 1 S | £ 1 Q> „ I W В О О S Ol § 3 ш R h- jä. 1 ^ Я в) |l Ol з: Щ л _ i1 a> II № Б f s <Ь ^ Ii Й « s I £ 1 Л ff n £ ig 0 CO 2 1 I if IE X m Й1 'S 1 Q. ü Ii ib iii ik 5 g s

ütmuiink - + + * _ * + - 4Ö46

LabView + + + + — - + + — 10000

Easy.5 + + + + + + + — - >10000

ACSL + ■ + - — + — + — 1000

vre + — - - - + 4- 10000

го-Sim ч* + + — + • + + + + fcooii

SYMBOLS-2000 + + - - — _ + + — 1CH30

VisSim + — + + — - • + * — ЮООО

Dynast + + + — + • • • + * 1000

Dymola + + + — 4- • * + + * 1000

AnyLogic + + + + а + н + • • «ООО

MVS + + + + + + + - + + 1000

МВТУ + — + + • • + • • 10Q0

■ СимНП ■ . + . «К- -f. ••v +V • •

Рисунок 1 - Таблица сравнительного анализа представленного решения с существующими системами моделирования Предлагаемый способ решения поставленных проблем в диссертационной работе воплощен в прототип программного комплекса моделирования СимНП ("Система моделирования Нового Поколения").

Система ориентирована на визуальный способ программирования и возможностью текстового задания структурных схем при помощи специализированного «языка структурного моделирования» (Я СМ). Моделируемые объекты описываются при помощи иерархических структурных схем, состоящих из компонент, которые задаются в форме математической нотации^ Программный комплекс позволяет описывать не только непрерывные модели, но и дискретные. Наряду со структурным описанием модели формируется алгоритмическое описание, определяющее порядок расчета (смены) непрерывных состояний системы. Расчет моделей ведется при помоши генерации исполняемого С-кода. Система ориентирована на распределенный многомашинный вычислительный комплекс. Результаты моделирования могут быть представлены как в традиционной форме, так н при помощи двумерных или трехмерных виртуальных моделей.

Таким образом, по результатам анализа можно заключить, что среда СимНП, соответствующая предлагаемым методам организации и функционирования систем моделирования сложных технических объектов, обладает практически всеми ключевыми характерными признаками, реализующими основные этапы проведения вычислительного эксперимента. При этом в полной мере данными свойствами не обладают ни одна из рассмотренных систем моделирования.

Во второй главе рассматриваются вопросы определения объекта и предмета исследования, а так же развивается теоретический базис к решению основных проблем построения комплекса моделирования сложных технических

систем и приводиться метод построения программного комплекса структурного моделирования технических объектов высокой размерности.

Для более точного позшрюнирования объекта исследований был предложен способ классификации моделирующих средств по трем критериям: по типу объекта моделирования, по способу представления моделей н по способу их решения. Согласно данной таксономии, объектом исследования является программно-аппаратные распределенные комплексы моделирования мультидисциплмнарных физических объектов с сосредоточенными параметрами. Предметом исследования является способ и особенности построения программно-аппаратных систем для эффективного решения задач моделирования сложных технических объектов.

Эффективное решение поставленных задач возможно при разбиении процесса проведения вычислительного эксперимента на ряд подзадач и реализации их проблемно-ориентированного решения по отдельности. Предлагаемый подход реализуется путем введения инкапсулированного многоуровневого представления структурных моделей. На каждом уровне представления структурная модель рассматривается только в рамках отдельной подзадачи моделирования.

В зависимости от назначения структурной модели можно выделить пять вложенных уровней представления: математический, функциональный, алгоритмический, вычислительный и описательный.

Базис структурных моделей описывается множеством элементарных моделей мощностью N — М ~ {т1 }. Каждая элементарная модель т^М, 1 = 1..ЛГ в свою очередь представляет собой множество, состоящее из подмножеств портов Р мощностью К и подмножества компонентных уравнений Е мощностью Ь — .....ркХ(е......еь)}, где р^ Р, у = 1..АГ,

/ = 1.Х. Подмножество портов включает в себя набор из Т} терминалов ь—^.гЬ Элементами подмножества уравнений являются

дифференциальные или алгебраические уравнения системы математического базиса структурных моделей.

На функциональном уровне структурная модель представляется в виде иерархического графа Я:

Н=(О.Т). (1)

где О - основной граф иерархического графа, Г — иерархия фрагментов графа,

фрагментом графа является подграф (7, £(7, ( = 0..Л/, М — равно числу компонент рассматриваемой структурной модели на всех уровнях иерархий. Фрагмент (7/ представляет собой ненаправленный граф с взвешенными вершинами и ребрами и описывается кортежем:

с^лс.ггл (2)

где Vt £ V — множество вершин /-го фрагмента графа, представляющих элементарные модели или компоненты на текущем уровне иерархии (V -множество всех вершин графа ¡í)\ R¡ g R - множество ребер i-ro фрагмента графа, указывающие структурные связи между компонентами (Л - множество всех ребер графа); с ¡(г) - функция стоимости ребра г выражающаяся в суммарном количестве переменных, по которым связываются компоненты; -множество, объединяющее подмножества всех элементов математических моделей компонент. Расчет с,(г) не составляет особой сложности и выполняется на этапе построения структурной модели.

Для автоматического решения задачи равномерной загрузки вычислительных узлов система моделирования должна обладать информацией об архитектуре вычислителя. С этой целью ломимо модели, исследуемой физической системы, на вычислительном уровне строится структурная модель базового вычислителя, которая представляется при помощи неориентированного взвешенного графа, описываемого кортежем:

S-(P,l,b,q,a), (3)

где Р - множество вершин графа структурной модели с мощностью Nt соответствующее процессорным узлам; L - множество ребер графа мощностью К, ребра соответствуют сетевым коммутационным линиям, связывающим вычислительные узлы между собой, ребро !=(ph,p,J указывает, что вычислительные узлы к и т связаны коммутационной линией; Ъ(1) - функция стоимости ребра графа, задаваемое значением пропускной способности сетевого канала /, выраженного в битах в секунду; q(p) - функция веса вершины графа, определяет пиковую производительность узла, указываемого в количестве операций с плавающей точкой в секунду (флопс); afp) - функция адресации узлов графа. Для более точной оценки уровня равномерности распределения вычислительной нагрузки структурная модель дополняется эвристической моделью распределенного вычислителя, которая задастся в виде двух таблиц: таблицы вычислительных затрат и таблицы обменных затрат.

Строки таблицы вычислительных затрат помечаются элементарными математическими функциями или операциями, допустимыми к использованию в математических моделях. Столбцы таблицы помечаются номерами узлов графа структурной модели вычислителя. Элемент таблицы TcfijJ, где ¡-J...M, N (А/ - количество поддерживаемых математических функций й операций), содержит среднее время вычисления функции i на вычислительном узле/

Строки таблицы обменных затрат помечаются ребрами графа, а столбцы - размерами блоков передаваемых данных. Элемент таблицы Те[ij], где i" i...К, j=¡..D (D - количество дискретных размеров блоков) содержит среднее время передачи блока фиксированного размера B(jJ по каналу, соответствующему í ребру графа, где Bß] — табличная функция, возвращающая дискретное значение размеров передаваемых блоков данных, поскольку в общем случае скорость передачи данных зависит от размера передаваемых блоков.

Разработанный многоуровневый базис сложных моделей позволяет описывать физические системы с детерминированными сосредоточенными параметрами, имеющие гибридный характер поведения.

Рассмотренный базис формализованного представления моделируемых объектов был использован при разработке метода автоматизации построения математических моделей сложных систем структурно-функциональным способом. В основу метода было положено представление моделируемого объекта высокой размерности как совокупности иерархически взаимосвязанных объектов более низкой размерности. Отличительной особенностью предлагаемой метода является то, что полное математическое описание моделируемого объекта оставляется в декомпозируемом виде, что упрощает последующее распараллеливание решения.

Согласно методу, автоматизация построения математического описания сложного объекта реализуется данной последовательностью этапов:

1) наполнение математического уровня базиса элементарных моделей — создание структурных элементов соответствующих конкретной предметной области исследуемого объекта;

2) формирование функционального, уровня базиса - построение схемы взаимосвязи базовых моделей, отражающих структуру моделируемого объекта;

3) обработка структурных моделей дополнение математическим моделям уравнениями связи согласно функциональным связям в структурных схемах;

4) упрощение полученного математического описания (подготовка к решению).

Предлагаемый алгоритм автоматического синтеза математического описания сложных объектов состоит из следующих основных этапов:

1) элементарная модель описывается структурной схемой на основе базиса визуальных элементов, соответствующего предметной области модели. Данная схема формируется в соответствии с функциональным базисом структурных моделей, с использованием портов и вложенных компонент;

2) каждому элементу базиса сопоставляется фрагмент графа, описывающего данный элемент в терминах направленных сигнальных графом, набор параметров или соответствующие компонентные уравнения;

3) комплекс моделирования формирует соответствующий граф описания модели на базе схемы связи элементов функционального уровня (1);

4) полученный граф обрабатывается согласно алгоритму автоматического формирования компонентных уравнений, результатом работы которого является описание исходной модели в математическом базисе представления (3).

Одним из важных этапов генерации математического описания является корректировка соединений в графе модели. Для автоматизации этой задачи был разработан специальный алгоритм автоматизации корректировки соединений в направленном графе модели. Особенностью реализации алгоритма является введение вектора признаков направленности для элементов сигнального графа и стека обработки узлов. Результатом его работы является логическая схема соединения компонент, ориентированных вдоль путей распространения энергии.

Был разработан алгоритм генерации параллельных программ численного решения моделей сложных объектов. Особенностью алгоритма является использование шаблонов численного решения систем уравнений общего вида, в которые добавляются компонентные уравнения элементарных объектов. При этом возможно программа численного решения разделяется на две части: блок решения обшей матрицы конкретным численным методом и блок расчета обшей матрицы. Параллельная реализация второго блока и рассматривается в данной диссертационной работе, С этой цель был предложен метод распределения иерархических структурных моделей по узлам гетерогенного вычислителя. Для решения этой задачи используется оценки времени решения структурной модели, представляемой фрагментом G¡. Вводиться функция времени Т(е,р), определяющая длительность вычисления элемента математической модели е на процессоре р, Если еу — подмножество £,, которое содержит элементы математической модели компонента v е V¡), то общая длительность расчета фрагмента G¡ на процессоре р вычисляется следующим образом:

' ' А/.

т(Е„р) = "£т{е^,р), \ (4)

у-'

где Л/, —мощность множества Vi (2).

Согласно математическому базису (3) описание любой элементарной модели представлено в виде системы дифференциально-алгебраических уравнений, н подмножество е( можно описать в виде множества уравнений -E/NEJ, состоящего из подмножества дифференциальных уравнений - DfNDJ и подмножества арифметических уравнений - A [NA], где Е - D^jА и мощность множества Е в этом случае равна: NE=ND+NA. Причем множество линейных уравнений состоит из двух подмножеств: подмножество уравнений с нулевой левой частью и подмножество уравнения присваивания.

Элемент множеств Е, D и А представляет собой уравнение, и в свою очередь состоит из подмножеств функций —FfNFJ и арифметических операций -ÓfNOJ. Отсюда (4), получаем полную оценку сложности модели: А/, Л'/ N¿ .... Л'

Т&,р)= X&TiFjt.p) ч- J^TiOj ,/>))■ Клктода , (5)

j-i *-i я-!

где Njf - мощность множества функций элемента и N¿ - мощность множества арифметических операций, составляющих суперпозицию evj; K.wmoóa ~ коэффициент, учитывающий увеличение временных затрат при выборе конкретного метода решения уравнения.

Необходимо отметить, что представленный способ оценки сложности структурной модели реализуется для каждого вычислительного узла отдельно

при помощи эвристической модели распределенного вычислителя. Данный метод может быть применим при выполнении следующего условия;

'ЛЙ1 — 'нат ^распр + ^оленд ' (6)

где - максимальное время ожидания пользователем реакции системы,

- длительность полного распределенного решения, - затраты на поиск

оптимального варианта распределения, - длительность последовательного полного распределенного решения. Длительность решения рассчитывается как произведение соответствующей оценки 7* на количество шагов интегрирования.

Соотношение (6) указывает, что при разработке алгоритма автоматического распределения не только оценивается эффективность найденного оптимального, варианта, но предварительно определяется время его поиска. Поскольку одна из основных целей системы моделирования является минимизации времени проведения моделирования, и если условие (б) не выполняется, то применение метода автоматического распределения нецелесообразно.

Отсюда алгоритм распределения структурных моделей по процессорам распределенного вычислителя состоит нз следующих этапов: )) Все модели распределяются на процессор, дающий минимальную оценку трудоемкости Т (5)',

2) Производиться распределение модели с наибольшей оценкой трудоемкости на другие процессорные узлы с минимизацией общей оценки для всей структурной модели;

3) Распределение производиться до тех пор, пока общая оценка трудоемкости (5) убывает. Конец работы при нарушении условия (6).

Результатом работы алгоритма будет набор множеств, соответствующих процессорам вычислителя, которые содержат распределенные компоненты исходной структурной схемы. Собственно метод автоматизации программирования распределенного, вычислителя реализуется- в три основных этапа: расчет оценки Г для отдельных объектов, распределение структурных моделей при условий (б), генерации программы расчета конкретной части математического описания по выбранному шаблону решения.

Особенностью применения данного метода является распределение объектов с учетом эффективной загрузки вычислителя и минимизации времени решения задачи моделирования. Применение расчетов временной оценки длительности распределения непосредственно в процессе декомпозиции, позволяет достичь компромисса между качеством решения и заданными временными рамками его поиска, что отличает данный метод от существующих.

В третьей главе представлены результаты практической реализации системы моделирования согласно разработанным принципам.

, В результате исследования архитектур различных моделирующих средств была синтезирована архитектура комплекса структурного моделирования

сложных технических объектов, представленная на рисунке 2 в виде блок-схемы и представляющая собой набор отдельных сетевых серверов.

Интерфейс пользователя комплекса воплощен в сервере программирования. Данный сервер содержит в себе ряд модулей, обеспечивающих соответственно все этапы программирования системы. Непосредственную всю обработку компонент структурных схем осуществляет сервер обработки. В состав данного сервера входят следующие модули:

• модуль генерации математических моделей (служит для автоматического описания структурных схем, таких как электрические схемы, в виде отдельных компонент);

• модуль обработки структурных схем (решает задачу объединения компонент структурных схем);

• модуль обработки математических выражения (модуль для упрощения и преобразования элементов математического описания моделей);

• модуль распределения структурных компонент (осуществляет оптимизированное распределение компонент моделируемой структурной схемы по узлам распределенного вычислителя).

Кгнстррсгер ПЛамроМцм РММПР ечруйурми ем» Кенефрлар

V- • ■( -• • ^

'. .. . N

Меду ЛЬ 0бр*6оли рЛ*гем*Г*ж*а* Шцццнщцци И1Д1ЛИ1 ЯИИЦрИИРШ Мч)щ сютГФръа

г<

1

Сц—цщттиняа.

ЧрУЩрвМЧ

Ч_ _н-

МЙ •!;•

-V

Рисунок 2 - Детальная архитектура комплекса моделирования Компоненты моделируемой схемы распределяются по вычислительным серверам, осуществляющим расчет моделей. Для решения данной задачи в составе этих серверов используются модули генерации программ решения математических моделей в соответствии с операционной платформой и типом процессора вычислительного узла, на котором установлен данный конкретный сервер. В процессе решения обмен данными между вычислительными серверами осуществляется при помощи коммуникационных модулей. Результаты моделирования собираются в хервере визуализации результатов моделирования.

В процессе моделирования с учетом многоуровневого представления структурной модели, необходимо решать следующие задачи:

1) задать математическую модель каждого элемента структурной схемы (математический уровень);

2) построить структурную схему взаимосвязи элементов (функциональный уровень);

3) определить порядок расчета набора структурных схем (алгоритмический уровень);

4) сгенерировать программы решения моделей (вычислительный уровень);

5) построить визуальное представление схемы и определить способ отображения результатов моделирования (описательный уровень).

Задачи вычислительного уровня решаются автоматически системой моделирования. Решение остальных задач осуществляется при интерактивном взаимодействии с пользователем. Для решения этих задач предложены следующие специализированные визуальные редакторы. Интерфейс пользователя для системы моделирования нового поколения. (СимНГ!), представлен на рисунке 3.

Рисунок 3 - Интерфейс пользователя системы моделирования «СимНП» Для хранения артефактов моделирования была разработана специализированная база данных хранения многоуровневых моделей. Особенностями организации базы является: сохранение в ней данных композиционных (сложных) моделей в виде иерархических структур , элементарных моделей и разбиение описания исходных моделей на несколько уровней абстракций, каждый из которых имеет несколько реализаций. Данные свойства были расширены в сторону поддержки НЬЛ подхода (распределенное моделирование), а именно использования распределенных баз данных и сохранения в репозитарии всех уровней структурных моделей. Каждая их баз реализуется в двух видах: локальном и удаленном. Локальная база используется для буферизации обменов с глобальной базой данных.

В качестве вычислительной базы для системы моделирования была спроектирована распределенная сеть - кластер на базе МР1СН 2.0, рабочие станции которого усилены посредством многопроцессорного акселератора, реализованного на базе процессоров ЦОС ЭНАЯС АОБР 21160Н

В четвёртой главе была проведена проверка пригодности использования принципов структурного моделирования к решению широкого класса задач. Было проведено разбиение множества задач на три подмножества по принципу декомпозиции систем:

1) Объекты связаны между собой линией передачи энергии, и взаимодействуют друг с другом в направлении распространения энергии.

2) Объекты тесно связаны друг с другом, при этом имеются в наличии цепи обратной связи, в которых взаимодействие противоположно вектору передачи энергии.

3) Отдельные объекты моделируются независимо друг от друга, какая либо связь между ними отсутствует.

Первый тип задач представляется задачей моделирования энергоустановки. Задача моделирования инвертированного маятника соответствует второму типу. Задача моделирования распространения акустического сигнала в водной среде относится к третьему типу задач. Три выбранных примера позволяют максимально охватить множество существующих систем н рассмотреть различные способы взаимодействия объектов в системе.

Рисунок 4 - Результаты проведения моделирования тестовых задач В ходе решения тестовых задач с использованием макета четырехпроиессорной вычислительной системы было проведено исследование эффективности работы алгоритмов организации процесса моделирования. Результаты проведения экспериментов представлены на рисунке 4, Исследования показали необходимость использования акселераторов при решении задач итерационными методами, что требует использования методов смешанного интегрирования. Наблюдаемое снижение производительности объясняется за счет существенной разницы в производительности акселератора и хоста. Было достигнуто ускорение близкое к линейному, коэффициент эффективности распределения (отношения вычислительных затрат к обменным)

показал соответствие экспериментальных данных с теоретическими оценками. В целом анализ показал пригодность разработанных принципов построения моделирующих комплексов сложных технических объектов мри проведении моделирования согласно трем выбранным способам декомпозиции моделируемого объекта. Это позволяет распространить полученные результаты на смешанные по типу комбинации декомпозиций структурно сложных схем при моделировании сложных технических систем.

В заключении сформулированы основные выводы и результаты диссертационной работы.

В приложении приводятся акты об использовании результатов диссертационной работы, описание языка структурного моделирования, описание способа организации взаимодействия комплекса моделирования с многопроцессорным акселератором, результаты проведения экспериментов.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1) новая форма представления моделей сложных технических объектов, которая в отличие от существующих объединяет основные способы описания объектов в виде вложенных уровней, что позволяет автоматизировать процесс проведения вычислительного эксперимента;

2) новый метод построения систем структурного моделирования, отличающийся от существующих распределенным характером компонеегг и реализацией конструирования моделей с учетом архитектуры базового вычислителя. Это позволяет поддержать распределенное моделирование;

3) усовершенствованная форма организации базы моделей (репозитария) в части реализации многопользовательского распределенного характера, введения ссылок (метаданных) для хранения зависимостей между элементами структурных моделей (артефактами проектирования), благодаря чему модификация отдельных уровней моделей реализуется без необходимости всей модели в целом;

4) новый метод распределения структурных моделей отличающийся от существующих последовательной декомпозицией, динамической оценкой трудоемкости и поддерживающий неоднородные вычислительные среды, позволяющий повысить скорость расчета математических моделей за счет более эффективного использования имеющихся вычислительных ресурсов;

5) Предложена оригинальная таксономия современных моделирующих средств по трем критериям, позволяющая более точно их классифицировать;

6) Синтезированы усовершенствованные алгоритмы автоматизации синтеза математического описания сложных систем и генерации параллельных программ их численного решения;

7) Разработан программно-аппаратный комплекс моделирования сложных технических объектов - «СимНП» (Система моделирования Нового Поколения).

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1) Резников В.Б. Высокопроизводительный вычислительный комплекс для моделирования сложных систем// Сборник работ лауреатов конкурса молодых ученых «Фундаментальные и прикладные проблемы современной техники» иэд-во СКНЦВШ-Ростов-на-Дону, 2002, с, 134-142.

2) Резников В.Б., Переверзев В.А., Ляшкова С.И. Модуль визуализации для системы структурного моделирования// Известия ТРТУ. Таганрог: Изд-во ТРТУ. 2003. Ха 3(32), С. 80-85.

. 3) Золотовский В.Е., Резников В.Б. Система моделирования со структурными принципами программирования// «Известия вузов. Приборостроение». Том 46, №2, февраль 2003, С. 64-67.

4) Золотовский В.Е., Резников В.Б., Савельев П.В., Ляшкова С.И. Специализированный комплекс для символьной обработки в системе структурного моделирования. Известия ТРТУ. Таганрог Изд-во ТРТУ. 2003. № 3(32), С.74-80.

5) Zolotovsky V.E., Reznikov V.B. and Lyashev V.A. Modeling environment for complex rnulticomponent engineering systems// International Conference "IT-2004", part#3, Taganrog: TSURE, Nov., 2004, pp.56-59.

6) Золотовский B.E., Резников В.Б. Система структурного моделирования сложных технических объектов// «Известия СКНЦВШ. Технические науки». -2005 .-Приложение №1, С. 49-52.

7) Золотовский В.Е., Резников В.Б. Многоуровневый базис представления моделей сложных технических систем// «(Известия СКНЦВШ. Технические нау ки ».-2005.-Пр нложение № 1, С. 53-56.

8) Резников В.Б. Таксономия современных средств моделирования// Известия ТРТУ. Специальный выпуск. - Таганрог: Изд-во ТРТУ, 2005. № 9(53). -332 е.— С.65-66.

9) Резников В.Б. Особенности организации систем управления базами данных хранения многоуровневых структурных моделей// Известия ТРТУ. -Таганрог: Изд-во ТРТУ, 2006. №5 (60). - 218 с. - С.194-197.

10) Золотовский В.Е., Резников В.Б. Методы автоматизации распределения сложных иерархических структурных моделей на неоднородном распределенном вычислителе// Труды международных научно-технических конференций «Интеллектуальные системы» (AIS'06) и «Интеллектуальные САПР» (CAD-2006). Научное издание в 3-х томах. М.: Физматлит, 2006, Т.1. -456 с. - С.386-391.

В работах, опубликованных в соавторстве, лично автору принадлежат следующие результаты: в работе [2] - структура комплекса визуализации; в работах [3, 4, 5, 6] — принципы организации и функционирования основных компонент программного комплекса структурного моделирования; в работе [7] — принципы представления сложных моделей в многоуровневом базисе; в работе [10] - метод распределения структурных моделей.

Подписано в печать . .2006 г. Заказ Н'53

Формат 60x84 1/16. Печать офсетная _Печ. л. 1,0. Тираж 100 экз._

Издательство Таганрогского государственного радиотехнического университета ГСП 17 А, Таганрог, 28, Некрасовский, 44 Типография Таганрогского государственного радиотехнического университета ГСП 17А, Таганрог, 28, Некрасовский, 44

ВВЕДЕНИЕ.

1 АНАЛИЗ СУЩЕСТВУЮЩИХ СИСТЕМ МОДЕЛИРОВАНИЯ.

1.1 Проблемы моделирования сложных технических систем.

1.1.1 Задачи моделирования сложных систем.

1.1.2 Виды моделирования.

1.1.3 Проблемы компьютерного моделирования сложных систем.

1.2 Развитие систем моделирования.

1.3 Анализ современных систем моделирования.

1.3.1 Порядок проведения анализа.

1.3.2 Анализ характерных признаков наиболее распространенных систем моделирования.

1.3.3 Сравнительный анализ современных систем и предлагаемого решения.

1.4 Выводы.

2 МЕТОД ПОСТРОЕНИЯ ПРОГРАММНОГО КОМПЛЕКСА МОДЕЛИРОВАНИЯ ТЕХНИЧЕСКИХ ОБЪЕКТОВ ВЫСОКОЙ РАЗМЕРНОСТИ.

2.1 Выдвигаемая гипотеза решения поставленной задачи.

2.2 Разработка таксономии современных систем моделирования и классификация объекта исследования.

2.3 Задачи и цели системы моделирования.

2.4 Принципы представления моделируемых объектов.

2.5 Многоуровневый базис представления структурных моделей.

2.5.1 Иерархия уровней.

2.5.2 Математический базис представления структурных моделей.

2.5.3 Функциональный базис представления структурных моделей.

2.5.4 Алгоритмический базис представления структурных моделей.

2.5.5 Вычислительный базис представления структурных моделей.

2.5.6 Описательный базис представления структурных моделей.

2.6 Разработка метода автоматизации построения математических моделей сложных систем структурно-функциональным способом.

2.6.1 Предлагаемый способ решения задачи.

2.6.2 Разработка базиса структурных элементов.

2.6.3 Метод автоматизации функционального описания сложных систем.

2.6.4 Реализация построения структурного способа описания объектов.

2.6.5 Разработка методики автоматической генерации общей математической модели.

2.7 Разработка метода автоматической генерации эффективных параллельных программ расчета структурных моделей.

2.7.1 Цели и задачи метода.

2.7.2 Исследование способов распределения структурной модели.

2.7.3 Построение моделей распределенного вычислителя.

2.7.4 Оценка сложности структурной модели.

2.7.5 Оценка эффективности вариантов распределения структурных моделей

2.7.6 Разработка алгоритма автоматического распределения структурных моделей.

2.7.7 Разработка методики автоматизации программирования распределенного вычислителя.

2.8 Выводы.

3 РАЗРАБОТКА И ИССЛЕДОВАНИЕ СИСТЕМ СТРУКТУРНОГО

МОДЕЛИРОВАНИЯ.

3.1 Исследование архитектуры и технологии моделирования структурнофункционального моделирующего комплекса.

3.2 Построение интерфейса программирования системы.

3.3 Разработка баз хранения структурных моделей.

3.5 Разработка модуля символьной обработки для системы структурного моделирования.

3.5.1 Структура модуля символьной обработки.

3.5.2 Разработка модуля лексического разбора.

3.5.3 Разработка модуля синтаксического разбора.

3.6 Исследование эффективных методов численного решения моделей.

3.6.1 Принципы численного решения структурных моделей.

3.6.2 Генерация программ численного интегрирования.

3.6 Разработка распределенного вычислителя системы структурного моделирования.

3.6.1 Архитектура распределенного вычислителя.

3.7 Выводы.

4 КОМПЛЕКСНОЕ ИССЛЕДОВАНИЕ ТЕХНИЧЕСКИХ ОБЪЕКТОВ С

ПРИМЕНЕНИЕМ ССПМ.

4.1 Пример решения задачи синтеза систем управления в среде SimNG.

4.1.1 Постановка задачи.

4.1.2 Декомпозиция исследуемой системы.

4.1.3 Составление библиотеки структурного базиса.

4.1.4 Программирование структуры модели в среде моделирования.

4.1.5 Программирование алгоритма расчета многоуровневой модели.

4.1.6 Программирование вычислительного уровня многоуровневой модели

4.1.7 Проведение моделирования структурной модели многозвенного маятника

4.2 Пример моделирования электромеханических систем в среде SimNG.

4.2.1 Постановка задачи моделирования сильносвязанных объектов.

4.2.2 Исходная структурная модель энергоустановки.

4.3 Решение задач подборки оптимальных параметров.

4.3.1 Исходная модель гидроакустической антенны.

4.4 Выводы.

Актуальность темы. Моделирование как метод познания, издавна служит основным инструментом как исследователя, расширяющего границы науки, так и инженера, развивающего существующие технические средства. Обеспечение успешного решения задач моделирования является крайне актуальной научно-технической проблемой. Сложность решаемых задач, а так же качество их решения в значительной мере зависят от уровня развития и возможностей моделирующих средств.

В современной науке и технике объектами моделирования преимущественно являются технические (инженерные) системы - системы созданные человеком. Бурное развитие науки и техники ведет к тому, что объект исследования непрерывно усложняется. И уже сейчас технические объекты представляются в виде сложных систем, состоящих из большого числа взаимосвязанных друг с другом компонент. Для исследования таких систем наиболее пригодным и нередко единственно возможным является современный метод компьютерного моделирования, который позволяет изучать системы без их физической реализации, исследовать критические режимы работы технических объектов, а так же поведение таких систем, функционирование, которых опасно для человека или окружающей среды.

В настоящее время компьютерное моделирование бурно развивается во всем мире. За рубежом проблемам разработки систем моделирования уделяется очень большое внимание. Ведутся широкие исследования в США, Швеции, Франции, Германии и во многих других странах. Заметна тенденция к объединению усилий ученых разных стран для решения этой важной проблемы, примером может служить проект Modelica, организованный в 1997г. двумя десятками университетов и компаний различных европейских стран. В нашей стране моделирование было существенно продвинуто школой академика Самарского А.А. (МГУ), сформулировавшим понятие «вычислительного эксперимента». Значительный вклад в эту область внесли академики Тихонов

А. Н., Виттенберг И.М., Прангишвили И.В. и др. В ТРТУ широкие исследования в области цифровых моделей были начаты академиком Каляевым

A.В. и в настоящее время развиваются под руководством профессоров Гузика

B.Ф., Пьявченко О.Н., Золотовского В.Е. и др. Исследования, проводимые в рамках школы профессоров Гузика В.Ф. и Золотовского В.Е., направлены на развитие моделирующих средств, как в сторону расширения их возможностей, так и упрощения работы с ними с учетом достигнутого уровня современного аппаратного и программного обеспечения вычислительной техники.

Постоянный рост сложности моделируемых объектов требует разработки соответствующих вычислительных средств, способных обеспечить расчет их моделей. Поэтому развитие высокопроизводительных проблемно-ориентированных систем, решающих современные задачи моделирования представляется достаточно актуальным. Поскольку сложные инженерные объекты в общем случае описываются совокупностью моделей разной физической природы, то для их создания привлекаются ученые из различных областей науки, нередко не обладающие навыками программирования вычислительных средств. Кроме того, большое количество компонент объектов и их высокая размерность делают невозможным ручную обработку этих моделей. Поэтому не менее актуальным представляется разработка систем моделирования обеспечивающих максимальную автоматизацию всех этапов вычислительного эксперимента, от разработки общих математических моделей до их программирования на параллельных системах.

В этой связи диссертационная работа посвящена актуальной и важной научно-технической проблеме, как разработка новых и развитие существующих принципов организации и функционирования систем моделирования, обеспечивающих не только достижение требуемых характеристик для решения задач исследования сложных объектов, но и поднимающих процесс моделирования на высокий уровень, не требующий от ученых-исследователей квалификации в области программирования вычислительных средств, организуя их совместную работу в условиях территориального распределения.

Данная работа является развитием результатов исследований, проводимых на кафедре вычислительной техники ТРТУ под руководством д.т.н., профессора Гузика В.Ф. и д.т.н., профессора Золотовского В.Е. в рамках научной школы «Высокопроизводительные проблемно-ориентированные вычислительные системы для структурно-процедурного моделирования и интеллектуального управления».

Цель работы и задачи исследования. Целью диссертационной работы является разработки и исследование метода построения проблемно-ориентированного программного комплекса моделирования, способного обеспечить поддержку конструирования моделей структурно сложных многокомпонентных технических систем и эффективное проведение вычислительного эксперимента с ними. Для достижения поставленной цели в работе были решены следующие основные задачи:

1) проведено исследование, показана возможность и разработаны методы автоматизации проведения основных этапов вычислительного эксперимента, таких как формирование общей математической модели и программная реализация её численного решения для распределенных систем;

2) разработаны методы оптимизации распределения решаемых моделей и автоматизации процесса их параллельного решения на различных аппаратных платформах с неоднородными вычислительными узлами;

3) разработана специализированная форма многоуровневого представления моделируемых объектов для автоматизации их обработки;

4) синтезирована архитектура и детализирован состав модулей высокопроизводительного распределенного комплекса имитационного моделирования;

5) реализована программно-аппаратная система структурного моделирования «СимНП» на базе вычислительной сети и многопроцессорных акселераторов.

Методы исследования. В качестве методов исследования использованы: элементы теории множеств, теории алгоритмов, теории графов и теории численных методов. Так же в работе были использованы методы и средства математического моделирования, теории вычислительных систем, параллельного и объектно-ориентированного программирования.

Научная новизна заключается в создании нового метода организации и функционирования систем моделирования сложных технических объектов и принципов создания на его основе оригинального программно-аппаратного комплекса структурного моделирования на базе неоднородной проблемно-ориентированной вычислительной системы.

К числу наиболее важных результатов диссертации относятся:

1) новая форма представления моделей сложных технических объектов, которая в отличие от существующих объединяет основные способы описания объектов в виде вложенных уровней, что позволяет автоматизировать процесс проведения вычислительного эксперимента;

2) новый метод построения систем структурного моделирования, отличающийся от существующих распределенным характером компонент и реализацией конструирования моделей с учетом архитектуры базового распределенного вычислителя;

3) Разработан оригинальный метод распределения структурных моделей, отличающийся от существующих последовательной декомпозицией, динамической оценкой трудоемкости, ориентированный на неоднородные вычислительные среды, и позволяющий повысить скорость расчета математических моделей за счет более эффективного использования имеющихся вычислительных ресурсов;

4) усовершенствованная форма организации базы моделей (репозитария) в части реализации многопользовательского распределенного характера, введения ссылок (метаданных) для хранения зависимостей между элементами структурных моделей (артефактами проектирования), что позволяет осуществлять модификацию отдельных уровней моделей без перестраивания всей модели в целом.

Достоверность и обоснованность полученных в работе результатов подтверждается полнотой и корректностью исходных посылок, непротиворечивостью математических выкладок, проведенным теоретическим обоснованием и практической реализацией. Исследования и эксперименты были осуществлены при решении широкого класса задач моделирования (задачи управления, оптимизации параметров, расчет критических режимов работы) с использованием действующих прототипов многопроцессорных акселераторов. Получены свидетельства о регистрации программ для ЭВМ.

Научная и практическая ценность работы. В диссертационной работе решена важная научно-техническая задача, заключающаяся в развитии технологии создания систем моделирования для обеспечения проведения исследований сложных технических объектов.

Научная ценность заключается в создании нового метода построения моделирующего комплекса, основанного на многоуровневом представлении моделей, которое устанавливает соответствие между моделями исследуемых объектов и моделями вычислителей, на которых они рассчитываются. Использование этого метода позволяет снизить трудоемкость этапов подготовки и сократить длительность проведения вычислительного эксперимента над сложными техническими объектами с использованием распределенных неоднородных вычислительных сред.

Практическая ценность работы заключается в реализации оригинального программно-аппаратного моделирующего комплекса «СимНП», использование которого позволяет 2-4 раза ускорить процесс построения моделей сложных систем и полностью исключить ручное написание программ их численного решения, благодаря использованию наглядной визуальной форме описание структурных компонент моделей и автоматизации процессов их обработки. Данная среда позволяет сделать процесс моделирования доступным для специалистов различных областей науки, не обладающих квалификацией в области программирования вычислительных средств. и

Реализация и внедрение результатов работы. Основные теоретические и практические результаты диссертационной работы использованы при проведении научно-исследовательских работ кафедрой вычислительной техники Таганрогского государственного радиотехнического университета (ВТ ТРТУ) совместно с Университетом штата Южная Каролина в области разработки промышленного моделирующего стенда VTB, при выполнении совместных работ ФНПЦ ОАО «НПО «Марс» и ТРТУ, при выполнении грантов Министерства образования Российской Федерации на проведение фундаментальных исследований в области естественных и гуманитарных наук (шифры грантов Г00-4.2-13, Г02-4.2-48, Т02-03.3-3584), а так же в ряде госбюджетных и хоздоговорных работах.

Материалы диссертации использованы в учебном процессе на кафедре ВТ ТРТУ при проведении практических занятий в цикле лабораторных работ по курсу: «Проблемно-ориентированные высокопроизводительные системы».

Апробация работы и публикации. Основные результаты диссертации докладывались и обсуждались на всероссийских и международных научно-технических конференциях и выставках.

На международной научно-практической конференции "Развивающиеся интеллектуальные системы автоматизированного проектирования и управления", Новочеркасск, 2001; на IV научной сессии МИФИ, Москва, 2001, на международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика», Москва, 2001, 2002; на всероссийской научно-технической конференции студентов, молодых ученых и специалистов "Новые информационные технологии в научных исследованиях и в образовании" (НИТ-2001), Рязань, 2001; на международной научно-технической конференции «СуперЭВМ и многопроцессорные вычислительные системы МВС2002» - Таганрог, 2002, на международной научной конференции «Системный подход в науках о природе, человеке и технике», Таганрог, 2003; на международной научно-технической конференции «Интеллектуальные системы» - Дивноморское, 2006.

Практические результаты выставлялись на выставке «Студент и научно-технический прогресс», Таганрог, 2001, на выставке посвященной 50-летию ТРТУ, Таганрог, 2002. Работа является лауреатом конкурса «Фундаментальные и прикладные проблемы современной техники», Ростов-на-Дону, 2002.

Основные положения и результаты, выносимые на защиту:

1) метод построения программных комплексов структурного моделирования структурно сложных технических объектов;

2) новый способ многоуровневого представления моделируемых объектов;

3) новый метод распределения структурных моделей для параллельного расчета в неоднородной вычислительной среде;

4) усовершенствованные алгоритмы автоматизации синтеза математического описания сложных систем и генерации параллельных программ их численного решения;

5) программно-аппаратный комплекс моделирования сложных технических объектов.

Личный вклад автора. Все научные и практические результаты, анализ организации систем моделирования, разработка оригинальной таксономии современных средств моделирования, многоуровневая форма представления моделей сложных технических объектов, метод построения распределенной системы моделирования с адаптацией под базовый вычислитель, усовершенствованная форма организации репозитария моделей, метод распределения структурных моделей в неоднородном вычистителе, создание программно-аппаратного моделирующего комплекса «СимНП», получены автором лично.

Публикации. По теме диссертационной работы опубликовано 27 печатных работы, из них 15 статьей, 7 тезисов и материалов докладов на российских и международных научно-технических конференциях, 5 отчетов о НИР, а так же 3 свидетельства о регистрации программ для ЭВМ и 1 руководство к лабораторной работе.

4.4 Выводы

В данной главе были представлены результаты проверки пригодности использования принципов структурного моделирования к решению широкого класса задач. Было предложено разбиение множества задач моделирования сложных технических объектов на три подмножества по принципу способов декомпозиции системы:

1) Объекты связаны между собой линией передачи энергии, и взаимодействуют друг с другом в направлении распространения энергии.

2) Объекты тесно связаны друг с другом, при этом имеются в наличии цепи обратной связи, в которых взаимодействие противоположно вектору передачи энергии.

3) Отдельные объекты моделируются независимо друг от друга, какая либо связь между ними отсутствует.

Первый тип задач представлялся задачей моделирования энергоустановки. Задача моделирования многозвенного инвертированного маятника соответствует второму типу. В модели присутствует обратная связь в виде управляющего воздействия между цифровым нелинейным наблюдателем и маятником. Задача моделирования распространения акустического сигнала в водной среде относилась к третьему типу задач.

В процессе решения тестовых задач на макете многопроцессорной вычислительной системе было проведено исследования алгоритмов организации процесса распределенного моделирования. Так же была проведена проверка корректности работы системы структурного моделирования в сравнении с уже полученными результатами.

Таким образом, была доказана пригодность разработанных принципов построения моделирующих комплексов сложных технических объектов при проведении моделирования согласно трем выбранным способов декомпозиции моделируемого объекта. Кроме того, так же это позволяет рассмотреть различные способы взаимодействия объектов в системе и реализовать смешанные по типу комбинации декомпозиции. Это позволяет максимально охватить множество существующих систем.

ЗАКЛЮЧЕНИЕ

В диссертационной работе проведен анализ существующих средств моделирования сложных технических систем. Данный анализ показал необходимость их улучшения в связи с ростом требований к моделирующим средствам, вызванным постоянным повышением сложности современных моделируемых объектов.

Для формулирования объекта и предмета исследований была разработана оригинальная трехкритериальная классификация современных моделирующих средств. Согласно разработанной классификации, объектом исследования являлись программно-аппаратные комплексы распределенного моделирования мультидисциплинарных физических объектов с сосредоточенными параметрами. Предметом исследования является способ и особенности построения таких программно-аппаратных систем для эффективного решения задач моделирования сложных технических объектов.

Была выдвинута гипотеза, что для разработки метода построения системы способной эффективно решать задачу моделирования сложных технических объектов, в основу предлагаемой методики необходимо положить концепцию структурного моделирования динамических систем, предложенной В.Н. Нуждиным в совокупности с разработанным специализированным многоуровневым представлением структурных моделей.

В качестве одного из доказательств гипотезы было показано, что выбор структурных принципов в качестве основы представления моделируемых объектов является наиболее целесообразным. Для повышения эффективности работы со структурными моделями, разработано их многоуровневое представление.

На основе данного способа представления были разработаны метод автоматического построения математической модели сложного объекта и метод автоматизации программирования распределенного вычислителя, а так же соответствующие методики применения данных методов.

Разработанные методы и методики обеспечивают эффективное решение задачи автоматизации программирования системы моделирования, причем эмпирическая оценка эффективности используется для достижения оптимального соотношения времени поиска решения и его качеством.

В результате проведенной работы по разработке и исследованию систем структурного моделирования было сделано следующее:

• Проведено исследование архитектур и технологий современных систем моделирования. Сформулированы свойства и особенности построения моделирующего комплекса с учетом современных требований к проведению моделирования сложных технических объектов. Синтезирована архитектура комплекса, детализирован её состав и функциональное назначение модулей системы моделирования.

• Спроектирован визуальный интерфейс пользователя моделирующего комплекса для программирования модели объекта на всех уровнях её представления.

• Синтезирована усовершенствованная форма организации базы моделей (репозитария) в части реализации многопользовательского распределенного характера хранимых данных, построенная на иерархическом ссылочном принципе, позволяющем проводить модификацию отдельных частей модели, не затрагивая её целиком. Так же разработан специальный протокол взаимодействия между базами данных и средой моделирования (ПУРБ).

• Синтезирован специализированный язык структурного моделирования для машинного представления и обработки моделируемых объектов. Синтезированы лексика и грамматика языка.

• Разработан модуль символьной обработки для системы моделирования.

• Проведено исследование эффективных методов численного решения структурных моделей. Разработан модуль генерации программ численного решения, как для последовательного, так и для параллельного способа решения задачи.

• Разработан распределенный вычислитель для моделирующего комплекса. Разработан модуль связи и протокол взаимодействия многопроцессорного акселератора с хост-компьютером. Для оценки пригодности использования принципов структурного моделирования к решению широкого класса задач, было предложено разбиение множества задач моделирования сложных технических объектов на три подмножества по принципу способов декомпозиции системы:

1) Объекты связаны между собой линией передачи энергии, и взаимодействуют друг с другом в направлении распространения энергии.

2) Объекты тесно связаны друг с другом, при этом имеются в наличии цепи обратной связи, в которых взаимодействие противоположно вектору передачи энергии.

3) Отдельные объекты моделируются независимо друг от друга, какая либо связь между ними отсутствует.

Первый тип задач представлялся задачей моделирования энергоустановки. Задача моделирования многозвенного инвертированного маятника соответствует второму типу. Задача моделирования распространения акустического сигнала в водной среде относилась к третьему типу задач.

В процессе решения тестовых задач на макете многопроцессорной вычислительной системе было проведено исследования алгоритмов организации процесса распределенного моделирования и была проведена проверка корректности работы системы структурного моделирования в сравнении с уже полученными результатами.

Полученные результаты позволяют доказать пригодность разработанных принципов построения моделирующих комплексов сложных технических объектов при проведении моделирования согласно трем выбранным способов декомпозиции моделируемого объекта. Кроме того, так же это позволяет рассмотреть различные способы взаимодействия объектов в системе и реализовать смешанные по типу комбинации декомпозиции, что позволяет максимально охватить множество существующих систем.

Основные теоретические и практические результаты диссертационной работы использованы при проведении научно-исследовательских работ кафедрой вычислительной техники Таганрогского государственного радиотехнического университета (ВТ ТРТУ) совместно с Университетом штата Южная Каролина в области разработки промышленного моделирующего стенда VTB, при выполнении совместных работ ФНПЦ ОАО «НПО «Марс» и ТРТУ, при выполнении грантов Министерства образования Российской Федерации на проведение фундаментальных исследований в области естественных и гуманитарных наук (шифры грантов Г00-4.2-13, Г02-4.2-48, Т02-03.3-3584), а так же в ряде госбюджетных и хоздоговорных работах.

Материалы диссертации использованы в учебном процессе на кафедре ВТ ТРТУ при проведении практических занятий в цикле лабораторных работ по курсу: «Проблемно-ориентированные высокопроизводительные системы».

1. Бирюков Б.В., Гастеев Ю.А., Геллер Е.С. Моделирование. М.:БСЭ, 1974.-384 с.

2. Веников В.А., Веников Г.В. Теория подобия и моделирования. М.: Высшая школа, 1984. -439 с.

3. Советов Б.Я., Яковлев С.А. Моделирование систем. М.: Высшая школа, 1985.-271 с.

4. Шеннон Р. Имитационное моделирование систем. Искусство и наука.- М.: Мир, 1978.-418 с.

5. Голдовский Б.И., Вайнерман М.И. Комплексный метод поиска решений технических проблем. М.: Речной транспорт, 1990, - 112 с.

6. Советов Б.Я. Информационная технология. М.: Высшая школа, 1994. -496 с.

7. Советов Б.Я., Яковлев С.А. Моделирование систем: Учеб. Для вузов -3-е изд., перераб. и доп. -М.: Высш. шк., 2001. 343 с.

8. Могилевский В.Д., Формализация динамических систем. М.: Вузовская книга, 1999.-216 с.

9. Хакен Г. Синергетика // Иерархии неустойчивостей в самоорганизующихся системах и устройствах, М.: Мир, 1985. 361 с.

10. Колесников А. А. Синергетическая теория управления. М.: Энергоатомиздат, 1994. - 344 с.

11. Колесников А.А., Веселов Г.Е. и др. Синергетическое управление нелинейными электромеханическими системами. М.: Испо-Сервис, 2000. -248с.

12. Бусленко Н.П. Моделирование сложных систем. М.: Наука, 1978.400 с.

13. Советов Б.Я. Информационная технология. М.: Высшая школа, 1994.- 342 с.

14. М.Бенькович Е.С., Колесов Ю.Б., Сениченков Ю.Б. Практическое моделирование динамических систем. СПб.: БХВ-Петербург, 2002. -464 с.

15. Колесов Ю.Б., Сениченков Ю.Б. Визуальное моделирование сложных динамических систем. СПб.: Изд-во Мир и Семья & Интерлайн, 2000. - 242 с.

16. Лебедев А.Н. Моделирование в научно-технических исследованиях. -М.: Радио и связь 1989 г. 224 с.

17. Анго А. Математика для электро- и радиоинженеров. М.: Наука, 1964.-772 с.

18. Бахвалов Н.С., Жидков Н.П., Кобельков Г.М. Численные методы. М.: БИНОМ. Лаборатория знаний, 2003. - 632 с.

19. Волков Е.А. Численные методы. М.: Наука, 1982. - 248 с.

20. Годунов С.К., Забродин А.В. и др. Численное решение многомерных задач газовой динамики. М.: Наука, 1976. - 400 с.

21. Демидович Б. П., Марон Б. П., Шувалов Э. 3. Численные методы анализа. М.: Государственное издательство физико-математической литературы, 1962. - 368 с.

22. Библиотека алгоритмов 1516 2006: Справочное пособие. Вып. 4 под ред. М.И. Агеева. - М.: Радио и связь, 1981. - 184 с.

23. Верлань А.Ф., Сизиков B.C. Методы решения интегральных уравнений с программами для ЭВМ. Киев: Наукова думка, 1978. -292 с.

24. Сборник научных программ на Фортране. Вып. 2. Матричная алгебра и линейная алгебра. М.: Статистика, 1974. - 224 с.

25. Гутер Р.С., Резниковский П.Т. Программирование и вычислительная математика. Вып. 2. Вычислительная математика. Программная реализация вычислительных методов. М.: Наука, 1971. -264 с.

26. Попов Ю.П., Самарский А.А. Вычислительный эксперимент. М. Знание, 1983.-424 с.

27. Самарский А. А. Что такое вычислительный эксперимент? // Что такое прикладная математика. М.: Знание, 1980. 320 с.

28. Самарский А. А. Математическое моделирование и вычислительный эксперимент//Вести АН СССР. 1979. - №5. - С.3-11.

29. Самарский А.А., Михайлов А.П. Математическое моделирование: Идеи. Методы. Примеры. М.: Наука, 1997. - 320 с.

30. Моисеев Н.Н. Математические задачи системного анализа. М.: Наука, 1981.-488 с.

31. Марка Д.А., Мак-Гоуэн К. Методология структурного анализа и проектирования. М., Метотехнология, 1993. - 240 с.

32. DeMarco Т. Structured Analysis and System Specification. Prentice-Hall, Englewood Cliffs, NJ, 1979. 299 p.

33. Yourdon E. Modern Structured Analysis, Prentice-Hall, Englewood Cliffs, NJ, 1989.-750 p.

34. Арсеньев Б.П., Яковлев C.A. Интеграция распределенных баз данных. -СПб.: Лань, 2001.-464 с.

35. Инструментальные средства персональных ЭВМ. В 10 т. М.: Высшая школа, 1993. - 10 т.

36. Потемкин В. Г. MATLAB: Справочное пособие. М.: Диалог-МИФИ.-1997.-350 с.

37. Коткин Г. Л., Черкасский В. С. Компьютерное моделирование физических процессов с использованием MATLAB: Учеб. пособие / Новосиб. ун-т. Новосибирск, 2001. 173 с.

38. Darnell К., Mulpur А. К. Visual Simulation with Student VisSim, Published by Brooks Cole Publishing, Paperbound., 1996. 278 p.

39. Brice C. W., Gokdere L. U., Dougal R. A. The Virtual Test Bed: An environment for virtual prototyping// Proc. of Int'l Conference on Electric Ship (ElecShip'98), Istanbul, Turkey, Sept. 1998. pp. 111-117.

40. Jiang, Z., Liu, S., Dougal, R. Design and Testing Spacecraft Power System Using VTB// IEEE Transactions on Aerospace Electronics and Systems. -2005. Vol. 39, - No. 3. - pp. 976-989.

41. Liu S., Dougal R., Solodovnik E. VTB-Based Design of a Standalone Photovoltaic Power System// International Journal of Green Energy. 2004. -Vol. 1, - No. 3. - pp. 321-344.

42. Otter, M. and F.E. Cellier "Software for Modeling and Simulating Control Systems," The Control Handbook, (W.S. Levine, ed.), CRC Press, Boca Raton, FL, 1995.-pp. 428

43. Celler F.E. Hierarchical non-linear bond graphs: a unified methodology for modeling complex physical systems// Simulation Vol. 58(4), 1992. -pp.230-248.

44. Нуждин В. H. Концептуальное программирование вычислительных моделей. Иваново: ИЭИ, 1985.- 32 с.

45. Нуждин В. Н. Автоматизация проектирования и исследования электроприводов. ч.2 Автоматизация моделирования. Иваново: ИвГУ, 1980,- 95 с.

46. Резников В.Б. Таксономия современных средств моделирования// Известия ТРТУ. Специальный выпуск. Таганрог: Изд-во ТРТУ, 2005. № 9(53).-332 е.- С.65-66.

47. Т.К. Capin, D. Thalmann, A Taxonomy of Networked Virtual Environments// Proc. IWSNHC3DI'99, Santorini, Greece, 1999. pp. 2024.

48. Fishwick P.A. A taxonomy for simulation modeling based on programming language principles// Journal of Computing and Information Science in Engineering March 2001 - Volume 1, - Issue 1, 2001, - pp. 84-91.

49. Woods W. A. What's in a link: Foundation for semantic networks. In Daniel Bobrow and Allan Collins, editors, Representation and understanding, Academic Press, 1975. pp. 35-82.

50. Booch G. Object-oriented analysis and design. Benjamine Cummings, 1991.-280 p.

51. Hopcroft J. E., Ullman J. D. Introduction to automata theory. Languages and computation. Addison Wesley, 1979. 360 p.

52. Dorf R. C. Modern control systems. Addison Wesley. 1986. 270 p.

53. Daugall M. H. Simulating computer systems. Techniques and tools. MIT press, 1987.-400 p.

54. Jaquez J.A. Compartmental analysis in biology and medicine. University of Michigan press. 2nd edition, 1985. 122 p.

55. Raghuram R. Computer simulation of electronic circuits. Jhon Wiley, 1989.- 520 p.

56. Sage A. P. Methodology for large scale systems. McGraw-Hill, 1977. 300 P

57. Hasslacher B. Parallel billiards and monster systems. In N. Metropolis and Gian Carlo Rota, editors, A new era in computation, MIT press, 1992. -pp.53-65.

58. Воеводин Вл. В., Капитонова А.П. Методы описания и классификации вычислительных систем. Учебное пособие. М.: Изд.-во МГУ, 1994.103 с.

59. Хокни 3., Джессхоуп К. Параллельные ЭВМ. М.: Радио и связь, 1986.- 389 с.

60. Бабаян Б.А., Бочаров А.В., Волин B.C. и др. Многопроцессорные ЭВМ и методы их проектирования. М.: Высш. шк., 1990. - 143 с.

61. Корнев В.В. Параллельные вычислительные системы. М.: Нолидж, 1999.-320 с.

62. Hwang К. Advanced Computer Architecture, McGraw-Hill, New York, NY, 1993.-215 p.

63. Немыцкий В.В., Степенов В.В. Качественная теория дифференциальных уравнений. М.: ГИТТЛ, 1949. - 324 с.

64. Калман Р., Фалб Г., Арбиб М. Очерки по математической теории систем. -М.: Мир, 1971.-400 с.

65. Heylighen F. Relational Closure: a mathematical concept for distinction-making and complexity analysis// Cybernetics and Systems '90, World Science Publishers, 1990. pp. 32-41.

66. Крон Г. Исследование сложных систем по частям диакоптика. Пер с англ. М., «Наука», 1972. - 544 с.

67. Rulka, W. SIMPACK a computer program for simulation of large-motion multibody systems. In Multibody Systems Handbook, ed. W. Schiehlen, Springer Verlag, 1990. - pp. 265-284.

68. Бусленко Н.П. Моделирование сложных систем. М.: Наука, 1978.400 с.

69. Piela P., Epperly Т., Westerberg K., Westerberg A. ASCEND: An object-oriented computer environment for modeling and analysis: the modeling language. Computers and Chemical Engineering, 15:1, pp. 53-72.

70. Tiller M. Introduction to Physical Modeling with Modelica. Kluwer Academic Publishers, 2001. 368 p.

71. Liu J., Liu X., Koo T.J., Sinopoli В., Sastry S., Lee E.A., "A hierarchical hybrid system model and its simulation," Proc. of the 38th IEEE Conference on Decision and Control (CDC'99), Phoenix, AZ, Dec. 1999, p.3508-3513.

72. Гузик В.Ф., Золотовский В.Е., Резников В.Б. Система моделирования электрических сетей// Международная научно-техническая конференция "РАДИОЭЛЕКТРОНИКА, ЭЛЕКТРОТЕХНИКА И ЭНЕРГЕТИКА": сб.тез.док./ -М.: МЭИ, 2001. -Т.З. с. 201-202.

73. Paynter Н.М. Analysis and design of engineering systems, MIT Press, Cambridge, MA. 1961. - 330 p.

74. Karnopp D.C., Rosenberg R.C., Analysis and simulation of multiport systems the bond graph approach to physical system dynamics, MIT Press, Cambridge MA. - 1968. - 450 p.

75. Karnopp D.C., Rosenberg R.C. System dynamics, a unified approach, J Wiley, New York, NY. 1975. - 217 p.

76. Thoma J.U. Introduction to bond graphs and their applications, Pergamon Press, Oxford, 1975,- 150 p.

77. Van Dixhoorn J.J. Bond graphs and the challenge of a unified modelling theory of physical systems. Progress in modelling and simulation, Cellier F.E. (ed.), Academic Press, New York. 1982. - 390 p.

78. Sharpe J.E., Bracewell R.H., The use of bond graph reasoning for the design of Interdisciplinary Scheme// International Conference on Bond Graph Modeling and Simulation, 1995. pp. 116-121.

79. Youcef-Toumi K. Ye. Y., Glaviano A., Anderson P. Automated zero dynamics: Derivation from Bond Graph Models// International Conference on Bond Graph Modeling and Simulation, 1999. pp. 39-44.

80. Redfield R.C., Bond Graphs in Dynamic Systems Designs: Concepts for a Continuously Variable Transmission// International Conference on Bond Graph Modeling and Simulation, 1999. pp. 225-230.

81. Schwarz P., Schneider P. Model Library and Tool Support for MEMS Simulation// Conference on "MICROELECTRONIC AND MEMS TECHNOLOGY", Edinburgh, Scotland, SPIE Proceedings Series Volume 4407, 2001. pp. 512-532.

82. Mann, H.: Bond graphs vs. multipole diagrams. Proc. 5th ESM { European Simulation Multicon-. ference., Prague 1995. pp. 112-116.

83. Borutzky W. Bond Graphs a methodology for modelling multidisciplinary dynamic systems, SCS, 2004. - 440 p.

84. Otter, М., Elmqvist, Н., and Cellier, F.E. Modeling of multibody systems with the object-oriented modeling language Dymola// Proc. NATO/ASI,

85. Computer-Aided Analysis of Rigid and Flexible Mechanical Systems, Troia, Portugal, Vol. 2. 1995. - pp. 91-110.

86. Mosterman P. J., Manders Eric-J., Biswas G. Qualitative dynamic behavior of physical system models with algebraic loops// Eleventh International Workshop on Principles of Diagnosis, Mexico. 2000. pp. 712-738.

87. Casavant, T. L., Kuhl J. G. A taxonomy of scheduling in general-purpose distributed computing systems// Readings in Distributed Computing Systems, T. L. Casavant and M. Singhal, ed., IEEE Computer Society Press, 1994.- 141-154.

88. Blume W, Eigenmann R. Performance Analysis of Parallelizing Compilers on the Perfect Benchmarks Programs// IEEE Transactions of Parallel and Distributed Systems, #3(6), 1992. - pp. 643-656

89. Кузюрин Н.Н., Фрумкин М.А. Параллельные вычисления: теория и алгоритмы //Программирование. 1991. - N 2. - С. 3-19.

90. Aronsson P. Automatic Parallelization of Simulation Code from Equation Based Simulation Languages: PhD. Thesis. Linkopings universitet. Germany, 2002. - 107 p.

91. Гузик В.Ф., Золотовский B.E., Резников В.Б. Коммуникационные средства вычислительных сетей// Известия ТРТУ. Таганрог: Изд-во ТРТУ. 2001. №3(21), с. 78-82.

92. Foster I. Designing and building parallel programs, Addison-Wesley, 1995.-488 p.

93. Золотовский B.E., Резников В.Б. Многопотоковая вычислительная система// Сборник тезисов докладов V Всероссийской научной конференции студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления». Таганрог, 2000, с 142-143.

94. Кузьминский М. Волков Д. Современные суперкомпьютеры: состояние и перспективы// Открытые системы. 1995. - № 6. - с. 33-40.

95. Boden N.J., Cohen D., Felderman R.E., Kulawik A.K., Seitz C.L., Seizovic J.N., Su W-K. Myrinet: A Gigabit-per-Second Local Area Network. IEEE Micro, 15(1), February 1995. pp. 29-36.

96. Barak A. and La'adan 0., The MOSIX Multicomputer Operating System for High Performance Cluster Computing. Journal of Future Generation Computer Systems, 1998. - Vol. 13. - No. 4-5. - pp. 361-372.

97. Lutz R., Scrudder R., Graffagnini J. High Level Architecture object model development and supporting tools// Simulation, vol. 71, 1998. - pp. 39-49.

98. Дау У., Мюрхауг Б., Ньюгород К. СИМУЛА-67: универсальный язык программирования. М.: Мир, 1969, 99 с.

99. Breunese, А. P. and J. F. Broenink Modeling mechatronic systems using the sidops+language. In J. J. Granda and G. Dauphion-Tauguy (Eds.), Proceedings of the 1997WesternMulticonference, Volume 29 of Simulation Series, pp. 301-306.

100. Chaudhary V., Mantooth H. A., Francis M., Huang X., Paragon, a mixed-signal behavioral modeling environment// Proc. International Conference of Communications, Circuits and Systems (ICCCAS 2002), Vol.1, Chengdu, China, July 2002.

101. Резников В.Б. Высокопроизводительный вычислительный комплекс для моделирования сложных систем// Сборник работ лауреатов конкурса молодых ученых «Фундаментальные и прикладные проблемы современной техники» изд-во СКНЦВШ Ростов-на-Дону, 2002, с. 134-142.

102. Zolotovsky V.E., Reznikov V.B. and Lyashev V.A. Modeling environment for complex multicomponent engineering systems// International Conference "IT-2004", part#3, Taganrog: TSURE, Nov., 2004, pp.56-59.

103. Резников В.Б., Переверзев В.А., Ляшкова С.И. Модуль визуализации для системы структурного моделирования// Известия ТРТУ. Таганрог: Изд-во ТРТУ. 2003. № 3(32), С. 80-85.

104. Золотовский В.Е., Резников В.Б. Система структурного моделирования сложных технических объектов// «Известия СКНЦВШ. Технические науки».-2005.-Приложение №1, С. 49-52.

105. Разработка и создание цифровых вычислительных систем гидроакустических станций высокого разрешения для рыбопоисковых комплексов: Отчет о НИР(заключ.)/ ТРТУ; руководитель В.Ф. Гузик. -ГР 01.9.80002828; инв. № 02.980003321. Таганрог, 2000.-31 с.

106. В.Ф. Гузик, В.Е. Золотовский В.А. Переверзев, Резников В.Б. Модуль визуализации для систем структурного моделирования// Известия ТРТУ. Таганрог: Изд-во ТРТУ. 2003. № 1(30). 270с., - с. 60

107. Breunese A.P.J., Top J.L., Broenink J.F., Akkermans J.M. Libraries of Reusable Models: Theory and Application// Simulation, vol. 71, 1998. pp. 117-125.

108. Першиков В.И., Савинков B.M. Толковый словарь по информатике. М.: Финансы и статистика, 1991 - 543 с.

109. Park Н.С., Kim T.G. A Relational Algebraic Framework for VHDL Models Management// Transactions of the Society for Computer Simulation International, vol. 15, 1998. - pp. 312-343.

110. Murdock, J. W., Szykman, S., Sriram, R. D. An Informaion Modeling Framework to Support Design Databases and Repositories// ASME Design Engineering Technical Conferences, Sacramento, CA, 1997. pp. 219-238.

111. Sinha R., Liang V., Paredis Ch. J., Khosla P. K. Modeling and simulation methods for design of engineering systems.

112. Резников В.Б. Особенности организации систем управления базами данных хранения многоуровневых структурных моделей// Известия ТРТУ. Таганрог: Изд-во ТРТУ, 2006. №5 (60). -218 с. - С. 194-197.

113. Szykman, S., Senfaute, J., and Sriram, R. D. The Use of XML for Describing Functions and Taxonomies in Computer-Based Design// Procs. 19th DETC/Computers and Information in Engineering Conference, Las Vegas, Nevada, 1999. pp. 125-153.

114. Золотовский B.E., Резников В.Б., Савельев П.В., Ляшкова С.И. Специализированный комплекс для символьной обработки в системе структурного моделирования. Известия ТРТУ. Таганрог: Изд-во ТРТУ. 2003. № 3(32), С.74-80.

115. Петровский И.Г. Лекции по теории обыкновенных дифференциальных уравнений. М.: Наука, 1964. - 272 с.

116. Дмитриева О.А. Анализ параллельных алгоритмов численного решения систем обыкновенных дифференциальных уравнений методами Адамса-Башфорта и Адамса-Мултона// Математическое моделирование. 2000, т. 12, - № 5. - с. 81-86.

117. Квакернаак X., Сиван Р. Линейные многомерные системы. М.: Мир, 1997.-360 с.

118. Золотовский В.Е., Резников В.Б. Исследование систем стабилизации на структурных моделях// Известия ТРТУ. Таганрог: Изд-во ТРТУ. 2002. № 2(25). - с.68 - 73.

119. Моделирование уточненных уравнений движений бортовых систем и управления стабилизацией объектов на подвижном основании: Отчет о НИР(промеж.)/ ТРТУ; руководитель В.Ф. Гузик. ГР 01.9.80002829; инв. № 02.960004196. Таганрог, 2001.-28 с.

120. Виртуальная моделирующая установка для современных электрических систем: Отчет о НИР(промеж.)/ ТРТУ; руководитель В.П. Попов. ГР 01.200203300; инв. № 02.200206286. Таганрог, 2002. -238 с.

121. Виртуальная моделирующая установка для современных электрических систем: Отчет о НИР(промеж.)/ ТРТУ; руководитель В.П. Попов. ГР 01.200304453; инв. № 02.200307000. Таганрог, 2002. -152 с.

122. Виртуальная моделирующая установка для современных электрических систем: Отчет о НИР(промеж.)/ ТРТУ; руководитель В.П. Попов. ГР 01.2.00101690; инв. № 02.200108425. Таганрог, 2001. -221 с.

123. Физические основы подводной акустики, пер. с англ. под ред. МясищеваВ.И. М.: Изд-во «Советское радио», 1955. - 740 с.