автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.12, диссертация на тему:Разработка гетерогенной объектной кластерной среды для автоматизированного проектирования распределенных приложений

Введение

1. Обзор систем распределенной обработки

1.1. Распределенные системы

1.2. Кластеры

1.3. Средства автоматизации проектирования распределенных систем

Выводы

2. Идеология объектной кластерной среды

2.1. Объектные технологии в распределенных средах

2.2. Концепция распределенной объектной модели

2.3. Архитектура объектной подсистемы

Выводы .р.;.

3. Оболочка распределенных вычислений

3.1. Спецификация прикладного интерфейса оболочки

3.2. Структура оболочки

3.3. Межмашинное взаимодействие в кластере

Выводы

4. Методологические и прагматические аспекты применения среды

4.1. Автоматизированное проектирование распределенных приложений

4.2. Распределенные САПР: преимущества и перспективы

4.3. Реализация распределенных алгоритмов САПР/АСУ

4.4. Экспериментальные исследования и анализ эффективности алгоритмов

Выводы

В современных условиях становления и развития общества нового типа - информационного решающую роль играет владение мощными средствами обработки информации. Успехи практически во всех ведущих отраслях промышленности, экономики, энергетики, медицины, сельского хозяйства, а также в научной и академической деятельности, как на национальном, так и международном уровне во многом определяются располагаемыми вычислительными ресурсами и возможностями, кадровым потенциалом. Приоритетными для любой страны следует считать важнейшие направления фундаментальных и прикладных исследований в областях науки, связанных с высокими технологиями. Преимущества лидирования в этих сферах объективно способствуют повышению обороноспособности, экономическому росту и процветанию государства.

В настоящее время существует множество областей применения, в которых остро ощущается нехватка вычислительных ресурсов и наблюдается постоянно растущая потребность в высокопроизводительных масштабируемых вычислительных комплексах. Традиционно в их числе системы военного и космического назначения, химическая промышленность, фармакология, здравоохранение, молекулярная биология, системы обработки и визуализации изображений, системы автоматизации проектирования микроэлектронных устройств и технических объектов, автомобилестроение и авиастроение, нефтегазовая отрасль, и многие другие. Следует отметить, что последние научные и инженерные достижения стали возможными во многом благодаря использованию высокопроизводительных компьютерных систем для расчетов при моделировании разнообразных физических процессов и сред (в задачах астро / геофизики, термодинамики, гидро- и газодинамики, метеорологии и т.д.). С помощью подобного виртуального моделирования удается зачастую избежать сложных, длительных по времени и дорогостоящих реальных экспериментов, причем далеко не всегда осуществимых по разным причинам (техническим, технологическим, политическим, этическим, экологическим, и т.п.; из-за невозможности обеспечить приемлемую чистоту опытов или точность измерений, трудности учета влияния нелинейных эффектов и малоизученных факторов, и пр.).

На сегодняшний день наиболее перспективным подходом к обеспечению необходимого уровня производительности вычислительных систем является параллельная обработка. Ключ к масштабируемым, высоконадежным и высокопроизводительным комплексам - технологии параллельной и распределенной обработки данных. Распределенная обработка, как один из видов параллельной обработки данных, широко используется для увеличения производительности вычислительных систем. Распределенные системы, обладая большими потенциальными возможностями по выполнению параллельных операций и рядом специфических свойств, позволяют эффективно организовать вычислительный процесс, обеспечивая при этом требуемые показатели мощности, масштабируемости, оперативности, надежности, стоимости. Несмотря на то, что исследования в области распределенных вычислений интенсивно ведутся в течение нескольких десятков лет, тем не менее, практические результаты этих исследований долго носили иллюстративный характер, либо использовались в академических учреждениях и закрытых лабораториях при создании специализированных приложений, ориентированных на конкретную суперкомпьютерную платформу. Только в последнее время, с появлением достаточно мощных доступных дешевых компьютеров и широким распространением сетевых технологий стало возможным применять методы распределенной обработки в системах массового назначения. Наиболее четко тенденции развития в сфере распределенных вычислений выразились в продвижении кластерных систем, которые по соотношению цена/производительность представляют реальную альтернативу дорогим ЭВМ класса mainframe и массивно-параллельным суперкомпьютерам. Несмотря на некоторые недостатки и ограничения кластеров, наблюдается устойчивая тенденция к переходу на эти относительно дешевые вычислительные архитектуры.

Учитывая текущую ситуацию в экономике и серьезное отставание в стратегически важной области высокопроизводительных вычислений по сравнению с ведущими странами мира, для России наиболее приемлемым представляется вариант интенсификации работ в направлении распределенной, и в частности, кластерной обработки информации, с целью обеспечить мировой уровень отечественных исследований при минимальных финансовых затратах. Такая ориентация на кластерные решения мотивируется преимущественно эффективным использованием совокупных параллельных ресурсов в системах подобного рода и экономически выгодными условиями их эксплуатации.

В связи с вышеизложенным все большую актуальность приобретает задача практического применения средств распределенной обработки. Главная трудность, по-видимому, заключается в том, что прогресс в техническом плане не повлек за собой значительные изменения в принципах разработки программного обеспечения (ПО), как системного уровня, так прикладного и инструментального, а также в методологии проектирования. Задачи, стоящие перед разработчиками распределенных систем, оказались довольно сложными. Прежде всего, необходимо решить ряд проблем, касающихся реализации децентрализованного управления, схемы прозрачного доступа к ресурсам, балансировки нагрузки. Сдерживающим фактором также является немаловажная проблема чисто психологического характера - трудность адаптации программиста к непривычной параллельной парадигме мышления, весьма специфичной и учитывающей многие нюансы, несущественные для обычной последовательной алгоритмической модели. Определенную роль в этом играет отсутствие доступных универсальных средств и методик, позволяющих значительно облегчить и автоматизировать работу по созданию распределенных приложений (РП).

На основе анализа базовых идей, подходов и методов параллель-но-распределенной обработки, можно заключить, что насущно необходима теоретически обоснованная эффективная модель организации вычислительного процесса в кластерных системах, в рамках которой представлены качественно новые инструментальные средства автоматизированного проектирования РП для кластерных архитектур.

Также важно отметить, что среди множества областей применения САПР/АСУ выделяются как наиболее очевидные и первоочередные кандидаты для использования последних достижений в сфере распределенной обработки данных. Постоянно увеличивающаяся сложность объектов проектирования/управления, большая размерность проектов и контролируемых потоков, повышенные требования к точности представления и качеству визуализации - все это требует огромных вычислительных и емкостных ресурсов. Кроме того, в связи с распространением технологий, основанных на объединении объектно-ориентированного подхода и распределенной обработки, объективно существует необходимость внедрения новых, нетрадиционных методов и средств обработки информации в системах автоматизации проектирования и управления с целью повышения эффективности процесса разработки и эксплуатации САПР/АСУ. Таким образом, исследования в данном направлении представляются актуальными и перспективными.

Работа выполнялась в рамках МНТП Минобразования РФ «Учебная техника» по направлению № 6 "Разработка учебной техники для дистанционного обучения" (НИР "Разработка программно-технического комплекса для проведения практических занятий по направлениям образования") в 1997-1998 гг. на основании Приказа Госкомвуза России № 669 от 6.05.95, а также в рамках НИР по заданию Минобразования РФ за № 1.1.00 "Теория и методы построения высокопроизводительных информационно-вычислительных систем для обработки гетерогенной информации" в 2000-2001 гг.

Цель и задачи исследования.

Целью диссертационной работы является исследование проблемы построения объектно-ориентированной гетерогенной кластерной среды на основе программной оболочки распределенных вычислений для автоматизации проектирования РП и обеспечения функционирования мобильных динамических распределенных объектов, а также разработка инструментальных средств и методологии применения среды при создании РП, в том числе РП САПР/АСУ. Для достижения поставленной цели необходимо решить следующие задачи:

- провести анализ существующих методов и средств организации вычислительного процесса в параллельных/распределенных системах и средах, особенностей реализации и архитектурных вариантов построения подобных систем, подходов и инструментальных средств автоматизации проектирования ПО распределенных систем;

- разработать концепцию распределенной объектной модели, описать принципы взаимодействия объектов и специфицировать объектную подсистему среды;

- разработать программное обеспечение оболочки распределенных вычислений, определить ее структуру, состав и функции входящих в нее модулей, специфицировать прикладной интерфейс высокого уровня;

- исследовать технологию узловой интероперабельности в кластере;

- выработать рекомендации и методики проектирования эффективных РП с использованием объектно-ориентированного поведенческого подхода на основе кластерной среды и визуального конструктора -мастера макетов РП.

Методы исследования.

При решении поставленных задач использовались методы структурного и системного программирования, автоматизированного проектирования, принципы объектно-ориентированного проектирования, аппарат теории графов, теории систем массового обслуживания, методы математической статистики и регрессионного анализа.

Научная новизна.

В диссертации получены следующие результаты, характеризующиеся научной новизной:

- объектная модель, адаптированная к распределенным вычислениям, отличающаяся от классической наличием следующих свойств: фрагментарная распределенность объектов, динамическое интерфейсо-образование, представление класса объектом-шаблоном, распределенный полиморфизм, возможность групповых операций над объектами;

- архитектура универсальной объектно-ориентированной гетерогенная среды; данная среда основана на оболочке распределенных вычислений, удовлетворяет концепции систем с полностью распределенной обработкой (РБР8) и, в отличие от известных аналогов, обладает совокупностью следующих свойств: предельно слабая связанность узлов, работающих в режиме кооперативной автономии, децентрализованное управление, прозрачный доступ к ресурсам, мобильность (возможность переноса на различные платформы), открытость (возможность интеграции с внешними программами), поддержка миграции объектов возможность перемещения рабочих объектов между узлами кластера) и других объектных транзакций в рамках предложенной модели;

- методика создания РП с использованием разработанной среды, заключающаяся в объединении перспективных средств кластерной обработки и объектно-ориентированного поведенческого визуального проектирования, с сохранением доступа к обычным низкоуровневым функциям передачи сообщений;

- имитационная модель вычислительного процесса в кластере, отражающая динамику функционирования объектных РП и позволяющая оценить статистические характеристики использования ресурсов кластера;

- эмпирико-статистический метод решения проблемы генерации оптимального плана распределения объектов по узлам кластера, учитывающий динамические свойства объектов и позволяющий автоматизировать процесс создания эффективных РП;

- распределенный алгоритм итерационного размещения одногаба-ритных элементов, в рамках которого предложена прогностическая стратегия распределения, эффективная при параллельных вычислениях в невыделенных кластерных системах.

Практическая ценность.

Практическая ценность работы заключается в следующем:

- разработана программная реализация оболочки гетерогенных распределенных вычислений, имеющая в своем составе средства локального и удаленного управления объектами, средства интеграции с внешними приложениями (в виде специального агента), которая позволяет автоматизировать работу по созданию распределенных программ посредством предоставления высокоуровневого распределенного сервиса. Разработанное ПО функционирует на платформе Win32 (Windows

95/98/NT4/2000), а также под управлением ОС семейства UNIX (Caldera OpenLinux 1.1, RedHat Linux 5.2 / Mandrake 7.0 с ядром 2.2.x, FreeBSD 3.4);

- создана инструментальная среда, предназначенная для облегчения процесса проектирования объектных РП, совмещающая подход визуальной разработки и метод построения РП на основе типовых шаблонов;

- даны практические рекомендации по использованию среды распределенных вычислений, предложена последовательность и описано содержание этапов проектирования распределенных приложений, направленных на сокращение времени разработки, объема и сложности ПО и оптимальное использование ресурсов;

- на основании теоретических и экспериментальных исследований доказана эффективность применения распределенных кластерных технологий для целей автоматизированного проектирования радиоэлектронной и электронно-вычислительной аппаратуры (РЭА и ЭВА).

Внедрение результатов работы.

Основные теоретические и практические результаты диссертационной работы использованы при разработке клиент/серверного ПО системы внешнего удаленного управления универсальной цифровой теле-фонно-телеграфной станции «Альфа» (Н1111 "Пульсар", г. Пенза) и автоматизированной системы документальной связи на базе 1Р-телеграфии. Разработанное ПО находится в промышленной эксплуатации в отделениях связи железных дорог Министерства путей сообщения РФ. Также результаты работы использовались при создании прототипа системы проведения удаленных практических занятий при дистанционной форме обучения в рамках НИР, выполненных на кафедре САПР Пензенского и госуниверситета по заказу РНПО "Росучприбор" в соответствии с планами регионального Центра ДО.

Акты, подтверждающие внедрение и использование результатов диссертационной работы, приведены в Приложении.

Апробация работы.

Основные положения и результаты диссертационной работы докладывались и обсуждались на следующих конференциях и семинарах: II Международной научной конференции "Методы и средства управления технологическими процессами" (г. Саранск, 1997 г.), XXV Международной конференции и дискуссионном клубе "Новые информационные технологии в науке, образовании, телекоммуникации и бизнесе" 1Т+8Е'98 (Ялта-Гурзуф, 1998 г.), Шестом Международном семинаре "Распределенная обработка информации" (Новосибирск, Академгородок, 1998 г.), Международной научно-технической конференции "Актуальные проблемы анализа и обеспечения надежности и качества приборов, устройств и систем" (г. Пенза, 1998 г.), Всероссийском совещании-семинаре "Высокие технологии в региональной информатике" (г. Воронеж, 1998 г.), II Межрегиональной научно-методической конференции "Новые информационные технологии обучения в региональной инфраструктуре" (г. Пенза, 1999 г.), III Международной научно-методической конференции "Университетское образование" (г. Пенза, 1999 г.), 6-ой Всероссийской межвузовской научно-технической конференции "Микроэлектроника и информатика - 99" (г. Москва, 1999 г.), Всероссийской конференции "Интеллектуальные информационные системы" (г. Воронеж, 1999 г.), Международной научно-технической конференции "Информационные технологии и системы в образовании, науке, бизнесе" (г. Пенза, 1999 г.), IV Международной научно-методической конференции "Университетское образование" (г. Пенза, 2000 г.), Международной конференции "Телематика-2000" (г. Санкт-Петербург, 2000 г.), Всероссийской конференции "Теория и прикладные вопросы современных информационных технологий" (г. Улан-Удэ, 2000 г.), XV Международной научно-технической конференции "Интеллектуальные САПР-2000" (Геленджик, 2000 г.), Международной конференции "Информационные системы и технологии" (г. Новосибирск, 2000 г.), Международной научно-технической конференции "Информационные технологии и системы в образовании, науке, бизнесе" (г. Пенза, 2000 г.), техническом совещании - школе-семинаре "Автоматизированная система документальной связи МПС РФ на базе цифровой коммутационной станции "Альфа" (Дистанция сигнализации и связи Пензенского отделения Куйбышевской железной дороги, г. Пенза, 2001 г.), научно-технических конференциях профессорско-преподавательского состава Пензенского государственного университета (г. Пенза, 1997-2001 гг.).

Публикации.

По материалам диссертации опубликована 21 печатная работа.

Структура и объем работы.

Диссертация состоит из введения, четырех глав, заключения, списка литературы, включающего 152 наименования, приложения. Работа изложена на 158 машинописных страницах, содержит 30 рисунков и 8 таблиц.

Основные результаты работы заключаются в следующем:

1. Анализ ПО существующих систем распределенной обработки выявил тот факт, что, несмотря на обилие средств организации распределенных вычислений, отсутствует достаточно эффективный и простой подход к созданию РП, ориентированных на объектную модель и кластерные технологии, а также уделяется недостаточное внимание методологическим аспектам разработки универсальных объектных РП.

2. С целью устранения вышеприведенных недостатков разработана объектно-ориентированная гетерогенная кластерная среда, характеризующаяся наличием комплекса следующих свойств: многоплатфор-менность, открытость, прозрачность, возможность миграции объектов, доступность высокоуровневых и низкоуровневых услуг, встроенная поддержка балансировки нагрузки и отказоустойчивости. В среду включен мастер создания типовых шаблонов РП на основе техники макетирования с автоматической трансляцией графического представления иерархии объектов в последовательность вызовов интерфейса (API) оболочки среды.

3. В качестве концептуальной основы данной среды предложена распределенная объектная модель с новыми свойствами, в рамках которой реализованы средства поддержки вычислительных процессов кластерной среды и предложен метод алгоритмизации решения задач проблемной области с помощью парадигмы параллельного программирования, объектно-ориентированной декомпозиции и поведенческого подхода.

4. Рассмотрена идеология модульного построения оболочки среды распределенных вычислений и механизм межмашинного внутрикластер-ного взаимодействия, разработан сетевой протокол узлового обмена на базе интернет-протокола пользовательских датаграмм UDP семейства TCP/IP. Проанализирована процедура формирования управляющей структуры кластера в условиях работы в глобальных сетях и впервые предложена методика автоматизированного синтеза оптимальной топологии метакластера, основанная на алгоритме разрезания графа и имитационном моделировании процесса выполнения объектных запросов.

5. Сформулированы основные задачи, решаемые при создании кластерных РП, определены этапы проектирования эффективных РП, инвариантных к области применения, изложена методология программирования РП в терминах предложенной объектной модели и опирающаяся на разработанную среду, дано описание некоторых алгоритмов САПР, адаптированных к распределенным вычислениям.

6. Представлена классификация стратегий балансировки нагрузки в кластерных системах по ряду признаков, предложен эмпирико-статистический подход к решению проблемы составления оптимального плана распределения нагрузки, учитывающий косвенным образом динамику объектов и автоматизирующий процесс создания эффективных РП.

7. В результате проведенных экспериментальных исследований разработанного распределенного алгоритма итерационного размещения компонентов РЭА и ЭВА в регулярных структурах и последующего анализа характеристик его функционирования на основе полученных данных установлено, что применение интегрированной среды кластерных вычислений в качестве платформы для реализации параллельных алгоритмов САПР обеспечивает следующие преимущества: 1) для инженера-программиста - снижает затраты на создание РП САПР (сокращение времени на 20-30%, уменьшение трудоемкости и ошибок кодирования); 2) для инженера-проектировщика - при использовании дополнительных ресурсов способствует повышению качества проектных решений, ускорению процесса проектирования, снятию ограничений на максимальную размерность проекта и сложность проектируемых объектов, что приводит в конечном итоге к росту производительности труда и значительному прогрессу в прикладной области проектных изысканий при минимальных эксплуатационных затратах.

ЗАКЛЮЧЕНИЕ

1. Антонов A.C., Воеводин Вл.В. Эффективная адаптация последовательных программ для современных векторно-конвейерных и массивно-параллельных супер-ЭВМ // Программирование. 1996. - №4. -с. 37-51.

2. Арапов Д. Можно ли превратить сеть в суперкомпьютер? // Открытые системы. 1997. - №4.

3. Барфилд Э., Уолтере Б. Программирование «клиент-сервер» в локальных вычислительных сетях: Пер. с англ. М.: Филин, 1997. -424с.

4. Батищев Д.И. Методы оптимального проектирования. М.: Радио и связь, 1984. -248с.

5. Батищев Д.И. Поисковые методы оптимального проектирования. -М.: Сов. радио, 1975. 216с.

6. Батищев Д.И., Львович Я.Е., Фролов В.Н. Оптимизация в САПР. -Воронеж: изд-во ВГТУ, 1997.

7. Бершадский A.M. Автоматизация конструкторского проектирования электронно-вычислительной и радиоэлектронной аппаратуры. Пенза: Пенз. Политехи, ин-т, 1977. - 81с.

8. Бершадский A.M. Применение графов и гиперграфов для автоматизации конструкторского проектирования РЭА и ЭВА. Изд-во Саратовского ун-та, 1983. - 120с.

9. Волевич В.Д., Галатенко В.А. и др. Многоплановая объектная модель и ее приложения // Программирование. 1992. - № 2, с. 24-32.

10. Головкин Б.А. Параллельные вычислительные системы. М.: Наука, 1980.-520с.

11. Гурвиц М. Безотказные сети и системы // LAN Magazine/Журнал сетевых решений. 1998. - т.4. - №3.

12. Давыдов В., Шелудяков А. Операционные системы для современных распределенных вычислительных систем // Монитор. 1994. - №2. - с. 6-9.

13. Дедков А.Ф. Абстрактные типы данных в языке АТ-Паскаль. М.: Наука. Гл. ред. физ.-мат. лит., 1989. - 200с.

14. Джамса К., Коуп К. Программирование для Internet в среде Windows: Пер с англ. СПб.: Питер, 1996. - 688с.

15. Димитриев Ю.К. Анализ самодиагностических свойств структур распределенных живучих вычислительных систем // Автометрия. 1997. - №5. - с. 71-84.

16. Димитриев Ю.К. Самодиагностика модульных вычислительных систем. Новосибирск: Наука, 1993. - 292с.

17. Бершадский A.M., Курилов Л.С., Селиверстов М.Н. Построение систем параллельной обработки на базе кластерных технологий // Материалы Всероссийской конференции "Теория и прикладные вопросы современных информационных технологий", Улан-Удэ, 2000, с. 40-44.

18. Бершадский A.M., Курилов Л.С., Селиверстов М.Н. Применение кластерных технологий в САПР // Информационные технологии. 2001.- №9. с. 2-6.

19. Богданов A.B., Евсеев И.Г. Опыт использования PVM для параллельных вычислений // Тез. докл. Междунар. конф. "Телематика'98", С.Петербург, 1998.

20. Борисов М. UNIX-кластеры // Открытые системы. 1995. - №2 (10).

21. Брюхов Д.О., Задорожный В.И., Калиниченко Л.А., Курошев М.Ю., Шумилов С.С. Интероперабельные информационные системы: архитектуры и технологии // Системы Управления Базами Данных. 1995.- №4. с. 96-113.

22. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений: Пер. с англ. М.: Бином, 1998. - 560с.

23. Воеводин В.В., Капитонова А.П. Методы описания и классификации архитектур вычислительных систем. М.: Изд-во МГУ, 1994. - 79с.

24. Димитриев Ю.К., Хорошевский В.Г. Вычислительные системы из мини-ЭВМ. М.: Радио и связь, 1982. - 304с.

25. Дубова Н. СОМ или CORBA? Вот в чем вопрос // Открытые системы.- 1999.-№3.

26. Дунаев С. INTRANET-технологии. М.: Диалог-МИФИ, 1997. - 288с.

27. Евреинов Э.В., Хорошевский В.Г. Однородные вычислительные системы. Новосибирск: Наука, 1978. - 320с.

28. Иванников В.П. и др. Методология разработки распределенных приложений на основе модели оболочки // Вопросы кибернетики. Приложения системного программирования. Вып. 3. - М.: 1997.

29. Каляев A.B., Мелихов А.Н., Курейчик В.М., Гузик В.Ф., Калашников В.А. Автоматизация проектирования вычислительных структур. -Ростов: Изд-во Ростовского ун-та, 1983. 224с.

30. Кейслер С. Проектирование операционных систем для малых ЭВМ: Пер. с англ. М.: Мир, 1986. - 680с.

31. Корнеев В.В. Параллельные вычислительные системы. М.: Нолидж,1999.-320с.

32. Корячко В.П., Курейчик В.М., Норенков И.П. Теоретические основы САПР. М.: Энергоатомиздат, 1987. - 400с.

33. Костенко В.А. Метод автоматизированного синтеза параллельных программ для вычислительных систем с М1МЕ) архитектурой // Программирование. 1993. - №1. - с. 43-57.

34. Кузьминский М. ОрепМР: средства распараллеливания для многопроцессорных систем // Открытые системы. 1998. - №3.

35. Курилов Л.С. Гетерогенная объектно-ориентированная среда распределенных вычислений // Материалы Международной конференции "Информационные системы и технологии" ИСТ-2000, Новосибирск,2000, том 3, с. 462.

36. Курилов Л.С. Объектная модель распределенных вычислений на основе поведенческого подхода // Тез. докл. II межрегиональной научно-методической конференции "Новые информационные технологии обучения в региональной инфраструктуре", Пенза, 1999, с. 47-48.

37. Курилов JI.C. Организация ядра оболочки распределенных вычислений // Тез. докл. XV Международной научно-технической конференции "Интеллектуальные САПР-2000", Геленджик, 2000.

38. Курилов Л.С. Парадигма распределенного программирования как средство развития нетрадиционного мышления // Материалы III Международной научно-методической конференции "Университетское образование", Пенза, 1999, с. 131-133.

39. Курилов Л.С. Применение технологий параллельного и распределенного программирования в учебном процессе // Сб. материалов IV Международной научно-методической конференции "Университетское образование", Пенза, 2000, часть I, с. 75-77.

40. Курилов Л.С. Проблема авто динамического синтеза оптимальной структуры кластера // Сб. материалов Международной научно-технической конференции "Информационные технологии и системы в образовании, науке, бизнесе", Пенза, 1999, с. 32-34.

41. Курилов Л.С. Программная оболочка для проведения практических занятий в ДО // Тез. докл. I Межрегиональной научно-методической конференции "Новые компьютерные технологии обучения в региональной инфраструктуре", Пенза, 1998, с. 74-75.

42. Курилов JI.C. Распределенная САПР: преимущества и перспективы // Тез. докл. Всероссийского совещания-семинара "Высокие технологии в региональной информатике", Воронеж, 1998, часть I, с. 46-47.

43. Курилов JI.C. Технология межмашинного взаимодействия в полностью распределенной среде // Труды Всероссийской конференции "Интеллектуальные информационные системы", Воронеж, 1999, с. 60-61.

44. Мартин Дж. Вычислительные сети и распределенная обработка данных: программное обеспечение, методы и архитектура: Пер. с англ. -Вып. 1,2.- М.: Финансы и статистика, 1985.

45. Мелихов А.Н., Берштейн Л.С., Курейчик В.М. Применение графов для проектирования дискретных устройств. М.: Наука, 1974. - 304с.

46. Морозов К.К., Одиноков В.Г., Курейчик В.М. Автоматизированное проектирование конструкций радиоэлектронной аппаратуры. М.: Радио и связь, 1983. - 280с.

47. Норенков И.П. Введение в автоматизированное проектирование технических устройств и систем. М.: Высшая школа, 1980. - 311с.

48. Норенков И.П., Маничев В.Б. Основы теории и проектирования САПР. М.: Высшая школа, 1990. - 335с.

49. Норенков И.П., Маничев В.Б. Системы автоматизированного проектирования электронной и вычислительной аппаратуры. М.: Высшая школа, 1983. - 272с.

50. Орлик С. В ожидании CORBA 3.0 // Открытые системы. 1999. - №2.

51. Программирование на параллельных вычислительных системах: Пер. с англ. / Р. Бэбб, Дж. Мак-Гроу, Т. Акселрод и др. / Под ред. Р. Бэб-ба. М.: Мир, 1991.-376с.

52. Птипьер К. Синхронный С++ для интерактивных приложений // Открытые системы. 1999. - №3.

53. Семенов Ю.А. Протоколы и ресурсы Internet. M.: Радио и связь, 1996.-320с.

54. Системы параллельной обработки: Пер. с англ. / Ж.-Л. Баер, Р. Бар-лоу, М. Вудворд и др. / Под ред. Д. Ивенса. М.: Мир, 1985. - 416с.

55. Смелянский Р.Л. Применение темпоральной логики для спецификации поведения программных систем // Программирование. 1993, -№1. - с. 3-28.

56. Сырков Б.Ю., Матвеев C.B. Программное обеспечение мультитранспьютерных систем. М.: ДИАЛОГ-МИФИ, 1992. - 224с.

57. Теория и методы автоматизированного проектирования вычислительных систем / Под ред. Брейера. М.: Мир, 1977. - 282с.

58. Тюрин Ю.Н., Макаров A.A. Статистический анализ данных на компьютере. М.: Инфра-М, 1998. - 528с.

59. Федоров Б.С., Гуляев Н.Б. Проектирование программного обеспечения САПР. Серия "Разработка САПР" в 10 книгах. Кн. 3 / Под ред. A.B. Петрова. М.: Высшая школа, 1990. - 159с.

60. Фролов В.Н., Львович Я.Е., Меткин Н.П. Автоматизированное проектирование технологических процессов и систем производства РЭС: Уч. пособие. М.: Высшая школа, 1991. - 463с.

61. Халсалл Ф. Передача данных, сети компьютеров и взаимосвязь открытых систем: Пер. с англ. М.: Радио и связь, 1995. - 408с.

62. Хаусли Т. Системы передачи и телеобработки данных: Пер. с англ. -М.: Радио и связь, 1994. 456с.

63. Чан Т. Системное программирование на С++ для UNIX: Пер. с англ. -Киев: BHV, 1999. 592с.

64. Черненький В.М. Имитационное моделирование: практическое пособие. Серия «Разработка САПР» в 10 книгах. Кн. 9 / Под ред. A.B. Петрова. М.: Высшая школа, 1990.

65. Энкарначчо Ж., Шлехтендаль Э. Автоматизированное проектирование. Основные понятия и архитектура систем: Пер. с англ. М.: Радио и связь, 1986. - 288с.

66. Юткин А. Объектные технологии в распределенных системах // Открытые системы. 1995. - №3 (11).

67. Agha G.A. Actors: A Model of Concurrent Computation in Distributed Systems. MIT Press, Cambridge, MA, 1986.

68. Arabe J.N.C., Beguelin A., Lowekamp B., Seligman E., Starkey M., and Stephan P. DOME: Parallel programming in a heterogeneous multi-user environment: In International Parallel Processing Symposium 1996, Honolulu, HI, April 1996.

69. Banerjee P. Parallel Algorithms for VLSI Computer-Aided Design. Prentice-Hall, 1994.

70. Becker D. J., Sterling T., Savarese D., Fryxell B., and Olson K. Communication Overhead for Space Science Applications on the Beowulf Parallel Workstation // Proc. High Performance and Distributed Computing, HPDC'1995.

71. Beguelin A., Seligman E., Stephan P. Application Level Fault Tolerance in Heterogeneous Networks of Workstations // Journal of Parallel and Distributed Computing: Special issue on Workstation Clusters and Network-based Computing, Sept. 1997.

72. Birrel A.D. and Nelson B.J. Implementing Remote Procedure Calls // ACM Trans. Computer Systems 2, Feb. 1984, pp. 39-59.

73. Blair S., Malik J., Nicol J. R., Walpole J. A Synthesis of Object-Oriented and Functional Ideas in the Design of a Distributed Software Engineering Environment // Software Engineering Journal, IEE/BCS, pages 193-204, May 1990.

74. Brewer E.A., Waldspurger C.A. Preventing Recursion Deadlock in Concurrent Object-Oriented Systems. Technical report MIT/LCS/TR-526, Massachusetts Institute of Technology, Laboratory for Computer Science, Cambridge, MA, 1992.

75. Cabanel J.P., Sazbon R.D., Diarra A.K., Marouane M.N., Besbes R. A decentralized control method in distributed system // Proceeding of the First International Conference on Distributed Computing Systems, 1979, pp. 651-659.

76. Casas J., Clark D.L., Konuru R., Otto S.W., Prouty R.M., and Walpole J. MPVM: A Migration Transparent Version of PVM // Computing Systems, vol. 8, no. 2, pp. 171-216, Spring 1995.

77. Casavant T. and Kuh J. A Taxonomy of Scheduling in General-Purpose Distributed Computing Systems // IEEE Trans. Software Engineering SE-14(2), Feb. 1988, pp. 141-154.

78. Chanchio K., and Sun X.H. Efficient Process Migration for Parallel Processing on Non-Dedicated Networks of Workstations. ICASE Report No. 96-74, NASA Langley Research Center. Hampton, VA 23681-0001, 1996.

79. Di Martino B. and Kebler C.W. Two Program Comprehension Tools for Automatic Parallelization // IEEE Concurrency, Vol. 8, No. 1, January-March 2000.

80. Dorjsuren Baramsai. Design and Implementation of CORBA Life Cycle Service. Master's thesis, University of Ulsan, Korea, 1997.

81. Downey A., Harchol-Balter M. A note on "The Limited Performance Benefits of Migrating Active Processes for Load Sharing". Technical Report UCB/CSD-95-888, November 1995. University of California, Berkeley.

82. Enslow P.H. What is "distributed" data processing system? // Computer, 1978, v. 11, № l,p. 13-21.

83. Foster I. Designing and Building Parallel Programs: Concepts and Tools for Parallel Software Engineering. Addison Wesley, 1995.

84. Galli D.L. Distributed Operating Systems: Concepts and Practice. Prentice Hall Engineering/Science/Mathematics, 1999.

85. Geist A., Beguelin A., Dongarra J., Jiang W., Manchek R., Sunderam V. PVM 3 User's Guide and Reference Manual. Technical report, Oak Ridge National Laboratory ORNL/TM-12187, 1993.

86. Geist A., Beguelin A.L., Dongarra J., Manchek R.J., Moore K., Sunderam V.S. HeNCE: Graphical Development Tools for Heterogeneous

87. Network-Based Concurrent Supercomputing // Proc. of Supercomputer and High-Performance Computing Conference, 1992 (SHPCC'92).

88. Grop W., Lusk E., and Skjellum A. Using MPI: Portable Parallel Programming with the Message-Passing Interface. MIT Press, 1994.

89. Gruber O. Eos: An Environment for Persistent and Distributed Applications in a Shared Object Space. December 1992. Available via FTP ftp://ftp.inria.fr/INRIA/Projects/RODIN/01ivier.Gruber.phd.ps.Z

90. Gung-Chung Yang. PARASPICE: A Parallel Circuit Simulator for Shared-Memory Multiprocessors. Technical Report CSRD-1088, University of Indiana, Computer Science Department, USA. Also in: Proc. 27th Design Automat. Conf., pp. 400-405, June 1990.

91. Hoare C.A.R. Communicating Sequential Processes. Prentice Hall. Englewood Cliffs, NJ, 1985.

92. Hockney R. Classification and Evaluation of Parallel Computer Systems // Lecture Notes in Computer Science. 1987, No. 295, p. 13-25.

93. Hsieh W.C. Dynamic Computation Migration in Distributed Shared Memory Systems. PhD thesis, Massachusetts Institute of Technology, Cambridge, MA, 1995. Available as MIT/LCS/TR-665.

94. Hummel S.F., Schmidt J., Uma R.N., Wein J. Load-Sharing in Heterogeneous Systems via Weighted Factoring. Regular paper. Department of Computer Science, Polytechnic University, Brooklyn, NY, 1995.

95. Hwang K., Briggs F.A. Computer Architecture and Parallel Processing. 1984.

96. Johnson E. Completing an MIMD Multiprocessor Taxonomy // Computer Architecture News. 1988, V. 16, N 2, p. 44-48.

97. Johnson S.P., Ierotheou C.S., Cross M. Automatic parallel code generation for message passing on distributed memory systems // Parallel Computing 22:2, Feb. 1996, p. 227-258.

98. Kale L. V., Milind Bhandarkar, Jagathesan N., Krishnan S., Yelon J. Converse: An Interoperable Run-time System for Parallel Programming

99. Environments // Proceedings of 10th International Parallel Processing Symposium 1996, Hawaii, pp. 212-217, April, 1996.

100. Kanellakis P.C. and Mitchell J.C. Polymorphic Unification and ML Typing // In Proceedings of the 16th ACM Symposium on Principles of Programming Languages, pages 105-115, January 1989.

101. Kaplan J.A., Nelson M.L. A Comparison of Queueing, Cluster and Distributed Computing Systems. Technical Memorandum TM-109025 (Revision 1), NASA Langley Research Center. June, 1994.

102. Lea R., Walpole J. Supporting Object Interaction in Heterogeneous Distributed Systems // Computer Communications, vol. 13, no. 6, pp. 365-373, July-August 1990.

103. Lesh F. Software development aids in distributed microprocessor system // Proc. International Symposium on MINI and MICRO Computers, Montreal, 1977, p. 88-94.

104. Litzkow M.J. and Livny M. and Mutka M.W. Condor A Hunter of Idle Workstations // In Proceedings of the 8th International Conference on Distributed Computer Systems, IEEE, San Jose, California, June 1988, pp. 104-111.

105. Martin O.C., Otto S.W. Partitioning of Unstructured Meshes for Load Balancing. Technical Report CSE-94-017, Department of Computer Science and Engineering, Oregon Graduate Institute of Science & Technology. January 19, 1994.

106. Mor Harchol-Balter, Downey A.B. Exploiting Process Lifetime Distributions for Dynamic Load Balancing // Proceedings of the ACM Sigmetrics Conference on Measurement and Modeling of Computer Systems. May 23-26, 1996. Philadelphia, PA, pp. 13-24.

107. Nussbaum D. Run-Time Thread Management for Large-Scale Distrib-uted-Memory Multiprocessors. PhD Thesis, MIT/LCS/TR-596, Massachusetts Institute of Technology, Laboratory for Computer Science, Cambridge, MA, 1993.

108. Nuttall M. A Brief Survey of Systems Providing Process or Object Migration Facilities // ACM Operating System Review, 28:4, October 1994.

109. Object Management Group Home Page, http://www.omg.org

110. Orly K., Kemelmakher M. and Eshed I. Preserving Mutual Interests in High Performance Computing Clusters // Journal of Parallel and Distributed Computing, Volume 23, No 1, 1999, pp. 41-48.

111. Otto S.W. Distribution Independent Programming and the Saxpy. Technical Report CSE-91-004, Dept. of Computer Science and Engineering, Oregon Graduate Institute of Science and Technology, February 1991.

112. Otto S.W. MetaMP: A Higher Level Abstraction for Message-Passing Programming. Technical Report CSE-91-003, Dept. of Computer Science and Engineering, Oregon Graduate Institute of Science and Technology, January 1991.

113. Petri S., Langendorfer H. Load Balancing and Fault Tolerance in Workstation Clusters Migrating Groups of Communicating Processes // Operating Systems Review, Vol. 29, No. 4, October 1995, pp. 25-36.

114. Pfister G. F. In Search of Clusters. Prentice Hall, 1997.

115. Rajkumar Buyya (editor). High Performance Cluster Computing. Vol. 1: Architectures and Systems, Vol. 2: Programming and Applications. Prentice Hall PTR, NJ, USA, 1999.

116. Ramkumar B., Banerjee P. ProperCAD: A Portable Object-oriented Parallel Environment for VLSI CAD // Proceedings of the International Conference on Computer-Aided Design, November 1992, p. 412-415.

117. Ramkumar В., Chillariga G. Performance Analysis of Task Migration in a Portable Parallel Environment. Research report CCR-9308108. Department of Electrical and Computer Engineering, University of Iowa, Iowa City, IA, 1996.

118. Reinefeld A. and Helwagner H. (Eds.) SCI: Scalable Coherent Interface Architecture and Software for High-Performance Compute Cluster // Lecture Notes on Computer Science, State-of-the-Art-Survey, Vol. 1734, October 1999, Springer, Heidelberg.

119. RFC 1057. RPC. Remote Procedure Call Protocol Specification version 2. Request For Comments, Sun Microsystems, Inc. June, 1988.

120. Smeliansky R.L., Bakhmurov A.G. DYANA: An Environment for Distributed System Design and Analysis // Parcella 96, Proceedings of the VII International Workshop on Parallel Processing by Cellular Automata and Arrays, Berlin, 1996, pp. 85-92.

121. Sullivan H. and Bashkow T.R. A Large Scale, Homogeneous, Fully Distributed Parallel Machine // In Proceedings of the Fourth Annual Symposium on Computer Architecture, 1977. Computer Architecture News, 1977, v. 5, No. 7, pp. 105-124.

122. Tanenbaum A.S. Distributed operating systems. Prentice-Hall Inc., 1995.

123. Welch L.R. and Hammer D.K. Engineering of Distributed Control Systems // Parallel and Distributed Computing Practices: Special Issue, Volume 1, No. 2, June 1998.

124. Wilkinson B. and Allen M. Parallel Programming Techniques and Applications Using Networked Workstations and Parallel Computers. Prentice Hall, Upper Saddle River, 1999.

125. Willebeek-LeMair M.H., Reeves A.P. Strategies for Dynamic Load Balancing on Highly Parallel Computers // IEEE Transactions on Parallel and Distributed Systems, 4 no. 9, pp. 979-993, September 1993.

126. Wirsching J.E. Computer of the 1980's Is it a network of microcomputers? // Proc. IEEE COMPCON 1975 Fall, p. 23-26.