автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка и исследование методов синтеза параллельных алгоритмов для многопроцессорных систем со структурно-процедурной организацией вычислений

ВВЕДЕНИЕ.

1. СТРУКТУРНО-ПРОЦЕДУРНАЯ ОРГАНИЗАЦИЯ ВЫЧИСЛЕНИЙ.

1.1. Актуальность задачи организации эффективных параллельных вычислений.

1.2. Универсальные многопроцессорные вычислительные системы с

I массовым параллелизмом и программируемой архитектурой.

I 1.3. Структурно-процедурная организация вычислений.

1.4. Отображение кадровой структуры задачи на архитектуру МВС ПА.

1.5. Анализ структуры задач различных классов и классификация информационных графов.

I 1.6. Выводы.

2. ПРЕОБРАЗОВАНИЕ ИНФОРМАЦИОННОГО ГРАФА В КАДРОВУЮ ФОРМУ И ОПЕРАЦИИ НАД КАДРОВЫМИ СТРУКТУРАМИ.

2.1. Отношения в информационных графах.

2.2. Информационно-эквивалентные операции в информационных j графах.

2.3. Преобразование информационных подграфов в кадровые формы.

2.4. Отношения и операции в кадровых структурах.

2.4.1. Операция Q-соединения.

2.4.2. Операция Т-соединения.

2.4.3. Операция Т-разъединения.

2.4.4. Операция Q-разъединения.

2.5. Формирование проблемно-ориентированных и специализированных макроопераций для их аппаратной реализации в макропроцессоре.

2.6. Методы формирования структур данных и процедур параллельного бесконфликтного обращения к данным в каналах

У памяти многопроцессорной системы с программируемой архитектурой.

2.7. Выводы.

3. ЭФФЕКТИВНЫЕ КАДРОВЫЕ ФОРМЫ ФУНКЦИОНАЛЬНО-РЕГУЛЯРНЫХ ЗАДАЧ.

3.1. Общие принципы преобразования в структурно-процедурную форму функционально-регулярных подграфов.

3.2. Структурно-процедурная реализация задачи математической физики.

3.3. Структурно-процедурная реализация процедуры быстрого преобразования Фурье.

3.4. Выводы.

4. ПРЕОБРАЗОВАНИЕ В КАДРОВУЮ ФОРМУ ФУНКЦИОНАЛЬНО- НЕРЕГУЛЯРНЫХ ЗАДАЧ.

4.1. Методы преобразования функционально-нерегулярных задач в структурно-процедурную форму.

4.2. Структурно-процедурная реализация процедуры решения систем линейных уравнений.

4.3. Структурно-процедурная реализация волновой трассировки.

4.4. Структурно-процедурная организация вычислений в задаче кластерной группировки данных.

4.5.Вывод ы.

Актуальность темы. Последние десятилетия 20 века и начало 21 века характеризуются стремительным развитием многопроцессорных вычислительных систем (МВС). Это связано с тем, что с каждым годом возрастает сложность научно-технических задач, решить которые на однопроцессорных системах затруднительно, а то и просто не представляется, возможным. О темпах развития средств вычислительной техники, повышения их производительности говорит тот факт, что если два десятилетия назад наиболее мощные параллельные компьютеры имели производительность несколько Гфлопс, то в настоящее время наиболее мощные многопроцессорные системы имеют пиковую производительность, превышающую 40 Тфлопс. В настоящее время разрабатываются системы с производительностью до 100 и даже 1000 Тфлопс.

Бурное развитие микроэлектроники и создание семейств высокопроизводительных микропроцессоров привело к тому, что. доминирующими направлениями разработок МВС в настоящее время являются МВС с массовым параллелизмом, состоящие из тысяч параллельно функционирующих микропроцессоров, соединенных между собой через коммутационную систему.

Одной из фундаментальных проблем современной вычислительной техники является создание эффективных параллельных программ. Решением данной проблемы занимались такие видные зарубежные ученые как Дейкстра, Хоар, Хокни, Трилливен, а также многие российские ученые: А.В Каляев, Д.А. Поспелов, В.Г. Хорошевский, Р.Ю. Ясинявичус, В.В. Воеводин, В.А. Вальковский и многие другие. Одному из направлений решения данной фундаментальной проблемы посвящена данная диссертация.

В настоящее время тысячи исследовательских групп и отдельных ученых ведут интенсивные исследования в направлении создания математических методов организации эффективных параллельных вычислений, разработки параллельных алгоритмов решения задач различных классов, а также разработки методов и программных средств автоматического распараллеливания программ для многопроцессорных систем различных архитектур. По данной тематике ежегодно публикуются тысячи статей, ежегодно проводятся десятки научно-технических конференций и симпозиумов различного уровня.

От эффективности математических и алгоритмических методов организации вычислений в современных МВС в значительной степени зависит разработка и создание их прикладного программного обеспечения и, в конечном счете, эффективность применения этих систем при решении сложных научно-технических задач больших размерностей.

Однако практически все существующие методы организации параллельных вычислений в МВС с массовым параллелизмом ориентированы на распараллеливание последовательных алгоритмов и программ. При этом исследуются только информационные взаимодействия смежных частей алгоритма (циклов, процедур и т.п.) и не уделяется должного внимания общей информационной структуре задачи. Существующие к настоящему времени методы организации параллельных вычислений ориентированы на решение сложных проблем адаптации структуры вычислительного алгоритма к структуре МВС.

До сих пор эти проблемы не решены, и это не позволяет создать масштабируемые параллельные программы для МВС с массовым параллелизмом, которые могли бы быть выполнены с одинаковой эффективностью на произвольной конфигурации вычислительной системы. В результате создание эффективных параллельных алгоритмов и программ решения задач различных классов при отсутствии эффективных методик организации вычислений в МВС с массовым параллелизмом, как правило, представляет сложную проблему.

Поэтому актуальной является задача разработки формальных методов, которые позволяют преобразовать задачу из ее исходной формы представления в форму, эффективную для реализации на МВС, и синтезировать параллельную программу, эффективно реализуемую на произвольной конфигурации системы.

Большинство существующих в мире МВС с массовым параллелизмом использует мультипроцедурную организацию вычислений. При мультипроцедурной организации распараллеливание осуществляется по элементам структуры данных, и в каждом процессоре обработка ведется по' независимой последовательной программе. Для обмена данными между процессорами в системе организуются специальные процедуры. Параллельные алгоритмы и параллельные программы решения сложных научно-технических задач, решаемых на МВС с массовым параллелизмом, обеспечивают достаточно низкую реальную производительность, зачастую не превышающую 10-15 % от пиковой производительности системы, вследствие того, что организация параллельных вычислений и процедуры межпроцессорных обменов требуют больше времени, чем непосредственно вычисления. В ряде случаев при создании параллельных программ для существующих МВС' используются эвристические методы поиска локально-оптимальных вариантов распараллеливания, а эффективные параллельные программы удается создать лишь для определенного варианта распараллеливания.

В связи с этим программирование на МВС с массовым параллелизмом до сих пор является сложным и трудоемким процессом, намного превосходящим по сложности процесс программирования на однопроцессорных машинах. Это обуславливает чрезвычайно высокую стоимость прикладного и системного программного обеспечения МВС и ограничивает их применение.

Альтернативой существующим МВС с массовым параллелизмом' являются многопроцессорные вычислительные системы с программируемой архитектурой (МВС ПА). Концепция таких систем была разработана в Научно-исследовательском институте многопроцессорных систем ТРТУ под руководством академика РАН А.В. Каляева /1,2/.

Идея МВС с программируемой архитектурой заключается в том, чтобы позволить пользователю с помощью предоставляемых программных средств и соответствующей аппаратной поддержки программировать и формировать в исходной универсальной системе виртуальные специализированные вычислители, адекватные структуре решаемой задачи. Это позволяет не только подбирать структуру алгоритма к структуре системы, но и, наоборот, подбирать структуру многопроцессорной системы к структуре параллельного алгоритма,. отражающего, в первую очередь, "внутренний" параллелизм задачи, а не структуру вычислительных средств /3/.

Для многопроцессорной системы с программируемой архитектурой используется структурно-процедурная (кадровая) форма задачи. Кадр представляет собой структурно (аппаратно) реализованный подграф задачи, через который следует поток данных. Подобная организация вычислений обеспечивает максимальную скорость обработки данных, сопоставимую со скоростью специализированных вычислителей. Структура многопроцессорной системы адекватна структуре решаемой задачи. Вычисления в теле кадра, выполняются по принципу управления потоком данных и не требуют синхронизации. Настройка на кадры производится по единой управляющей программе, что обеспечивает фон-неймановский детерминизм вычислительной процедуры /4, 5/.

Для МВС ПА, как и для МВС других архитектур, актуальной является задача разработки формальных методов, позволяющих синтезировать эффективные параллельные алгоритмы и программы, которые обеспечивают высокую реальную производительность системы, максимально приближенную к ее пиковой производительности.

Разрабатываемые методы должны обеспечить оперативность создания параллельных программ задач различных классов МВС ПА. Для этого необходимо решить проблему разработки формальных методов преобразования задачи из ее исходной постановки в структурно-процедурную (кадровую) форму.

Объектом исследований являются структурно-процедурные методы организации вычислений в многопроцессорных системах с программируемой архитектурой.

Цель и задачи работы. Диссертационная работа направлена на решение проблем создания эффективных методов организации параллельных вычислений для МВС с программируемой архитектурой.

Целью работы является создание методики, позволяющей синтезировать эффективные параллельные структурно-процедурные алгоритмы задач различных классов, реализуемые на произвольной конфигурации многопроцессорной системы с программируемой архитектурой и структурно-процедурной организацией вычислений.

Разрабатываемая методика должна позволить без использования эвристических подходов преобразовать алгоритмически сформулированную ( задачу в параллельный структурно-процедурный алгоритм, позволяющий создать масштабируемую параллельную программу решения данной задачи, которая может быть выполнена на различной конфигурации МВС.

Для достижения этой цели в работе решаются следующие задачи.

1. Разработка формальных методов, позволяющих преобразовать алгоритмы задач различных классов в структурно-процедурную (кадровую) форму для различных вариантов распараллеливания задачи.

2. Разработка операций над кадрами для синтеза различных вариантов структурно-процедурных алгоритмов, реализуемых на различной < конфигурации МВС.

3. Разработка методов формирования структуры данных, обеспечивающих реализацию бесконфликтных эффективных процедур параллельного обращения к распределенной памяти МВС для решения задач различных классов.

4. Разработка эффективных масштабируемых параллельных алгоритмов решения задач различных классов на различной конфигурации МВС со структурно-процедурной организацией вычислений.

Методы исследований. При проведении исследований были использованы элементы теории вычислительных систем, элементы теории графов, теории множеств, а также реляционное исчисление. Теоретические исследования подтверждены вычислительными экспериментами на имитационной модели МВС со структурно-процедурной организацией вычислений, а также реализацией компонентов математического обеспечения на базовом модуле МВС со структурно-процедурной организацией вычислений.

Научная новизна работы заключается в разработке методики организации параллельных вычислений, базирующейся, в отличие от существующих методов, не на топологически эквивалентном преобразовании информационных графов, а на информационно-эквивалентном преобразовании графов и синтезе структурно-процедурной формы задачи, которая обеспечивает эффективную реализацию параллельных алгоритмов и линейный рост производительности системы при увеличении числа процессоров.

Разработанная методика обеспечивает высокую эффективность структурно-процедурной реализации задач различных классов, не уступающую эффективности реализации этих задач на специализированных вычислителях, при этом реальная производительность МВС ПА близка к пиковой производительности в широком диапазоне значений степени распараллеливания задач.

В ходе выполнения исследований решены следующие задачи и получены следующие результаты:

- формализовано и уточнено математическое определение кадра, на основе которого разработаны операции над кадровыми структурами, позволяющие реализовать различные варианты структурно-процедурного распараллеливания задачи;

- разработана система информационно-эквивалентных операций, обеспечивающая преобразование информационного графа в структурно-процедурную форму;

- разработаны методы бесконфликтного размещения данных в распределенной памяти многопроцессорной системы со структурно-, процедурной организацией вычислений, позволяющие синтезировать эффективные процедуры адресации и коммутации.

Практическая значимость работы заключается в том, что разработанные методы синтеза параллельных алгоритмов могут быть использованы при создании масштабируемых параллельных программ решения задач различных классов на многопроцессорных системах с программируемой архитектурой. При этом существенно (до двух раз) будут сокращены временные затраты на разработку параллельных программ, а также повышена реальная производительность системы при решении широких классов задач до. четырех раз. На основе методов преобразования задачи в структурно-процедурную форму разработан ряд оригинальных параллельных структурно-процедурных алгоритмов решения задач различных классов, в том числе, тех задач, для которых неизвестна параллельная реализация.

Использование результатов работы. Теоретические и практические результаты диссертационной работы использованы при выполнении госбюджетных и хоздоговорных НИР в НИИ МВС ТРТУ, непосредственным участником которой являлся автор диссертации.

Наиболее важными из них являются:

- "Исследование возможности путей создания вычислителя с программируемой архитектурой", руководитель НИР - член-корреспондент РАН И.А. Каляев;

- "Разработка инструментальной программно-математической системы суперкомпьютеров с массовым параллелизмом военного назначения", руководитель НИР - академик РАН А.В. Каляев, № ГР 01200100688;

- "Разработка универсальных мультимикропроцессорных систем с массовым параллелизмом и средствами аппаратно-программной поддержки синтеза виртуальных архитектур и модульной реконфигурации", руководитель, - академик РАН А.В. Каляев;

- "Многопроцессорные ЭВМ с параллельной структурой в бортовых системах принятия решений и управления автономных объектов", руководитель к.т.н. С.Г. Капустян, № ГР 01.9.90002062;

- "Дальнейшее развитие теории многопроцессорных вычислительных систем с массовым параллелизмом, программируемой под структуру задачи архитектурой и структурно-процедурной реализацией вычислительного процесса", руководитель - академик РАН А.В. Каляев, № ГР 01.2.00102845;

- "Разработка и создание методов и программно-аппаратных средств для структурно-процедурной организации вычислений в суперЭВМ с программируемой архитектурой", руководитель - академик РАН А.В. Каляев;

- "Разработка методологии организации структурно-процедурных вычислений на многопроцессорных суперЭВМ с массовым параллелизмом и программируемой архитектурой", руководитель - к.т.н. И.И.Левин, № ГР 01990002076;

- "Теоретические и практические основы построения и применения мультипроцессорных вычислительных систем с программируемой архитектурой для решения задач прикладной физики и математики", руководитель - академик РАН А.В. Каляев, № ГР 01970003041;

- "Разработка и исследование архитектуры, принципов построения и элементной базы высокопроизводительного универсального суперпроцессора со структурной организацией вычислений", руководитель - академик РАН А.В.Каляев, № ГР 019100054183;

- "Исследование и разработка фундаментальных принципов и методов программирования многопроцессорных вычислительных систем с массовым параллелизмом, программируемой архитектурой и структурно-процедурной организацией вычислений", руководитель - академик РАН А.В. Каляев.

Апробация работы. Основные результаты работы докладывались и обсуждались на всероссийских и международных научно-технических конференциях:

- Всероссийская научно-техническая конференция "Актуальные' проблемы твердотельной электроники и микроэлектроники", Таганрог, 1994 г.;

- Всероссийская научно-техническая конференция с международным участием "Теория цепей и сигналов", Новочеркасск, 1996 г.;

-VI международный семинар "Распределенная обработка информации", Новосибирск, 1998 г.;

- Всероссийская научно-техническая конференция с международным участием "Компьютерные технологии в инженерной и управленческой деятельности", Таганрог, 1998 г.;

- IV всероссийская научно-техническая конференция "Нейрокомпьютеры ' и их применение", Москва, 1998 г.;

- V всероссийская научно-техническая конференция "Нейрокомпьютеры и их применение", Москва, 1999 г.;

-Международная конференция "Интеллектуальные многопроцессорные системы (ИМС'99)", Таганрог, 1999 г.;

- Международная конференция "Искусственный интеллект-2000",-Кацивели, 2000 г.;

- Международная конференция "Интеллектуальные и многопроцессорные системы-2001", пос. Дивноморское, 2001 г.

По теме диссертации опубликовано 18 печатных работ, в том числе 7 - в центральной печати.

Наиболее важными из публикаций являются:

Левин И.И., Пономарев И.М. Реализация алгоритма волновой трассировки на многопроцессорной системе со структурной организацией вычислений. //Деп. ВИНИТИ, N 1553-В95, 1995, 49 с.

Левин И.И., Пономарев И.М. Реализация БПФ на многопроцессорной системе со структурной организацией вычислений. // Электромеханика, N 4, 1995, 33 с.

Пономарев И.М. Методы преобразования задач в структурно-процедурную форму. // Труды международной конференции

Интеллектуальные многопроцессорные системы (ИМС'99)". -Таганрог. Изд-воТРТУ, 1999. -с. 147-150.

Левин И.И., Пономарев И.М. Структурно-процедурная реализация кластерной группировки данных в задачах обработки изображений. // "Электромеханика", 1999, № 2. с. 54-57.

Каляев А.В., Левин И.И., Пономарев И.М. Базовый модуль многопроцессорной вычислительной системы с программируемой архитектурой для эффективного решения исследовательских и производственных задач. // Наука - производству, 1999 г., №11. с.33-39.

Левин И.И., Пономарев И.М. Методика организации высокоэффективных параллельных вычислений в многопроцессорных системах. // Труды международной конференции "Искусственный интеллект-2000". Таганрог: Изд-во ТРТУ, 2000.- с. 142-144.

Левин И.И., Пономарев И.М., Шматок А.В. Методы преобразования параллельных программ под структуру вычислительной системы. // Искусственный интеллект. Донецк (Украина): изд-во ДонГИИИ "Наука i осв1та"№3, 2001, с. 213-227.

Основные положения, выносимые на защиту:

- формальные методы преобразования алгоритма задачи в структурно-процедурную (кадровую) форму, которая естественным образом отображается в структуру многопроцессорной вычислительной системы с программируемой архитектурой;

- методы формирования кадровых структур, позволяющие синтезировать кадровые формы задач для различных вариантов распараллеливания и, как следствие, решить задачу на различной конфигурации МВС;

-методы организации структуры данных, обеспечивающие' бесконфликтное параллельное обращение к каналам памяти многопроцессорной вычислительной системы с программируемой архитектурой;

- параллельные структурно-процедурные алгоритмы задач различных классов, подтверждающие эффективность разработанных формальных методов синтеза масштабируемых параллельных алгоритмов.

Структура диссертации. Диссертация состоит из введения, четырех глав, заключения и библиографического списка.

4.5. Выводы

1. Разработана расширенная методика, позволяющая синтезировать параллельные структурно-процедурные алгоритмы не только для функционально-регулярных задач, но и для задач более общего вида, в том числе, для задач, для которых в настоящее время неизвестна эффективная параллельная реализация.

2. На основе расширенной методики для задачи решения систем линейных уравнений методом Гаусса синтезировано семейство эффективных структурно-процедурных алгоритмов, позволяющих создать масштабируемые параллельные программы решения задачи на МВС ПА.

3. На основе расширенной методики для задачи трассировки СБИС волновым алгоритмом Ли разработан параллельный алгоритм, эффективно реализуемый на МВС ПА. Показано, что средняя эффективность решения данной задачи на МВС со структурно-процедурной организацией вычислений составляет около 0,5, что примерно в четыре раза выше, чем аналогичный показатель для существующих параллельных алгоритмов.

ЗАКЛЮЧЕНИЕ

Основной научный результат диссертации заключается в разработке методики организации параллельных вычислений, базирующейся, в отличие от существующих методов, не на топологически эквивалентном преобразовании информационных графов, а на информационно-эквивалентном преобразовании графов и синтезе структурно-процедурной формы задачи, которая обеспечивает эффективную реализацию параллельных алгоритмов и линейный рост производительности системы при увеличении числа процессоров.

При проведении исследований и разработок по теме настоящей работы получены следующие теоретические и прикладные результаты.

1) Разработана система информационно-эквивалентных операций в информационных графах, позволяющих преобразовать задачу в структурно-процедурную форму для различных вариантов распараллеливания.

2) Разработана система операций, позволяющих синтезировать кадровые формы задач для различных вариантов распараллеливания и, как следствие, решить задачу на различной конфигурации МВС.

3) Разработаны методы формирования структуры данных в распределенной памяти МВС ПА, обеспечивающие бесконфликтное параллельное обращение к каналам распределенной памяти при решении задачи на МВС ПА для различных вариантов распараллеливания.

4) На основе методики преобразования задач различных классов в кадровую форму синтезированы эффективные структурно-процедурные алгоритмы задач различных классов, в том числе тех задач, для которых в настоящее время неизвестна эффективная параллельная реализация. При решении таких задач на МВС ПА отношение реальной производительности системы к ее пиковой производительности до четырех раз превышает аналогичный показатель, обеспечиваемый традиционными методами организации параллельных вычислений.

По результатам диссертации опубликовано 18 печатных работ, из них семь - в центральной печати. т

1. Каляев А.В. Многопроцессорные системы с программируемой архитектурой. -М.: Радио и связь. 1984. -240 с.

2. Каляев А.В., Станишевский О.Б. Принципы построения программно-аппаратных средств супермакрокомпьютеров. // Информатика, М., №2, 1990. -с. 13-21.

3. Ясинявичус Р.Ю. Параллельные пространственно-временные вычислительные структуры. -Вильнюс: Мокслас. 1988 г. -с. 181.

4. Каляев А.В., Фрадкин Б.Г., Левин И.И. Унифицированная элементная база для построения реконфигурируемых под задачу вычислительных систем. // Известия ВУЗов, Электроника, М., № 1, 1997. -с. 74-83.

5. Каляев А.В., Левин И.И., Пономарев И.М. Базовый модуль многопроцессорной вычислительной системы с программируемой архитектурой для эффективного решения исследовательских и производственных задач. // Наука производству, М., № 11, 1999. -с 33 - 39.

6. ASCI Program Overview // http:// www.sandia.gov/ ASCI/ asciprogramoverview.htm

7. Silicon Graphics Supercomputers Achieve Highest Level of Performance in Automobile Crash Analysis Work for Ford /http://www.sgi.com/newsroom/pressreleases/1999/february/ford.html

8. Василенко Г.И., Тараторкин A.M. Восстановление изображений. -M: Радио и связь, 1986.-302 с.

9. СБИС для распознавания образов и обработки изображений М.: Мир, 1988. -247 с.

10. Tahsin М. Kurc, Cevdet Aykanat, Fikret Ercal: Parallelization of Lee's Routing Algorithm on a Hypercube Multicomputer. EDMCC 1991: 244-253.

11. Cevdet Aykanat, Tahsin M. Kurc: Efficient Parallel Maze Routing Algorithms on a Hypercube Multicomputer. ICPP (3) 1991: 224-227.

12. Ercal and H. C. Lee, "Time-efficient maze routing algorithms on reconfigurablemesh architectures," J. of Parallel and Distributed Computing, 44(2): 133-140, August 1997.

13. Каляев A.B., Каляев И.А., Левин И.И., Пономарев И.М. Параллельный компьютер с программируемой под структуру задачи архитектурой. // Труды шестого международного семинара "Распределенная обработка информации", Новосибирск. 1998. -с. 25-29.

14. A.J. van der Steen, J.J. Dongarra Overview of Recent Supercomputers /http://www.top500.org/ORSC/2001 /overviewO 1 .html

15. Проект: ИПС РАН /Т-система // http: // parallel.ru/ parallel/ russia/ тар/ dataУ projectl5.html

16. Андрианов А.Н., Ефимкин К.Н., Задыхайло И.Б. Язык Норма. Препринт ИПМ им. М.В.Келдыша АН СССР. № 165. 1985.

17. Задыхайло И.Б., Крюков В.А., Поздняков JI.A. РАМПА система автоматизации разработки мобильных параллельных программ.http://www.keldysh.ru/dvm/dvmhtml 107/publishr/rampar.html

18. Каляев A.B., Гречишников А.И., Гузик В.Ф., Станишевский О.Б. Многопроцессорные системы с программируемой архитектурой. // В кн. «Параллельная обработка информации». Киев: Наукова думка, 1984, т.4. -с. 100-148.

19. Kalyaev A.V. Multiprocessor Homogeneous Calculating Structures with

20. Distributed Memory and Universal Commutation. Euromicro Journal. V.5, No 2, 1979.-pp. 73-81.

21. Kalyaev A.V. Multiprocessor Systems with Programmable Architecture. Fifth Gentration Computer Architectures. Amsterdam. New York. Oxford. Tokyo. 1986. -pp. 291-300.

22. Kalyaev A.V. Multimicroprocessor Systems. Information Processing 86. Amsterdam. New York. Oxford. Tokyo. 1986. -pp. 949-954.

23. Kalyaev A.V. Ultra-high Performance Multiprocessor Supersystems with Programable Architecture. Aspects of computation on Asynchronous Parallel Processors. Amsterdam. New York. Oxford. Tokyo. 1989. -pp. 111-123.

24. Каляев A.B., Каляев И.А. СТОРК-компьютер многопроцессорная вычислительная система со структурной организацией вычислений. // Электронное моделирование, Киев, 1996, № 4. -с. 5-14.

25. Kalyaev A.V. STORC-Computers with Massively Parallelism for Virtual Environment Systems. Proceedings of Symposium "State and Application of Digital Communication Networks".Bochum, Germany, 1996. -pp.111-120.

26. Kalyaev A.V., Kalyaev I.A. STORC-Computer a MultiprocessorComputer System with Structure-Organized Calculations. //Engineering Simulation. Overseas Publishers Assotiation. -Amsterdam. -Vol.10, —pp.505-520.

27. Kalyaev A.V. The Programming of Virtual Problem-Oriented Parallel Supercomputers in the Structure of Universal Supercomputers with Massiv Parallelism. //High-Perfomance Computing. -San Diego. California. USA. -1999. — pp.249-255.

28. Каляев A.B., Левин И.И. Многопроцессорные системы с перестраиваемой архитектурой. Концепция развития и применения. // "Наука производству". -М. -1999, -№ 11. -с.11-18.

29. Левин И.И. Технология параллельных индуктивных программ. / Сб. трудов Санкт-Петербургского государственного университета аэрокосмического приборостроения. 2000. -с.54-56.

30. Каляев А.В. Генетические, программно-архитектурные и программно-процедурные принципы формирования и обучения нейропроцессорных сетей. // "Искусственный интеллект", Донецк, Украина. Изд. ДонДПШ: «Наука i осв1та», 2001, №3, -с.340-387.

31. Поспелов Д.А. Введение в теорию вычислительных систем. -М.: Изд-во «Советское радио», 1972. -280 с.

32. Воеводин В.В. Математические модели и методы в параллельных процессах. -М.: Наука, Гл. ред. физ.-мат. лит. 1986. -296 с.

33. Фути К., Судзуки Н. Языки программирования и схемотехника СБИС: / Пер. с япон. М: Мир. -1988. - 224 с.

34. Левин И.И., Пономарев И.М., Шматок А.В. Методы преобразования параллельных программ под структуру вычислительной системы // "Искусственный интеллект", Донецк, Украина, изд. ДонДПШ: «Наука i осв1та», №3, 2001.-c.221

35. Левин И.И., Пономарев И.М. Методика организации высокоэффективных параллельных вычислений в многопроцессорных системах. // Тезисы международной конференции "Искусственный интеллект-2000". -Кацивели. Изд-во ТРТУ. -11-16 сентября 2000. -с. 142-144.

36. Норенков И.П., Маничев В.Б. Системы автоматизированного проектирования электронной и вычислительной аппаратуры. / Учеб. пособие для вузов. М.: Высшая школа. 1983. 272 с.

37. Коуги П.М. Архитектура конвейерных ЭВМ. /М.: -Радио и связь. -1985. -357 с.

38. Сигорский В.П. Математический аппарат инженера. -Киев: Техника, 1975. -766 с.

39. Братко И. Программирование на языке ПРОЛОГ для искусственного интеллекта. М.: Мир. -1990. 559 с.

40. Свами М., Тхуласираман К. Графы, сети и алгоритмы. / Пер. с англ.- М: Мир. 1984.-455 с.

41. Разработка инструментальной программно-математической системы суперкомпьютеров с массовым параллелизмом военного назначения. Отчет о НИР / НИИ МВС ТРТУ; Руководитель темы Каляев А.В. 2000, зарег. в ЦВНИ, ИН-858.

42. Левин И.И., Шматок А.В. Сборочная система параллельного макропрограммирования "Интегрированная среда для МВС СПРВ". // "Искусственный интеллект", Донецк, Украина, изд. ДонДИШ: «Наука i oceiTa». № 3, 2001. -с.228-233.

43. Левин И.И., Софронов О.О. О языке макроассемблера комплекта БИС с программно-перестраиваемой структурой. / Сб."Архитектура ЭВМ и машинное моделирование". Таганрог. Изд-во ТРТУ. 1989. с. 33-37

44. Разработка и создание элементной базы многопроцессорных ЭВМ с программируемой архитектурой на основе ПЛИС-технологии. Отчет о НИР / НИИ МВС ТРТУ; Руководитель темы Каляев А.В. № ГР 01990002061, Инв. № 02990001392 - Таганрог. - 1999. -111 с.

45. Разработка универсальных мультимикропроцессорных систем с массовым параллелизмом и средствами аппаратно-программной поддержки синтеза виртуальных архитектур и модульной реконфигурации. Отчет о НИР / НИИ

46. МВС ТРТУ; Руководитель темы Каляев А.В. № ГР 01.20.0100688, Инв. № 02.2.00102589 - Таганрог. - 2000. -114 с.

47. Пономарев И.М. Методы преобразования задач в структурно-процедурную форму. / Сб. тезисов международной конференции "Интеллектуальные многопроцессорные системы (ИМС'99)". -Таганрог. Изд-во ТРТУ. -1999. -с. 147-150.

48. Тихонов А.Н., Самарский А.А. Уравнения математической физики. М.: Наука. -1972. -735 с.

49. На Ц. Вычислительные методы решения прикладных граничных задач. / Пер. с англ.- М: Мир. 1982.- 296 с.

50. Применение цифровой обработки сигналов. /Под редакцией Э.Оппенгейма. М: Мир. 1980.-552 с.

51. Рабинер Л., Гоулд Б. Теория и применение цифровой обработки сигналов. М: Мир. 1978.-848 с.

52. Левин И.И., Пономарев И.М. Реализация быстрого преобразования Фурье на многопроцессорной системе со структурно-процедурной организацией вычислений. // Изв. вузов "Электромеханика", 1995. №4. -с.72-74.

53. Воеводин В.В. Вычислительные основы линейной алгебры. / Гл. редакция физико-математической литературы. -М.: Наука. 1977.-304 с.

54. Левин И.И., Пономарев И.М. Реализация алгоритма волновой трассировки СБИС на многопроцессорных вычислительных системах. / Деп. ВИНИТИ, № 1553-В95, 1995,- 49 с.

55. Трассировка СБИС на МВС. / Актуальные проблемы твердотельной электроники и микроэлектроники. // Тезисы докладов Всероссийской научно-технической конференции, Таганрог, 1994. -с. 110.

56. СБИС для распознавания образов и обработки изображений М.: Мир, 1988. -247 с.

57. Левин И.И. Пономарев И.М. Структурно-процедурная реализация кластерной группировки данных в задачах обработки изображений. // Известия высших учебных заведений "Электромеханика", 1999. № 2. -с. 54-57.