автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.05, диссертация на тему:Параллельно-последовательный коммутатор для систем параллельной и распределенной обработки данных

Введение.

Глава 1. Задачи обработки сообщений в параллельных системах.

1.1. Архитектура современных параллельных и распределенных систем.

1.2. Коммутационные особенности задач в МРР-системах.

1.3. Архитектура коммутационной подсистемы параллельных и распределенных систем.

1.4. Статические коммутационные подсистемы в МРР-системах.

1.5. Процедура коммутации сообщений в МРР-системах.

1.6. Выводы по главе.

Глава 2. Параллельно-последовательные процедуры коммутации сообщений для МРР-систем.

2.1. Содержательная характеристика задачи разработки процедуры коммутации сообщений.

2.2. Параллельно-последовательная процедура коммутации.

2.3. Параллельно-конвейерная процедура коммутации сообщений.

2.4. Выводы по главе.

Глава 3. Структура коммутаторов на основе предложенных процедур коммутации.

3.1. Структурная схема параллельно-последовательного коммутатора.

3.2. Пример работы параллельно-последовательного коммутатора.

3.3. Структурная схема параллельно-конвейерного коммутатора.

3.4. Пример работы параллельно-конвейерного коммутатора.

3.5. Функциональная схема параллельнопоследовательного коммутатора.

3.6. Выводы по главе.

Глава 4. Комплексная оценка разработанных процедур и коммутаторов на их основе.

4.1. Аналитическая оценка аппаратной сложности коммутаторов.

4.1.1. Аналитическая оценка аппаратной сложности последовательного и параллельно-последовательного коммутатора.

4.1.2. Аналитическая оценка аппаратной сложности параллельно-конвейерного коммутатора.

4.2. Аналитическая оценка пропускной способности разработанных коммутаторов.

4.3. Экспериментальная оценка пропускной способности коммутаторов.

4.4 Архитектура библиотеки классов моделирования коммутаторов.

4.5. Q-схемы моделируемых коммутаторов.

4.6. Выводы по главе.

Актуальность. Любая вычислительная система (будь то супер-ЭВМ или персональный компьютер) достигает своей наивысшей производительности благодаря использованию высокоскоростных элементов и параллельному выполнению операций. Возможность параллельной работы различных модулей является главным фактором увеличения производительности вычислительной системы (ВС).

Одной из отличительных особенностей современных ВС является наличие коммутационной подсистемы (КП), с помощью которой процессорные элементы (ПЭ) осуществляют обмен информацией. КП настолько важна для ВС, что многие характеристики ее производительности напрямую выражаются в терминах времени межпроцессорного обмена. Таким образом, для повышения производительности ВС необходимо решение задачи синтеза эффективной коммутационной подсистемы.

Объектом рассмотрения в диссертационной работе являются параллельные ВС с распределенной памятью (МРР-системы), подобные системам Cray ТЗЕ и Origin 2000. Задача синтеза эффективной КП стоит в МРР-системах весьма остро, так как решаемые ими проблемы характеризуются высокоинтенсивным межпроцессорным трафиком стохастического характера (нечеткая барьерная синхронизация, детектирование момента завершения коллективного вычисления, задачи математической физики, итерационные матричные задачи). В связи с тем, что в МРР-системах взаимодействие осуществляется только между соседними ПЭ, для передачи сообщений от одного ПЭ другому необходимо выполнить ряд коммутаций сообщений (передач через транзитные ПЭ). В ходе коммутации каждый ПЭ решает следующие задачи: 1) прием сообщений и их хранение в буферных блоках до обработки; 2) обработка сообщений - определение направлений передачи; 3) выдача сообщений по соответствующим направлениям.

Отличительной особенностью коммутаторов МРР-систем является последовательное выполнение обработки транзитных сообщений, что резко ограничивает пропускную способность КП и класс задач, решаемых МРР-системами. Таким образом, актуальной задачей является разработка процедур коммутации и коммутаторов на их основе, обеспечивающих повышение пропускной способности КП.

Анализ особенностей процедуры обработки сообщений позволил выявить возможность повышения пропускной способности на основе выполнения параллельной обработки и выдачи подмножеств сообщений, которым соответствуют различные направления передачи. Для реализации параллельной обработки средства коммутации должны обеспечивать параллельное считывание сообщений, присутствующих на выходах различных буферных блоков (очередей), независимое формирование кодов направлений их передачи, анализ соотношения кодов направлений и выделение подмножеств сообщений, коды направлений передачи которых не совпадают. Указанные принципы были реализованы в двух процедурах коммутации сообщений, названных параллельно-последовательной процедурой коммутации (ППП) и параллельно-конвейерной процедурой коммутации (ПКП), и коммутаторах на их основе.

Целью диссертационной работы является повышение пропускной способности коммутационной подсистемы МРР-систем на основе разработки процедур коммутации и коммутаторов с параллельно-последовательным характером обработки транзитных сообщений.

Задачами диссертационной работы являются:

1. Исследование существующих процедур коммутации и коммутаторов в параллельных и распределенных системах.

2. Разработка процедуры коммутации, обеспечивающей параллельно-последовательный принцип обработки транзитных сообщений, и коммутатора на ее основе.

3. Проектирование процедуры коммутации, реализующей параллельно-конвейерный способ обработки транзитных сообщений, и коммутатора на ее основе.

4. Аналитическая оценка пропускной способности и аппаратной сложности разработанных коммутаторов.

5. Экспериментальное исследование динамических характеристик разработанных коммутаторов.

Методы исследования.

При решении поставленных задач использовались методы теории множеств, теории графов, теории вероятности и математической статистики, а также теории параллельных и распределенных систем. Экспериментальные исследования проводились на основе библиотеки классов имитационного моделирования и визуальной среды программирования, разработанных под руководством доц. Зотова И.В.

Научная новизна результатов диссертационной работы:

1. Разработаны процедуры коммутации транзитных сообщений и коммутаторы на их основе, позволяющие повысить пропускную способность коммутационной подсистемы МРР-систем на основе принципа параллельно-последовательной обработки.

2. Получены аналитические оценки пропускной способности и аппаратной сложности для разработанных коммутаторов (повышение пропускной способности не менее чем в 2 раза при 2-х кратном увеличении аппаратной сложности).

3. Исследованы зависимости пропускной способности коммутаторов от характеристик потока сообщений и параметров коммутатора (выявлено увеличение пропускной способности при высоких интенсивностях потоков по сравнению с существующими аналогами в 3 раза).

4. Определены условия возникновения потерь сообщений для разных интенсивностей потоков и параметров коммутатора. Установлено отсутствие потерь сообщений при средних значениях интенсивностей потоков (у известных аналогов потери имеются).

Практическая ценность работы заключается в следующем:

1. Создан параллельно-последовательный алгоритм коммутации сообщений, предназначенный для использования в условиях средней интенсивности потоков сообщений.

2. Разработан параллельно-конвейерный алгоритм коммутации сообщений, предназначенный для использования в условиях высокой интенсивности потоков сообщений.

3. Спроектирована функциональная схема коммутатора сообщений реализующего параллельно-последовательную процедуру.

4. Разработана библиотека классов имитационного моделирования коммутаторов и визуальная среда программирования для ее поддержки.

Технические решения защищены патентами РФ (№ 2166793, № 2178584).

Реализация и внедрение.

Результаты диссертационной работы были использованы в учебном процессе в Курском государственном техническом университете, в Курском институте менеджмента, экономики и бизнеса и внедрены на предприятии ЗАО "Кентавр электронике", что подтверждается соответствующими актами.

Апробация работы.

Основные положения диссертационной работы докладывались и получили положительную оценку на всероссийской НТК (Computer-Based Conference) «Информационные технологии в науке, проектировании и производстве» (г. Нижний Новгород, 2000), всероссийской ЭНТК «Компьютерные технологии в науке, проектировании и производстве» (г. Нижний Новгород, 2000), межвузовской электронной НТК «Управляющие и вычислительные системы. Новые технологии» (Вологда, ВГТУ, 2001), МНТК «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации» (Курск, 2001), на научно-технических семинарах кафедры «Вычислительная техника» Курского государственного технического университета с 1999 по 2003 год.

Публикации.

Результаты диссертационной работы отражены в 11 публикациях, включая 3 статьи, 2 патента на изобретение, 6 тезисов и материалов докладов. В работах, опубликованных в соавторстве, лично соискателем предложено: в [1, 9] - параллельно-последовательная процедура коммутации; в [2, 3, 10] -организация коммутатора; в [4,5] - функциональные схемы параллельно-последовательных коммутаторов; в [6, 7, 8, 11] - процедуры выбора направлении ретрансляции сообщении.

На защиту выносятся:

1. Параллельно-последовательная и параллельно-конвейерная процедуры коммутации сообщений для МРР-систем.

2. Аналитическая оценка пропускной способности и аппаратной сложности коммутаторов.

3. Результаты экспериментального исследования динамических характеристик коммутаторов.

4. Структурные и функциональные схемы коммутаторов на. базе созданных процедур.

Объем и структура работы.

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложений. Работа содержит 140 страниц текста и

4.6. Выводы по главе

1. По результатам аналитической оценки пропускная способность параллельно-последовательного коммутатора превышает аналогичный показатель для последовательного коммутатора для основных типовых значений числа входов (5, 7, 9) более чем в 2 раза. Максимальный эффект (превышение в 3,5 раза) достигается для 9-входового коммутатора при средней интенсивности потоков сообщений (в каждый момент времени половина всех буферов заполнена).

2. Отношение аппаратной сложности параллельно-последовательного и последовательного коммутатора составляет от 1,4 до 2,2 при типовых параметрах коммутатора (число входов 5, 7, 9; длина входных буферов от 10 до 20), а комплексная эффективность 111111 превышает аналогичный показатель последовательной процедуры в 1,2-2,3 раза для типовых параметров коммутатора.

3. Отношение аппаратной сложности параллельно-конвейерного и последовательного коммутаторов лежит в пределах от 1,7 до 3,8 при типовых параметрах коммутатора.

4. Экспериментальные исследования на основе аппарата расширенных Q-схем и библиотеки классов моделирования позволили получить семейство зависимостей среднего времени обработки сообщений от интенсивности входных потоков для различного числа входов коммутатора и длинны входных очередей. Данные эксперимента подтверждают результаты аналитической оценки пропускной способности коммутаторов и их преимущество перед последовательными коммутаторами с любыми дисциплинами опроса очередей. Так при максимальной интенсивности входящих потоков сообщений (1 сообщение за 3 такта по каждому входу) средняя длительность обработки одного сообщения параллельно-последовательным коммутатором составляет около 25 тактов, для параллельно-конвейерного - 20 тактов, а для последовательных коммутаторов не менее 125 тактов.

5. Результаты эксперимента показали отсутствие потерь сообщений при работе обоих разработанных коммутаторов в условиях средней интенсивности входящих потоков сообщений (1 сообщение за 30 тактов по каждому входу). При максимальной интенсивности возникают потери сообщений у параллельно-последовательного коммутатора, у параллельно-конвейерного коммутатора потери отсутствуют.

6. Предложенные процедуры позволяют повысить пропускную способность коммутационной подсистемы МРР-систем не менее чем в 2 раза на основе параллельно-последовательного принципа обработки сообщений.

ЗАКЛЮЧЕНИЕ

В диссертационной работе решена научно-техническая задача повышения пропускной способности коммутационной подсистемы МРР-систем на основе разработки процедур коммутации и коммутаторов с параллельно-последовательным характером обработки транзитных сообщений.

При решении поставленной задачи в диссертационной работе получены следующие результаты:

1) разработаны процедуры коммутации транзитных сообщений и коммутаторы на их основе, позволяющие повысить пропускную способность коммутационной подсистемы МРР-систем на основе принципа параллельно-последовательной обработки;

2) получены аналитические оценки пропускной способности и аппаратной сложности для разработанных коммутаторов (повышение пропускной способности не менее чем в 2 раза при 2-х кратном увеличении аппаратной сложности);

3) исследованы зависимости пропускной способности коммутаторов от характеристик потока сообщений и параметров коммутатора (выявлено увеличение пропускной способности при высоких интенсивностях потоков по сравнению с существующими аналогами в 3 раза);

4) определены условия возникновения потерь сообщений для разных интенсивностей потоков и параметров коммутатора. Установлено отсутствие потерь сообщений при средних значениях интенсивностей потоков (у известных аналогов потери имеются);

5) разработана функциональная схема коммутатора сообщений основанного на параллельно-последовательной процедуре обработки сообщений.

Направлениями дальнейших исследований могут стать минимизация аппаратной сложности разработанных коммутаторов, а также поиск возможностей оптимизации времени передачи сообщений в коммутационной подсистеме МРР-систем на основе интеграции предложенных решений и процедур маршрутизации.

1. Feng T.-Y. A survey of interconnection networks 11 IEEE Computer. -1981.-vol.14, № 12.-PP. 12-27

2. Cantor D.G. On non-blocking switching networks // Networks. 1971. -vol.1, №4-PP. 367-377

3. Гибкое автоматизированное производство / Под общ. ред. С А. Майорова, Г.В. Орловского, С.Н. Халкиопова. -Л.: Машиностроение, 1985. -454 с.

4. Arden B.W., lee Н. Analysis of chordial ring network // IEEE Transactions on Computers. 1981. vol. C-30, № 4. PP.291-295.

5. Wu S.B., Liu M.T. A cluster structure as an interconnection network for large multimicrocomputer systems // IEEE Transactions on Computers. 1981. - Vol. C-30, №4.-PP. 254-264.

6. Horowitz E., Zorat A. The binary tree as an interconnection network: applications of multiprocessor systems and VLSI // IEEE Transactions on Computers. -1981. vol. C-30, № 4. - PP.247-253.

7. Schin K.G., Lee Y.-H., Sasidhar J. Design of HM2p a hierarchical multimicroprocessor for general-purpose applications // IEEE Transactions on Computers.- 1982.-Vol. C-31,№ 11.-PP. 1045-1053.

8. Despain A.M., Patterson D.A. X-tree: a tree structured multiprocessor computer architecture / Proceedings of 5th Symp. on Computer Architecture, Palo Alto, Calif. 1978.-PP. 144-151.

9. Kupta P., McKeown N. Design and Implementation of a Packet Switched Routing Chip // Proceedings of Hot Interconnects 6, Stanford, - Aug 1998, - PP. 77-84.

10. Saad Y., Schults M.U. Topological properties of hypercubes // IEEE Transactions. 1988. - Vol. C-37, № 7. - PP. 867-872.

11. Wittie L.D. Communication structures for large networks of microcomputers // IEEE Transactions on Computers. 1981. - vol. C-30, № 4. - PP. 264-273.

12. Preparata F.P., Vuillemin J. The cube-connected cycles: a versatile network for parallel computation / Communications of ACM. 1981. - Vol. 24, № 5. - PP. 300309.

13. Мельников В.А. и др.Устройство для формирования маршрута сообщения в однородной вычислительной системе.; А.С. 1501080 СССР G 06 F 15/16; опубл. 15.08.89, БИ № 30.

14. Мельников В.А. и др.Устройство для формирования маршрута сообщения в однородной вычислительной системе.; А.С. 1462344 СССР G 06 F 15/16; опубл. 28.02.89, БИ № 8.

15. Мельников В.А. и др. Модуль матричного коммутатора.; А.с. 1575167 СССР G 06 F 7/00, 15/16; опубл. 30.06.90, БИ № 24.

16. Jafari Н., Lewis T.G., Spragins J.D. Simulation of a class of ring structured networks // IEEE Transactions on Computers. 1980. - vol. C-29, № 5. - PP. 385-392.

17. Степанян C.O. Коммуникационные сети в многопроцессорных ЭВМ // Автоматика и вычислительная техника. 1987. - № 3. - С.31-43.

18. В.А. Мельников и др. Модуль матричного коммутатора.; А.с. 1133594 СССР G 06F 9/22; опубл. 07.01.85, БИ № 1

19. Советов Б.Я., Яковлев С.А. Моделирование систем. М.: Высшая школа.-2001.-273 с.

20. Беляев Ю.В., Зотов И.В. Процедурно-логическая модель коммутации сообщений для распределенных вычислительных сетей. Телекоммуникации, 2000, №6.-С. 18-23.

21. Анпилогов Е.Г., Беляев Ю.В., Зотов И.В. Квазиадаптивная маршрутизация сообщений в матричных микроконтроллерных сетях / КГТУ, Курск, 2001, Деп. в ВИНИТИ 07.06.2001, №1417-В2001. 26 с.

22. Беляев Ю.В., Сусин П.В., Зотов И.В. Коммутатор с двойными кольцевыми распределенными выходными очередями / Системы управления и информационные технологии. Межвуз. сб. науч. трудов, Воронеж, ЦЧКИ, 2002, вып.9.-С. 70-75.

23. Беляев Ю.В. и др. Модуль коммуникационной сети / Патент № 2166793 Россия, кл. G 06 F 15/173, 15/17; заявл. 10.07.2000, опубл. 10.05.2001, БИ№13.- 19с.

24. Беляев Ю.В., Зотов И.В. Параллельно-последовательная модель коммутации с оптимизацией распределения входящих потоков сообщений / Сборник материалов 5-й международной конференции «Распознавание 2001». -Курск, 2001.-С.201-203.

25. Беляев Ю.В., Сусин П.В., Зотов И.В., Титов B.C. Элемент матричного коммутатора с общей очередью входящих сообщений / Материалы межвузовской электронной НТК «Управляющие и вычислительные системы. Новые технологии», Вологда, ВГТУ, 2001. С.11.

26. Беляев Ю.В., Сусин П.В., Зотов И.В. Выбор оптимальных направлений коммутации сообщений в матричной коммуникационной сети / Материалы межвузовской электронной НТК «Управляющие и вычислительные системы. Новые технологии», Вологда, ВГТУ, 2001. С.47-48.

27. Балабанов А.С. Многопроцессорные системы. Основные принципы организации. Управляющие системы и машины. - 1983. - №3. - С. 3-10.

28. Валях Е. Последовательно-параллельные вычисления. -М.:Мир, 1985.456 с.

29. Воеводин В.В. Математические модели и методы в параллельных процессах. М.: Наука., 1986. - 296 с.

30. Высокоскоростные вычисления. Архитектура, производительность, прикладные алгоритмы и программы Супер ЭВМ / Под ред. Ковалика. -М.: Радио и связь, 1988.-432 С.

31. Головкин Б.А. Параллельные вычислительные системы. М.: Наука, 1980. -520 с.

32. Закревский А.Д. Параллельные алгоритмы логического управления // Доклады АН БССР. — 1982. — Т.26, №12. — С. 1088-1091.

33. Микропрограммное устройство для управления обменом управляющей информации в распределенной системе / B.C. Харченко и др.; А.с. 1325477 СССР О 06 Р 9/22; опубл. 23.07.87, БИ №27.

34. Микропрограммное устройство управления / B.C. Харченко и др.; А.с. 1133595 СССР С 06 Р 9/22, С 06 Р 1/00; опубл. 07.01.85, БИ№1.

35. Микропрограммное устройство управления / B.C. Харченко и др.; А.с. 1168936 СССР С 06 Р 9/22; опубл. 23.07.85, БИ №27.

36. Микропрограммное устройство управления модуля вычислительной системы / В. С. Харченко и др.; А.с. 1108447 СССР О 06 Р 9/22; опубл. 15.08.84, БИ №30.

37. Микропрограммное устройство управления модуля распределенной параллельной вычислительной системы / В.П. Улитенко и др.; А.с. 1252775 СССР О Об Р 9/22; опубл. 23.08.86, БИ№31.

38. Михайлов Г.И., Руднев В.В. Автоматная система взаимосвязанных графов с простейшими связками // А и Т. — 1980. — №5. — С. 132-142.

39. Оре О. Теория графов. — М.: Наука, 1968. — 352 с.

40. Тербер К.Дж. Архитектура высокопроизводительных вычислительных систем. М.: Наука, 1985. - 272 с.

41. Arden B.W., Lee Н. Analysis ofchordial ring network // IEEETC. 1981. -Vol. C-30, №4.-PP. 291-295.

42. Awdeh R.Y., Mouftah H.T. Survey of ATM switch architectures // Computer Networks & ISDN Systems, -1995, vol. 27, - PP. 1567-1613.

43. Bhuyan L.N., Agrawal D.P. Generalized hypercube and hyperbus structures for a computer network // IEEETC. 1984. - Vol. C-33, №4. - PP. 323-333.

44. Coudreuse J.P., Servel M. Prelude: an asynchronous time-division switched network// Proceedings of IEEE International Conference on Communications '87, New York, - 1987, - vol.2, - PP. 769-773.

45. Dally W.J., Carvey P.P., Dennison L.R. The Avici terabit switch/router // Proceedings of Hot Interconnects 6, Stanford, - Aug 1998, - PP. 41-49.

46. Despain A.M., Patterson D.A. X-tree: a tree structured multiprocessor computer architecture / Proceedings of 5th Symp. on Computer Architecture, Palo Alto, Calif.-1978.-PP. 144-151.

47. Dinic E.A. Algorithm for solution of a problem of maximum flow in a network with power estimation // Soviet Math. Dokl., -1970, vol.11, - PP. 1277-1280.

48. Endo N., Kozaki Т., Ohuchi Т., Kuwahara H., Gohara S. Shared buffer memory switch for an ATM exchange // IEEE Transactions on Communications, Jan. 1993, - vol.41,-no. 1,-PP. 237-245.

49. Feng T-Y. A survey of interconnection network // IEEE Computer. 1981. -Vol. 14,№12.-PP.12-27.

50. Gottlieb A., Schawarts J.T. Networks and algorithms for very-large-scale parallel computation // Computer. 1982. - Vol. 15, №1. - PP. 27-36.

51. Hockney R. Classification and Evaluation of ParallelComputer Systems // Lecture Notes in Computer Science. 1987, №295. - PP. 13-25.

52. Horowits E., Zorat A. The binary tree as an interconnection network: application of multiprocessor systems and VLSI // IEEETC. 1981. - Vol. C-30, №4. -PP. 247-253.

53. Morgan S., Delaney M. The Internet and the local telephone network: conflicts and opportunities // XVI International Switching Symposium, Toronto, - 21-26 September 1997, - PP. 561-569.

54. Nath D„ Maheshwari S.N., Bhatt P.C.P. Efficient VLSI networks for parallel processing based on orthogonal trees // IEEETC. 1983. - Vol. C-32, №6. - PP. 569-581.

55. O.I. El-Dessouki, W.H. Huan. Distributed enumeration on network computer // Transactions Comput. 1980. - C-29(9). - PP. 818 - 825.

56. P. Sadayappan, F. Ercal, J. Ramanujam. Cluster partitioning approaches to mapping parallel problems onto a hypercube // Parallel Comput. 1987. - №13(1). -PP.l-6.

57. Perparata P.P., Vuillemin J. The cube-connected connected cycles: a versatile network for parallel computation // Commun. OfACM. 1981. - Vol. 24, №5. -PP. 300-309.

58. Siegel H.J., McMillen R.J., Mueller P.T. A survey of interconnection methods for reconflgurable parallel processing systems // In: AFIPS Conf. Proc., Washington, D.C.-1979.-Vol.C-29, №2.-PP. 108-115.

59. Tamir Y., Frazier G. High performance multi-queue buffers for VLSI communication switches // Proc. of 15th Ann. Symp. on Сотр. Arch., June 1988, -PP.343-354.

60. Tassiulas L., Ephremides A. Stability properties of constrained queueing systems and scheduling policies for maximum throughput in multihop radio networks // IEEE Trans. Automatic Control, Dec. 1992, - vol. 37, - no. 12, - PP. 1936-1948.

61. Tobagi F.A. Fast packet switch architectures for broadband integrated services digital networks // Proceedings of the IEEE, Jan. 1990, - vol.78, - no. 1, - PP. 133-167.

62. Troudet T.P., Walters S.M. Hopfield neural network architecture for crossbar switch control // IEEE Trans. Circuits and Systems, Jan. 1991, - vol.CAS-38, -PP.42-57.

63. Wittie L.D. Communication structures for large networks of microcomputers // IEEE Transactions on Computers. 1981. - Vol. C-30, №4. - PP. 264273.

64. Wu S.B., Liu M.T. A cluster structure as an interconnection network for large multimicrocomputer systems // IEEE Transactions on Computers. 1981. - Vol. C~ 30, №4. - PP. 254-264.

65. Perparata P.P., Vuillemin J. The cube-connected connected cycles: a versatile network for parallel computation // Commun. OfACM. 1981. - Vol. 24, №5. -PP. 300-309.

66. Rose C. Rapid optimal scheduling for time-multiplex switches using a cellular automaton // IEEE Transactions on Communications, May 1989, - vol.37, -no.5, -PP. 500-509.

67. Siegel H.J., McMillen R.J., Mueller P.T. A survey of interconnection methods for reconflgurable parallel processing systems // In: AFIPS Conf. Proc., Washington, D.C.-1979.-Vol.C-29, №2.-PP. 108-115.