автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.13, диссертация на тему:Теория и методология проектирования специализированных параллельных процессоров на основе крупноблочных операций

Московский ордена Ленина

' и ордена Октябрьской Революции

энергетический институт

На правах рукописи

Фет Яков Ильич

ТЕОРИЯ И МЕТОДОЛОГИЯ ПРОЕКТИРОВАНИЯ СПЕЦИАЛИЗИРОВАННЫХ ПАРАЛЛЕЛЬНЫХ ПРОЦЕССОРОВ НА ОСНОВЕ КРУПНОБЛОЧНЫХ ОПЕРАЦИЙ

Специальность 05.13.13 - вычислительные машины, комплексы, системы и сети

Диссертация на соискание ученой степени доктора технических наук (в форме научного доклада)

Москва - 1992

Работа выполнена в Вычислительном центре Сибирского отделения Российской Академии Наук

Официальные оппоненты:

доктор технических наук, профессор Евреинов Э.В., доктор технических наук, профессор Кутепов В.П., доктор технических наук, профессор Поспелов Д.А.

Ведущая организация: ордена Ленина Институт кибернетики им. В.М. Глушкова АН Украины

Защита состоится "24' ИЮНЯ 1992 года в II часов на заседании Специализированного Совета Д.053.16.09 по защите диссертаций на соискание ученой степени доктора наук при Московском энергетическом институте (105835, ГСП, Москва, Е-250, Красноказарменная ул., 14).

С диссертацией можно ознакомиться в библиотеке Московского энергетического института.

Автореферат разослан ¿ЦХЛ^ 1992 года.

к.т.н., доцент

Ученый секретарь Специализированного Совета

к-т.н. . пп11рнт ^

Ладыгин И.И.

м Актуальность исследований. Одна из важнейших проблем современной науки и техники - создание новых высокопроизводительных вычислительных систем. В связи с лчзьишто физическое быстродействие элементов ограничено и дальнейший рост производительности за счет увеличения тактовой частоты представляет все большие затруднения, на первый план выступают алгоритмические и структурные методы.

Основным методом повышения производительности вычислительных комплексов в настоящее время является использование параллельных процессоров, в особенности ориентированных на эффективную реализацию функций и процедур, имеющих большой удельный вес в алгоритмах решения важных классов задач. В связи с этим возникают проблемы классификации функций и процедур, ведущей к рациональному выбору количества и типов

:пецийлизированных процессоров; определения структуры троцессоров, наилучшим образом соответствующей различным детодам массовой обработки; поиска микроструктуры

Цункциональных модулей, обеспечивающей высокий уровень 1араллелизма обработки и, в то же время, максимально 1СПользующей преимущества современной технологии.

В этой связи проблемы развития теории и методологии [роектирования специализированных параллельных

фоцессоров являются актуальными и своевременными.

Научная новизна. Новизна полученных результатов за-лючается в исследовании и разработке единого методологи-еского подхода к проектированию параллельных специализи-ованных процессоров, создании и исследовании нового ласса специализированных процессоров, характеризующихся ысоким быстродействием и технологичностью.

Новизну исследований раскрывают следующие езультаты:

Применение крупноблочного подхода к классификации роцедур массовой обработки и развитие этого подхода при гшении проблемы увеличения производительности ^числительных систем на основе широкого использования 1ециализированных процессоров.

Разработка и реализация специализированного векторно-конвейерного процессора, который позволил увеличить производительность на порядок по сравнению с известными вычислительными машинами.

Использование в качестве структурной основы для реализации массовых крупноблочных операций двумерных распределенных функциональных модулей (названных р-структурами), осуществляющих, в отличие от известных ранее однородных структур, прямое отображение алгоритмов в логические сети, что обеспечивает максимальное быстродействие и высокий коэффициент использования площади кристаллов.

Исследование связей между горизонтальным и вертикальным подходами к обработке крупных блоков информации, позволившее выявить универсальный характер вертикальной обработки и ее особую роль для увеличения производительности специализированных процессоров.

Расширение классификации параллельных вычислительных систем и разработка концепции комбинированной архитектуры, для которой продемонстрировано существенное увеличение производительности за счет согласованного применения специализированных процессоров, построенных на основе Р-структур.

.Практическая ценность полученных результатов состоит в создании схемотехнических основ проектирования эффективных функционально-ориентированных параллельных процессоров регулярной структуры и подготовке условий для их промышленного производства и применения.

Эти результаты широко использованы при проектировании специализированных процессоров нечисловой обработки и машин баз данных (НИЦЭВТ, ВЦ РАН, НПО "Центрпрограммсистем" и другие организации), в научно-исследовательских проектах высокопроизводительных вычислительных систем для решения задач линейной алгебры и линейного программирования, математической физики и пр. (ЦЭМИ РАН, ИМ СО РАН, ВЦ СО РАН и другие организации), при подготовке студентов и аспирантов по специальности "Параллельные системы и алгоритмы" (НГУ и другие ВУЗы).

Основные положения, выносимые на защиту.

1. Разработка единого методологического подхода к проектированию параллельных процессоров, основанного на классификации массовых крупноблочных операций.

2. Разработка векторного конвейерного процессора АМ.

3. Разработка и исследование нового класса однородных вычислительных устройств с микрозернистым параллелизмом - распределенных функциональных структур.

4. Развитие теории ассоциативных параллельных процессоров и исследование связей между распределенными и сосредоточенными режимами обработки.

5. Развитие методов проектирования 31МБ-структур и разработка концепции комбинированной архитектуры.

Апробация работы. Результаты докладывались и обсуждались на многих Всесоюзных и Международных конференциях и семинарах, в том числе: на 2-й (1969), 3-й (1972), 4-й (1975) и 5-й (1991) Всесоюзных конференциях по проблеме "Однородные вычислительные системы и среды", на Советско-Болгарском семинаре "Теория автоматов и ее приложения" (Москва, 1973), на Конгрессе 1ГАС

"Дискретные системы" (Рига, 1974), на 5-м Международном семинаре по прикладным аспектам теории автоматов (Варна, 1972), на Всесоюзном научно-техническом семинаре "Проблемы создания и использования высокопроизводительных информационно- вычислительных машин" (Кишинев, 1979), на 9-м Всесоюзном симпозиуме по кибернетике (Сухуми, 1981), на Всесоюзном симпозиуме "Семиотические аспекты формализации интеллектуальной деятельности" (Кутаиси, 1985), на 4-й Всесоюзной конференции "Применение методов математической логики" (Таллин, 1986), на Всесоюзной конференции "Научные проблемы создания ЭВМ нового поколения" (Новосибирск, 1986), на Международном семинаре "Аппаратная поддержка систем искусственного интеллекта" (Батуми, 1986), на Всесоюзном научно-техническом семинаре "Программное обеспечение многопроцессорных систем" (Калинин, 1988), на Всесоюзной конференции по искусственному интеллекту (Переславль-Залесский, 1988), на Международной конференции РАНСЕЬЬА-90 (Берлин, 1990),

на Международной конференции "Технологии параллельных вычислений" (Новосибирск, 1991).

Публикации. Основное содержание опубликовано в 89 работах (в том числе, в четырех монографиях).

По тематике данной диссертационной работы получено 31 авторское свидетельство СССР и 5 зарубежных патентов.

Содержание работы.

Решение проблемы создания эффективных суперЭВМ связано с использованием различных подходов к организации параллельной обработки. Работа посвящена исследованию трех подходов.

Первый из них предусматривает использование специализированных процессоров, ориентированных на параллельную реализацию крупноблочных операций, имеющих широкое распространение в наиболее важных алгоритмах и методах обработки информации. В рамках этого подхода в данной работе была проведена классификация процессов обработки и выделены основные типы массовой обработки. Исследованы принципы применения специализированных процессоров как средства существенного увеличения Производительности вычислительных комплексов. Разработан, изготовлен и испытан конвейерный арифметический процессор АМ, работающий в комплексе с универсальной ЭВМ и обеспечивающий высокое быстродействие при выполнении заданного набора крупноблочных операций.

Второй подход связан с микроструктурой специализированных процессоров. Для реализации этого подхода был введен новый класс специализированных однородных вычислительных устройств - распределенные Функциональные структуры (Р-структуры). Разработаны основы теории Р-структур. Предложен широкий набор Р-структур для реализации типовых крупноблочных операций, исследованы их функциональные свойства и возможные пути практического применения. Показано, что -»Р-структуры, в которых осуществляется прямое отображение алгоритмов в схемы, отличаются высокой производительностью на своих базовых операциях. В то же время, они хорошо

соответствуют технологии СБИС и обеспечивают высокий коэффициент использования площади кристалла. Предложен новый тип интегральных схем - однородные микропроцессоры, реализующие Р-структуры.

Третий подход касается системной организации

высокопроизводительных параллельных вычислительных комплексов, содержащих универсальные и специализированные процессоры. Установлена особая роль вертикальной обработки в организации таких систем. В работе выявлены связи между распределенной, вертикальной и горизонтальной эбработкой. Предложена обобщенная структура вертикального операционного устройства. Разработан набор вертикальных чараллельных процессоров и продемонстрирована высокая эффективность их применения. Выделен класс мелкозернистых 31МБ-систем, названных системами вертикальной обработки (СВО), и обоснованы их преимущества.

Выдвинута концепция комбинированной архитектуры (К-архитектуры), позволяющая расширить область применения ЗВО и максимально использовать их преимущества. В этой фхнтектуре осуществляется согласованное функционирование [ескольких подсистем различной структуры. Предложены два управления развития K-архитектуры. Первое из них связано : применением СВО в качестве подсистемы подготовки данных [ набора специализированных процессоров в качестве одсистемы ' обработки. Второе направление предусматривает огружение в процессорную матрицу СВО специализированных днородных структур, благодаря которому базовая структура ВО приобретает дополнительно все свойства вложенных |ункцнональных устройств. Таким образом замыкаются две инии исследований - по распределенной и вертикальной бработке: в едином высокопроизводительном комплексе трокого назначения объединяются два подхода, каждый из эторых характеризуется весьма высоким уровнем араллелизма: вертикальная (псевдо-ассоциативная)

эработка и распределенная обработка.

Подавляющее большинство работ, связанных с ■.пользованием параллельных вычислений и однородных •руктур для достижения сверхвысокой производительности

ЭВМ, опираются на идеи Э.В.Евреинова. Важную роль в развитии параллельных вычислительных систем и в частности систем однородной структуры сыграли работы В. М. Глушкова, И.В.Прангишвили, Д.А.Поспелова, Д.Слотника. В работах М. А. Гаврилова, В.Г.Лазарева, А. Д. Закревского заложены основы методов синтеза параллельных цифровых устройств. Оригинальные архитектуры параллельных ЭВМ были созданы под руководством В.К.Левина, Л.Н.Королева, М.А.Карцева, А.В.Каляева, С.Крея, К.Бэтчера, Д.Хиллиса, С.Рэддавэя.

Три цикла работ автора, представленные в рассматриваемых здесь трех подходах и составляющие его вклад в развитие архитектуры ЭВМ, были выполнены под непосредственным влиянием Л.В.Канторовича, Э.В.Евреинова, М.А.Гаврилова, Д.А.Поспелова, к которым автор испытывает чувство глубокой благодарности.

1

В основе рассматриваемых методов проектирована параллельных процессоров лежит крупноблочная концепция, выдвинутая Л.В.Канторовичем в начале 50-х годов.

В соответствии с крупноблочным подходом в качеств! основного объекта, с которым оперирует вычислительна: система, рассматриваются упорядоченные совокупности чисе. - величины (векторы, матрицы и т.д.). При этом одно числ представляет простейшую величину - элемент. Вводятс специальные операции над величинами. Арифметически операции представляют собой распространение обычны арифметических действий на все элемент!

операндов-величин. Геометрические операции не изменяю содержание величин, а только преобразуют их структуру, геометрическим относятся, например, операции еырезк определенных сечений величины (вырезка вектора из матриц и _т ._д ).__Другой пример - транспонирование величин.

1 Канторович Л.В. Перспективы развития и использования электронных счетных машин// Математика, ее содержание, методы и значение. - Москва, 1956. - Т.2. - С. 382-390

Анализ величин и операций над ними позволяет выделить типичные виды обработки и обосновать выбор структуры операционных устройств. Крупноблочная концепция представляет широкие возможности для применения новых архитектурных решений, в частности, различных форм одновременной обработки многих элементов или величин.

Поскольку компьютеры традиционной фон-неймановской архитектуры не обеспечивают эффективную реализацию массовых операций, крупноблочный подход естественно приводит к концепции "приставок"' или "акселераторов" специализированных процессоров, ориентированных на те или иные виды массовой обработки.

В общем виде идея приставок была представлена в [ 1 ], где предложена вычислительная система, состоящая из универсальной ЭВМ и присоединенной к ней малой (специализированной) ЭВМ, в которой выполняются определенные массовые обработки. Универсальная машина выделяет в исполняемой программе крупноблочные

операторы и передает их на приставку. Высокая скорость обработки в приставке достигается за счет использования тех или иных характерных особенностей крупноблочных операторов и операндов.

В начале 60-х гг. в Институте математики СО АН СССР был разработан технический проект приставки, которая получила название арифметической машины (АМ) и предназначалась, в первую очередь, для решения задач линейной алгебры и линейного программирования. Соответственно, при ее разработке особое внимание было обращено на векторные и матричные операции. Главные принципы, примененные в машине АМ для предельного ускорения вычислений, заключались в следующем.

1. Максимально использовать поток чисел, который может обеспечить оперативная память основной машины.

2. Обеспечить высокое быстродействие арифметического устройства, сбалансированное со скоростью потока операндов.

Для арифметического устройства приставки АМ был разработан конвейер из четырех ступеней, имеющий на каждой ступени сверхоперативные буферные регистры.

Для того, чтобы согласовать работу всех ступене{ конвейера с тактовой частотой оперативной памяти, нужнс было обеспечить быстродействие арифметического устройстве мантисс, значительно превышающее обычные возможное™ использованных логических элементов. Поэтому былг предпринята разработка мощного многовходового сумматора с хранением переносов, получившего название роторного. Этот накапливающий сумматор строится из параллельно работающих р-разрядных блоков, в каждом из которых выполняете! псевдосложение ш р-разрядных двоичных чисел.

Использованный в приставке АМ роторный сумматор име; параметры р=2, ш=5 и мог воспринимать в каждом такте три новых слагаемых. В сочетании с известными методам! сокращенного умножения это позволило обрабатывать п< шесть цифр множителя за такт и обеспечить необходимое длв согласования высокое быстродействие.

В связи с разработкой приставки были исследовань возможности автоматизации проектирования вычислительны: машин на основе стандартных комплексов и предложен набо] алгоритмов для этапов логического и технической проектирования. Эти алгоритмы были использованы пр| проектировании машины АМ, что позволило получит! дополнительный выигрыш по быстродействию и сократит! сроки проектирования.

В 1967-1969 гг. был изготовлен экспериментальны! образец приставки АМ, который прошел успешные испытани! в Вычислительном центре СО АН СССР. При этом н; векторно-матричных операциях машина АМ показал; быстродействие на порядок выше, чем универсальная машина выполненная на элементах с той же тактовой частотой.

Машина АМ представляла собой векторный процессор I арифметическим конвейером и была, по-видимому, перво! машиной такого рода. Несколько позже появились векторньи процессоры за рубежом (АР-2938 фирмы 1ВМ и другие).

Принцип использования специализированных процессоров (сопроцессоров) для достижения высокого быстродействи: при вычислениях определенного типа получил впоследстви! широкое распространение.

В 1969-1972 гг. крупноблочный подход был использован при разработке нескольких эффективных арифметических устройств для клавишных ЭВМ, которые в то время играли роль современных персональных компьютеров. Был разработан ряд оригинальных алгоритмов выполнения арифметических операций в двоичной и десятичной системах счисления, а также - быстродействующие схемы арифметических устройств.

Работа по проектированию машины АМ была коллективной. В 1962 году автором был разработан эскизный проект АМ , в котором представлены основные архитектурные решения. В 1963-1965 гг. , на этапе технического проектирования, в разработке логических и принципиальных схем принял участие И.В.Иловайский. Изготовление и наладка опытного образца АМ были выполнены на Томском заводе математических машин под руководством В.М.Кашина. Подготовку и отладку экспериментальных программ АМ осуществил В.Ф.Фефелсв. На всех этапах работ основные вопросы обсуждались с Л.В.Канторовичем.

Работы по клавишным ЭВМ проводились в сотрудничестве с Л.В.Канторовичем и В.П.Толстьевым.

Первой публикацией по процессору АМ было авторское свидетельство [1]. Архитектура конвейерного

арифметического устройства описана в авторских свидетельствах [2] и [3]. В [4] и [5] представлена методика проектирования быстродействующих арифметических устройств на основе роторных сумматоров. Подробное описание машины АМ содержится в статье [6], а в [7] рассматриваются алгоритмы реализации крупноблочных базовых операций в роторном конвейерном процессоре.

Методы и алгоритмы автоматизации проектирования логических и принципиальных схем изложены в [8-11].

Изучению функциональных возможностей клавишных ЭВМ юсвящены работы [12-15]. Новые алгоритмы управления арифметическими устройствами представлены в [16-21]. Эбобщение результатов исследований по клавишным машинам :одержится в монографии [22].

Процессор АМ был первым опытом разработки специализированного функционального устройства для поддержки массовых крупноблочных вычислений. Для создания общих методов построения параллельных процессоров на основе крупноблочного подхода необходимо было:

1. Выделить и классифицировать набор крупноблочных конструкций, встречающихся в чаще всего применяемых алгоритмах.

2. Разработать методы проектирования функциональных модулей для эффективной реализации этих конструкций.

3. Разработать общие принципы построения вычислительных комплексов сложной архитектуры и взаимодействия их различных подсистем.

Для постановки первой задачи было проведено уточнение понятий базовой операции и базовой процедуры.

По мере развития элементной базы появляется возможность укрупнения базовых операций и замены базовых процедур эквивалентными крупноблочными базовыми операциями (КБО).

Крупноблочнь1й подход в организации архитектуры ЭВМ состоит в систематической замене базовых процедур крупноблочными базовыми операциями, которые реализуются специализированными аппаратными модулями.

Специализация является одним из главных принципов, использованных в работе с целью создания эффективных параллельных процессоров. Чтобы уменьшить необходимое количество различных функциональных модулей, было предложено специализировать их не по содержанию базовых процедур, а по характеру обработки ("технологии"), наиболее подходящей для выполнения тех или иных процедур.

Анализ большого числа распространенных алгоритмов и задач позволил выделить несколько классов процедур массовой обработки, имеющих общую технологию реализации.

1. Покомпонентные вычислительные. Аргументами

являются один или два численных вектора, результатом -тоже численный вектор, а обработка состоит в выполнении более или менее сложного преобразования вычислительного

характера, которое применяется независимо к каждой компоненте (или паре компонент) векторов-аргументов и может выполняться одновременно для всех компонент. Пример - покомпонентное умножение векторов.

2. Редуктивные вычислительные. Аргументом является численный вектор, результатом - скаляр, а обработка состоит в последовательном • применении некоторой вычислительной операции ко всем компонентам. Пример сложение массива чисел.

3. Покомпонентные логические. Аргументами являются два численных вектора, результатом - логический вектор, а обработка состоит в выявлении некоторого логического отношения между одноименными компонентами векторов-аргументов. Пример - покомпонентное сравнение векторов.

4. Редуктивные логические. Аргументы - массив двоичных чисел (слов) и скаляр, результат - подмножество элементов исходного массива, удовлетворяющих определенным заданным условиям. Обработка состоит в выполнении над массивом некоторой глобальной операции "просмотра". Пример поиск по признаку.

5. Преобразование структур данных. Аргументы и результаты - массивы двоичных чисел (слов), имеющие в общем случае неодинаковые ранги и размерности. Обработка состоит в изменении структуры массива илн порядка следования его элементов, без изменения значений этих элементов. Примеры - транспонирование, упорядочение.

Вторая задача, котору¡о необходимо было решить для развития крупноблочного подхода применительно к архитектуре ЭВМ, состояла в выборе структурной основы для базовой системы функциональных модулей и создании методов проектирования таких модулей.

Успехи технологии интегральных схем и быстрое снижение стоимости СБИС позволяют широко использовать принципы параллельной крупноблочной обработки на различных уровнях, в том числе - на уровне микроструктуры.

Наибольшая скорость обработки может быть достигнута тогда, когда структура вычислительного устройства наилучшим образом соответствует структуре исходных данных

и применяемым алгоритмам. В КБО исходные данные обычно представляют собой двумерные прямоугольные массивы, состоящие из однотипных элементов - двоичных слов. Поэтому в качестве основы функциональных устройств было предложено использовать двумерные однородные структуры с распределенной логикой, допускающие предельное распараллеливание на микроуровне.

Важной особенностью функциональных устройств,

предложенных в работе, является их специализация, которая естественно следует из принятого крупноблочного подхода. Ранее были исследованы различные способы организации параллельных вычислений в универсальных однородных структурах: однородные среды Э. В.Евреинова .итеративные сети Ф.Хенни , автоматные сети А.Я.Макаревского . Целью этих работ был оптимальный синтез произвольных конечных автоматов. Однако при реализации автоматными методами сложных функций обработки информации, соответствующих КБО, возникает существенная схемная и временная избыточность. Известны также различные модели монофункциональных специализированных однородных

структур, каждая из которых имеет ограниченную область применения.

В данной работе предложены методы синтеза и анализа многофункциональных специализированных однородных структур, в которых осуществляется прямое отображение алгоритмов в схемы. Иначе говоря - алгоритмы обработки моделируются специализированной однородной логической сетью в процессе распространения сигналов.

Евреинов Э.В. О микроструктуре элементарных машин вычислительной системы // Выч. системы. - Новосибирск, 1962. - Вып.4. - С. 5-28.

2

Hennie F.C. Finite-state models for logical machines. 3New York: Wiley. - 1968. Макаревский А.Я. Реализация отображений клеточными автоматами // Кибернетика. - 1970. - N 3.

На фиг.1 приведена схема классификации однородных вычислительных структур, позволяющая определить место выполненных в настоящей работе исследований.

Двумерные специализированные однородные структуры с распределенной обработкой названы кратко Р-структурами. Как правило, Р-структура представляет собой прямоугольную наложена однородная комбинационная схема (двумерная итеративная сеть), реализующая заданный алгоритм. Известным примером Р-структуры является ассоциативное запоминающее устройство (АЗУ), реализующее КБО "поиск по совпадению".

Б работе предложена методика синтеза Р-структур для заданных КБО. С помощью этой методики были синтезированы Р-структуры, непосредственно выполняющие ряд КБО, относящихся к 3, 4 и 5 классам операций (покомпонентные логические, редуктивные логические, операции

преобразования структур).

1. КБО "поиск максимума" (а-структура)

В запоминающих элементах структуры хранится булева матрица А, представляющая т п-разрядных двоичных чисел. Требуется выделить максимальные (равные) элементы массива Используется алгоритм последовательного поразрядного ¡равнения всех элементов обрабатываемого массива. Каждая 1чейка полученной ос-структуры выполняет функции :

т.'= г(а V у) - горизонтальный канал, х' = х V аг - вертикальный канал, у'= у - вертикальная шина.

Граничные константы: 2.^= 1, хо= О, х'. Строки,

эдержащие максимальные элементы, выделяются сигналами '= 1 на правой границе а-структуры.

Лс с о ц иативные ЗУ л ежа т и е

А . е 4 а1 . 1956 л ¡V +• коммутация

Комм у V . т а т о р ы Вепе б 1962 С V к + ближайшие

Со р т и р у ющ и е сети п 1? + V

К . Аа(сЛег 1 968 Р классификация

Логик о-запом. ср еды (Г компрессор

V . К а и 4 г 1969 т а + с + А

Поиск В . овые структуры V а/1 еЬ а 1 . 1978 <р ближ.по Хэммин

Фи г. 1 .

2. КБО "Сравнение массива со скаляром" (е-структура)

Задана булева матрица А из т п-разрядиых чисел и п-разрядное число Т - признак сравнения. Требуется выделить все элементы А^ удовлетворяющие условию А^О Т,

где 9б>{ = , т*, >, 2;, <, ^ }. Используется алгоритм последовательного поразрядного сравнения всех элементов матрицы А с соответствующими разрядами признака Г. Система логических функций е-ячейки:

г'= г(а V и - первый горизонтальный канал,

V V zat - второй горизонтальный канал,

t'= t - вертикальная шина.

Граничные константы: г = 1, Уо= О. Результаты

сравнения соответствуют следующим комбинациям сигналов г' и V' на правой границе е-структуры:

А = 1 Т у'г' = 1

V Т v'v ■г' = 1

А > 1 т у' = 1

А г 1 т v'v 2' = 1

А < 1 т Гы Г> = 1

А £ 1 т у' = 1

КБО этой группы называют "пороговыми поисками". 1астным случаем пороговых поисков является "поиск по овладению" (А = Т).

3. КБО "сравнение массива с двумя скалярами" (с -структура)

и

Задана булева матрица А из га п-разрядных чисел и два п-разрядных числа Р и 0 - границы поискового интервала (Р < 0). Требуется выделить все элементы А^

удовлетворяющие условию Р А^ 00, где 0^ { <,

>, > >. Используется алгоритм последовательного поразрядного сравнения всех элементов матрицы А с соответствующими разрядами Р и 0 (одновременно). Система логических функций с -ячейки:

/ _ 1~ т.^ (а V р) - первый горизонтальный канал,

/ __ г~ т. (а V я) 2 - второй горизонтальный канал,

,/ _ 1 V V т. ар 1 1 к - третий горизонтальный канал,

/ = 2 V V г аа 2 2 4 - четвертый горизонтальный канал

Р. ч'= Ч - вертикальные шины.

Граничные константы: г = 1, г = 1, v = О, v = 0. г 10 20 10 20

Результаты сравнений соответствуют следующим комбинациям

сигналов на правой границе е -структуры:

Р < А < 0 1

1 1 2

Р < А < v' (у'у 7.' )= 1

1 12 2

Р < А < v' (у'у 7.' )= 1

1 2 1 1

Р < А < 0 (у'у 7.') (у'у г' )= 1

1 112 2

А 1 < Р V' 7.' — 1 1 1

А 1 < Р у'= 1 1

А 1 > 0 У'2' = 2 2 1

А 1 а 0 У'= 1 2

КБО этой группы называют также "поисками в интервале".

4. КБО "сравнение двух массивов" (^-структура)

В каждой ячейке имеются два двоичных запоминающих элемента. В Р-структуре одновременно хранятся две булевы матрицы А и В из т п-разрядных чисел каждая. Требуется сформировать ш-разрядный двоичный вектор, 1-й разряд которого равен единице, если для 1-х компонент массивов-аргументов выполняется отношение А] 6 В^ где

б£г{ =, ^, >, £, <, ^ >. Используется алгоритм последовательного поразрядного сравнения в каждой строке компонент А и В (одновременно для всех строк). Логические функции 17-ячейки:

7.'= г(а V Ь) - первый горизонтальный канал, у'= v V гаЬ г второй горизонтальный канал.

Граничные константы: 1, О. Результаты

сравнения соответствуют тем же значениям сигналов г' и V' на правой границе, что и для е-структуры.

5. КБО "сжатие двоичного вектора" (\-структура)

Задан произвольный п-разрядный двоичный вектор веса и. Требуется сформировать префикс-вектор той же разрядности и того же веса. Эта операция выполняется с помощью Р-структуры размера п х п, каждая ячейка которой реализует логические функции:

■г'- 7.Х. - горизонтальный канал, 1'= г v I - вертикальный канал.

Исходный двоичный вектор поступает на входы г левой границы. Граничные константы t = 0. Используется

следующий алгоритм. В очередном (1-м, 2-м, ..., и-м) столбце Р-структуры выделяется и гасится очередная (1-я, 2-я, ..., м-я) единица исходного вектора. Одновременно каждый такой столбец отмечается сигналом 1;'= 1 на нижней границе. Двоичный вектор, образованный сигналами V нижней границы, является результатом данной операции.

КБО 1-3 непосредственно относятся к классу редуктнвных логических операций, 4 - к классу покомпонентных логических, а 5 - к классу операций преобразования структур. Однако функциональные возможности полученных структур оказываются значительно шире, чем это определяется их исходным назначением (то есть специализацией на определенную КБО). Каждая Р-структура, как правило, может выполнять некоторый набор КБО, причем выбор той или иной операции определяется лишь правилом формирования результирующего вектора на границе данной Р-структуры. С другой стороны, почти каждая из рассмотренных КБО реализуется не только той структурой, которая непосредственно ориентирована на выполнение данной конкретной операции, но и рядом других структур.

Далее, путем анализа функциональных свойств Р-структур были показаны возможности их использования в качестве различных стандартных устройств вычислительной техники, что обеспечивает широкое применение

соответствующих конструктивных модулей. Особенно богатыми возможностями обладают а-структура и А-структура.

Исследованы функциональные свойства а-структур и доказаны следующие Утверждения.

Утверждение 1. а-структура размера ш х п является матричным запоминающим устройством с адресной записью и

считыванием ш п-разрядных слое.

Утверждение 2. В а-структуре размера 2тп может быть реализовано ассоциативное запоминающее устройство емкостью т п-разрядных слов.

Утверждение 3. В а-структуре. размера (2э + может быть реализована программируелшя логическая матрица с э входами, 1 выходами и q конъюнктивными термами.

Утверждение 4. В ос-структуре размера 2тп может быть реализовано функциональное запоминающее устройство емкостью т п-разрядных слов.

Утверждение 5. а-структура может быть использована как настраиваемая вычислительная среда.

Утверждение 6. В а-структуре размера (2п + 1)*2 может быть реализована произвольная функция алгебры логики от п переменных.

Утверждение 7. В а-структуре размера 2шп может быть реализована упорядоченная выборка по алгоритму Левина в массиве йз ш п-разрядных чисел.

Утверждение 8. а-структура размера п х п является неблокирующим полным коммутатором с п входными и п выходными полюсами.

Из Утверждения 2 следует, что в а-структуре можно организовать, используя метод последовательного

преобразования состояний запоминающих элементов, выполнение крупноблочных операций, относящихся к классу покомпонентных вычислительных. При этом, однако, требуется двухкратный расход ячеек, так как, в соответствии с Утверждением 2, а-структура приобретает ассоциативные свойства при парафазном кодировании данных.

Gardner P.L. Functional memory and its microprogramming implications// IEEE Trans. Comput. - 1971. - Vol. C-20, N 7. - P. 764-775. 2Lewin M.H. Retrieval of ordered lists from a content-addressed memory// RCA Rewiev. - 1962. - Vol. 23, N 2. - P. 215-229.

Для уменьшения расхода оборудования и расширения Функциональных возможностей Р-структур был предложен принцип структурного совмещения, предусматривающий объединение двух или нескольких структур в единой комбинированной структуре. В частности, была получена комбинированная к-структура, выполняющая одновременно КБО "поиск максимума" и "сравнение массива со скаляром". Эта структура соединяет в себе все свойства а-структуры и е-структуры. Система логических функций к-ячейки:

х'= г (а V у) - первый горизонтальный канал,

V V гау - второй горизонтальный канал,

х'= х V га - вертикальный канал,

у'= у - вертикальная шина.

Одним из важных преимуществ к-структуры является то, что при использовании в качестве ассоциативного ЗУ она требует вдвое меньше ячеек, чем а-структура, хотя к-ячейка содержит по сравнению с а-ячейкой всего два дополнительных вентиля.

На основе принципа структурного совмещения были построены также другие комбинированные Р-структуры, например, т-структура, выполняющая КБО "поиск максимума", "сравнение массива со скаляром" и "сжатие двоичного вектора".

Для того, чтобы улучшить временные характеристики при выполнении покомпонентных операций, предложена комбинированная п-структура, обладающая свойствами ассоциативного запоминающего устройства и допускающая при этом позонную обработку. Показано, что время выполнения операции покомпонентного умножения векторов в тг-структуре линейно зависит от разрядности компонент.

Исследованы функциональные свойства Л-структур и выявлены возможности их широкого применения. Показано, что КБО "сжатие двоичного вектора" составляет основу для синтеза разнообразных схем вычислительной техники.

Для этого были введены необходимые Определения и доказана справедливость приведенных ниже Утверждений.

Определение 1. Унитарный код (УК) - код, в котором число изображается последовательностью нулей и единиц, причем количество единиц в этой последовательности равно изображаемому числу.

Определение 2. Разреженный унитарный код (РУК) -унитарный код, в котором единицы размещены произвольным образом.

Определение 3. Нормализованный унитарный код (НУК) - унитарный код, в котором единицы образуют сплошной блок, занимающий в двоичной последовательности крайнее положение (префикс-вектор, суффикс-вектор).

Определение 4. Единичный позиционный код (ЕПК) -двоичная последовательность, в которой число р (р а 0) изображается единственной единицей, занимающей (р + 1)-ю позицию в кодовом слове.

Утверждение 9. Операция сжатия двоичного вектора есть преобразование разреженного унитарного кода в нормализованный.

Определение 5. Функциональное устройство,

базовой операцией которого является операция сжатия двоичного вектора, называется цифровым компрессором..

Очевидно, что X-структура, в которой осуществляется прямое моделирование процесса сжатия единиц исходного двоичного вектора, является цифровым компрессором.

Преимущества X-структуры: однородность, простота ячеек, локальность связей, многофункциональность. Время, необходимое для преобразования в Х-структуре унитарного кода в нормализованный, имеет порядок 0(п). Эта оценка улучшается в многокаскадных логарифмических компрессорах.

Логарифмический компрессор имеет время

преобразования порядка 0(]^2п).

Предложен общий метод сннтеза логарифмических компрессоров, в основе которого лежит следующее Утверждение.

Утверждение 10. Для любого 3~го каскада логарифмического компрессора, если индексы переменных

х(у) соответствуют номерам выходов первого (второго) компрессора предыдущего каскада, а индексы функций г -номерам выходов крлтрессора данного каскада, правая часть каждой функции (1=1,...,2^) представляет собой

дизъюнкцию всех первичных импликант, для которых сумма индексов входящих в каждую импликанту перелгенных равна 1.

Далее доказаны следующие Утверждения.

Утверждение 11. Цифровой компрессор является

пороговым элементом.

Утверждение 12. Цифровой компрессор является сумматором унитарных кодов.

Из Утверждения 11 следует, что на базе функциональных модулей, реализующих цифровые компрессоры (в частности, на базе А-структуры), с использованием некоторых вспомогательных схем, могут быть построены различные устройства пороговой логики. Рассмотрены методы синтеза таких устройств.

Утверждение 12 открывает возможности создания арифметических устройств, работающих в унитарной системе счисления.

Показана возможность эффективного использования цифровых компрессоров в арифметических устройствах, работающих в системах счисления в остаточных классах, а также в устройствах аппаратного контроля.

Известно, что при логической обработке больших булевых матриц наиболее трудоемким процессом является "взвешивание" множества двоичных векторов. Для решения этой проблемы предложен конвейерный цифровой компрессор. Это устройство также относится к классу Р-структур и представляет собой двумерную итеративную сеть с памятью, в которой сигналы распространяются в трех направлениях: слева направо, сверху вниз и снизу вверх. Каждая ячейка содержит один двоичный запоминающий элемент н реализует

функцию э = хг V уг, где б - сигнал установки триггера. Для ячейки с координатами (1,.}):

х = г' ; у = т.' : г = г'

И 1+1,3-1 713 1-1^-1 13 1,3-1

В каждом такте двоичный вектор переписывается в очередной столбец компрессора из предыдущего столбца. Если в предыдущем столбце непосредственно под единицей был нуль, то в очередном столбце эта единица опускается на одну позицию и замещает находившийся там нуль. Начиная с (п-1)-го такта с выходов конвейерного компрессора с интервалом Ь (1 - длительность такта) выдаются результаты сжатия 1-го, 2-го, и т.д. двоичных векторов исходного массива.

На основе А-структуры разработано семейство специализированных соединительных сетей (Л-коммутаторы).

Для целей коммутации А-структура дополняется

горизонтальной шиной Г в каждой строке и вторым вертикальным каналом g в каждом столбце. Система логических функций ячейки приобретает следующий вид:

г'= гЬ,

= г у Ь, g'= g V 2ЬГ, Г= {.

Такая ячейка называется А -ячейкой, а

с

соответствующая Р-структура - А -структурой.

с

В соответствии с применяемой в теории соединительных сетей нотацией, различные коммутаторы в данной работе описываются структурными формулами вида (Н.М.С)^,

где N - количество входных полюсов коммутатора,

М - количество выходных полюсов,

С - максимальное количество одновременно выполняемых

соединений,

х - характеристика возможностей перестройки: х = н для неблокирующих схем, х = п для перестраиваемых схем, х = б для блокирующих схем.

В связи с тем, что Л -структура представляет собой новый тип специализированного коммутатора, были введены необходимые Определения и доказан ряд Утверждений относительно коммутационных возможностей этой структуры.

Определение 6. Сжимающей перестановкой называется перестановка, которая соединяет любую упорядоченную М-ку указанных входных каналов (их общего числа Ы) с М следующими друг за другом выходными каналами, причем сохраняется относительный порядок каналов.

Сжимающая перестановка задается Ы-разрядным двоичным управляющим вектором 7., в котором единицами указываются необходимые входные каналы.

Определение 7. Расширяющей перестановкой называется перестановка, которая соединяет М следующих друг за другом входных каналов с любой М-кой указанных выходных каналов (из общего числа N), причем сохраняется относительный порядок каналов.

Расширяющая перестановка задается Ы-разрядным двоичным управляющим вектором Т, в котором нулями указываются необходимые выходные каналы.

Определение 8. Расстановкой называется перестановка, которая соединяет любую упорядоченную М-ку входных каналов (из общего числа Ы) с любыми М указанными выходными каналами (из общего числа Ы), причем сохраняется относительный порядок каналов.

Расстановка задается двумя Ы-разрядными двоичными управляющими векторами 7. и Т, причем в векторе Z необходимые входные каналы указываются единицами, а в векторе Т необходимые выходные - нулями.

Утверждение 13. Л -структура является

с

самонастраивающейся соединительной сетью, реализующей класс сжимающих перестановок.

Л -структура, настроенная на выполнение сжимающих перестановок, называется Ш.М.М) С-коммутатором.

н

Утверждение 14. Л -структура является

самонастраивающейся соединительной сетью, реализующей класс расширяющих перестановок.

Л -структура, настроенная на выполнение расширяющих ¡ерестановок, называется (М.Ы.МЭ^ Р-коммутатором.

Утверждение 15. Л -структура является

с

гамонастраивающейся соединительной сетью, реализующей сласс расстановок.

X -структура, настроенная на выполнение расстановок,

с

[азывается (N,N,1-1) А-коммутатором.

н

X -структура по существу - специализированная.

)днако дальнейший анализ позволил в значительной :тепени преодолеть ограничения исходной специализации.

Утверждение 16. Схема, образованная последовательным соединением Ш.М.М) С-коммутатора и

М,Ы,М) Р-коммутатора функционально эквивалентна (N,N,М)

I-коммутатору.

Построенный таким образом двухкаскадный Х-коммутатор ыполняет достаточно широкий набор перестановок, однако охраняет порядок следования элементов исходного массива.

Для выполнения произвольных перестановок между N ходами и N выходами необходимо, как известно, спользовать соединительные сети, обладающие

>ункциональными возможностями полного коммутатора. Такие ети, как правило, отличаются значительной сложностью ппаратуры и (или) алгоритмов настройки.

В то же время, на практике часто встречаются итуации, когда в каждый конкретный момент времени ребуется обеспечить произвольное соединение не более чем входных каналов с таким же количеством выходных (из бщего числа N. причем М << N. ) Для решения описанной адачи предложена трехкаскадная схема, для которой оказано следующее Утверждение.

Утверждение 17. Схема, образованная последовательным оединением Ш,М,М) С-коммутатора, (М,М,М) полного

н н

оммутатора и (М.М.М) ^Р-коммутатора функционально квивалентна (Ы.Ы.М) полному коммутатору.

Целесообразно в такой схеме в качестве (М, полного коммутатора использовать а-структуру, работаю в режиме соединительной сети (Утверждение 8).

Важное преимущество Х-коммутаторов - операти настройка: после того, как на граничные входы Х-струк поступает новый управляющий вектор, по оконч переходных процессов, в схеме устанавливается ь картина соединений. Это свойство является следст основного принципа работы Р-структур - прямого ме моделирования алгоритмов.

На основе сжимающих перестановок разработан ь сокращенного умножения, обеспечивающий ускорение в раза при одновременной экономии оборудования вдвое сравнению с обычными схемами умножения. Предлс устройство, реализующее этот метод и использу] Х-коммутатор.

Рассмотренные свойства Х-коммутаторов позвс эффективно использовать их для органи: межпроцессорных связей в многопроцессорных вычислите.) системах. Примером такого использования явл соединительная сеть сеточного параллельного проце< (СПП), разработанного в Вычислительном центре СО АН в 1976-1978 гг.

В процессе исследования Х-структур были обнар> новые свойства, позволяющие использовать их в кач однородных квазианалоговых устройств для разл функциональных вычислений. При подаче на входы Х-ма' произвольного двоичного вектора каждая единица вектора отмечает уникальным логическим уел единственную (соответствующую позиции этой еди ячейку в очередном столбце (или строке) А-матрицы. если входной двоичный вектор описывает поток прира! некоторой функции (то есть соответствует коду ступе} аппроксимирующей кривой), то отмеченные 1 прочерчивают график этой функции на координатной ( образованной ячейками Х-матрицы.

Утверждения 1-17 позволили сформулировать тезис об 1версальности набора специализированных функциональных ;улей (Р-структур ). При этом универсальность здесь :тупает на более высоком алгоритмическом уровне, чем в естных комплексах функциональных элементов, поскольку труктуры реализуют крупноблочные операции и моделируют галнение массовых вычислений. Как и любой реальный плекс, разработанный набор Р-структур обладает йствами полноты и избыточности. Действительно, таточно использовать всего один функциональный модуль чтобы реализовать память (Утверждение 1), логические кции (Утверждение 6), произвольные соединения верждение 8) и т.д. Применение нескольких различных ов функциональных модулей (а, с, X) или одного модуля бинированного типа (к, п, т) обеспечивает большую <ость (либо - унификацию модулей) при "сборке" ^иалчзированных процессоров из Р-модулей. Практически новые модули должны использоваться в сочетании со ндартными СБИС ЗУ и микропроцессорами.

В работе были исследованы возможности вложения труктур в современные базовые матричные кристаллы и азано, что для Р-структур может быть достигнуто эльзование базовых ячеек порядка 90 У., в то время как реализации нерегулярных схем с далекими соединениями пример, микропроцессоров) до 40-50 % заготовок аются неиспользованными. Кроме этого, регулярность груктур позволяет существенно уменьшить , стоимость и тельность процессов проектирования, тестирования и юлогической подготовки производства.

Способ управления Р-структурами зависит от режима их ленения. Если некоторые структуры используются как эномнме аппаратные модули, реализующие различные шоблочные операторы языка высокого уровня, то ведущая [ина передает эти операторы на соответствующие модули зов' аппаратных процедур). Для ряда структур (5, тг) ет использоваться режим микропрограммного управления, аботе предложен язык микропрограммирования Р-структур оставлен набор эффективных микропрограмм для массовых ислений.

Вопросы классификации процессов массовой обработки рассмотрены в [23-25].

Цикл работ, посвященных исследованию распределенных функциональных структур, представлен в монографиях [26] и [27], а также в ряде статей и препринтов. Этот цикл позволил продемонстрировать преимущества распределенных структур и подготовить условия для их промышленного применения.

Р-структура для поиска экстремумов была впервые предложена в [28] и исследована в [29-37]. Позднее однородные структуры с аналогичными функциями рассматривались в работах других авторов . Обсуждение этих работ содержится в [38].

с-структура предложена в [39]. Детальное изучение ее свойств выполнено в [27].

Л-структура описана в [40]. В [41-43]рассматривалис1 различные варианты цифровых компрессоров. В [44] впервые предложена конвейерная схема компрессора. Использованик цифровых компрессоров в устройствах аппаратного контрол! посвящены работы [45-47].

Различные функциональные свойства а-структурь изучались в работах [26, 34, 48], а Х-структуры - 1 работах [49, 50]. Метод сокращенного умножения I использованием Х-структуры описан в [43]. Возможност! создания арифметических устройств для унитарн' кодированных систем счисления исследованы в [51,52] Квазианалоговые вычисления в Х-структура

продемонстрированы в [53] на примере цифровог функционального преобразователя.

Исследование вопросов применения Р-структур в многопроцессорных вычислительных системах является часты работ по проектированию семейства сеточных параллельны процессоров [54-62], выполненных совместно с В.П.Ильиным.

^amamoorthy C.V., Turner J.L., Wah B.W. A design of fast cellular associative memory for ordered retrieval// IEEE Trans.Comput. - 1978. - Vol.C-27, N 9. -P. 800-815.

В разработке ассоциативного процессора,

эедназначенного для крупноблочной реализации матричных счислений [63,64], принимала участие В.Н.Алеева.

Различные комбинированные Р-структуры были

эедставлены в 165-73].

В [74-77] рассмотрены возможности применения фаллельных процессоров, построенных на основе -структур, для поддержки систем управления базами данных знаний, а также для решения некоторых задач жусственного интеллекта.

Обобщение исследований, связанных с анализом и [нтезом Р-структур, содержится в [78].

3

Для описания системной организации вычислительных мплексов наибольшее распространение получила известная ассификация М.Флинна , которая рассматривает четыре тегории архитектур: 3130, М130, 31МВ, М1МБ. В процессе олюции параллельных вычислительных систем особое место няли мелкозернистые 31М0-архитектуры, ведущие свое оисхождение от квази-ассоциативных параллельных эцессоров. Их преимущества обусловлены тем, что при новременной работе очень большого числа (десятки или гни тысяч) сравнительно простых ПЭ может быть стигнута весьма высокая производительность, несмотря на эренное быстродействие каждого ПЭ. ' Снижение

збований к ПЭ позволяет использовать более простую, дорогую технологию и в результате получить хорошее юшение производительности к стоимости.

Кроме того, в этих архитектурах, использующих, в чичие от М1МБ-систем, параллелизм данных при едином явлении, существенно облегчается отображение

•оритмов на структуру системы.

С целью исследования и развития мелкозернистых >аллельных вычислительных систем, в настоящей работе, в

развитие классификации Флинна , был выделен особый клг параллельных архитектур - системы вертикальной обработки (СВО).

Определение 9. Системой вертикальной обработ называется мелкозернистая SIMD-система, отличающая последовательно-поразрядным режимом обработки и больи числом простых одноразрядных процессоров, каждый которых связан одноразрядной шиной со своим локалм запоминающим устройством.

Известными представителями класса СВО являю суперкомпьютеры STAR AM, DAP, МРР, СМ.

Важной особенностью СВО, оказывающей решающее влиг на производительность, является структура и пропуск способность соединительной сети. В системе STA используется специализированная соединительная сеть FL которая выполняет широкий набор перестановок i "бабочка" и групповых сдвигов. В системах DAP и предусматривается непосредственная связь только ближайшими соседями (прямоугольная решетка). В системе процессорные элементы расположены в вершинах гиперк; Соответственно, ПЭ системы STARAN образуют одномер (линейную) СВО, DAP и МРР - двумерные, СМ - многомерну]

На фиг. 2 приведена диаграмма, иллюстрирую направления развития архитектуры высокопроизводител вычислительных систем и определяющая место данной ра в исследованиях по системной организации вычислител комплексов.

В выполненном цикле работ большое внимание удел; вопросам вертикальной обработки. Исследованы связи м распределенной, вертикальной и горизонтальной обрабо-Показано, что сжатие двумерной распределенной логич сети по вертикали приводит к горизонтальной обработк словам, используемой в традиционных машинах; сжати горизонтали - к вертикальной обработке по разрш срезам, позволяющей реализовать крупноблочный подход.

1И1АС IV ПС-2000 СМ-5

БТАЯАМ ПАР НРР СМ-2

I/ е 1 4 ек

Т ран с пьют еры Микропроцессоры

Р-структуры Систолические Клеточные

Предложен принцип построения вертикальных ассоциативных процессоров для одновременного поиска по различным признакам и критериям. Этот принцип, в частности, использован при разработке табличных

функциональных модулей системы СПП.

Исследованы возможности применения вертикальной обработки для выполнения операций реляционной алгебры. Полученные результаты положены в основу проектирования процессоров баз данных.

Потенциальная производительность СВО, связанная с весьма высокой степенью параллелизма, в существующих системах используется недостаточно. Главной причиной является собственно принцип последовательно-поразрядной обработки в каждом ПЭ, что особенно сказывается при реализации арифметики с плавающей запятой. По этой причине СВО оказываются ориентированными, в первую очередь, на решение нечисловых задач, связанных с поиском, сравнением, преобразованием структур данных.

Таким образом, актуальной является задача исследования мелкозернистых ЭШБ-систем с целью выявления и реализации резервов увеличения их производительности.

Выделение класса СВО, исследование алгоритмов вертикальной обработки, архитектуры и приложений современных СВО позволили сделать новый шаг в развитии суперЭВМ - предложить концепцию комбинированной архитектуры, которая является продолжением и развитием рассмотренных ранее принципов использования

специализированных процессоров.

Определение 10. Системой комбинированной архитекту} (К-архитектуры) называется многопроцессорный

вычислительный комплекс, в котором решение любой задачи рассматривается как взаимодействие нескольких процессов, причем выполнение каждого процесса возлагается на специализированную- подсистему, наиболее эффективную для реализации данного процесса.

В К-архитектуре управление подсистемами организуется таким образом, чтобы обеспечить их согласованную работу и

максимально использовать дополняющие друг друга специальные свойства подсистем. Для каждой из подсистем выбирается структура, которая наилучшим образом соответствует возлагаемым на нее функциям.

Рассматриваются три основные подсистемы:

ввода/вывода, подготовки данных, собственно обработки.

Важность больших прикладных задач, для которых предназначены современные СВО, а также то обстоятельство, что эти системы строятся на основе недорогих интегральных :хем умеренной технологии, позволяют считать, что для <-архитектуры расход оборудования и коэффициент загрузки юдсистем являются второстепенными факторами,

тодчиненными главной цели - получению возможно большей фоизводительности при решении соответствующих задач.

Итак, K-архитектура является соединением

jIMD-системы типа СВО с набором крупноблочных :пециализированных процессоров. С другой стороны, ее южно рассматривать как частный случай MIMD- системы. В >днородных вычислительных системах MIMD-структуры юуществляется соединение однотипных универсальных ычислителей, каждый из которых выполняет универсальными редствами свой фрагмент общей программы. В К-архитектуре оединяются различные специализированные вычислители подсистемы), каждый из которых ориентирован на ысокопроизводительную реализацию своих специальных >ункций, причем обеспечивается сбалансированная работа тих подсистем.

Исследованы два типа комбинированных архитектур: азделенные комбинированные (РК-архитектуры), в которых аждая подсистема представлена в виде отдельного зтройства (процессора) и совмещенные комбинированные СК-архитектуры), в которых аппаратура какой-либо эдсистемы погружена в аппаратуру другой подсистемы.

Одной из разработанных систем РК-архитектуры была :социативно-систолическая система, в которой функции эдсистем ввода/вывода и подготовки данных выполняет СВО, подсистема обработки представляет собой набор ютолических/волновых процессоров. Выбор систолических юцессоров объясняется тем, что в этих структурах, за

счет специализации, сочетания параллельных и конвейерных принципов обработки достигается весьма высокая (в некоторых случаях - рекордная) скорость вычислений.

В рассматриваемом проекте предложено в качестве подсистемы ввода/вывода и подготовки информации использовать стандартную СВО (например, типа STARAN), естественными свойствами которой являются гибкий

высокопараллельный доступ к данным, возможность быстрого параллельного преобразования структур данных, высокая пропускная способность каналов обмена.

В основе создания совмещенных комбинированных архитектур лежат следующие соображения.

Множество процессорных элементов СВО образует "решающую поверхность", в двумерном случае - решающую плоскость (РП), которая является однородной структурой. Каждая ячейка этой структуры (процессорный элемент) содержит, как правило, несколько одноразрядных регистров, простую логику (типа последовательного двоичного сумматора или набора логических функций двух переменных) и средства связи с соседними процессорными элементами.

В отличие от специализированных однородных структур (например, Р-структур), все вычисления в СВО выполняются универсальным способом, а именно: арифметические и логические функции реализуются по последовательным микропрограммам, применяемым одновременно во всех одноразрядных ПЭ к словам, которые размещены в локальных ЗУ "в третьем измерении", перпендикулярно к РП. Связи между ПЭ используются только для передачи данных в соответствии с алгоритмами обработки.

.Топологическое подобие решающей плоскости СВО и специализированных однородных структур позволяет предложить совмещение этих устройств. Если решающая плоскость наделена свойствами какой-либо

специализированной структуры, то система очевидно обогащается: кроме своих стандартных возможностей, она приобретает все функциональные возможности вложенной структуры. Теперь к массиву, размещенному в распределенной памяти решающей плоскости, можно применять не только универсальные алгоритмы поразрядной обработки,

но также и методы систолической обработки, глобальной квазианалоговой обработки, характерной для Р-структур, и т.д. Соответствующие процедуры могут быть оформлены в виде специальных микропрограмм контроллера СВО и вызываться на' разных этапах решения задачи.

В СВО используются различные варианты хранения обрабатываемых массивов:

1. Двумерный массив хранится в одноименных позициях локальных ЗУ, то есть образует слой оперативной памяти, параллельный РП.

2. Двумерный массив заполняет множество локальных ЗУ, принадлежащих одной строке (или одному столбцу) троцессорной матрицы, то есть образует слой, терпендикулярный РП.

В первом случае загрузка обрабатываемого массива (параллельного слоя) в регистры РП выполняется за один гакт путем глобальной адресации всех локальных ЗУ. Во зтором - выполняется п циклов операций чтения очередных здноразрядных фрагментов перпендикулярного слоя и сдвига этих фрагментов в плоскости ПЭ. Введенный тем или иным :пособом в память РП массив подвергается затем обработке, t зависимости от выбранного режима, либо стандартными ¡редствами СВО, либо специальными алгоритмами [эункциснальных структур.

В соответствии с концепцией СК-архитектуры в >ешающую плоскость СВО могут быть погружены однородные :опроцессоры, в качестве которых рассматриваются >днобитовые систолические/волновые структуры,

оединительные сети, распределенные функциональные труктуры и другие клеточные вычислительные устройства.

Вопросы построения вертикальных операционных стройств рассматривались в монографиях [26,27]. Работы 79-84] посвящены изучению некоторых проблем вертикальной бработки. В [83] представлены различные схемы и лгоритмь1 вертикальных параллельных процессоров.

Разработка набора специализированных сопроцессоров ертикальной архитектуры для СВО и анализ их

эффективности выполнены совместно с А.П.Важениным [85].

В работах по процессорам баз данных принимал участие Е.В.Суворов. Результаты этих работ опубликованы в [86,87].

Основные положения, связанные с классификацией систем вертикальной обработки и их анализом, содержатся в [88,89].

Работы по комбинированным архитектурам представлены в [77,84,85,88,89]. В разработке ассоциативно-систолической системы участвовали А.П.Важенин и С.Г.Седухин.

В работе [89] исследованы некоторые методы преобразования структур данных в СВО.

ЗАКЛЮЧЕНИЕ

В диссертации разработаны теоретические и методологические основы проектирования

высокопроизводительных параллельных процессоров на базе однородных функциональных структур. При этом получены следующие результаты.

1. Предложен новый подход к проектированию быстродействующих вычислительных систем, базирующийся на широком использовании специализированных процессоров ' -приставок к универсальным ЭВМ, реализующих массовые крупноблочные операции.

2. Разработан и реализован специализированный процессор АМ (Арифметическая Машина), ориентированный на крупноблочную реализацию векторных и матричных вычислений - один из первых векторных конвейерных процессоров.

3. Введен новый класс однородных вычислительных устройств с микрозернистым параллелизмом - распределенные функциональные структуры (Р-структуры), предназначенные для реализации операционных устройств специализированных процессоров.

4. Разработан набор Р-структур, моделирующих алгоритмы выполнения ряда крупноблочных операций.

сследованы функциональные свойства этих структур и оказаны возможности их применения для решения широкого руга задач, не связанных непосредственно с базовыми перациями этих структур.

5. Разработаны проекты проблемно-ориентированных ычислительных систем, использующих Р-структуры в ачестве основных функциональных элементов: система для зкторных и матричных вычислений, машина баз данных, 1стема для решения уравнений математической физики.

6. Исследованы связи между двумерной распределенной 5работкой и одномерными горизонтальной и вертикальной Зработкой. Предложен ряд алгоритмов и схем вертикальных граллельных процессоров, предназначенных для решения ассовых вычислительных, информационно-логических и зммутационных задач.

7. Развиты методы проектирования ЗШБ-структур: сделен особый класс параллельных архитектур - системы фтикальной обработки (СВО). Исследованы возможности 1звития СВО за счет интенсивного использования >упноблочных специализированных сопроцессоров.

8. Выдвинута концепция комбинированной архитектуры (-архитектуры), которая предусматривает наиболее ¡)фективное использование всех подсистем югопроцессорного вычислительного комплекса. Эта 'нцепция положена в основу проекта суперЭВМ, состоящей : СВО и набора систолических/волновых процессоров.

9. Предложен новый подход к созданию суперЭВМ мбинированной архитектуры, основанный на структурном вмещении специализированных распределенных вычислителей процессорной матрицей СВО - совмещенные комбинированные 'Хитектуры.

Основные результаты опубликованы в 89 работах (из х 44 в соавторстве, личный вклад автора отмечен в нце каждого раздела).

Большинство предложенных структурных решений изнаны изобретениями. По тематике данной работы тором получено 31 авторское свидетельство СССР и 5 рубежных патентов.

СПИСОК ПУБЛИКАЦИЙ

1. Канторович Л. В. , Фет Я.И. A.c. 172567 (СССР). В числительная система, состоящая из универсальной ци ровой вычислительной машины и малой вычислительно машины/ - Опубл. в Б.И., 1965, N 13.

2. Канторович Л.В., Иловайский И.В., Фет Я.И. A.c.1881 (СССР). Сумматор для одновременного сложения HecKOJ ких двоичных чисел/ - Опубл. в Б.и., 1966, N 21.

3. Канторович Л.В., Иловайский И.В., Фет Я.И. A.c. 209С (СССР). Арифметическое устройство цифровой вычисли' льной машины/ - Опубл. в Б.И., 1968, N 4.

4. Иловайский И.В., Фет Я.И. Об одном способе организа] быстродействующего арифметического устройства// Изв СО АН СССР. Сер.технич.наук. - 1966. - N 6, вып.

- С. 60-68.

5. Фет Я.И. Оценка памяти умножающего устройства// Ае и выч.техника. - Рига, 1971. - N 1. - С.

6. Канторович Л.В., Фет Я.И. О возможности повышения пр изводительности универсальных ЦВМ при решении эконо ко-математических задач// Экономика и математ. методь

- 1969. - N 2. - С. 276-279.

7. Фет Я.И. Реализация групповых операций на ротор конвейерном процессоре// Оптимизация. - Новосибирск, 1972. - Вып.6(23). - С. 104-115.

8. Фет Я.И. Некоторые алгоритмы проектирования ЦВМ Выч.системы. - Новосибирск, 1965. - Вып. 18. С.72-9:

9. Фет Я.И. Использование структурных характерно! функций алгебры логики для синтеза логических схем // Теория дискретных автоматов. - Рига: Зинатне. 196

- С. 121-130.

10. Фет Я.И. Некоторые алгоритмы синтеза схем минималы глубины// Проблемы синтеза цифровых автоматов. - Мое ква: Наука. - 1967. - С. 48-53.

11. Фет Я.И. Алгоритмы построения принципиальных с: ячеек ЦВМ// Цифр. выч. техн. и програм. - Mocki Сов.радио. - 1967. -Вып. 2. - С. 44-55.

i. Гуляев А.В., Толстьев В.П., Фет Я.И. Расширение функциональных возможностей ЭКВМ// Выч. системы. - Новосибирск, 1971, - Вып. 46. - С. 207-208. 3. Толстьев В.П., Фет Я.И. Вычислительные устройства на бессдвиговых регистрах// Выч системы. - Новосибирск, 1971. - Вып. 46. - С. 203-206. 1. Канторович Л.В., Толстьев В.П., Фет Я.И. А.с. 409222 (СССР). Устройство для умножения / - Опубл. в Б.И., 1973, N 48.

5. Басалаев B.C., ДиановВ.А., Фет Я.И. А.с. 558613 (СССР). Электронная клавишная вычислительная машина/

- 1977.

5. Канторович Л.В., Толстьев В.П. Фет Я.И. А.с. 300115

(СССР). Цифровое вычислительное устройство/ - 1971. 7. Kantorovich L.V., Tolstiev V.P., Fet Ya.I. Rechenwerk

Патент ГДР N 92143. - 1972. 3. Kantorovich L.V., Tolstiev V.P., Fet Ya.I. Unita aritmética/ Патент Италии N 937082. - 1972. 9. Kantorovich L.V., Tolstiev V.P., Fet Ya.I. Digital serial arithmetic unit/ Патент США N 3758767. - 1973.

0. Kantorovich L.V., Tolstiev V.P., Fet Ya.I. An arithmetic unit/ Патент Великобритании N 1357598. - 1974.

1. Kantorovich L.V., Tolstiev V.P., Fet Ya.I. DivisionsVorrichtung fur ein serielles Vier-Species Rechenwerk Патент ФРГ N 2150853. - 1979.

2. Толстьев В.П. Фет Я.И. Электронные клавишные вычислительные машины. - Новосибирск: Наука. - 1974. - 138с.

3. Фет Я.И. Аппаратная поддержка массовых вычислений // Оптимизация. - Новосибирск, 1978. - Вып. 22 (39).

- С. 115-126.

4. Фет Я.И. Реализация составных функций языка APL на специализированных однородных матрицах // Матер. IV Всес. конфер. "Однор. выч. сист. и среды". - Киев, 1975. - 4.1. - С. 203-204.

5. Канторович Л.В., Петрова Л.Т., Фет Я.И. Комплексный подход к реализации массовых вычислений//0птимизация.

- Новосибирск, 1974. - Вып. 13(30). - С. 5-11.

26. Фет Я.И. Массовая обработка информации в специализи рованных однородных процессорах. - Новосибирск: Наука

- 1976. - 200 с.

27. Фет Я.И. Параллельные процессоры для управляющих систем. - Москва: Энергоиздат. - 1981. - 160 с.

28. -Фет Я.И. A.c. 424141 (СССР). Устройство для сортировки информации/ - Опубл. в Б.И., 1974, N 14.

29. Фет Я.И. О некоторых моделях вычислительных сред с простыми ячейками// Матер. III Всес. конфер. по проблеме "Однор. выч. сист. и среды". - Таганрог, 1972.

- С. 89-92.

30. Фет Я. И. Обработка информации в простых вычислительных средах// Матер. 2-го Всес. сем. "Информ.методы в сист.управл.,измер. и контроля". - Владивосток, 1972.

- Т.2. - С. 204-215.

31. Фет Я.И. Синтез однородных процессоров, реализующи> некоторые групповые операции над массивами // Труды 5-го Междунар. семинара по прикл. асп. теории автом.

- Варна, 1979. - Т.2. - С. 507-516.

32. Фет Я.И. Вычислительные среды с простыми ячейками// Выч.системы. - Новосибирск, 1973. - Вып. 54.-С. 48-66.

33. Фет Я.И. Параллельная обработка информации в специализированных однородных процессорах // Выч. средстве паралл. обр. инф. - Львов, 1979. - С.6-7. (Препринт / АН УССР. Физ.-мех. ин-т; N 18).

34. Фет Я.И. Функциональные возможности простых вычислительных сред // Авт. и выч. техника. - Рига, 1974.

- N 3. - С. 48-54.

35. Фет Я.И. Специализированные однородные структуры с расширенными функциями // Труды Междунар. симп. "Дискретные системы". - Рига, 1974. - Т.З. - С. 227-237.

36. Коган И.В., Фет Я.И. A.c. 580553 (СССР). Устройствс для сортировки информации/ -Опубл. в Б.И., 1977, N 42.

37. Зосимова H.A., Фет Я.И. A.c. 513392 (СССР). Ассоциативная ячейка памяти/ - Опубл. в Б.И., 1976, N 17.

38. Fet Ya.I. Comments on "A design of a fast cellulai associative memory for ordered retrieval" // - IEEI Trans.Comput. - 1980. - Vol.C-29, N 8. - P.756-757.

39. Зосимова H.A., Фет Я.И. A.c. 513392 (СССР). Ассоциативная ячейка памяти/ - Опубл. в Б.И., 1976, N 17.

40. Фет Я.И. A.c. 558399 (СССР). Коммутатор / - Опубл. в Б.И., 1977, N 18.

41. Фет Я.И. A.c. 664169 (СССР). Ячейка однородной среды/

- Опубл. в Б.И., 1979, N 19.

42. Фет Я. И. A.c. 744563 (СССР). Устройство для умножения

- Опубл. в Б.И., 1980, N 24.

43. Коган И.В. Танцюра В.Н. Фет Я.И. A.c. 830372 (СССР). Ячейка однородной среды/ - Опубл. в Б.И., 1981, N 18.

14. Фет Я.И. A.c. 943739 (СССР). Устройство для сжатия двоичных векторов./ - Опубл. в Б.И. , 1982, N 26.

15. Зосимова H.A., Фет Я.И. A.c. 875460 (СССР). Элемент ассоциативной памяти/ - Опубл. в Б.И., 1981, N 39.

16. Фет Я.И. A.c. 978196 (СССР). Ассоциативное запоминающее устройство/ - Опубл. в Б.И., 1982, N 44.

17. Зосимова H.A., Фет Я.И. A.c. 1121673 (СССР). Устройство для контроля данных, представленных в кодах "к из п"/ - Опубл. в Б.И., 1984, N 40.

18. Фет Я.И. Специализированные однородные структуры в качестве ПЛМ// Авт и выч. техника. - Рига, 1979. - N 6.

- С. 67-72.

19. Фет Я.И. Преобразование структур данных в специализированных однородных процессорах// Упр. сист. и машины

- Киев, 1980. - N 4. - С. 32-38.

>0. Фет Я.И. Специализированные однородные структуры. Синтез схем на основе цифровых компрессоров. - Новосибирск, 1982. - 42 с. - (Препринт / АН СССР. Сиб. отд-ие. Ин-т матем.; N 27.). 11. Фет Я.И. Специализированные процессоры для решения нечисловых задач// Спец. процессоры для высокопроизв. обработки данных. (Ред. В.Е.Котов, Н.Н.Миренков).

- Новосибирск: Наука. - 1988. - С. 119-156.

2. Фет Я.И. A.c. 1193663 (СССР). Сумматор уплотненных кодов/ - Опубл. в Б.И., 1985, N 43.

3. Фет Я.И. A.c. 1300493 (СССР). Цифровой функциональный преобразователь/ - Опубл. в Б. И., 1987, N 12.

54. Ильин В.П., Фет Я.И. Параллельный процессор для решения разностных уравнений Пуассона// Изв. АН СССР Серия технич. киберн. - 1979. - N 5. - С. 200-204.

55. Ильин В.П., Фет Я.И. Параллельный процессор для реше ния задач математической физики. - Новосибирск, 1979.

- 36 с. - (Препринт/ АН СССР. Сиб.отд-ие. Выч. центр; N 217).

56. Ильин В.П., Фет Я.И. A.c. 742945 (СССР). Параллельнс вычислительное устройство для решения разностных ура внений задач теории поля/ - Опубл. в Б.И., 1980,N 23.

57. Ильин В.П., Фет Я.И. Универсальный матричный процес сор для задач математической физики// Матер. Всес конфер. "Парал. програм. и высокопроизв. системы"/

- Новосибирск:ВЦ СО АН СССР. - 1980. - 4.2. -С.36-4Е

58. Ильин В.П., Фет Я.И. Распараллеливание неявных сеточных методов на универсальном матричном процессоре

- Москва, 1982. - 16 с. - (Препринт / АН СССР. Отде выч. матем.; N 27).

59. Ильин В.П., Фет Я.И. A.c. 963100 (СССР). АссоциатиЕ ное запоминающее устройство/ - Опубл. в Б.И., 1982, N 36.

60. Ильин В.П., Фет Я.И. Семейство параллельных проце! соров для задач математической физики/ - Вычислит, процессы и системы. - Москва: Наука. - 1983. - Вып.1

- С. 81-99.

61. Ильин В.П., Руфицкий В.Н., Фет Я.И. Сеточный napaj лельный процессор СПП-6. - Новосибирск, 1986. - 22с.

- (Препринт/ АН СССР. Сиб. отд-ие. Выч.центр; N683).

62. Ильин В.П., Фет Я.И. A.c. 1290347 (СССР). Устройст! для решения дифференциальных уравнений по неявно? схеме переменных направлений/ - Опубл. в Б.И., 1987, N 6.

63. Алеева В.Н., Фет Я.И. Ассоциативный процессор дл крупноблочной обработки информации // Оптимизация.

- Новосибирск, 1974. - Вып. 15(32). - С. 154-177.

64. Алеева В.Н., Фет Я.И. Однородный процессор для массс вых вычислений// Матер. IV Всес. конфер. "Однор. вы>-сист. и среды". - Киев, 1975. - 4.1. - С. 251-252.

i5. Алеева B.H., Фет Я.И. A.c. 478297 (СССР). Элемент ассоциативной матрицы./ - Опубл. в Б.И., 1975, N 27. 6. Алеева В.Н., Фет Я. И. A.c. 590747 (СССР). Двумерная однородная структура для анализа логических векторов/

- Опубл. в Б.И., 1978, N 4.

.7. Фет Я.И. A.c. 610105 (СССР). Ячейка однородной среды/

- Опубл. в Б.И., 1978, N 21.

>8. Коган И.В. Фет Я.И. A.c. 616624 (СССР). Элемент ассоциативной матрицы/ - Опубл. в Б.И., >1978, N 27. >9. Фет Я.И. A.c. 634372 (СССР). Элемент ассоциативной

матрицы памяти/ - Опубл. в Б.И., 1978, N 3. '0. Фет Я.И. A.c. 746728 (СССР). Запоминающий модуль для

матричных блоков памяти/ - Опубл. в Б.И., 1980, N 25. '1. Фет Я.И. A.c. 1013943 (СССР). Ячейка однородной среды

- Опубл. в Б.И., 1983, N 15.

'2. Фет Я.И. A.c. 1092536 (СССР). Логическая ячейка для

распознающей матрицы/ - Опубл. в Б.И., 1984, N 18. '3. Фет Я.И. Многофункциональные однородные структуры // Матер. V Всес. науч.-тех. конфер. "Однор. выч. сист., структуры и среды". - Москва, 1991. - 4.1. - С.44-45. '4. Фет Я.И. Некоторые средства глобальной обработки информации// IX Всес. симп. по киберн. - Москва, 1981.

- Т.2. -С. 61-62.

'5. Фет Я.И. Аппаратная поддержка систем искусственного интеллекта// Семиотич. асп. формализ. интеллект, деят.

- Москва, 1985. - С. 159.

'6. Фет Я.И. Интеллектуальные системы и вычислительная техника// Всес. конфер. по искусств, интелл. - Перес-лавль-Залесский, 1988. - Т.З. - С. 510. '7. Фет Я.И. Некоторые свойства произведений булевых матриц//, Матем. и архит. обеспеч. парал. вычисл. - Новосибирск, 1989. - С. 22-30. '8. Фет Я.И. Анализ и синтез распределенных функциональных структур. - Новосибирск, 1991. - 64 с. (Препринт/ АН СССР. Сиб. отд-ие. Выч.центр; N 942). '9. Фет Я.И. Многофункциональный специализированный микропроцессор// Архит. и матем. обеспеч. вычисл. систем (Выч.системы, вып. 104). - Новосибирск, 1984.

- С. 121-127.

79. Фет Я.И. Реализация табличных вычислений в специализированных однородных структурах // Матер. Всес. сем. "Гибридные выч.маш.и компл.". - Киев, 1976. - С. 186.

80. Кужий Л.И., Попов Б.А., Фет Я.И. Табличные процессоры с неравномерными интервалами// Однородные выч.системы (Выч.системы, вып.90). -Новосибирск, 1981.-С. 132-144.

81. Фет Я.И. Специализированные однородные микропроцессоры// Матер. Всес. конфер. "Микропроцессорные системы"

- Челябинск, 1984. - С. 4-5.

82. Фет Я.И. Вертикальная обработка в сложных задачах // Матер. 4-й Всес. конфер. " Примен. мет. мат. логики "

- Таллин, 1986. - С. 185-186.

83. Фет Я.И. Вертикальная обработка как основа крупноблочной архитектуры// Изв. АН СССР. Серия технич. ки-берн. - 1986. - N 5. - С. 139-152.

84. Handler W., Fet Ya.I. Vertical processing in parallel computing systems // Proc.Int.Confer. "Parallel Comput. Techno1." - Novosibirsk, 1991. - P. 56-75.

85. Важенин А.П., Фет Я.И. Специализированные процессоры в системах вертикальной обработки// Паралл. алгоритмы

и структуры - Новосибирск, 1991.- С. 37-50.

86. Суворов Е.В., Фет Я.И. Специализированный процессор для аппаратной поддержки реляционных баз данных.

- Новосибирск, 1981. -48 е.- (Препринт/ АН СССР. Сиб. отд-ие. Ин-т матем.).

87. Суворов Е.В., Фет Я.И. Процессоры баз данных // Изв. АН СССР. Серия технич. киберн. - 1985. - N 6.

- С. 63-75.

88. Важенин А.П., Седухин С.Г., Фет Я.И. Высокопроизводительные вычислительные системы комбинированной архитектуры. - Новосибирск, 1989. - 24 с. - (Препринт/ АН СССР. Сиб. отд-ние. Выч. центр; N 866).

89. Vazhenin А.P., Sedukhin S.G., Fet Ya.I. High-performance computing systems of combined architecture// Proc. Int.Confer. "Parallel Comput. Technol." - Novosibirsk, 1991. - P. 246-257.