автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Проектирование и анализ высокопараллельных вычислительных структур для умножения матриц

РОССИЙСКАЯ АКАДЕМИЯ НАУК Сибирское отделение Вычислительный центр

На правах рукописи Карапетян Гагик Завенович

ПРОЕКТИРОВАНИЕ И АНАЛИЗ ВЫСОКОПАРАЛЛЕЛНЫХ ВЫЧИСЛИТЕЛЬНЫХ СТРУКТУР ДЛЯ УМНОЖЕНИЯ МАТРИЦ

Специальность 05.13.11.-Математическое и программное обеспечение вычислительных машин, комплексов, систем и сетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

Новосибирск - 1992

Работа выполнена в Новосибирском государственном университете

Научные руководители- доктор физико-математических наук, профессор

H.H.- Миренков. ■■ кандидат технических наук ■ С.Г. Седухин

Официальные оппоненты - доктор физико-математических наук, профессор

В.А. Евстигнеев кандидат технических наук П.В. Шедко

Ведущее предприятие -' Новосибирский государственный технический университет

. Защита состоится "26" марта 1993 года, в 143° часов на заседании специализированного совета к 003.93.01 в Институте систем информатики Сибирского отделения РАН по адресу: бзооэо, г. Новосибирск-90, пр. Академика Лаврентьева, 6.

С диссертацией можно ознакомиться в читальном зале ВЦ СО РАН (пр. ак. Лаврентьева, 6).

Автореферат разослан "22" января 1993 г.

Ученый секретарь Специализированного Совета К 003.93.01

к.ф.-м.н.

М.А. Бульонков

Общая характеристика работы

Актуальность темы. В настоящее время эффективная организация массовых параллельных вычислений в многопроцессорных системах является предметом широких научных исследований и инженерных экспериментов. В этой области эффективное решение многих важных задач возможно только при глубоком распараллеливании процессов вычислений.

Современный этап развития и успехи в области технологии сверхбольших интегральных схем (СБИС) делают возможным построение высокопараллельных вычислительных структур, ориентированных на непосредственную реализацию базовых алгоритмов линейной алгебры, цифровой обработки сигналов, распознавания образов и др. Вместе с тем, интегральная технология предъявляет ряд схемотехнических требований при разработке СБИС-алгоритмов. Разработка высокопараллельных алгоритмов, удовлетворяющих требованиям интегральной технологии, является по существу проектированием проблемных 'СБИС-ориентированных вычислительных структур. Задача состоит не только в выявлении из алгоритма подходящей для СБИС параллельной формой, но и в получении для заданного алгоритма соответствующей СБИС-архитектуры, выбранной из множества решений.

Появление СБИС существенным образом увеличило интерес к массовым параллельным вычислением. Большой вклад в становление теории и.практики массовых параллельных вычислений для СБИС внесли О.Л. Бандман, Ю.Г. Дадаев, В.И. Варшавский Ю.С. Каневский,

B.В. Корнеев, Г.А. Кухарев, H.H. Миренков, П.И. Соболевский,

C.Г. СедухИН, Я.И. Фет, S.Y. Kung, Н.Т. Kung, Ch. Lengauer,

D. Moldovan, P.V.K. Kumar И Др.

Одним из подходов к проектированию высокопараллельных вычислительных структур для непосредственной реализации регулярных алгоритмов в СБИС является разработка систолических процессорных структур. Систолические структуры - это одномерные или двумерные матрицы регулярно и локально связанных процессорных элементов (ПЭ) одного или нескольких типов, которые под управлением общих часов ритмически (синхронно) обрабатывают взаимодействующие потоки входных данных, поступающие на перифирийные ПЭ структуры.

Следует отметить, что проектирование систолических структур выполнялось ранее в основном на эвристической и интуитивной основе и без связи друг с другом. Для решения одной и той. же задачи разными авторами были предложены разные вычислительные структуры. В

частности, для алгоритма умножения матриц к настоящему времени разработаны десятки проектов высокопараллельных вычислительных, структур систолического типа. Существует большое количество методик, которые в той или иной мере систематически решают задачу проектирования процессорных матриц для СБИС-реализации матричных алгоритмов. Однако, существующие методики проектирования обладают рядом- недостатков, которые затрудняют или делают невозможным их практическое использование при разработке и' анализе систолических структур. Среди них можно отметить следующие: - как правило, исходные алгоритмы задаются непосредственно или в виде алгоритмической програмы в форме однородных рекуррентных уравнений, т.е. считается, что информационные связи между отдельными вычислениями уже локализованы и алгоритм приведен к удобному для СБИС-реализации виду; - временное упорядочение множества вычислений алгоритма задается только линейной формой, поиск которой часто осуществляется эмпирически; - не рассматривается получение для заданного алгоритма множества допустимых проекных решений, позволяющих проектировщику выбрать наилучшую процессорную матрицу по некоторому сложному критерию оптимизации (время - площадь -топология - специализация - форматы потоков данных и т.п.).

Одним из ' базовых методов решения многих задач является алгоритм умножения матриц. В частности, произведение матриц является центральной вычислительной задачей линейной алгебры, поскольку к ней сводится целый класс других важных задач: обращение матриц, решение систем линейных уравнений, умножение последовательности уатриц, нахождение кратчайших путей в графе, нахождение транзитивного замыкания графа и др. Важность и высокая операционная сложность традиционного алгоритма умножения матриц стимулирует многочисленные исследования, связанные о поиском параллельных вычислительных структур для быстрого выполнения алгоритма, в том числе, специализированных структур, ориентированных на ленточные, разряженные и т.п. матрицы. Сказанное выше позволяет сделать вывод, что проектирование СБИС-ориентированных систолических структур для умножения матриц, минимальных с точки зрения времени обработки и числа ПЭ является весьма актуальной задачей.

Целью диссертации является разработка и анализ оптимальных ьысокопараллельных систолических систем ориентированных на технологию СБИС для умножения матриц различной структуры.

Для достижения поставленной цели решаются следующие задачи:

- исследование теоретических основ и особенностей выполнения алгоритмов умножения ленточных матриц и последовательностей ленточных матриц при их отображения на современную технологию СБИС;

- разработка пространственно-временной структурной, схемы вычислений алгоритмов, оптимальной для СБИС-реализации;

- получение и исследование множества допустимых двумерных и одномерных матричных процессоров систолической архитектуры.

Методы исследования. В диссертационной работе использовались методы линейной алгебры, теории графов, теории множеств, . аналитической геометрии и формализованный подход к проектированию и анализу вычислительных структур на базе СБИС.

Научная новизна работы заключается в том, что для алгоритма умножения матриц получено и теоретически исследовано допустимое для СБИС-реализации множество проектных решений, позволяющее найти оптимальную (в смысле минимизации критерия "пространство-время") систолическую структуру. Исследования позволили установить- формальную связь между предложенными ранее систолическими структурами и получить новые оригинальные решения. Для умножения последовательности матриц синтезирована планарная систолическая структура, которая характеризуется минимальным временем обработки и'числом ПЭ.

Практическая ценность. Полученные в работе ■ результаты' позволяют строить параллельные алгоритмы и вычислительные средства,' ориентированные на современную технологию СБИС, и. могут быть эффективно использованы при разработке параллельных и векторно-конвейерных программ для существующих и перспективных многопроцессорных систем б11-го- и М1шь архитектуры. Они также могут быть использованы в учебном процессе, свзанном с курсами по методам и средствам параллельных вычислений.

Публикации и апробация. По теме диссертации, опубликовано 4 работы. Основные результаты диссертационной работы■представлялись и докладывались на заседаних семинара "Математическое и архитектурное обеспечение параллельных вычислений" (Новосибирск, 1991, 1992), на семинарах кафедры "Вычислительные системы" Новосибирского госуниверситета (1991, 1992), на хи Всесоюзном семинаре "Однородные вычислительные среды и систолические структуры" (Львов, 1992).

Структура и объем работы. Диссертация состоит из введения, 4-х глав, заключения, списка литературы из 80 наименований. Работа содержит 97 страниц основного текста, 27 иллюстраций, 5 таблиц.

- 6 -Содержание работы

Во введении обосновывается актуальность проектирования и анализа матричных алгоритмов и структур, ориентированных на перспективную технологию вычислений, формулируются основные задачи диссертации, научная новизна и практическая значимость.

Первая глава посвящена особенностям интегральной технологии, ее влиянию на схемотехнические аспёкты проектирования СБИС-устройств и основным требованиям к вычислительным алгоритмам для реализации в рамках этой технологии.

Технология, СБИС, хотя и представляет большие возможности разработчику систем, в то же время предъявляет ряд требований к параллельным алгоритмам для. их реализации. К .числу основных требований относятся: (1) регулярность внутренней структуры алгоритма,- т.е. однотипность и массовость выполняемых операций и связей между ними; (2) сверхлинейная операционная сложность алгоритма, т.е. многократное использование каждой единицы входных данных;

(3) двумерность пространств реализации вычислений, отвечающая присущему на сегодняшний день требованию планарности СБИС;

(4) локальность зависимости вычислений алгоритма, удовлетворяющая требованию соединений элементов в СБИС по принципу близкодействия;

(5) параллельно-поточная организация вычислений, обеспечивающая высокое быстродействие и эффективность СБИС-устройства.

Для матричных алгоритмов, заданных линейными рекуррентными соотношениями С.Г. Седухиным была ' предложена систематическая методика проектирования и анализа высокопараллельных алгоритмов и структур на базе СБИС . Данная методика используется в настоящей диссертации для исследования умножения матриц различной структуры.

Методика состоит из следующих- шагов: (1) нахождения хорошо структурированного (высокорегулярного) итеративного алгоритма для решения задачи; (2) выявления пространственной и временной (причинно-следственной) связи вычислений (структурной схемы) алгоритма, не зависящей от физической реализации; (3) получения множества проектных решений путем пространственного проецирования структурной схемы алгоритма, не нарушающего исходную причинно-следственную связь вычислений; (4) нахождения оптимального проекта, характеризующегося минимальным временем решения задачи, числом и типом используемых ПЭ, регулярностью их связи, согласованностью с вводом/выводом и т.п.

Во второй главе рассматриваются необходимые теоретические обоснования и особенности выполнения алгоритма умножения ленточных матриц, приводятся синтез и анализ оптимальной пространственно-временной структурной схемы вычислений данного алгоритма, строится множество возможных систолических двумерных проектов и указываются оптимальные по времени обработки и числу ПЭ.

Пожалуй ни один из существующих численных методов не привлекал столь большое внимание с точки зрения распараллеливания, как алгоритм умножения матриц. Математически очень быстрый параллельный алгоритм умножения двух плотных (л*л)-матриц ("строка на столбец") требует 0(л3) ПЭ и времени 0(iog2л). Однако, используемая в данном случае идеализируемая структура вычислений не отвечает ряду практических требований реализации в аппаратуре на базе СБИС. Все это приводит к существенному увеличению времени выполнения указанной структуры вычислений при ее реализации в аппаратуре на базе СБИС.

При разработке систолических систем для алгоритмов умножения матриц различной структуры (плотные, ленточные, верхние и нижние треугольные) возникают, по крайней мере, следующие вопросы: (1) каково минимальное время параллельного выполнения алгоритма, с учетом требования на СБИС-реализацию; (2) каково множество возможных для данного алгоритма систолических структур; (3) какая систолическая структура является наилучшей в смысле минимизации критерия "пространство-время"; (4) какова связь существующих систолических структур друг с другом?

В диссертации делается попытка ответить на эти вопросы, используя упомянутую выше систематическую методику проектирования вычислительных структур. Алгоритм умножения двух ленточных матриц носит общий характер в том смысле, что, изменяя ширину лент, можно оценить сложность умножения матриц различной структуры.

Пусть даны ленточные (л*л) -матрицы а = [а(Ь] и в = £i>kJ] с шириной лент = р>+д>-1 и («>ь = рь+дь-1, соответственно, где 1 s p,'qi*рь■ 9ь s Произведение этих матриц дает (л*п)-матрицу с = [си1 с шириной ленты ас = pc+gc-i s 2л-1, где

c(i ,Я

c(J = ^ alkbkJ> 1 s i>J * "> Р,.-! * i_J> j-i * Яс-1, W(i, J )»1

r(i,J) = max(0, i-Pt, J~%) • E(i,J) = min( л, i+qt~l, J+Pb~l), Pc = min( л,рш+рь-1 ), qo = min( л, g>+gb-l).

Параметр р характеризует число поддиагоналей, а параметр g -число наддиагоналей соответствующей матрицы, включая ее главную диагональ.

В' работе рассмотрены два алгоритма умножения матриц, основанных на прямой с^ = f(c'*1) и обратной с^ = .рекуррентности. Для этих алгоритмов исследованы различные схемы распределения элементов входных матриц а, в, с в трехмерном пространстве вычислений, образованном ,индексными' переменными <i,j,k>. В этом пространстве определены области входных р(п(с), р. (л), р, (в) и выходных р Ас) вычислений, которые задаются на

1П1П oui

границе области внутренних вычислений PjBt. Всему множеству вычислений двух алгоритмов графически сопоставляются трехмерные графы

v л

локально информационной связи (ЛИС-граф) вычислений Г* и Г*. Для данных ЛИС-графов были формально определены ранжирующие (временние) функции t(p) : р—► z, которые сопоставляют каждой вершине р = (ï,j,fe)TePlnl графа ранг (такт) ее срабатывания. При этом, был найден минимальный ранг завершения вычислений Гп1п(г*) = Ир*"*), который равен длине пути в ЛИС-графе, где рш" е pint - максимальная точка (точки) множества внутренних вычислений. Доказывается (теорема 1), что для алгоритма с прямой рекуррентностью величина

v

r«in'r*' = n+min(p,>9b)+min<pb>9«)"3 равна длине максимального (критического) пути в ЛИС-графе г*. Сравнение результатов исследований показало, что алгоритм умножения ленточных матриц с прямой рекурентностью характеризуется минимальным критическим путем, т.е. функция Ир) = i+j-t+min(p ,9 )-2 имеет минимальную форму.

v *

Для ЛИС-графа г' были получены десять допустимых двумерных проектов систолических структур so...s и площади этих проектов, измеренные в числе ПЭ. Сравнение результатов исследований показало, что минимальным числом ПЭ, с учетом размещение входных данных, характеризуется только проект s?, представляющей собой сеть из в w (при ш ,ю « л) гексагонально связанных ПЭ одного типа (рис.1). Этот

• ь v

проект является проекцией вдоль направления (i,i,i)T ЛИС-графа Г* и способна выполнить умножение двух ленточных (л* л)-матриц за минимально возможное ЧИСЛО n+min(p<i,gb)+rain(pb,gii)-3 временных шагов. Проведенные исследования позволили установить связь между известными систолическими структурами, которые являются различными проекциями трехмерных ЛИС-графов алгоритмов на плоскость.

6Б 55 <5 35

6 4 5 4 4 4 3 4

Ь53 *4 3 *зз ¿23 Ь13

ч Ь4 2 X Ьэг Ч 1 Ь22 Ч 1 ч 1 ч 1

-» Ьз, —»

ч 1 ч ,1, Ч ,1, N ■1, ч 1 р-

—»

N ч 1 ч ! N ,1, V, 1 N.

- - —»

Ч, Ч.

31ч

ч ч

14 I Ч I Ч I Ч 1 Ч

Рис. 1

В третьей главе описывается получение множества допустимых одномерных (линейных) систолических проектов для умножения двух ленточных (п*л)-матриц. Находятся ранжирующие функции и минимальные ранги завершения для полученных одномерных проектов.

При исследовании вычислительных структур для СБИС-реализации важным шагом является отображение получениях двумерных проектов систолических систем на одномерное пространство с целью получения линейных систолических структур. Такие одномерные проекты становятся привлекательными по сравнению с двумерными системами. На практике одномерные проекты обладают различными преимуществами по сравнении с двумерными системами. Среди них можно выделить следующие: (1) юо%-е использование неповрежденных (безотказных) ПЭ на двумерной пластине СБИС, за счет однонаправленности структур одномерных проектов; (2) ограниченное количество каналов ввода/вывода в структуре; (з) простата топологии за счет связи только межлу двумя соседями; (4) высокая модульность и масштабируемость.

Из оптимальной двумерной систолической структуры з? были

2 4

I

1

N

получены три одномерных систолических проекта г , г , р и

опт опт _

оптимизированные варианты проектов , . Для данных проектов найдены ранжирущие функции и минимальный ранг завершения. На рис. 2 представлен одномерный систолический проект который

использует »о ПЭ и выполняет умножение двух ленточных (№<л)-матриц за (п-2)(п-1)+п+т1п(р1,дь)+т1п(рь,д11)-3 временных шагов.

п -1 г-- п -1 г

п -1

I— Оааааааааааа .. . а а 0 0 0 0

Г 25 24 23 22 21 3 6 3 6 3 4 3 3 3 2 31 66 65

-J4Ш{J4ш[_f4шJJ'-

4Ш

ь«г

1Ш

ь*-

«Н

Ь«г

НН

о<-

оооььь ...ьььььоьььь

46 56 66 13 23 33 43 63 12 22 32 42

а

Рис. 2

В четвертой главе рассматриваются необходимые теоретические обоснования и особенности выполнения алгоритма умножения последовательности т ленточных (п»п)-матриц. Для этой задачи осуществляется синтез графа информационной зависимости множества вычислений алгоритма, выполняется пространственно-временной анализ множества внутренних вычислений, развертка входных-выходных данных и проектирование планарной систолической структуры, которая характеризуется (в рамках линейного планирования вычислений) минимальными временем обработки и числом ПЭ.

Алгоритм умножения последовательности т ленточных матриц обычно применяется в задачах, требующих массовых вычислений. Основная проблема применения систолических проектов для умножения двух матриц при умножении последовательности матриц заключается в том, что результаты вычислений на каком либо шаге не могут быть непосредственно использованы в систолической структуре на следущем шаге. Для согласованного выполнения в такой структуре нескольких шагов приходится использовать глобальные каналы связи для обмена данными и дополнительные задержки в каналах, что приводит к увеличению как временных, так и аппаратных затрат.

В диссертации разрабатывается плоская систолическая структура, лишенная отмеченных выше недостатков. При проектировании используется систематический подход к синтезу и анализу

вычислительных структур для СБИС-реализации. Как алгоритм умножения

двух ленточных матриц, так и алгоритм умножения последовательности

ш ленточных матриц носит общий характер в том смысле, что, изменяя

ширину ленг, можно оценить сложность умножения последовательности

матриц различной структуры.

Пусть даны ленточные (л*л)-матрицы а =[а.. ], а =[а. . ],

1 ' 1 2 12 ..., Ав=[ак ^ С шириной лент и1 = р< + д1-1, ы2=Р2+92~1.....

и = р +д -1 соответственно, где 1 * р., а д„, . . . ,р , д ¿п.

поп 1122 яп

Произведение этих матриц дает (л* л)-матрицу с=[с ] с шириной ленты ис=рс+9с-1. где

£2(,'ьэ' £1(' ,кг'

С.Г Г'"-' I

¿, ¿2)=шах(0, -¿"Р,, кг-чг) ■ 1, Лг)=т1п( п. 1 + 9,-1, ¿г+Р2"1).

Гг(2,^3)=тах(0,£.,( I, А3)=т1п( л, ,"1. к3+Р3-1),

Г3( i, ¿4)=тах(0, i-pc 2, , сз( ) =т1п( л, 2~1.

1-1 с,»-2 п-1

=„.,( .Л=т1п(л, 1 + я.2-11 •/♦Р..,-1' •

Ре = Ро.-1=т1п(Л'Р. + Р..»-г-1>' 9с=9с»-1=т1п(п' V «с.-г"1'-для 1*1, 1с,, .....й.-1> 4 п> "Р11 УСЛОВИИ, ЧТО

"-..Г1 г '"Л- V* 4 е..!-1' Рс.г"1 * V1' 5 Зс.г-1'---.

"с..-,"1 *4 «о.-Г1-

Известно, что частично упорядоченное по отношению предшествования множество однотипных вычислений алгоритма умножения двух ленточных матриц осуществляется в трехмерном индексном пространстве <1,у,/с>, а также то, что существует два алгоритма вычислении, основанных на использовании прямой и обратной рекуррентности. При- умножении ш ленточных матриц возникает задача выбора соответствующего алгоритма на каждом шаге а, где ле[1,т-1], и задача временного согласования выполнения двух последовательных шагов. В работе показано, что подходящий выбор алгоритма на каждом

шаге позволяет решить задачу временного согласования и получить систолическую структуру, способную выполнить умножение " т ленточных матриц за минимальное время обработки. На рис. з показан плоский проект, который представляет собой массив ортогонально связанных ПЭ. Данный проект использует о(л2) ПЭ и позволяет выполнить умножение последовательности т ленточных (п* л)-матриц за минимально возможное число временных шагов:

(ш-1)л + т!п(9_>Р„ _ ,)+ го1п(р ,д )-3, при ш = 2,4,...,

(т-1)п + рв+ т1п(р21 д1)-3,

при при

= 3,5,

3 „ 3 в21 0 в12

*31 0 *22 ° *

3.3

а 0 а

32 23

*42 ° *33 0 '

0 Л43 0 *1<

аез ° *44 ° ' /.3-3 0 в64 0 «45

0 «66 ° 3.3 абБ 0 а56

—»

3 Чз -»1

. 3 0 а* 14 —»'

• «г. —►

2 в11

«гГ*

а 0 а2 0-

Б 13 "22 2 2 2

а 0 а 0 а -14 23 зг

аг 0 аг 024 зз

а 0 а О гв 34

а2 0 а2 О 35 4 4

»36 0 а46 0

*46 ° *6В °

О а.

I I I I

СММ-МЬ-11111 [^М-М-МЛ- , 111111

I I ' I ^ I I I

X у % I 1

[.М^М.ЫММр-I I I I

111111 ЬМ^МгМММ;]-

I N I I I I I

[¿М^М^Ы-М?]-I I 4 I I I I

I I I I

X X I

111111 -[МММЫ^Ь 11111 -ф- [:ЬПЬ [:]-[:>» X 1 I I I

-ПЬЙМ:]-* 1 Л-Г1^ I I.

з

2

66

Рис. 3

Основные результаты

1. Выполнен структурный анализ алгоритмов умножения матриц и осуществлен синтез множества допустимых систолических процессоров, различающихся пространственно-временными характеристиками.

2. Конструктивно доказано; что для задачи умножени матриц оптимальный систолический проект в смысле минимизации критерия "пространство-время", существенном образом зависит от перемножаемых матриц (плотная, ленточная, верхняя или нижняя треугольная), алгоритма вычисления (прямая или обратная рекуррентность) и исходного распределения элементов входных матриц в пространстве обработки.

3. Установлена формальная ¡'.вязь между многими эвристически полученными систолическими массивами для умножения матриц, которые являются различными проекциями трехмерного графа ЛИС-вычислэния на двумерное или одномерное пространства.

4. На основе полученной оптимальной двумерной систолической структуры, содержанией и>аюь (при ч>а»ь « л) гексагонально связанных го и расходующей на умножения двух ленточных (л*л)-матриц л+т1п(ра,<зь)+пип(рь,дз)-з временных шагов, построено множество допустимых одномерных (линейных) систолических проектов.

5. Для каждого из линейных проектов формально найдены ранжирующая (временная) функция и длина критического пути в

v

ЛИП-графе минимальной формы.

6. Осуществлена необходимая развертка исходных данных по времени и пространству, позволшал получить корректность потоков входных/выходных данных.

7. Выполнен синтез и анализ множества ¡рч.-у.-.тишнх параллельных реализаций для алгоритма умножения последовательности т ленточных матриц.

8. Показано, что для оптимизации алгоритма по времени необходимо использовать чередование прямой и обратной рекуррентности вычислений, в обшей Последовательности обработки.

9. Конструктивно доказано, что среди множества допустимых плоских структур для систолической реализации данного алгоритма, оптимальной по числу ПЭ является сеть содержатаа о(л2) ПЭ.

По теме диссертации опубликованы следующие работы:

1. СедухинС.Г., Карапетян г.з. Проектирование оптимальных систолических систем для произведения матриц различной структуры. -

Новосибирск,1990.- 44 С.-(ПрепрИНТ/AH СССР. Сиб.отд-ние. ВЦ; N 885)

2. Карапетян Г.З. СедухинС.Г.' Проектирование систолических процессоров для умножения матриц различной структуры. Новосибирск, 1992. - 43 С. - (Препринт/ АН РОССИИ. Сиб. отд-ние. ВЦ; К 972).

3. Карапетян Г.З. Седухин С.Г. Проектирование систолических структур для умножения последовательности матриц. //Технология параллельных вычислений. Новосибирск, 1992. - С. з - 23.

4. Карапетян Г.З. Седухин С.Г.. Проектирование систолических структур для умножения последовательности матриц. //Тез. док. хп Всесоюз. семинара "Однородные вычислительные среды и систолические структуры". - Львов, 1992. -n 3.