автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Отображение и реализация задач численного анализа сетевых графов на архитектуру векторно-конвейерной супер-ЭВМ

РОССИРЮГЛл АКАДЕМИЯ НАУК ИНСТИТУТ ПРОБЛЕМ КИБЕРНЕТИКИ

На правах рукописи

ЯЗНЕР'ЛЧ "Марина Ивановна

УДК 681.3.06:519.8

ОТОБРАЖЕНИЕ И РЕАЛИЗАЦИЯ ЗАДАЧ ЧИСЛЕННОГО АНАЛИЗА СЕТЕВЫХ ГРАФОВ НА АРХИТЕКТУРУ ВЕКТОРНО-КОНВЕЙЕРНОЙ

СУПЕР-ЭВМ

05.13•11. - математическое- и программное.обеспечение вычислительных маши,-, комплексов, систем и сетей

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

\

МОСКВА 1992

Работа выполнена в Институте математики АН Беларуси и Институт! проблем кибернетики Российской АН

Научный руководитель: член-корреспондент РАН, доктор физико-

математических наук, профессор Иванников В.П.

Официальные оппоненты: доктор физико-математических наук

Леонтьев В.К.,

кандидат физико-математических наук Шокуров A.B.

Ведущая организация: Факультет вычислительной математики и

кибернетики МГУ

Защита состоится " /2 " О/ 199 3 г. в /9" часов на заседании Специализированного Совета К 003.78.01 Института проблем кибернетики РАН по адресу: 117312 Москва, ул.Вавилова,37.

с диссертацией можно ознакомиться в библиотеке Института. Автореферат разослан " 5 " 1992 г.

Ученый секретарь Специализированного совета к.ф.-м.н.

А.З.Ишмуг.Рмет

ОБШАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность теш. Одним из направлений развития высокопроизводительных вычислительных систем являются Супер-ЭВМ векторно-конвейерной архитектуры ( ВК ЭВМ ). Сверхвысокая производительность таких ЭВМ достигается как за счет распараллеливания вычислений, так и за счет применения векторной обработки данных на конвейерных функциональных устройствах.

Проблемы создания эффективного прикладного программного обеспечения для Супер-ЭВМ различного типа выдвигают на одно из первых мест требование адекватного отображения алгоритмов на их архитектуру, в том числе разработки машинно-зависимых алгоритмов. В особенности это касается задач численного анализа сетевых графов, поскольку полезная производительность ВК ЭВМ может существенно изменяться в зависимости от степени адекватности алгоритмов решения этих задач архитектуре машины.

Поэтому актуальными задачами являются создание и исследова- • ние математической модели, связанной с различными аспектами параллельной и конвейерной обработки, с организацией параллельных вычислений, и решение на ее основе проблемы оптимального отображения задач численного анализа сетевых графов на архитектуру ВК ЭВМ.

Цель диссертационной работы состоит в разработке и исследовании математической модели представления распределенных процессов при векторно-конвейерной обработке, в создании и реализации на ее основе векторно-конвейерных алгоритмов 'шсленного анализа сетевых графов и базовых операций поиска и упорядочения в одномерных и двумерных массивах числовых данных.

Методологическую основу исследований составляет аппарат теории алгоритмов, теории графов, теории расписений, сетевого планирования и управления.

Научная новизна. Разработана сетевая математическая модель представления распределенных конкурирующих процессов при векторно-конвейерной обработке. Получены математические соотношения (оценки или точные формулы) для вычисления оощэго времени выполнения множества конкурирующих распределенных процессов при векторно-конвейерной обработке.

Впервые для ВК ЭВМ разработаны и реализованы векторно-кон-вейерные алгоритмы:

- базовых операций поиска и упорядочения в одномерных и

двумерных массивах числовых данных?

- задач пахо..лекия расстояний в сетэвш; графах;

- задач вычисления полных, свободных, независимых и гарантированных резервов времени выполнения работ в проектах, заданных сетевыми графами.

Предложены конвейерные схемы устройств, защищенные авторскими свидетельствами на изобретения.

Получены математические оценки показателей эффективности и времени выполнения разработанных векторно-конвейерных алгоритмов и кх программных реализаций.

Практическая ценность. Проведенные исследования позволили сделать ряд практических рекомендаций по разраоотке и созданию высокоэффективного программного обеспечения для ВК ЭВМ на основе предложенной сетевой модели распределенных конкурирующих процессов.

Предложенные схемы устройств, защищенные авторскими свидетельствами на изобретения, могут быть гепользованы в специализированных устройствах обработки информации, в вычислительных системах для контроля и диагностики логических блоков.

Программные реализации алгоритмов базовых операций поиска и упорядочения в массивах данных и задач численного анализа сетевых графов вошли в библиотеку Научных программ вычислительной системы "Электроника ССБИО" и составляют основу базовой библиотеки пакета программ для ВК ЭВМ по решению задач оптимального распределения ресурсов на сетевых графах.

Апробация работа, основные результаты диссертации докладывались и обсуждались но vil научно-технической конференции молода специалистов "Проектирование, производство и эксплуатация средств -вычислительной техники" (Минск,1996 г.), I Всесоюзной конференции "Проблемы создания супер-ЭВМ, супер-систем и эффективность их применения". (Минск, 1987 г.), 7-ой Всесоюзной школе-сэминаре молодых ученых "Проблемы кибернетики" (Киев, 1У90 г.), на научных семинарах в Институте математики АН Беларуси и Институте проблем кибернетики Российской АН.

Публикации. Результаты, выносимые на защиту опубликованы в 9 работах.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, списка литературы , включающего 85 наименований, и приложения, (хзъем работы 93 страницы.

СОДЕРЖАНИЕ ДИССЕРТАЦИОННОЕ РАБОТЫ

Во введении обосновывается актуальность темы, определяется цель работы, формулируются задачи исследования, рассматривается краткое содержание диссертации по главам, приводятся формулировки основных результатов.

В первой главе с помощью аппарата линейных диаграмм выявляются особенности архитектуры и системы программирования ВК ЭВМ, обеспечивающие возможности распараллеливания алгоритмов, строится и исследуется математическая модель организации распределенных вычислений, учитывающая эти особенности. В рамках предлагаемой сетевой модели получены математические соотношения для оценки общего времени выполнения распределенных процессов.

Конвейерная реализация множества процессов, конкурирующих за использование общего программного ресурса, предполагает линейное структурирование (разбиение) последнего на программные блоки

(и1,<32.....Од) (е>2), достаточно крупные по времени выполнения и

способные занимать процессор длительное время. Под процессом здесь понимается выполнение блоков программного ресурса в

последовательности .....<2Э.

Математическая модель включает следующие параметры: р - число процессоров, п - число процессов, в - число блоков

г

программного ресурса, 11=11^ ¡¡- матрица времен выполнения блоков,

г

где г - время выполнения х-м процессом программного блока О к м распределенного на 1-ый 'Процессор, где д-ТТв, Ы7Г5, а=1в\р],

м=

г1 г2 01 01 1:п I1 1:"

г1 ог ог ..гп г1 сг .. 02 12 12 • •Л гг

г1 г2 °Р0 оро .г1 гро гРо

< £ Ор Ор Ор 1р 1р .0 ..0

1сС1.р]. г=Т7п, р0=8-гр.

Предполагается также , что

- конкурирующие процессы являются распределенными, т.е. часть блоков программного ресурса, необходимых для его выполнения, обрабатывается на различных процессорах;

- распределение блоков по процессорам осуществляется циклически: блок с номером 3=кр+1 распределяется на процессор

с номером 1 ;

- процессоры являются универсальными в том смысле, что люоой блок может выполняться на любом процессоре.

Рассматривается асинхронный режим конвейерной реализации конкурирующих процессов, при котором начало выполнения очередного блока каждым из процессов определяется наличием свободного процессора и готовностью этого блока к выполнению. Программный блок считается готовым к выполнению, если обработка предыдущего блока закончена.

Для получения математических соотношений определения общего

01

01

..-»V

01

11

11

...•иг. ■♦.

.-Уп,

Е1

V1 -ИГ *02 02 * 4

..-V" -V' -V*

02 12 12 * * *

.-у"

+

°р0 °ро

С

°Р„ ор

♦ ...-»V" -»V* -»У °р„ «р

°рп

2

о 'Ро

* 4-

1 ' -»V«

«Рл *Р,

1?о

-"о * *

о

1Р„

9Р °Р

Я Я И Я

...-►V" -»У* -»У? .

Ор 1р 1р г-1р

4

4

*

4

*

4

4

+

О

4>

*

*

4

*

Рис.1. Сетевой граф, соответствующий конвейерной реализации распределенных конкурирующих процессов.

времени выполнения распределенных процессов, конкурирующих за использование блоков программного ресурса строится ориентированный вершкнно-взвешенный граф (сетевой граф) G, содержащий (z+1)рп вершин, расположенных в узлах прямоугольной p»(z+i)п решетки, в котором кавдой вершине vJV соответствует вес . Дуги в G' соединяют соседние вершины и направлены слева направо и сверху вниз, что отражает линейный порядок выполнения программных блоков Q. на процессорах. Кроме того существуют дуги, направленные

из вершины в веришну , что отражает циклический ха-

рактер распределения программных блоков по процессорам (Рис.1).

Теорема I.I. Общее время выполнения T(p,n,s) п • .....

распределенных конкурирующих процессов (п>2), использующих структурированный на s блоков (s>2) программный ресурс с

временами выполнения t£. ,i=kp+i,j=T7s, г=Т7п, k=07z, z=ls\p], icH.pJ'.Ha p одинаковых процессорах в асинхронном режиме равно длине максимального пути из вершины в вершину

v" соответствующего сетевого графа с (Рис.1), где p0=s-zp.

■о

Для получения оценок общего времени выполнения

распределенных процессов допустим, что времена выполнения

каждого из блоков всеми процессами одинаковы, _ т.е. дано

s

V»t2 ••••»t9> Е t.=T, где т - время выполнения всего программного j = I

ресурса каждым процессом. Такие процессы будут называться однородными.

Теорема 1.2. Общее время выполнения Т(р,п,з) п распределенных однородных конкурирующих процессов (п>2) в случае

достаточного числа процессоров (p>s) в асинхронном режиме составляет величину.

T(p,n,s)=T+(n-1 )max t..

I< j<s 1

Теорема 1.3. Общее время выполнения т(р,п,в) п распределенных однородных конкурирующих процессов (п>2), использующих структурированный на s блоков (в>2) программный ресурс при ограниченном числе процессоров р<в удовлетворяет соотношению

k-l

' Т+(п-1) Е t^- Е Oj. при s=kp,

T(P«n,s)< ¡Ht

. т+(п-1) E E в -ök , при s=kp+r, 1<г<р-1, i=i j=i 1

ti= так tx , I=T7K .

V<j<9 J

ГД6 0. = ч1И(е* ,Ej -ti*1,Ei -tj+1-tj+1,...,Ej -tj+1-tj+1-j j i z l • з l 2 ' ' p-i i z

Wik"" .EJ -t'".EJ -tJ"-tJ".....h

P-

p-2 V1 . 2. p-1 • Ь .'

......E%{■**}. rt^1,E.tf +(n-Dti -(n-i)tj+1}. :.

. ök= шах {Ej .B* + 1 i. •._tJ+t-t^z-, ..-tkr:i,

E tj.'g tX-tJ;*1..... E t^(n-1)ti-(n-1)ti + 1},

i=l i=l i = i

Ej - время завершения [ (i-1 )p+j]- ro блока всеми n' процессами на ¿-ом процессоре,

El =¿ tj+(n-1)max t\' , J=f7p.

1 i=» i<i<j

Кроме того в 1.2. исследуется класс равномерного структурирования, при котором t =t «=...=t„'.

Для этого структурирования общее время выполнения выражается формулой:

{(s+n-Dt, p>min(s,n),

- ■

t (k-И )п+г-1 ] t, p<min(s,n), s=kp+r, rc[1 ,pJ

Более того, для заданных p,n,s и Т это выражение определяет минимальное время выполнения распределенных процессов.

Как следует из теоремы 1.1., анализ математической модели конвейерной реализации конкурирующих процессов в общем случае сводится к анализу соответствующего сетевого графа. Это приводит к решению ряда известных комбинаторных задач, которые рассматриваются в следующих главах, с точки зрения их эффективного отображения на архитектуру ВК ЭВМ.

Необходимо отметить, что предложенная модель включает также и векторно-конвейерную обработку, если' в качестве процессоров

- в -

рассматривать функциональные устройства, а времена выполнения блоков интерпретировать как длины соответствующих конвейеров (в тактах).

Во второй главе предлагаются векторизованные алгоритмы нахождения расстояний между вершинами во взвешенных графах, базирующиеся на алгоритмах Форда-Беллмана, Дейкстры, Флойда и др., алгоритмы нахождения резервов времени в сетевых графах. Кроме того' исследуются задачи поиска и упорядочения в одномерных и двумерных массивах, которые являются базовыми для решения задач на сетевых графах, но в то же время имеют и самостоятельное значение . Для- всех алгоритмов приведены оценки времени выполнения 'их • программных реализаций.

Выбор этих 'алгоритмов обусловлен 'прежде всего, возможностью' их' векторизации за счет введения избыточных операций, использова- • ния матричных структур входных данных, однотипности обработки рассматриваемых вершин графа. Под.векторизацией здесь понимается использование векторных операций (арифметических, логических, • присваивания) над компонентами массивов данных (векторов).

В 2.1.предлагаются векторизованные алгоритмы сортировки слиянием двух упорядоченных векторов, сортировки методом "пузырька", проведен сравнительный анализ эффективности векторной и скалярной реализаций алгоритма сортировки методом "пузырька".

Таблица 1.

Программа длина входного массива

64 128 129 192 256

Векторная пузырьковая сортировка 67761 175845 175955 324373 513353

Скалярная пузырьковая сортировка ■61979 242879 246636 542055 959923

В таблице 1 прег_"авлены времена выполнения ( в тактах.ВК ЭВМ ) обоих прогре- с модулей в зависимости от длины исходного целочисленного массива данных, состоящего из векторов длины 64, причем каждый вектор отсортирован по убыванию.

В таблице 2 представлены времена выполнения этих же программ в зависимости от длины исходного целочисленного массива

данных, также состоящего из векторов длины 64, но каждый вектор отсортирован по возрастанию.

Таблицы демонстрируют явное преимущество векторной пузырьковой сортировки.

Таблица 2.

Программа длина входного массива

64 128 129 192 256

. Векторная пузырьковая . сортировка 2176 44677 ." 90092 . 127622 251019

Скалярная • пузырьковая сортировка «2587 • 245433 249190------- 546426 - 966125 '

Вторую группу базовых алгоритмов для решения комбинаторных задач составляют задачи поиска. Сюда входят алгоритмы нахождения максимального элемента массива чисел, нахождения элементов массива, равьых данному, нахождения элементов массива, значения которых входят в заданный интервал.

Следующую группу базовых алгоритмов, рассмотренную во второй главе, составляют алгоритмы нахождения покомпонентных максимумов, минимумов двух массивов и нахождения покомпонентных максимумов и минимумов к массивов целых чисел длины п.

В 2.2. рассматривались векторные алгоритмы решения следующих комбинаторных задач:

- нахождение расстояний от фиксированной вершины (источника) до всех остальных вершин;

- нахождение расстояний между фиксированной парой вершин;.

- построение матрицы расстояний между всеми парами вершин.

Алгоритмы решения указанных задач являются, в свою очередь,

базовыми для задач нахождения критических путей во взвешенных графах.

Для решения перечисленных задач предложены следующие векторизованные алгоритмы:

- нахождения расстояний от источника до всех вершин в бесконтурном графе;

- нахождения расстояний между фиксированной парой вершин в бесконтурном графе;

- ю -

- нахождения расстояний от источника до всех верят в граф с-неотрицательными весами (векторный вариант алгоритма Дейкстры);

- нахождения кратчайшего пути между начальной и конечной

вершинами в графе с положительными контурами;

построение матрицы расстояний между всеми парами вершин з графе ( векторный вариант алгоритма ФдоЯда).

Одной из важных задач численного анализа сетевых графов является задача нахождения резервов времени. Б 2.3. предлагаются векторные алгоритмы наховдения наиболее раннего возможного .и наиболее позднего допустимого, срока наступления событий, ко-•торые являются базовыми для нахождения четырех показателей резерва времени (суммарного, своЪодного, независимого и гарантированного).-........: •••• .......

В' третьей главе рассматриваются те из приведенных во второй главе векторно-конвейерных алгоритмов .которые реализованы в виде схем устройств. Здесь исследуются вопросы их. эффективности. На все предлагаемые схемы получены авторские свидетельства на изобретения. Новизна устройств заключается в том,что за счет из- . менения алгоритмов функционирования устройств (в частности, распараллеливания вычислительных процессов), реализованных добавле- . нием новых логических элементов, связей или изменением связей, получены устройства с улучшенными характеристиками (повышенное быстродействие, сокращенные аппаратные затраты), что является определяющим при их практическом использовании.

8 3.1. описывается устройство для выделения максимального числа. Устройство формирует двоичный код максимального из п сравниваемых га-разрядных чисел и коды его порядковых номеров, если максимальных чисел несколько. Если максимальное число единственно, то устройство формирует его код и порядковый номер,не осуществляя полного поразрядного сравнения.

Приводится формула времени работы устройства, оценивается эффективность алгоритма нахождения максимального числа и его порядкового номера в терминах элементов и узлов устройств.

Устройство повышает быстродействие известного устройства, если максимальное число единственно, и может Сыть использовано в специализированных устройствах обработки информации.

В 3.2. приводится структура устройства для сортировки двух упорядоченных векторов и рассчитывается время его работы.

Реализация предложенного алгоритма конвейерной сортировки

- и -

слиянием двух упорядоченных.векторов позволила сократить аппаратные затраты по сравнению с известным устройством. Устройство монет быть использовано в специализированных системах обработки информации.

Общеизвестно, что проблема проверки (тестирования) работы как устройств, так и программных средств, всегда была актуальна. В 3.3. предлагается схема и описание работы генератора кодовых колец, используемых для тестирования аппаратных и программных средств в качестве тестовых последовательностей, содержащих все возможные комбинации двоичных цифр в заданном количестве разрядов. В предлагаемом устройстве, но сравнению с'внедренным " в ЗВМ ЕС1061 устройством для генерации тестовых последовательное- • тей, быстродействие повышается за счет распараллеливания процес- . сов, происходящих в устройстве: процесса выбора подходящих комби-' наций двоичных цифр и процесса накопления выбранных цифр на выходном регистре.

В четвертой главе предлагается классификация разработанных алгоритмов и исследуется эффективность их векторизации.

Существует несколько подходов для оценки эффективности векторизации алгоритмов и программ для ВС векторно-конвеВерного типа.

Б 4.1. рассматривается эффективность программны? реализаций некоторых комбинаторных алгоритмов, поэтому для их оценки выбраны такие показатели, как число вершин граф'* п , число операций алгоритма к, время выполнения в тактах т, коэффициент век-хоризации гмк/о?.

Методика оценки показателей эффективности предлагаемых программных реализаций демонстрируется на примере программного модуля с точкой входа свьр ( нахождения расстояний от источника до всех вершин в бесконтурном графе). Результаты измерений приведены в таблице з.

В таблице 3 приведены значения коэффициента V в зависимости от вершин графа, который выбран в качестве теста. Из таблицы видно , что при увеличении числа вершин в графе значение коэффициента находится в интервале между полувекторной (V % 0.5) и векторной (V ^ 1.0) производительностью.

Таблица 3.

п N ' Т V

■ 32 20033 43294 0.46

64 77004 164353 0.48

123 220641 316179 0.69

160 355725 555126 0.64

1.92 437233 648675 0.75

200 534357 728372 0.73

224 У 716937* ^ '1029303' 0.69 '."

256 773203- . .-1091543 . . . . 0.7"

В таблице 4 приведены оценки времени выполнения алгоритмов, реализованных в' виде следующих, модулей на языке Ассемблере ВК ЭВМ:

С1)РР- нахождение расстояний мэжду фиксированной парой вершин в

. бесконтурном графе; . окр- нахождение расстояний от источника до всех вершин в графе с'

неотрицательными весами; ОМКР- построение матрицы расстояний между всеми пара,ми вершин; объм- нахождение кратчайшего пути между начальной и конечной вершинами в бесконтурном граф»?; СБМР- нахождение кратчайшего пути между фиксированной парой вершин в бесконтурном графе;

Таблица 4.

имя модуля ■ оценка

бЮРР (Зп+251 с+107 )к+171 с+167

вКР . Зпг+120п+1025С+72

сшг 238спг +13пг +56п+167с+76

спш Зпг+229сп+2447с+79п+123

сгда 3пк+264ск+74с+31к+2222

СНУЙ Згап+240ст+70пян-4755

ОИУР Зпт+239ст+86т+2807

сгг/к- нахождение наиболее ранних возможных сроков наступления

событий;

СГШ5- нахождение наиболее поздних допустимых сроков наступления событий.

Здесь с=1п/б4р, т=п-64, к=пг-п -1, п1,пг~ номера фиксированных вершин графа.

В 4.г. классифицируется по уровням производительности программные реализации базовых алгоритмов.

Первая группа базовых алгоритмов обеспечивает скалярную производительность, вторая группа - векторную, а алгоритм конвейерной сортировки слиянием двух упорядоченных векторов -супервекторную производительность.

3 4.3Г приводится1 структура пакета, оптимального распределения ограниченных ресурсов на сетевых графах и определяется место программных реализаций всех вышеописанных алгоритмов в этом пакете, а также в Библиотеке Научных программ ВК ЭВМ.

В приложении содержатся описания разработашшых программных модулей.

Основные результаты диссертации

1.Разработана математическая модель представления распределенных конкурирующих процессов при векторно-конвейерной обработке.

2. В рамках разработанной модели получены оценки и точные формулы для вычисления об'дего Бремени выполнения множества конкурирующих распределенных процессов при векторно-конвейерной обработке.

3. Разработаны и реализованы векторно-конвейерные алгоритмы базовых операций поиска и упорядочения в одномерных и двумерных массивах числовых данных.

4. Разработаны и реализованы векторно-конвейерные алгоритмы задач нахождения расстояний в сетевых графах и вычисления полных, свободных, независимых и гарантированных резервов времени выполнения работ в проектах, заданных сетевыми графами.

5. Получены математические оценки показателей эффективности

и времени Еыполнекия разработанных векторно-конвейерных алгоритмов и их программных реализаций.

6. Предложены конвейерные схемы устройств для сортировки чисел, для нахождения максимального числа, генератора кодовых колец, защищенные авторскими свидетельствами на изобретение.

По теме диссертации опубликованы елецуюсглэ работы.

1) Коваленко Н.С., Овсеец М.И., Язнэвич М.И. Особенности конвейерной организации распределенных конкурирующих процессов. Вопросы кибернетики. Разработка и использование Супер-ЗВМ.-М., 1987.- С. 104-110.

2) Овсеец Ы.И., Язшвич М.И. Программные средства решения задач упоря;. чения и поиска над числовыми массивами для вектор-но-конвейерной ЗВМ.- Тез. I Всесога. кояф. "Проблемы создания Супер-ЭВМ, Супер-систем и эффективность их применения".-

Мн.,-1937.- 4.2.-С.44-45...... ............

3) Великан В.Д., Язневич В.И., Коваленко Н.С., Кляус П.О., Язневич М.И. Генератор'кодовых'колец. Авторские'свидетельство СССР Й1377843.- Открытия,-изобретения.'- M¡, 1988.- Jfe. ■

.4) Язнэвич В.If., Язневич М.И. Устройство для выделения максимального числа. Авторское свидетельство СССР JS1437855.-Открытия, изобретения,- tí., 19ВЗ.- М2.

5) Овсеец М.И., Язневич В.И., Язневич М.И. Устройство для сортировки чисел. Авторское свидетельство СССР А152050Э.-Открытия, изобретения,- М.,-1989.-JS41.

6) Язнэвич М.И. Векторизация некоторых комбинаторных алгоритмов и их программная реализация на вычислительной системе векторно-конвэйерного типа.- Вопросы кибернетики. Программное обеспечение высокопроизводительных вычислительных систем.-М.,1991 .- С.159-169.

7) Язневич М.И. и др. Отчет по теме НИР. Разработка' теоретических основ организации параллельных вычислений и создание программного обеспечения сверхбыстрых ЭВМ.- М., ВНТИЦентр, 1989.- per. JKH.86.0 05 1200.- 112 с.

8) Язнэвич М.И. л др. Отчет по теме НИР. Разработка теоретических основ организации параллельных вычислений

и создание программного обеспечения для Супер-ЭВМ рскторно-конвейерного типа.- Мн., Ш АНБ, 1991.- per. * 0189.0 025293.210 с.

9) Коваленко Н.С., Овсеец М.И., Язневич М.И. Векторные алгоритмы нахождения расстояний в графах и их реализация на векторно-конвейерной ЭВМ.- Программирование.- 1992.- Jfri.-С.65-70.