автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Отображение и реализация задач численного анализа сетевых графов на архитектуру векторно-конвейерной супер-ЭВМ

кандидата физико-математических наук
Язневич, Марина Ивановна
город
Москва
год
1992
специальность ВАК РФ
05.13.11
Автореферат по информатике, вычислительной технике и управлению на тему «Отображение и реализация задач численного анализа сетевых графов на архитектуру векторно-конвейерной супер-ЭВМ»

Автореферат диссертации по теме "Отображение и реализация задач численного анализа сетевых графов на архитектуру векторно-конвейерной супер-ЭВМ"

2 3 2

РОССИЙСКАЯ АК^ШШ НАУК ИНСТИТУТ ПРОБЛЕМ КИБЕРНЕТИКИ.

На правах рукописи

ЯЗНЕВИЧ Маргаа Ивановна

УДК 681.3.06:519.8

ОТОБРАЖЕНИЕ И РЕАЛИЗАЦИЯ ЗАДАЧ ЧИСЛЕННОГО АНАЛИЗА СЕТЕВЫХ ГРАФОВ НА АРХИТЕКТУРУ ВЕКТОРНО-КОНВЕИЕРНОИ

СУПЕР-ЭВМ

05.13.11. - математическое и программное обеспечение вычислительных машин, комш^ксов, систем и сетей

Автореферат диссертации на соискание, ученой степени кандидата физико-математических наук

МОСКВА 1992

Работа выполнена в Институте математики АН Беларуси и Институте проблем кибернетики Российской АН

Научный руководитель: член-корреспондент РАН, доктор физико-

математических наук, профессор Иванников В.П.

Официальные оппоненты: доктор физико-математических наук

Леонтьев В.К.,

кандидат физико-математичесглх наук Шокуров A.B.

Ведущая организация: Факультет вычислительной математики и

кибернетики МГУ

Защита состоится " ^ " J&t&^Cs 199-?г. в № часов на заседании Специализированного Совета К 003Л8.01 Института проблем кибернетики РАН по адресу: 117312 Москва, ул.Вавилова,37.

с диссертацией можно ознакомиться в библиотеке Института.

Автореферат разослан " ^ " /2 199;? г.

Ученый секретарь Специализированного совета к.ф.-м.н.

ОБШ£ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Одним из направлений развития высокопроизводительных вычислительных систем являются Супер-ЭВМ векторно-конвейерной архитектуры ( ВК ЭВМ ). Сверхвысокая производительность таких ЭВМ достигается как за счет распараллеливания вычислений, так и за счет применения векторной обработки данный на конвейерных функциональных устройствах.

Проблемы создания эффективного прикладного программного обеспечения для Супэр-ЭВМ различного типа ввдвигвит на одно из первых мест требование адекватного отображения алгоритмов на их архитектуру, в том числе разработки машинно-зависимых алгоритмов. В особенности это касается задач численного анализа сетевых графов, поскольку полезная производительность ВК ЭВМ может существенно изменяться в зависимости от степени адекватности алгоритмов решения этих задач архитектуре машины.

Поэтому актуальными задачами являются создание и исследование математической модели, связанной с различными аспектами параллельной и конвейерной обработки, с организацией параллельных вычислений, и решение на ее основе проблемы оптимального отображения задач численного анализа сетевых графов на архитектуру ВК ЭВМ.

Цель диссертационной работы состоит в разработке и исследовании математической модели представления распределенных процессов при векторно-конвейерной обработке, в создании и реализации на ее основе векторно-конвейерных алгоритмов численного анализа сетевых графов и базовых операций поиска и упорядочения в одномерных и двумерных массивах числовых данных.

Методологическую основу исследований составляет аппарат теории алгоритмов, теории графов, теории расписаний, сетевого планирования и управления.

Научная новизна. Разработана.сетевая математическая модель представления распределенных конкурирующих процессов при векторно-конвейерной обработке. Получены математические соотношения (оценки или точные формулы) для вычисления общего времени выполнения множества конкурирующих распределенных, процессов при векторно-конвейерной обработке.

Впервые для ВК ЭВМ разработаны и реализованы векторно-кон-вейерные алгоритмы:

- базовых операций поиска и упорядочения в одномерных и

двумерных массивах числовых данных;

- задач нахо-дения расстояний в сетевых графах;

- задач вычисления полных, свободных, независимых и гарантированных резервов времени выполнения работ в проектах, заданных сетевых® графами.

Предложены конвейерные схемы устройств, защищенные авторскими свидетельствами на изобретения.

Получены математические оценки показателей эффективности и времени выполнения разработанных векторно-конзейершх алгоритмов и их программных реализаций.

Практическая ценность. Проведенные исследования позволили сделать ряд практических рекомендаций по разработке и созданию высокоэффективного программного обеспечения для ВК ЭВМ на основе предложенной сетевой модели распределенных конкурирующих процессов.

Предложенные схемы устройств, защищенные авторскими свидетельствами на изобретения, могут оыть гслользованы в специализированных устройствах обработки информации, в вычислительных системах для контроля и диагностики логических блоков.

Программные реализации алгоритмов базовых операций поиска и упорядочения в массивах данных и задач численного анализа сетевых графов вошли в библиотеку Научных программ вычислительной системы "Электроника CCBiíG" и составляют основу базовой библиотеки пакета программ для ВК ЭВМ по решению задач оптимального распределения ресурсов на сетевых графах.

Апробация работа. Основные результаты диссертации докладывались и обсуждались на vil научно-технической конференции молодых специалистов "Проектирование, производство и эксплуатация средств-вычислительной техники" (Минск,1936 г.), I Всесоюзной конференции "Проблемы создания супер-ЭВМ, супер-систем и эффективность их применения".(Минск, 1987 г.), 7-ой Всесоюзной школе-сзминаре молодых ученых "Проблемы кибернетики" (Киев, 1990 г.), на научных семинарах в Институте математики АН Беларуси и Институте проблем кибернетики Российской АН.

Публикации. Результаты, выносимые на защиту опубликованы в 9 работах.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, списка литературы , включающего 85 наименований, и приложения. Объем работы страницы.

СОДЕРЖАНИЕ ДИССЕРТАЦИОННОЙ РАБОТЫ

Во введении обосновывается актуальность темы, определяется цель работы, формулируются задачи исследования, рассматривается краткое содержание диссертации по главам, приводятся формулировки основных результатов.

В первой главе с помощью аппарата линейных диаграмм выявляются особенности архитектура и системы программирования ВК ЭВМ, обеспечивающие возможности распараллеливания алгоритмов, строится и исследуется математическая модель организации распределенных вычислений, учитывающая эти особенности. В рамках предлагаемой сетевой модели получены математические соотношения для оценки общего времени выполнения распределенных процессов.

Конвейерная реализация множества процессов, конкурирующих за использование общего программного ресурса, предполагает линейное структурирование (разбиение) последнего на программные блоки (С11,Ог,...,Од) (з>2), достаточно крупные по времени выполнения и способные занимать процессор длительное время. Под процессом здесь понимается выполнение блоков программного ресурса в последовательности 01,0г,...,Оэ.

Математическая модель Еключает следующие параметры: р - число процессоров, п - число процессов, з - число блоков

г

программного ресурса, ¡¡- матрица времен выполнения слоксв,

г

где t - время выполнения г-м процессом программного блока Ч-.к 4 распределенного на 1-ый процессор, где д-ГГ5, Ы7Г2, г=1в\р],

1» 01 01 1:" I:1 ь2 г1 ' 1:п •• 21

г1 г2 ог ог ..г" I1 гг . 02 12 12 .. гп г2

< £ 0ро % ••С . 1ро ,ро .Л1 . гро гро

Ор Ор ■•С«! ^ • Ор 1р 1р ..0

1с[1,рЬ г=Т7п, р0=8-гр.

Предполагается также , что

- конкурирующие процессы являются распределенными, т.е. часть блоков программного ресурса, необходимых для его выполнения, обрабатывается на различных процессорах;

распределение блоков по процессорам осуществляется циклически: блок с номером ¿=кр+1 распределяется на процессор

с номером 1 ;

- процессоры являются универсальными в том смысле, что любой блок может выполняться на любом процессоре.

Рассматривается асинхронный режим конвейерной реализации конкурирующих процессов, при котором начало выполнения очередного блока каждым из процессов определяется наличием свободного процессора и готовностью этого блока к выполнению. Программный блок считается готовым к выполнению, если обработка предыдущего блока закончена.

Для получения математических соотношений определения общего

V* -»V 01 01

V1 -ИГ 02 02

11

, .-»V" -»V* -иг

02 12 12 + * *

...-»V

21 1

...-иг",

гг

Ор Ор

* 4-

-иг -иг -»...-»V

°РП *Ро »Рп

1Ро

1р„

К +К

°р0 Оро

-»...-»V" -»V * -»V

ор

'Ро 'Ро

►V"

С

9Р °Р

Ор 1р

»р

г-1р

11

о

4.

Рис.1. Сетевой граф, соответствующий конвейерной реализации распределенных конкурирующих процессов.

времени выполнения распределенных процессов, конкурирующих за использование блоков программного ресурса строится ориентированный вершинно-взвешенный граф (сетевой граф) G, содержащий (z+1)рп вершин, расположенных в узлах прямоугольной p»(z+i)п решетки, в котором каждой вершине vj\ соответствует вес t^ . Дуга в G' соединяют соседние вершины-и направлены слева направо и сверху бниз, что отражает линейный порядок выполнения программных блоков q. на процессорах. Кроме того существуют дуги, направленные

из вершины Vjk_1)p в вершину , что отрезает циклический характер распределения программных блоков по процессорам (Рис.1).

Теорема I.I. Общее время выполнения T(p,n,s) п • ..... распределенных конкурирующих процессов (п>2), использующих структурированный на в блоков (s>2) программный ресурс с

временами выполнения t¡\ ,j=kp+i,j=T7s, r=T7ñ, k=ü7z, z=[s\p], IcH.pJ.há p одинаковых процессорах в асинхронном режиме равно длине максимального пути из вершины в вершину

соответствующего сетевого графа о (Рис.1), где pQ=s-zp.

Для получения оценок общего времени выполнения распределенных процессов допустил, что времена выполнения каждого из блоков всеми процессами одинаковы, _ т.е. дано

s

V»t2 • • •■■> Е где т - время выполнения всего программного

ресурса каждым процессом. Такие процессы будут называться однородными.

Теорема 1.2. Общее время выполнения т(р,п,з) п распределенных однородных конкурирующих процессов (п>2) в случае

достаточного числа процессоров (р>в) в асинхронном режиме составляет величину

T(p,n,s)=T+(n-1)max t..

1<j<s J

Теорема 1.3. Общее Бремя выполнения T(p,n,s) п распределенных однородных конкурирующих процессов (п>2), использующих структурированный на в блоков (в>2) программный ресурс при ограниченном числе процессоров р<а удовлетворяет соотношению

к . к-1

' Т+(П-1)

Т(Р.П,8)<

' г+(п-1) Е Е б., при в=кр, 1=1 j=t ' к+1 . к-1

. Т+ (п-1) Е t.- 2 С.-Л. , при 8=кр+г, 1<1<р-1, i=l j=l J

t'= max tl , i=T7K . i<j£» 1

где 0. = t!-{Ej ,Ej -tjM,Ej -tjM-tjM.....Ej -tjll-tj+1-

J j 1 z 1 ' 3 ..... p-1 1

•*• р-г 'лр z2 Vi 'A v.'

p p

.....E -t-tf +(n-utJ -^п-т'*1},

v=l i = l 1

. Sk= max {Ej ,бц .

E t*. E t^-t^1,..., E

i=l 1=1 i=l

Ej - время завершения [ (i-1 )p+j]~ ro блока всеми n процессами на ;J-om процессоре,

Е^ tj+(n-1)max tj ", ' 3=1~7р........

J 1=1 l<l<j

Кроме того в 1.2. исследуется класс равномерного структурирования, при котором t1=t2=...=te..

■ Для этого структурирования общее время выполнения выражается формулой:

{(s+n-1)t, p>min(e,n),

((k+1)п+г-131, p<min(s,n), в=кр+г, гс[1,р]

Более того, для заданных p,n,s и т это выражение определяет минимальное время выполнения распределенных процессов.

Как следует из теоремы 1.1., анализ математической модели конвейерной реализации конкурирующих процессов в общем случае сводится к анализу соответствущего сетевого графа. Это приводит к решению ряда известных комбинаторных задач, которые рассматриваются в следующих главах, с точки зрения их эффективного отображения на архитектуру ВК ЭВМ.

Необходимо отметить, что предложенная модель включает также и векторно-конвейерную обработку, если в качестве процессоров

- е -

рассматривать функциональные устройства, а времена выполнения блоков интерпретировать как длины соответствующих конвейеров (в тактах).

Во второй главе предлагаются векторизованные алгоритмы нахождения расстояний между вершинами во взвешенных графах, базирующиеся на алгоритмах Форда-Ь'еллмана, Дейкстры, Флойда и др., алгоритмы нахождения резервов времени в сетевых графах. Кроме того исследуются задачи поиска и упорядочения в одномерных и двумерных массивах, которые являются базовыми для решения задач на сетевых графах, но в то же время имеют и самостоятельное значение. Для всех алгоритмов приведены оценки времени выполнения"их • программных реализаций.

Выбор этих алгоритмов обусловлен прежде всего, возможностью' их векторизации за счет введения избыточных- операций, использования матричных структур входных данных, однотипности обработки рассматриваемых вершин графа. Под векторизацией здесь понимается использование векторных операций (арифметических, логических, • присваивания) над компонентами массивов данных (векторов).

В 2.1.предлагаются векторизованные алгоритмы сортировки слиянием двух упорядоченных векторов, сортировки методом "пузырька", проведен сравнительный анализ эффективности векторной и скалярной реализаций алгоритма сортировки методом "пузырька".

Таблица 1.

Программа длина входного массива

64 128 129 192 ¿56

Векторная пузырьковая сортировка 67761 175845 175955 324373 513353

Скалярная пузырьковая сортировка •61979 242879 246636 542055 959923

В таблице 1 пре"--авлены времена выполнения ( в тактах., ВК ЭВМ ) обоих прогре- с модулей в зависимости от длины исходного целочисленного массива данных, состоящего из векторов длины 64, причем каждый вектор отсортирован по убыванию.

В таблице 2 представлены времена выполнения этих же программ в зависимости от длины исходного целочисленного массива

данных, также состоящего из векторов длины 64, но каждый вектор отсортирован по возрастанию.

Таблицы демонстрируют явное преимущество векторной пузырьковой сортировки.

Таблица Я.

Программа длина входного массива

64 128 129 192 256

. Векторная пузырьковая . сортировка 2176 44677 . 90092 . 127622 251019

Скалярная ■ пузырьковая -сортировка 62587 '• ' -245433 249190........ 546426 - 966125 '

Вторую группу базовых алгоритмов для решения комбинаторных задач составляют задачи поиска. Сюда входят алгоритмы нахождения максимального элемента массива чисел, нахождения элементов массива, равьых данному, нахождения элементов массива, значения которых входят в заданный интервал.

Следующую грушу базовых алгоритмов, рассмотренную во второй главе, составляют алгоритмы нахождения покомпонентных максимумов, минимумов двух массивов и нахождения, покомпонентных максимумов и минимумов к массивов целых чисел длины п.

В 2.2. рассматривались векторные алгоритмы решения следующих комбинаторных задач:

- нахождение расстояний от фиксированной вершины (источника) до всех остальных вершин;

- наховдение расстояний мезду фиксированной парой вершин;.

- построение матрицы расстояний между всеми парами вершин.

Алгоритмы решения указанных задач являются, в свою очередь,

базовыми для задач наховдения критических путей во взвешенных графах.

Для решения перечисленных задач предложены следующие векторизованные алгоритмы:

- нахождения расстояний от источника до всех вершин в бесконтурном графе;

- нахождения расстояний между фиксированной парой вершин в бесконтурном графе;

- ю -

- нахождения расстояний от источника до Есех Еераин в графе с неотрицательными весами (векторный вариант алгоритма Дейкстры);

- нахождения кратчайшего пути между начальной и конечной

вершинами в графе с положительными контурами;

построение матрицы расстояний между всеми парами вершин в графе ( векторный вариант алгоритма Флойда).

Одной из важных задач численного анализа сетевых графов является задача нахождения резервов Бремени. В 2.3. предлагаются векторные . алгоритмы нахождения наиболее раннего возможного . и наиболее позднего допустимого, срока наступления событий, ко-■торне являются базовыми для нахождения четырех показателей резерва времени (суммарного, свободного, независимого и гарантированного).- ..... ............. ......

В третьей главе рассматриваются те из приведенных во второй главе векторно-конвейерных алгоритмов «которые реализованы в виде схем устройств. Здесь исследуются вопросы их эффективности. На Бое предлагаемые схемы получены авторские свидетельства на изобретения. Новизна устройстз заключается в том,что за счет изменения алгоритмов функционирования устройств (в частности, распараллеливания вычислительных процессов), реализованных добавлэ- . нием новых логических элементов, связей или изменением связей, получены устройства с улучшенными характеристиками (повышенное быстродействие, сокращенные аппаратные затраты), что является определяющим при их практическом использовании.

В 3.1. описывается устройство для выделения максимального числа. Устройство формирует двоичный код максимального из п сравниваемых ш-разрядных чисел и коды его порядковых номеров, если максимальных чисел несколько. Если максимальное число единственно, то устройство формирует его код и порядковый номер,не осуществляя полного поразрядного сравнения.

Приводится формула времени работы устройства, оценивается эффективность алгоритма наховдения максимального числа и его порядкового номера в терминах элементов и узлов устройств.

Устройство повышает быстродействие известного устройстве, если максимальное число единственно, и может быть использовано в специализированных устройствах обработки информации.

В 3.2. приводится структура устройства для сортировки двух упорядоченных векторов и рассчитывается время его работы.

Реализация предложенного алгоритма конвейерной сортирозки

_ и -

слиянием двух упорядоченных, векторов позволила сократить аппаратные затраты по сравнению с известным устройством. Устройство может быть использовано в специализированных системах обработки информации.

Общеизвестно, что проблема проверки (тестирования) работы как устройств, так и программных средств, всегда была актуальна. В 3.3. предлагается схема и описание работы генератора кодовых колец, используемых для тестирования аппаратных и программных средств в качестве тестовых последовательностей, содержащих все возможные комбинации двоичных цифр в заданном количестве разрядов. В предлагаемом устройстве, по сравнению с внедренным " в ЭВМ есюо1 устройством для генерации тестовых последовательное- • тей, быстродействие повышается за счет распараллеливания процес- . сов, происходящих в устройстве':' процесса выбора подходящих комби-' наций двоичных цифр и процесса накопления выбранных цифр на выходном регистре.

В четвертой главе предлагается классификация разработанных . алгоритмов и исследуется эффективность их векторизации.

Существует несколько подходов для оценки эффективности векторизации алгоритмов и программ для ВС векторно-конвейерного типа.

В 4.1. рассматривается эффективность программных реализаций некоторых комбинаторных алгоритмов, поэтому для их оценки выбраны такие показатели, как число вершин граф"* п , число операций алгоритма N. время выполнения в тактах т, коэффициент векторизации чьм/?.

Методика оценки показателей эффективности предлагаемых программных реализаций демонстрируется на примере программного модуля с точкой входа сбер ( нахождения расстояний от источника до всех вершин в оесконтурном графе). Результаты измерений приведены в таблице 3.

В таблице 3 приведены значения коэффициента V в зависимости от вершин графа, который выбран в качестве теста. Из таблицы видно, что при увеличении числа вершин в графе значение коэффициента находится в интервале между голувекторной (V % 0.5) и векторной (v » 1.0) производительностью.

Таблица 3.

п N Т V

• 32 20038 43294 0.46

64 77004 164353 0.48

123 220641 316179 0.69

160 355725 588126 0.64

1.92 487233 648675 0.75

200 • 534357 728372 0.73-

224 716987 ' '1029303' 0.69

256 773203- . -1091543 . - . . 0.7"

В таблице 4 приведены оценки времени выполнения алгоритмов, реализованных в' виде следующих модулей на языке Ассемблера ВК ЭВМ:

СБРР- нахождение расстояний мэжду фиксированной парой вершин в

. бесконтурном графе; . ок?- нахождение расстояний от источника до всех вершин в графе с

неотрицательными весями; омкр- построение матрицы расстояний между всеми парами вершин; СБЬМ- нахождение кратчайшего пути между начальной и конечной вершинами в бесконтурном гра'£*; СБИР- нахождение кратчайшего пути между фиксированной парой вершин в бесконтурном графе;

Таблица 4.

имя модуля оценка

бБРР (Эп+251с+107)к+171с+1б7 •

СКР . Эпя+120п+1025С+72

СМКР 238спг +18пг +5бп+1б7с+7б

СБЬМ 3пг+229сп+2447с+79п+123

- СГда Зпк+264ск+74с+81к+2222

ОИУН ЭппН-240сш+70пш+4755

ОЯГР 3пш+239ст+86ш+2в07

сита- нахождение наиболее ранних возможных сроков наступления

событий;

сотр- нахождение наиболее поздних допустимых сроков наступления событий.

Здесь с="|п/б4|"« т=п-64, к=пг-п4-1, п4,п2- номера фиксированных вершин1графа.

В 4.2. классифицируются по уровням производительности программные реализации базовых алгоритмов.

Первая группа базовых алгоритмов обеспечивает скалярную производительность, вторая группа - векторную, а алгоритм конвейерной сортировки слиянием двух упорядоченных векторов -супервекторную производительность.

В 4.3Г приводится; -структура пакета, оптимального распределения ограниченных ресурсов на сетевых графах и определяется место программных реализаций всех вышеописанных, алгоритмов б отом пакете, а твкже в Библиотеке Научных программ ВК ЭВМ.

В приложении содержатся описания разработанпных программных модулей.

Основные результаты диссертации

1.Разработана математическая модель представления распределенных конкурирующих процессов при векторно-конЕейерной обработке.

2. В рамках разработанной модоли получены оценки и точные формулы для вычисления общего времени выполнения множества конкурирующих распределешшх процессов при векторно-конвейерной обработке.

3. Разработаны и реализованы векторно-конвейерные алгоритмы базовых операций поиска и упорядочения.в одномерных и двумерных массивах числовых данных.

4. Разработаны и реализованы векторно-конвейерные алгоритмы задач нахождения расстояний ь сетевых графах и вычисления полных, свободных, незавясишх и гарантированных резервов времени выполнения работ в проектах, заданных сетевыми графами.

5. Получены математические оценки показателей эффективности

и времени Еыполнения разработанных векторно-конвейерных алгоритмов и их программных реализаций.

6. Предложены конвейерные схемы устройств для сортировки чисел, для нахождения максимального числа, генератора кодовых колец, защищенные авторскими свидетельствами на изобретете.

По томе диссертация опуоликованы следующие работы.

1) Коваленко Н.С., Овсеец М.И., Язневич М.И. Особенности конвейерной организации распределенных конкурирующих процессов. Вопросы кибернетики. Разработка и использование Супер-ЭВМ.-

М., 1987.- С. 104-110.

2) Овсеец М.Й., Язневич М.И. Программные средства решения задач упоряд чения и шнека над числовыми массивами для вэктор-но-конвейерной ЭБМ.- Тез. I Всесоюз. конф. "Проблемы создания Cynepi-SBM, Супер-систем и эффективность их применения".-

Мн.,-1987.- 4.2.- С.44-45...........

3) Великан В.Д.. Язневич В.И., Коваленко К.С., Кляус П.С., Язневич М.И. Генератор-кодовых'колец. Авторскбо'свидетельство СССР Ä1377843.- Открытия,--изобретения.- Mi,- tssa.- Хв......

.4) Язневич ß.Ii., ЯзнеБич М.И. Устройство для выделения максимального числа. Авторское свидетельство СССР Ä1437855,-Открытия, изобретения,- М., 1988.- М2.

5) Овсеец М.И!, Язневич В.И., Язневич М.И. Устройство для сортировки чисел. Авторское свидетельство СССР Jfrl520509.-Открытия, изобретения,- М.,-1989.- Ä41.

6) Язневич М.И. Векторизация некоторых комбинаторных алгоритмов и их программная реализация на вычислительно« системе векторно-конвейерного типа.- Вопросы хшбернеткки. Программное обеспечение высокопроизводительных вычислительных систем.- М. ,1991.-- С. 159-169.

7) Язневич М.И. и др. Отчет по теме НИР. Разработка" теоретических основ организации параллельных вычислений и создание программного обеспечения сверхбыстрых ЭВМ.- М., ВШЩентр, 1989.- per. J601.86.0 05 1200.- 112 с.

8) Язнэвич М.И. и др. Отчетно теме КИР. Разработка теоретических основ организации параллельных вычислений

и создание программного обеспечения для Супер-ЭВМ векторно-конвейерного типа,- Мн., ИМ АКБ, 1991.- per. » 0189.0 025293.210 С.

9) Коваленко Н.С., Овсеец М.И., Язневич М.И. Векторные алгоритмы нахождения расстояний в графах и их реализация на векторно-конвейерной ЭВМ.- Программирование.- 1992.- Ä1.-0.65-70.