автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.13, диссертация на тему:Разработка принципов, средств и методов организации многопроцессорных вычислительных систем, объектно-ориентированных на динамические группы процессоров произвольной конфигурации

р ■->

.11 - ол

ГОСУДАРСТВЕННЫЙ КОМИТЕТ РОССИЙСКОМ СИДЕРАЦИИ ПО ВЫСШЕМУ ОБРАЗОВАНИЙ Таганрогский государственный радиотехнический университет

На правах рукописи

ЕАоЕККО Людмила Климентьевна

УЕК 681.324+519.688

РАЗРАБОТКА ПРИНЦИПОВ, СРЕССТВ И МЕТОДОВ ОРГАНИЗАЦИЯ ПИСГОПРОЦЕСССРЯЫЯ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ, ОБЪЕКТЕО-ОРНЕНТМРОВАННЫЯ НА ДИНАМИЧЕСКИЕ ГРУППЫ ПРОЦЕССОРОВ ПРОИЗВОЛЬНОЙ КОНФИГУРАЦИИ

Специальность: 05.13.13 — вычислительные машины, комплексы,

системы и сети

Специальность» 05.13.16 — применение вычислительной техники,

математического • моделирования и математических нетодоэ а научн*!* исследованиях (технические нэдки)

Автореферат диссертации на соискание учьной стапени доктора технических наук

Таганоог - 1994

Работа выполнена с Научно-исследовательском институте многопроцессорных вычислительных систем (НИМ МВС) при

Таганрогском " Государственном радиотехническом университете.

Официальные оппоненты: доктор техничгених наук, профессор,

академик РАЕН Гузик В.®.

доктор технических наук, профессор Лебедев Г.К.

доктор технических наук, профессор Смирнов А.Д.

Ведущая организация - Российский НИИ космическогс

приборостроения (г.Носква).

Защита состоится 1994г. о часов на ааседант

специализированного совета Д 063.13.02 при Таганрогское Государственном радиотехническом университете по адресу: 347915, г.Таганрог, Ростовской обл., пер.Некрасовский,44, Т=ТУ, ауд. Д-406.

С диссертацией можно ознакомиться в библиотеке университета. Автореферат разослан « Ж 01 1993г.

Ученый секретарь специализированного Со-зета кандидат технических наук, доцент

щ

А.Н.Целых

ОЗШАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Неоспоиимым Фактом

воеменности является то. что значительная часть исследований в ндамвнтальных наукам (ядерная Физика, молекулярная биология, числительная химия, хdомdдинамик«) и качественных достижений в ласти технического гшогоесса (ракето- и самолетостроение, офизические исследования. исследование природных ресурсов и п.> не могут осуществляться вез гюименания

сохопроизвоаительных систем с гибкими структурами и елараллэлиэанисгм вычислений в них. Уже сложилось множество дходов построения таких систем. Это и посстейшие по ооганизаиии (числительные системы (ВС) с общим управлением (SIMD) арубежныег DAP -300. GF-11. mPA. отечественная ПС-2000) и южные MIMD системы с индивидуальным управлением каждым оиессором (зарубежные: ioSC. model 64. R256. отечественные: жроконвейер, с динамической архитектурой. с программируемой >хитактурой>. Первые даит э^4ект как проблемно-аоиенчирозанные s ¡имянонии к конкретным областям (например, обработка

юбражений) или задачам (хоомодинамика на ВС GF-11). Втопыэ вспенивают высоки» гибкость и универсальность оа счет <ачительных накладных расходов управления вычислительными

юцессами, развивающимися на отдельных процессорах. •'

Яелание объединить лучшиэ свойства этих двух классов лстем привело к создании средств, обвепенизающих представления ВС виде совокупности подсистем с 9IMD или (м) fit МП управлением. К эким средствам относятся кластеры в системах CEDAH. SUPHENUM. PS-T, Giga Cube, Connection machine-2, nC-2i00; процессорный

идеети е РА5М» сегменты о Connection machine-5. Однако аречисленные системы имеют общий недостаток. заключающийся а рм, что организация на основе введенных средств более сложней . анфигираиии, как объекта иполвления, складывается из asu>; или олее этапов с зависимости от того, какие конфигурации решающего оля необходимы (сколько кластеров или контооллевов пои этом отоебуется?.

В предлагаемых в диссертации системах объектом управления еляется группа- совокупность

динаково поименованных п о о, a е с с о d о в. Имена групп

1никальны, они присваиваются процессорам операционной системой

!0С) пии загрувки поогоамм. хоанятсв в них по заьеошени. поогоаммного задания и участвуют" во всех гтоео&оазования* связанных с оеконФигуоаиией потока уппаЕ-ления.

Таким для реконфигурации пстока управления, диктуянсз

¿>е«зкикьи прахсадсния программного ¡задания, на трсСуегс.

игйаг-сгтспнае Нормирование? объекта управления — KOH^HTVf>i4l4,',s4 еес^зкиай из кластеров, отдельных процессоров, их подсетей ил ссгкантов, достаточна одного arana — вывооа группа по еэ имоки.

Пере»:сп ст многоэтапной оеконзигураими потока упэпв.*--ния осно^тапной по."5Еоля£ет значительна сократить нгкладныэ peevoui н организацию процессов, поднять производительность вычислительно системы в целом и ойеслечить адекватность при отейог'женмй на не пользователя.

Цель работы. Разработка принципов посг^зоени

многопроцессорных вычислительных систем (НВС), обладающих гисоко скорость» обработки в сочетании с гибкой адаптацией к- ши;-зком кругу ¡задач путем динамической одногтапной peKOHíHrv лаии упрйол*:зших потоков и стриктуры решавшего поля sa счет Си: •, тно ориентации архитектуры КЗС на динамически? группы процессоров pfiftpaSoтка и исследование средств и кетсэдоз системной организяци и распараллеливания вычислений & этих системах.

Указанная цель достигается путем решения следующих задач.

1. исследование моделей вычислительноемки;; задзч и проблЕ пастрсгнмя высокопроизводительных многопроцессорнь очгчислительних систем, разработке принципов органиьат-систечы с одноатапно реконфигурируемыми потоком упрае-лвния структурой в дальнейшем называемой PARSIS (Paral i el Аггау Kit Raceníigurablo Structure end Instruction Streaa) сй»4.ктно-ооиснтироо^!мной на динамические группы процессоре прса<бвггэльмой конфигурации.

2. Исследование Параллольно-аекторной реализации типоьь вычислительных методов и основных режимов работы ИБС, раэдаботк иа им основе архитектуры оснсвнык подсистем НВС FARS]

обработки, обмена, ввода-вывода) и алгоритме ФЦМШ4(М<ИрованиЛ этих подсистем.

5. Исслядовьниэ и оаерайотка мзхвниэмоз органиэаш

вычислений о hBC PAK3IS, их аппаратной' и програнмне

пэздат»»].

Мссле&оз&киа , и разработке мртопо® и сосас.

спаоаллеливания и вектооиэации задач пои постановке их на МВС

5. Разиаботка Е-сетееой модели МВС РАНВ13 и исследовании с помошь» аихитектузных оешений система.

А. Разоаботка имитационной модели оценки производительности С РАЙ31Я м исследование на ее осно&е эффективности решения гзаиеч ГСВС.

Методч исследований базируются на

мплексном использовании теории вычислительных систзм и ганизаиии параллельных процессов в них, теории асинхронных сцессое и крупноблочного распараллеливания, теории построении и ¡раеленик коммутационными системами, методов

1кропрогракмирозания и "мелкозернистого" распараллеливания, орим разностных схем, прямых и итерационных методов решения 'точных уравнений и систем линейных ¿Алгебраических уравнений, тодоз векторных вычислений, имитационном событийном |Дзлировании, оценочном моделиосвании с использованием Е-сетей.

Научная н о в и э н а. Основным научным

>зультатом являетсл разработка теоретических и прикладных основ здания еыс'-хопрочзводительных МВС с гибкой адаптацией к классам 'шаемнх задач путем о я-н о этапной'

е конфигурации структуры и потоков правления в решай щ их. полях с

инамическими группами процессоров роизвольной конфигурации.

Принципиальный вклад в основу создания эти)! систем составляют 1едующио результаты, еыносимые на защиту.

1. Принципы организации многопроцессорной вычислительной 1с;темч1 с одноэтално реконфигурируемыми структурой и потоком давления в решающих полях с динамическими группами процессоров юиээольной конфигурации.

2. Принципы организации вычислений, обоснование и реализация 1эоеь'Х механизмов управления параллельными процессами в 1едложенных МВС.

3. Методы и средства распараллеливания и пектсризации задач в ?С, объектно- ориентированных на динамические группы процессоров юизеэльной конфигурации.

4. Архитектура и алгоритмы функционирования основных >дсистем исследуамой МВС) управления, обработки, оймвна,

ввоаа~сывоа».

3. Имитационные модели исследования архитектурных решений I производительности МБС. даюшие рекомендации по выбооу оежимо{ оаботи и стоуктиры каналов вновь разрабатываемых МВС I предложенной идеологией, позволявшие пооизеодить паёдеаоительну! оценку воемени оешения поикладных задач и отладки параллелизма поI оазйиении задам на паоаллельнй исполняемые блоки.

Оостоверность разработанных в диссеотаци!

теооетических и прикладных основ создания МВС с одноэтапно: осконфигургиией стсуктуры и потоков управления в решающих полях I объектной ориентацией на динамические группы процессора пооизбольной конфигурации подтверждается математическим!

выкладками: имитационным иеделиоованием на ЭВМ: создание) экспериментальных образцов МВС и решением на них приклаяны:

задач! рядом изобретений, в том числе внедренных в МБС НС 2703.

Практическая ценност ь полученным

диссертации результатов состоит с том, что они представляит основ дли создания высокопроизводительных универсальных МВС овьвктно-ориентированных на динамические группы процессоре произвольной конфигурации, обладающих гибкой ад.-лтацией рлвличным классам аадач и высокой эффективность». Разработан принципиальные; решения по общей организации этих МВС. п структурам подсистем и алгоритмам их функционирования^ чт коллегея основой для создания операционной системы схемотехнической реализации МБС.

Разработанные механизмы, процедуры и микропрограмм

управления параллельными процессами в МВС создают основ построения необходимых системных библиотек для дополнения ими _роетАмоеки на МВСу7 традиционных систем программирования ил ссвдвния их параллельных расширений. Результаты по исслодовани эффективности с помои ы« разработанной Е-сетееой модели МВС РА051 , демт рекомендации по режимам использования [;онкретнзй МВС и могу иепольэсваться для оценки сбалансированности управляющих информационных потоков при проектировании новых МЭС с необходима количеством процессоров.

Конкретные рекомендации по эффективности оеализацр рассмотренных с диссертации типовых алгооитмоэ решения счете ли»<»Лиых алгебраических уравнений, обработки иаоЙракениС мстричмы^ ьичис/гс^хЗ« лрямух и итерационных методов реше^

точных уравнений могут быть использованы при постановке МВС PARSIS прикладных задач, в том числе вычислительнсямких, <их j как газовая динамика,. прогнозирование нс+тяных сторождений, кластерный анализ при обработке спутниковой формации.

Разработанная в диссертации имитационная модель оиэводительности с учетом реализации примитивов ОС, организующих раллелизм Функционирования МВС, итак®? применяться для едеарительной оценки времени решения прикладных задач, отладки раллелиэма зачач при разбиении их на параллельные еетеи.

Реализация и внедрение результатов

боты.

Основные результаты диссертации получены автором при полнении научно-исследовательских и опытно-конструкторских работ рамках важнейшей госбюджетной и хоздоговорной "тематики о ответствии с проблемой О.SO.15 комплексной программ О.SO.14, >ма 01.10 по постановлению ГКНТ СССР и Комиссии президиума СМ :СР 442/377 от 20. ll.Slr. : е соответствии с Постановлением UK ICC и СМ СССР от 27.С1.В£>г. ,№139-49j Постановлением СМ СССР от 1.06.37г. ,№675-155s Постановлением АН СССР от 17.10.85г. №1005. оультаты работ внедрены в Научно-исследовательском центре ;ектронной вычислительной техники (НИЦЭВТ) Минрадиопрома СССР при лполнении НИР 211101, 52102 и ОКР по созданию экспериментального 5рлоца ЕС 2703J на предприятии "Радиоприбор" Минобщемаша СССР при дполнвнии хоздоговорной работы 52111 по создании изделия ЮУ-150 1арус> и систэмы его программного обеспечения; s НИИ "Квант" •шрадиопрома СССР при выполнении темы 21.13.64 по разработке» >тодо» и средств распараллеливания на Р.ВС прикладных эадач| на эвдприятии "Орион" Министерства оборонной промышленности СССР зи выпог.нинии хозяйственного договора 32156 по разработке эмитэнтурным и схемотехнических решений перспективных ^числительных систем предприятия | в НИИ МВС при выполнении инд«ментальных исследований по равработке принципов построения улэрЭВМ и их программного обеспечения (темы 511105, 52133).

Внадргны и использованы следующие рваультаты.

1. Теоретические разработки по архитектуре многопроцессорных «числительных систем, предлагаемых в диссертации, в части ринципоэ организации вычислений, обменов и синхронизации араллельных процессов.

2. Принципы организации и архитэктуры подсистем управления,

обработки, обмана, позволившие разраЗотать и создать зФФектие экспзриментальные ойрааиы МВС с динамичэской рдноэтаг

реконфигурацией структуры и потока управления и решить на еакние практический задачи ■ математической Физики, обрабс ивойражениЛ, о частности аадачи определения концентра

примесей е еодной среде, геомэтричаской коррекции изображен принятых, со спутника.

3. Методы и средства распараллгливаниа и еекториас вычислений в МВС с одноэтапной рекон?игурацией потока управлэ№ структуры решающего полз, обьектмо-орионтироеанмых на диг,*,мичэс группы процессоров проиявольной конфигурации, позволие разрййотать алгоритмы и савдать катодики раализации лрад-ложеннык система»: типоеых методоо вычислительной математш обре£от;<и ивозркиенйй! метода Гаусса для решамия СЛАУ} врктерю

J

матричных операций линейной алгебры; циклической радук&ии верхней релаксации - для решения сеточных уравнений} лцнай! Фильтра, БПО, корреляционной Функции - для оСрайотки изображен.' исследовать их »♦Фсктисность.

4. Влзойый процедуры оргскиайцш< пЕрвллальных е-ычис/ш которые составили основу ссздакия параллельного Ассемблера, я управления заденчими, Параллельного Фортрана МВС РАЯВТС.

2. Е-сетоося модель МЧС РАЯ31В, повволккиая проиаво оценку архитектурных решений проектируемых систем.

6. Имитационная модель " производительности МВС РАКЕ»гЭ учетом времени реализации системных примитиэоо, пссволя ис^лодоветь э+^ектииность и прсиазодить отладку пзраллвлиама рааз&лении аадач на пгрял-юльнао сотси.

Эффективность ' ис/юлюоюлиил и внедрения ргзульт яадгоэрвдьвтея сээтвптргауящими БИТАМИ.

РовуУ).»>теты диссертационной' раЙЗ'Гы испольсосзмы о уче чраг&всеэ нй к«4«.>др*х ■ ТРТУ« вьгчис лиге л шой , математика &8гчисли*®льиег*о »кспвримггмта, натемйтинг ского оЗвсппчсни« «рнчгяэмия ЗСМ, вычислительной техники а вида учеймы* учгг&4Э-методичвских пособий, а также при проведении курсеттс! дилда-сяого проектирования.

Апробация р а 6 о т ы. Осмоанио реоул! диссертации доложены и обсу&дены на! 111, IV Республик»! с»кммлрах "Методы и оредст&г речения краевых задач (Рига, 19" 1930г.>| Всегсмзной конференции "Микропроцессорные сис

Челябинск. 1984г.)s Ьсесомзной конференции "Комплексы поограмм агематической физики" (Новосибиоск; 1981г.)« Всесоюзной онФеоенции "Параллельные вычислительные системы" «Ташкент. 983г.): Всесоюзном научно-техническом совещании

Микропроцессорные средства вычислительной техники в системах :вязи и управления". Всесоизной школе-семинаре "Раэпаботка и шиивнение в наооднем хозяйстве НС ЭВМ" (Кишинев, 1935г.) : Зсесоюзной школе семинаре "Распараллеливание обработки информации" !Лье-ов. 1935г.): 11 Всесоюзном совещании "Высокопроизводительные вычислительные системы" (Батуми, 1934г.), Всесоюзной конференции 'Перспективы развития вычислительных систем" (Рига, 19S5r.>: Н Зсессххэном совещании по пообломан управления (Алма-Ата, 1986г. ) г Зсесоюзной научной конференции "Формальные модели параллельных вычислений (Новосибирск, 19й7г.); Всесоюзной конференции "Высокопроизводительные вычислительные системы для комплексных центров математического моделирования" (Новосибирск. 1989г.): на семинаое НТС ЦНИИ "Циклон" "Параллельная обработка" (Москва. 193S); Всесоюзной научно-технической конференции "Конвейерные вычислительные системы" (Киев, 193Вг.): на научно-технических семинарах НЙЦЭВТ (Минрадиопром СССР. Москва. 19В7г.); ЧАГИ (МАП СССР, Жуковский, 1989г.): на Всесоюзных научно-технических семинарах "Многопроцессорные вычислительные системы" (Таганрог, 1987г. - 1992гг.); на международных конференциях "Parallel computing technologies" (Ноессибирск, 1991. Обнинск. 1993г.).

П у б л к н а ц и и. По теме диссертации опубликованы 68 печатных работ, "э том числе 1 монография, 1 прэпринт, 2 учзбных пособия, 16 авторских свидетельств. Б ВНТЩ зарегистрировано 18 отчетов по НИР, выполненных под руководством и при

непосредственном участии автора.

Структура и объем' диссертации. Диссертация состоит из введения, шести разделов, заключения и шести приложений, содержит 439 страниц машинописного текста, иллюстрированных 10S рисунками и 30 таблицами, список литературы из 143 наимонований.

СОДЕРЖАНИЕ РЙЗОТЫ

Во в&едамии обоснована актуальность проводимых исследований, сФопмулиоозаны цель и задачи. оешаемые в работе. пои®м»»ны оснсвные положения, выносимые на защиту, аннотиоовано соаорклмиа разделов диссертации.

В Лйрг&сг« о&за&ле ьнализипултсл . проблемы » свзггзйнные обеспечением гибкости архитектуры МВС и повышением аа счет этог< и.: проиаеодиткльности! реконфигурация структуры решающих полей i системы памяти, рсспарлллелизимие исчислений, создание срвдст/ параллельного программирования . и намечаются пути их решения разрабатываемых ИБС.

Второй раздел диссертации посвямсн разработке принципе! организации^ МВС PARSIS. На основании исследования модэли вычислительуремчих задач определены общие - требования пред-ьяоляемиэ ими при постановке но МВС. Основные из них сл^-дующи

1. Возможность, выполнения различных программ отдельным группами процессоров. Данное трвбованиэ, как следует из анализ эакач моделирования обтекания семолэте и фильтрации двухфазно жидкости "нефть—сода", диктуется раеличны«»» алгоритмами счета н границе области и во внутренних ее точках, Фигаичяско неоднородность» среды. .

2. Воэмох<ность реконфигурации упрвгля№>их потоков. Даннс трь-Еооаниа вытекает иа анализа задачи кластеризации многозональна изображений, где переключение режима« SlMb-»MIMD-»SIMD являете

В вадйчах н-5лЧизики типичной, -капримег, являете уточнения параметров на определенном участке среды (чао веего однородном}.

3. Необходимость сочетания скалярной обработки (проверь услсэий сходимости, попадания на границу областей и др. ) г|>фс«тивной ейрайоткей массивов, содержащих 10 и более зламэнтс С п аттерна, к обработка).

Принципиальной осноьой архитектуры системы d целом и i ^»¡аоаой конфигурации ( pvic. 1) является распределение Функций ОС реализацией их не собственны». процессоры«. При этом управлем <«числительными процессами осуцастсляот »¿лраоляющий процесс! <УП>I общее управление». сношним обменом выполняет npouecci ^ьЯлсз»ой системы (ПОС) , управлений 'межпроцессорными обмана ркслиздотся в процессоре обмане» (ПО) , и y«ip*» ломив операция веова-вывода - е поле процвссоро& (ПВО). Тан

оргомчевция »ичмсу,гений приводит к упреж&нищ структуры ОС рсвоЗаждает аврвбйтыеаикиэ процессоры (П) pci»a»-nro поля (РП) роА/мсации системной состгеляюцсй, уьоличисея тем с«мь;м ртшпьнгь$я проиррздительнастк,.

В свотеетет;. г?** с принятой организацией МВС PAHSÎS дал p&eCH&Tp^sacrcss реализация системных функций управлени приникли динамичвекой реконфигурации системы.

I I--------f

Решающее лолэ

Рис. 1

Определение 1.

Задача в МВС PARSIS - это алгсоитмически связанная :озокупноств программных модулей. представленных единым »агрузочным модулем.

Опрадалоние 2.

Процесс p»(m,u) - это программный модульmt ^исполняемый на юдмножестве процессоров где М — множество прогоаммных

модулей задачи, U - множество пооцэссоро% МВС, выделенных задача. х — подмножество, которое содержит либо только процессоры, либо только ПВВ.

Процесс является единицей параллельности на уровне управления •адачвй. В зависимости от типа программного модуля (вычислительный -1ли драйвер) процесс будет вычислительным или е-вода-вывода. Во время решения процессы выдают системные запросы к ОС. в том числе на создание других процессов. Вновь созданные процессы могут • свою очередь создавать процессы и так далее. В результате образуется ориентированный граф вызовов процессов. Список системных запросов включает CREATE (создать процесс), DCL BOX (создать BOX). DEL BOX (уничтожить BOX), EXC BOX (обмен с BOX). CONNECT (совдать группу для синхронного оЗмена), DCL BUF (создать Группу для асинхронного обмена), EXCHANGE (запрос синхронного

T'-'y.tHH по "рвноаау") , PUTBUF (запрос асинхронного обмена) , DELiO

(удалить гриппу обмена)• IN0UT (работа с внешними устройствами! Этот список обосновывается гоаФосой моделью вычислений. п вершины соответствуют процессам. а дуги указывают направлен!

передачи управления или данних. а также заложенными в МВС PARS] созможностями реализации синхоонных (по схеме "рандеву" > асинхронных обменов через каналы полнодоступного коммутаторе обменов сообщениями между процессами через почтовые яшики (ВОН).

Определение 3.

Гоуппа обработки - это множество одинаково поименованнк процессоров, каждый из которых имеет аппаратуру для хранень текущего имени группы и для идентификации своей принадлежности группе при обращении к нему других процессоров, выполняют Функции ОС по созданию и уничтожению процессов на группе, Финкш текущего обслуживания процессоров группы псэ их именам.

Определение 4.

Группа обменов — это множество одинаково псименоеанне процессоров, каждый иа которых имеет аппаратуру для хранен» текущего ммени обмена и идентификации своей принадлежности группе обменов при обращении к нему процессора обменов.

Работа подсистемы управления параллельными процессами и i вввимодействием является объектно-ориентированной, основана ^ использовании понятий объект, процедура и дескриптор. Pecypt группируются з объекты- группы обработки и грулг

обменов> Процедуры оперируют над объектами, манипулир! с ними и конфигурируя их. Дескрипторы содерж.

информацию о состоянии объектов и являются частью интерфейса меж; системой управления ресурсами и ядром операционной системы.

Одним из параметров, характеризующих качество аеализаи» системных Функций, предлагается считать количество этапов Й(р' При этом время реализации системной Функции на одном процессоре конкретной МВС предлагается принять равным одному этапу, а ерьме! реализации этой Функции на р процессорах этой же МВС Td=ÇHp) ставить в соответствие количество этапов Ç.(p).

Показывается, что создание процесса Р=Р< ш.р). протекаюше! не о процессорах 1ф<М). где N - общее количество процессоров РП система PARSIS одноэтапно. т.е.

ТСР - _С PAR FAB"

Создание пооцееса на о пооцессоиах о ¿тугих ^ системах многоэтапно, напоимер. в системах М1МБ типа с индивидуальным управлением тооиессами. протекающими на отдельных процессорах. оно пооисходит за

_СР -С ТМ

В кластерных- системах. соаеожаших пэ К пооиоссооов & одном кластеое Р/Й эслн г/„ _

„СР~ „<г

СЬ

+ в остальных случаях.

г ^р ^ рр £р

гяе ТРАЙ' - ТМ ■ ^си- ТС<;~ соответственно звем.я

создания пооиссса на одном процессоре и на о пооиессоиах в МВС РАЙЗГЭ. системах М1М0 типа и кластепных системах. Скобки П 3 означают целую часть от их содержимого.

Наиболее трудоемкими этапами создания поочег.са являются создание выполняющей подсистемы и загрузка в няе поогоамм

(Формирование гоипп). Этап записка но выполнение наименее тсзудоемок и для всех типов систем одинаков'

Формирование групп при создании на них процессов производится динамично, в соответствии с заданной структурой графа залами.

Иэ вышеописанного принципа вытекает следующее утееождение.

Динамическое Формирование групп при спадании на I«« параллельных процессов в МВС, объектно-ориентированных на группы процессоров произвольной конфигурациичодноэтапно аа счет введения оппвратно-поддераанного объекта - группы обработки.

Ьтооое важное утвеождение, связанное с динамической реконфигурацией МВС РАН315. следующее.

Реконфигурация потока управления I преобразование режима работы РП из КИТО в 31Ю) и наоборот) о КВС, объектно -ориентированны« на динамические группы процессоров проневолы-юй конфигурации, оцноэтапна ва счет аппаратно-поддеряанного объекта-группы обработки.

Это утверждение в первой своей части. а именно. в части

преобразования М1М0 —>31М0 вытекает из принципа динамического

одноэтапного Формирования групп при создании на них ■процессов, так

как представляет Фактически соядание одного Б1М0—процесса на всем

решаюшчм поле. Обратное преобразование 31МЕ М1МБ состоит в

выполнении каждым процессором перехода по ' его собственному

ем

логическому нсмеру на соответствующую ветвь за время Тр^ ревиое одной машинной операции перехода и меньшее, чем время этапа

12

Г'" < S С .

РАК РАН

Система межпооцессорнах обменов по каналом полкодоступного коммутатора в ЧВС PARSIS строится с учетом ранее введенного определения 4 и в соответствии со следующим принципом.

ОД&лухи&смие груглояла сспрзсое кюши о МВС,

оЗ^&ктна-ориснтирооаниах на динамические группы троиясссроэ, при »¿еклрицасскых ваги*<оа!эЯс твиде прсиевадится алпграгно ел соответствии с икгнаки групп ойскжо», устанаше<в»агмкни процессором при выполнении вычислительного rtpouacce.

В предлагаемой схеме организации обменов по системе коммутации исходное представление взаимодействий процессоров выступает е виде процессов обмена, создаваемых запросами параллельных процессов.

При появлении о параллельном процессе запроса на обмен с заданным именем, это имя считываете* из памя'/и процессора е> статусный регистр (регистр хранения текущего имени обмене) -и находится в нем до окончания процесса обмена. В один параллельный процесс может быть екличино несколько процессов обмене.. Процессы обманов организуются динамически, по запросам, возникающим при выполнении параллельного процесса. В каждый момент времени процессор может иметь только одно активное имя обмена.

Управление аппаратной реализацией межпроцессорных взаимодействий по каналам системы коммутации осуществляет спациалиаированный процессор " ГчЭС - процессор обменов (ПО) , Структуре связей ПО в системе показана на рисунка 2.

Рис.:

Пои групповых взаимодействиях по "оандесу" ПО анализиоует товность Поставщика и Потребителя путем еыяелекия заданного |Сла готовностей д процессоров с заданным именем < 1 ^ ^^, '• =п1+п2>, где п1, п2 - количества входов и выходов в теблица ;язей тооцесса взаимодействия с именем Определив

1нрвременную готовность Поставщика и Потребителя ПО настраивает >ммутатов и запускает процесс обмена. Настойка коммутатора :уи4*5ствляется па программе коммутации <та6лии& с г язей) 1-го >гмента памяти по запросу г соответствующим именем . Это имя >аксФормируется при загризке в номер I сегмента памяти ПО. Гои сгрузке программ коммутации номер 1 Фиксируется в регистре <тивных имен ПО. ПО сканирует этот р&гистр и посылает текущие 1ема на решающее полр. Те процессоры, имя взаимодействия которых эепадают с пришедшим от ПО, выдаю-.1 готовность д ранее :тановленнун> по команде Одновременно ПО может обслуживать на

зле !; процессов взаимодействия, где к представляет собой эличество сегментоз памяти ПО.

Отличие организации управления взаимодействием с

^пользованием асинхронного буфера состоит в .том, что перед

астройкой коммутатора ПО прерывает Потребителей для передачи им

(-(Формации. Анализ готовности групп в обоих типах обмена в Г1ВС

производится за один этап опроса Т*Р и аля всех

роцессороё группы одновременно. При программном опоосе для

ыявления готовности Р процессоров группы необходимо

оследок-ателъно, за время Т^ проверить готовность ьсех

роцессорОЕ:, ад.чщик в группу. При этом каждая такая проверка

_ап

рпизвояится программно, что по времени превышает цикл опроса То . аким образом

тпр тап_

о о

'О есть е-ыигрыш по времени в системе РАЙ315 .при обслуживании руппоЕ-ых запросов канзла от групп, содержащих р процессоров^будет ю крайней мере в р раз больше по сравнению с прогоаммной шализацией групповых запросов на предоставление канала с заданным •ра¥ом межпроцессорный связей.

Третий раздел посвящен архитектуре и алгоритмам

рункционирования основных подсистем МЭС РДГ!315. Производится (ссльд-ванне Е-ариангов реализации этих подсистем и эффективности-збрабстии на ник векторов и матриц в сравнении с другими вычислителями, в частности, транспьютерами. Приводятся также

сведения по экспериментальным образцам. оаэработанным п: рцководством и при непосредственном участии азтооа диссертации.

Что. касается подсистемы обработки, то она базируется i выполнении требований, полученных в результате наследован! паоаллельно-Еекторной реализации типовых вычислительных методов, качестве базовых структур, обладающих практической ценность предлагаются конкретные схемы обрабатывающих устройст

позвол-чищи j с высокой скоростью выполнять скалярные, векторные специальное операции. Конкретные результаты получены для дв1

подходов создания высокопроизводительного процессора обработ данных.

Первый заключается в том, что несколько элементарн микропроцессорны», АЛУ (ЗАЛУ) и умножителей, связанных между соб внутренним коммутатором, могут производить высокоскоростн обработку, параллельно реализуя структурную модель выполняем операции. За счет распараллеливания на ЗАЛУ и умножителях вре выполнения крупных операций значительно сокращается. Наприме операция "бабочка" выполняется параллельно за три этапа. В случ последовательной обработки для ее реализации потребовалось бы этапов. Описанная структура процессора получи

практическое воплощение в экспериментальном образ

многопроцессорного вычислителя ЕС 2703, заместителем главне конструктора которого являлась автор данной диссертации. В 19S£ образец и его технический проект были приняты межведомственн комиссиэй. Реализация тестового набора матричных операций локазг производительность ЕС2703 - 50 млн. эквивал. ЕС ЭВМ оп/ Архитектура и характеристики этого процессора с одобренк обсуждались отечественными и зарубежными специалистами (курь Computing, 13 JANVARY, 1990; труды Supercoroputtng'90, November, Г» York, pp. 930-939).•

Второй подход, реализованный автором при разработке ' процессорной персональной многопроцессорной суперЭВМ, оснаегн включении в состав процессора блока, ориентированного выполнение векторных операций. , Оригинальность разрабо-заключается в замене классических векторных регистров б'-JcTi оперативной памятью, общей для скаляров и векторов, что позвол; существенно сократить Е^ремя на перезагрузку векторных регистров значительна повысить за счет этого рес.льну» производительное Экспериментальный образец данного процессора продемонстрирОЕ

хорошую эффективность как ускооитель для ПЭВМ. позволивший сократить время оешения прикладных ' задач (линейная алгебра, обработка изображений) в 30-100 рае.

Опео&иип над массивами в МВС РАЙВХЭ можно реализовать и на множестве процессоров (на группе или на всем РП) . распределяя данные по процессорам и выполняя во всех процессорах одну и ту же векторную опсоаиию. В диссертации рассмотрены оба вида реалиевийи векторной обработки для базовых операций, составляющих ядро современных пакетов вычислительной алгебры и численного анализа, таких как 1ЛМРАС«1

N

- расчет скалярного произведения двух векторов С»2 х^У^«

N i-1

2

k-i

- умножение матриц cij" ^ '"ib I i-1,2,...,N» j-1,2.... ,N»

- операции над векторами рила! yjí-aXj* у^i i-1,2,..,,N»

- сложение двух матриц! Cj ^ - а, ^ + blj' í**1»2,.,. ,N» j-1,2,....Hi

- пересылка вектора Я в Yг

- перемена местами векторов X и V»

N

- сумма абсолютных значений (норма L,)s |х|, — 2 \у. ||

1 i»l

- Евклидова норма в L^:

¡xj »(Я К|2>1/2 Ч i»i 1

- вычисление индекса элемента вектсоа. имевшего максимальное абсолютное значение:

- нахождение максимального по модуля элемента впктооа (норма С)I

|Y| -mav. |v.|s . i-1,N 1 1

- операция транспонирования матрицы.

Выбор способа оеалива'ции • каждом конкретном случае зависит.

пренде всего, от размеров вектооое и матриц, от объема памяти

одного процессора, от "раёпаоаллеливаемоети" данного алгоритма,

т.е. от соответствия его архитектуре МВС."а также от .соотношения

времен выполнения операций обработки и.обменов.

Для некоторый из перечисленным еыша Функций приведены

зависимости коэффициентов. Ускорения S -Т./Т и эффективности

Р 1 Р

Е =S /р от числа процессоров - Р и раамерАостей массивов N при р р -

реализации на МВС ЕС 2703.

Согласно общей идеологии .' построения МЗС.

обьектно-ориентироэанных на динамические группы процессоров произвольной конфигурации, сля подсистемы управления важным является взаимодействие управляющего процессора с решающим полем при Формировании групп и при обработка их групповых вопросов к ОС. Обеспечивается это соответствующим набором машинных команд УП и эффективными алгоритмами работы интерфейсного блока при обслуживании запросов с РП.

В перечень машинных команд УП по работе с группами " введены следумщие команды.

1. Сформировать группу процессоров иэ занятых процвссо^оэ

WBGW Bt, Hj, Dx (Bj), D2 (B2>

2. Сформировать- группу иа свободных процессоров

WRGF Rj, R3, D2(B2' В Rj находится номер Формируемой группы, в Bj - количество процессоров Формируемой группы, tBj) * Dj - адрес в ОП ЫП списка логических номарое

процессоров (ЛНП), включаьмых в группу; <В2> * I>2 ~ адрес в ОП ЯП списка Физических номеров процессоров «№П>, включенных в группу.

3. Удалить группу процессоров

DESG Rt

В Rj наносится номер группы.

4. Записать в группу массив ванных

STAG Rj, Bij, Dj(BJ), D2<B2>

5. Прочитан» иа группы массив данных

BDP0 й1, R3, D1<Bi>, D2(BZ) В Rj - номер группы, в й3 - размер скаляра в массиве,

(Bj> - алрвс.гкаляра е> пяняти данных проивсссроо группы,

<3^> +В2 - адрес' ««¿сива в памяти УП.

6. Записать, в группу, скаляр прогреми

srfs Rj, R3, (3 -i; e2<P2>

В Rj - Номер групп», в равмер скаляра,

(В j) '•"Oj" - всрес скаляра в памяти программ процессора. +Е„ - адрес егквлярй и лмяти ЫП.

7. Записать -в группу скаляр данных

6ТВЭ' Rj , Bj, SjOJ), UjiBj..) S. SarnJcTMTt- <*ру/>пу прйцассороь STRS R.

9. Останов группы процессоров INTS Hj В Rj - номер группы. Разработаны и исслвдозаны последовательный и параллельный алгоритмы анализа и обработки групповых вапросов РП.

В последовательной алгоритме после определения номера группы в которую входит выдавший папрос процессор, анализируете* число процессоров kj в этой группа, видевших чапрое.. Если kjiMj, где Mj - общее количество процессоров М^ в группе, го происходит возврат к анализу запросов. Переход к обработке осуществляется, когда сформирован групповой «опрос. Анализ вапросов и и* обработка производится последовательно для есяя . гр^пп, присутствующих на пола.

Распгралл»лие«ния процесс.« £нзляаа . и зйработкч состоит- в одновременном опроса всех процесссрао РГ на принад.чаяюсгь к группе. Gj.

Выигрыш w быстродействии от мсглльеованмя рараллвльмспо

алгоритма равен п t + t

К „ _äü_ЛЁВ*.

12 t + t „

ан ofp.

и реально зависит от соотношения времен анализа — t и рбраЧатки'

ан

t „ запросов. Максимальный еыигоыш К,,->п получается при обр. 12

t „ «t . Ясли t - »t , то обр. ан. обр. гн. У 2

Быстродействия параллельного алгоритма мо,*но увэличить, если исключить из цикла, опроса группы, еыдаешие запрос, и севичгстить процесс «м*лиэа запросов с их обработкой*

При этом ускорение по сравнению с параллельным алгоритмом tfea совмещения равно

t... ♦ t.

К,

_ ан о<5р. 23 о>ах tt

вн. Q$p.

достигает максину**, равного вз-ум при

В подсистьнв коммутации и сЛЗмвна коротко г.ассмотр» мл

структур« коммутатора м ого аовможыоети пэ нарвегиеанию чиелл

входов и раарядности. За основу в разработке« ппинкт- матричный

коммутатор. Инвест но, что ' коЛйчгстыо оборилойямия » ним 9

0((-)^),где N. т - число юходза соответственно кеягутз.'.немнгЯ ' ¡я

система и Б14С., на асновя котерч« ой^ псстроянл. Сетевая структур« коммутации, в ■рггм чи£л?».,'(' и ■ гипрр.куйи, имсат / Д^ 0(1одиМ) , что при болши* емг>ге*«йяк РА Ш<й12) -»ндчит^/шно

м

mmuw Q . Однако высокое быстродействие, простота упрявления и гч?£«юсть матричного коммутатора вастаеляит ваять его эа основу на пвртац »тале раарабатки данной МВС.

Рвеработанноя подсистема управления обменами обеспечивает грцплозыв синхронны* и асикхроммые обмены. Приведенные структуры и алгоритмы работы процессора обменов в . совокупности с другими устройствами ИБС обладают новизной и оригинальностью, защищены мтарекигм свидетельствами.

Равработанмая подсистема параллельного ввода-вывода реализует сичхронны» и асинхронные- высокоуровневые механивмы межпроцессных групповым и индивидуальных коммуникаций путем непосредственного вздимодейетвия процессоров решающего поля и поля ввода-вывода, что обеспечивает скорость ввода-вьде-ода соизмеримую со скоростью межпроцессорных . обманов и . идеологическое единство подсистем обработки и ввзда-вывода.

В "Ш!шуток оаеделе проиеводится исследование и разработка механизмов оргснивеции параллельных вычислений.

Приводится обосно&мние и описание модели параллельных вычислений в вида ориентированного rpafa G(V) с множеством ребер Е.

МнояесТво ввраин V представляет собой множество процессов,

ноторов состоит ив трех подмножеств

V=VC U Vе U VBB,

где VC»<Vce, Vr> - системные процессы; сб

-. tV - процесс, обеспечивающий событийные взаимодействия;

Vr - процесс, обеспечиваккяий глобальные взаимодействия);

V' » tV*l, i"l,nk - вычислительные процессы для задачи к;

п. - количество вычислительных процессов в задаче к;

vJ^«CVj >, 1«1 - процессы ввода-вывода для задачи к;

в, - количество процессов ввода-вывода в задаче к;

™ V*4,, к«1 ,S - множество вычислительных процессов;

К - количество вадач в системе;

V**- U k»l ,S - множество процессов еврда-выеода.

Множество 'ребер Е в гра#е'в(У> также ene voifr ua подмножеств Е-Ес U £r V Ел

Рейда подмножества Ес описывают сойытийчые взаимодействия о ИвС, S^*. ~ ггт&аяьньт, Ел - локальные.

ЕС соаераит три типа ребер: <V®, Vе?, (V"e, Vе) и <VC, V*). Это Обьвенжвте к тан,, что процесс ввода-вывода не ожидает событий, но сам иажет Хыть инициатором события в. системе. Для »•числительного процесса свойственно как ожидание события, так и |ЦФ«£о?ка его.

и

Ег содержит два типа ребер (V?. \>Г1 , IV1*,V®).

-Л с „ ...в , . „ев

с содержит следующие типы ребеп : ^ ¡, > • ¿V

(у^®. , так как процессы ввоаа~&ыеода не имеит между собой

взаимодействий.

Согласно принятой модели строятся базовые ■ механиамы. К н^м относятся взаимодействия по схеме "рандеву" и через асинхронный буфер, меяаадачные обмены через почтовые ящики.

Предложены ■ архитектурные решения, поддерживающие базовые механизмы организации параллельных вычислений, нашедшие отражение с подсистемах управления, обменов и обработки. Межпроцессные взаимодействия вычислительных . процессов межоу собой и взаимодействия по внешнему обмену между вычислительными процессами и процессами ввода-вывода реализуются по общему алгоритму. Взаимодействие начинается с объединения параллельных процессов в единый процесс, т.е. устанавливается синхронизация процессов с помощью имен обманов, затем выполняется обмен информацией, по окончании обмена происходит разьединение параллельных процессов. Ниже приводится наиболее важный алгоритм реализации механизма "рандеву" машинного уровня. Реализация его в 11РС имеет эффективную поддержку на уровне машинных ксманд. С этой целью в систему команд процессора предложено Е.вести 'соманду объявления имени обмрна ШО 5. где б - область памяти процессора, в которой находится вектор имен , , обмена), На этапе трансляции программы для имен обмена выделяются области памяти, в которые во время ээгрузки процессов записываются их значения. Для организации обмена в систему команд процессоров введены команды выдачи в выходной регистр блока межпроцессорной связи информации из регистров (МУЙ) или из ■ амяти (МУ), а также команды приема в регистр (ШП> или в память (М1).

РП

процесс Pi процесс pJ

| 'оёьедйнёнйЬ ~процёсЁо1Г — — — —

I ЫВ в № (?

МУТмую М1 тхю

| (сыдать пере- (принять пере—

^ менную обмена) мвннию обмена)

разъединение""процессов

---------т

процесс р( процесс р

ПС

■коммутация — ——■ — —каналов

Обмен между "Р1 И

по межпроцессорным каналан СК

ИГГГГПГГй

о

Для реализации предложенных механизмов разработаны базовые процедуры, 'по созданию параллельных процессов и организации взаимодействия между ними. Базовые процедуры составляют основу построения параллельных языков, расширений традиционных языков, трансляторов и препроцессоров "для мил.

Загрузку процессов на решающее поль осуществляет ядро ОС по запросам вычислительных процессов с помощью разработанной системной процедуры, заголовок которой имеет следующий вид PROCEDURE CREATE (VAH ИмяМодуля:PARPHOC; Ni CARDINAL)

(■»Имя Модуля

PARPHOC -

имя программного модуля, входящего в состав загрузочного модуля задачи, ээи-рузка которого нг. РП или на поле РВВ осуществляет создание необходимого процесса:

системен тип для описания имени параллельного процесса?

количество процессоров РП или поля -ПВВ. необходимое для создания процесса;

йля описания межпроцессорных связей при обмем^х на основе "рандеву" предложена и разработан» процедура

PROCEDURE CONNÊCT (VAR ИмяСбмена: GHCUP; N:CARDINAL; VAR ТаблСвяэей: ARRAY 0F DCLSIM)5 (* N - количество связей в межпроцессорном взаимодействии;

ТаблСвязей - массив, описывающий структуру межпроцессорных связей;

DC'LSIM - системный тип для описания связей, имеющий

следующий вид DCLSIM = RECORD

Поставщик: FARPR0C; НомерПост: CARDINAL; Потребитель: PASPR0C; НомерПото! CARDINAL; END; '

Описание взаимодействия.

СЕ-язеи через

между процессами при асинхронных асинхронный буфер должно задавайся процессом потребителем с помощью, разработанной процедуры DCLBUF PROCEDURE PCLBUF (VAR ДескрБуф: ASVNBUF;

N

*

VAU Поставщик: PAFJFHOC)I (« ДескрВуФ - дескриптор асинхронного буФяра;

ASYNBUF — системный тип для описания дескриптора

асинхронного буфера, который, иирет следующий вид:

ASYNBUF - REC0I3D ИмяОбмена: GROUP; УкБу-Я ADDRESS;

ДлЭлем: CARDINAL! КолЭлем: CARDINAL END»

УхВуф - при обращении к процедуре значение УкБуФ безразлично, в дальнейшем УкБуф указывает адрес текущего элемент» в буфереf

ДлЭлем - содержит значение, равной размеру переменкой обмана; КолЭлем - максимально-» количество «лементо» (пгреьеинык обмена), размещаемых в буфере.

»)

На этапе выполнения працессоз межпроцессорные вэаимодейс твил осуществляются с помощью процедур типа "ОБМЕН", которые содержат имя обмена э качестве одного ив параметров. С пскэмыз имени обнрне процессы имеют возможность оперьтилного еапроса необходимей коммутирующей программы для мекпроцоссерного вваимодвйстюмя.

Для обмена информацией по механизму "рандеву" предложена и разработана процедура, еаголовок которой имэят сладуимий Рид; PROCEDURE EKCHAN3E <VAS МмяОбмон«! 6R0UP; ОперацРамД! CARDINAL; АдрОблгADÖ3E3S) ДлСбл: CARDINAL! АдрОтката: ADDRESS) (* ОперацРанд в 0 - принять информации;

4 »• выдать информация; АдрОбл - адрес области для приема или выдачи информации; ДлОбл - paSNop г?эрвд®»а»мой или Принимаемой информации! АдрОтклта - адрес «& программе процесса, на котррыЯ г»р»д«^твя . управление в едуча» обнаружения тупика при вовимодейсуеми по рендезу.

»> .....

Для передачи информации ft «синхронный '"»уфг^з, примнете«

Поставщиком предлежена и раеработама, Процедура

FROCEOURE PUTßUF (VAR СоскрВуф; ASYNBUF; ЛдрОДл Выдачи» ADDRESS)

S&

Пятый оаздел диссертации ' посвящен разработке методов и сие/зств распаоаллеливания вычислений в предложенных МВС.

.Разработано два метода папаллального выполнения программных гаданий ' в ПВО PARSIS - вертикальное м горизонтальное оаспаоаллеливание.

Разбиение программ на независимые (слабо зависимые) модули, исполняющиеся одновременно (параллельно) на отдельных процессорах или roynriax и организацию их выполнения в МВС PABSI3 поедлагается называть вертикальным оаспаовллеливанием.

Ооганиааиию одновременного (параллельного) выполнения одного программного модуля или его чести на группе ппоцвссооос? МВС PAHSIS вплоть до всего решающего поля предлагается называть

гориеонтальным распараллеливанием.

В качестве средств веотикального распараллеливания рассматриваются алгоритмы оптимального планирования ресурсов, язык управлния заданиями, параллельный Ассемблер и системные процедуры организации параллельных процессов.

Разработанный язык управления заданиями основан на принципах управления от потока данных и разделения управляющей информации и обрабатывавшей. Он представляет собой инструмент описания структуры программного васания в виде инФормационно-упраеляюшего графа, вершинам которого соответствуют программные модули.

исполняемые на отдельных процессорах или группах, а направления

f

дуг совладают с направлением передачи управляющей информации. Имеется ьоеможность »адамия логических условий передачи управления от героини к в«ршине, анализа готовности их исполнения. Программа аадачи в соответствии с требованиями языка управления заданиями должна содержать следующие раеделы!

PKOBL - описание еаданий?

INltlAL. - ваданив начальных вермин графа (подзадач, готовых к решении» и начальный момент времени);

FINAL - аааание вершины, переход которой в состояние готовности к решению свидетельствует о завершении задачи в целой.

В разделе PROBL'задаются глобальные переменные, для каждой программы указывается е» идентификатор, имена входных и выходных мвссиео» информации, 'условие готовности C0ND«A1VA2!(...VA

п

в виде булевой Функции п аргументов, где п - число подзадач рассматриваемой аадачи (каждой из подзадач соответствует свой аргумент, принимающий единичное значение, если она передала управление рассматриваемой подзадаче). Кроне того приводится тело

подзадачи, в котором должны быть подразделы, описывагеамэ услоеия

передачи управления от данной подзадачи другим

SUCCs A*. S< А2 V. ..V А п

и конфигурацию CONFIG требуемой подзадача процвссооной области.

Разработанный язык Параллельного— Ассемблера позволяет представлять программу в вида параллельных процессов — программных модулей, исполняемых на отдельных процессорах или их группах. Э совокупности с системными процедурами он позволяет описыэать программные задания в виде графа заданной структуры.

Программа на языке Параллельного Ассемблер^ имеет структуру, t показанную ниже.

Pi

Process — CI Csect

End С2 Ceect

End'' A1 Paect

End

D1 Dsect

End VI Vsect

Ssect подсекция

... I в векторной End —J секции

Ssect _ подсекция

... I в секторной End i сркции

End

Msect —> подсекция

... j в векторной

End —1 секции

Msect —j подсекция

... в векторной

End —I секции

Msect подсекция

■'"I в векторной

End —1 секции

скдлярн<>я секция программ

скалярная

секция

программ

секторная

секция

программ

скалярнп

секция данных

векторная

секция

данных

Р2

РЗ

EndProcees Process

EndProcees Process

EndProceea

параллельный процесс < автономный загрузочный модуль)

параллельный процесс

параллельный процесс

Гаграбогани алгоритмы и программы горизонтального распараллеливания б МВС РАЙЗХЗ типовых методов вычислительной магвматикм и обработки изображений. Рассмотрена реализация прямых и итерационных методов решения систем уравнений. Б частности, метода циклической редукции для трехдиагональной системы сеточных урлг»<екий

1 Ув-Р0,

где А и В - квадратные матрицы, У^ - вектор неизвестных вадвння правая часть, N - размерность вектора неизвестных.

Метода Гаусса для СЛАУ АХ=»В (А - квадратная матрица, X вектор неизвестных, В- вектор - столбец).

Итерационный метод верхней релаксации ЬЕОЙ рассмотрен для МВС РАЙ515 применительно к решению разностной задачи Сирихле для уравнения Пуассона

К ¿и"Р(х), А - опэратор Лапласа, »ад«мной на прямоугольной сетке.

0<1<М2, ьа-!л™, а=1,2> >

в прямоугольнике

где Т"{,,1 ^ £ 1Ъ, Г- граница сетки <Л

Из типовых операций обработки изображения рассмотрены ЗПФ

комплексах последовательностей, корреляционная Функция, двумерный

♦ильтр нижних частот (ФНЧ)I М-1 М-1

1-1,2...14, .1-1,2,...,14,

гее а доумерный массив изображения размером ЛхМ чисел, Ъ .

1'и _ 5,1

импульсная Функция, М - параметр, опредечяющий размер двумерного окна.

Разработанные алгоритмы имеют хорошую вфечтивность О,1 и иллюстрируют типовые приемы и методики параллельного программирование на МВС РАЙЭТЭ.

Ягстой г»адел диссертации представляет собой

акспчоимвнтальную часть, связанную с разработкой и эксплуатацией имитационных моделей МВС ?АНБ12. Рааработано две модели: перва* длп исследования количественных характеристик основных асинхронных

поасистек "Управлявший пэоцессоа.- оеша»шае полз" и "Ре?иакиаа поле - поле процессоров сеоаа-зыеода"! втооая для исслэдооания производительности MSC PARSIS с учетом накладных расходов СС.

ожидание

доступа (.%)

S«25%.L«0s —Î- 2 5-302.L=-Os -Й- 3 S«7SX.t.«-0s-c»-4 S»2SÏ. t,=»2KSftftTí -Vr-5 S=50X.L=2KSafVr: h S=2S:í.L=1K<~süT! -¿г-7 S-SOX.L-î'-CSai«?.-

Рис. 3

Б результата исследований когичсгт^эньыч характе-вис-гик «¡синхронной подсистемы "Упоаэляиший посцеесво — сошзюкюе пчл1;" получгны _ зависимости е-осмени сдаияани.ч доступа к систекнону интес;-- 'гу для процессоров рздидншега поля от Ъ'П

системными Функциями (S) . на зависящими от. оймзно"?! от сеЕмсгвд^я подкачки загригочных модулей в npoiwccoiw при гдарядачя ик 1 полностью или блоками О-) с реаикием вед-гч ка ргаька-'зм по/ч» < рис; 3).

Пои исслсдсйвнии с помои bit e-cctieux гюдчлзй korir-wctwrmhvx f xaosktsphcthk асинхронной подсистемы "Peuicisieee пола - пола процессоров ввода-смерда" результаты моделирование показали. что систакно-агвисимие Функции упрпэлвкия каналами г-ода-рыраоа на значительно снижают пропускную способность канала (на 73).

Разработанная икитвциокнгя модель опенки лрси£*овитя>Льмезти позозлягт имитировать процэсс выполнения задачи, уписанной ® к?иде rpaía. Описание подзадач должно содержать имя оаяач». имя подзадачи, тип дескриптора , характеризующий приведенные е 4 системные примитивы (create, computa, dclbox. raeilbux, excha-.So.

dclbuf,putbuf), количзство требуеНих процессоров, время запуска оадачи. Исследования производительности МВС на имитационной модэли проведены для 10 контрольных задач. Полученные экспериментальные результаты продемонстрировали их совпадение с расчетными данными, подтвердили, что .время решения задач на параллельной системе зависит но только от вычислитвльной сложности, но и от порядка »апуска вадач, от наличия свободных'ресурсов.

Наглядность диалоговых средств модели позволяет использовать оо в качестве инструмента для оперативной отладки расписания оапу-кг решаемых задач, представляя их в виде различных вариантов графовых структур и выбирая оптимальный путем оценки времени реализации на модели, то есть в качестве и! струмента отладки параллелизма задач при ее дальнейшем исполнении на НВС в оптимальном режиме.

В прилзаскял:! приведен» акты, подтверждающие внедрение результатов, полученных в диссертационной работе, программы и численные результаты исследований матрично-еекторных операций при реализации на векторном блоке МВС PARSIS, программы реализации бдооеых операций линейной алгебры на транспьютерах и задачи геометрической коррекции изображений на векторном блске МВС PARSIS, программы Е-сетееой модели МВС PARSIS.

ЗЙШЗЧЕНИЕ

В диссертации предложен, обоснован и исследовсн новый класс многопроцессорных вычислительных систем, обьектно-ориентирооанных ид динамические группы процессороэ произвольной конфигурации, в которых повышение производительности достигвотсд ®а счет снижение накладных расходов организации параллельных вычислений.

Основные теоретические и практические рэвультаты, полученные в диссертации, заключаются в следующем.

1. На оснований исследования моделей вычислительмоямиих олдоч оч,явлены требования, прельквляёмые к ЛВС в части параллельных и (векторных вычислений, реконфигурации потоков , межпроцессорных вввииодействий, в том числе групповых, и на их осно»® предложен» еркитектура МВС, обьектио-ориентированных на динамичаскиа группы првнессоров произвольной конфигурации,и разработаны новые принципы ег^гониаации управляющих потоков и нвяпроиеесорных взаимодействий.

В частности, еа счет введения аппаратно-полдержанного обчвкта ~ группы обработки, динамическое Формирование групп при созлании на (гпх параллельных процессов и реконфигурация потока управления <пр?9браао»амие режима работы РП из MIMD в SIMD и наоборот) в МВС,

объектно - оонэнтксюгэанкых на динамически:? туппы поэигсглэс«. о^нозтгпны. В доиг-ии известных системах иказй«ныэ п31«о5оазсэекил многоэтапны, то есть пои одинаковых инженяено-технзлогичаснчх аешвниях. тоеки.чт Сольшэго сэемеки. ч-эм в поеялсжйН1гы,\- МЕС.

За счет введения аппаоатно — псзддггакгнногп обьектэ - роуппи обменов в МВС. аб'ъектно-ооиентиооЕПМныи на динамические гоуппы пооцессоосз. обслуживание гоиппоеых эагэосоз канала п^оэсачи информации при межпооцсссных вдаикодг;йстоилх производится аппаратно в соответствии с именами гругтп обмгнс'з, устаняслкз?г»кыии процессором при 5?1.:полн£гнии вычислительного процесса. При этом вввмя обслуживания запроссз предоставления канала от поупл, содержащих по р пэоиессовов. будет по крайней мг»ре в р раз мсньекз по сра&н©ми1я с программной реалиагцизй.

2. Э соответствии с принятой грдфоэой модален еычислэнкй разработаны и исслодос-аны еаз-еыэ н-?х ¿низки яг? ойййивга'лиз

создание и уничтожение nocueeco», установления связей, oîkehm между коззисинхрснными процессами пэ "ракгзэу", межзд «.¿иихречкыии процессами - чгрэз асинхронный Sij-Фср, мвяаадлчныч евчгны почтосыа ящики.

Предложена архитектора и организация Функционирования устройств, поддержиоатиих базоеыэ маханмамы езг»миsetiHti параллельных сичисл-эыий с учатом их сригнтяики иа групп* процэссороэ как целостные объекты ps'-'jssiœssro паля. Рзвра^отеми алгоритмы микропрограммной поддержки йассгих нахьнмена»

организации параллальких вычислений и се0тээт5т?»уяй|>те( им снеге?»ч-'Ч процедур»,!.

Û.. Предложен и разработан уг!2с-зл£иия

предстасля'шнй собой оыепкоурогнггвый инструмэчт описания CTpywyiîti программного задания а виде инфоэмациомна-упроелкивгага гт!«?А произвольной структуры. Раграбоганый дан« этноеитгя к

уни!>ер с ал ьмым средств-»« описания есиклрокхмх крыпиявлэчны* вычислений, о том число и на группжх процвссосое.

4. Рйоработам жаык Параллельного Ассемблера, пеетрвлякюмЛ представлять программу в вида совокупности плрдлл»льних прсаессео. Совместно с системными процедурами упрг-олекия гдас.не»8вн5даи и взаимодействием параллельных процессов он ■ палеолит олисьетать программные задания с ейсе графа заданной структуры.

5. Раэработаны и исслвдог-аны методы гирлллз^ьмо-евктррЛаД реализации прикладных 8«дач в МВС PAR3ÏS. Ра»рсботм<ы алгеемТг« н .

методики распараллеливания в МВС РЛЯЗХБ типовых методов вычислительной математики и обработки изображений: метода Гаусса для решения СЛАУ> векторных и матричных операций линейной алгебры; циклической редукции и верхней релаксации - для решения сеточных уравнений; линейного Фильтра, ЕПФ, корреляционной Функции - для обработки изображений. Исследована эффективность разработанных алгоритмов в сравнении с другими вычислителями, в том числе транспьютерами.

6. На основании исследований параллельно-векторной реализации типовых вычислительных методов и основных режимов работы МВС предложены базовые структуры, система команд и алгоритмы Функционирования основных подсистем МВС РАНБ! ¡. Представленные разработки ориентированы на практическую реализации МВС. Исследованы оовможные варианты построения подсистем, даны рекомендации по применению представленных зариантов.

. Большинство разработок зыполнено на уровне авторских свидетельсгр, что подтверждает их новизну и качество.

7. Разработана и исследована имитационная модель оценки производительности, позволяющая имитировать процесс выполнения задачи, представленной в виде графа, с учетом времени реализации системным примитивен ОС.

Наглядность диалоговых средств модели пооволяет исполыэовать ап в качветвэ инструмента для оперативной отладки расписания еапуск* решаемых задач.

В. Газреботана имитационная модель МВС РАН21Б на основе Е-сотей, котэрая позволила произвести исследование количественных характеристик асинхронных подсистем "Управляющий процессор -решающее поле1; и "Решающее поле - поле процессороа евода-еыоода" в динамика функционирования системы в целом.

• В реоультате этих исследований получены зависимости времени оаидания доступа к системному интерфейсу процессоров РП от вагрувенности ,УП системными и • проблемными функциями, характеристики пропускной способности каналов ввода-рывода. Эти оценки могут испольаоваться как разработчиками МВС, так и г.астаноходиками еадач при проведении экспресс-аналиеа применимости кгэмкротной системы для решения интересующей проблемы.

9. Раериботаиныа э диссертации принципы организации МВС, овкектно-оривнтираванмых на динамические группы процессоров произвольной конфигурации, архитектура и алгоритмы

. функционирования основных ее подсистем, методы и средства

1

распараллеливания вычислений нашли практическое применение в

НИИ МВС е созданный экспериментальных образцах МГЬ НС 2703. векторного блока персональной многопроцессорной суперЭВМ и их математического обеспечения, а также в НИМ "Квант", НИЦЭВТ, КИМ ТЭП, НПО "Радиоприбор" (все г.Москэа) при выполнении совместных работ, что пздтьерждается соответствующими актами.

Разработанные методы и средства векторной и параллельной обработки внедрены в НИИ МВС при решении практических оалач линейной алгебру, сеточных уравнений, обработки изображений на созданных экспериментальных обравцах.

Результаты работы испольеованы в учетном процессе ТРТУ при выполнении курсовых и дипломных проектов, в опубликованном учебном пособии "Архитектура и мэтематическса обеспечение

многопроцессорных супорЗВМ".

Оснезныо результаты диссертации «туЗлмквЗймя a pefiora»

1. Забенко Л.К., Макарович О.Б., Чефреноо А.Г. Адаптионсо управление в многопроцессорных »^числительных системах. - ИППММ АН-УССР, 1992. -,273cVr'/монографий/.

2. Бабенко1 Л.К., Макаре'вич О.Б. , Матвеева Л. К. Принципы организации вычислений е многопроцессорных еычислитэльных ¿йстемах для приложений реального времени// Препринт 1Р16-88. — Ль"зое : ИППММ АН УССР, 1988. - 63с.

3. Бабегнко Л. К. Синхронизация параллельных процессов в системе с программируемой архитектурой, ориентированной на решение задач механики сплошной среды// Многопроцессорные вычислительные структуры. - Таганрог« ТРТН, 1935. - В«п.7 (XVI). - С. 12-13.

4. Баи., ко Л.К. Принципы организации геинкронних ваеимодействмй процессов многопроцессорной системы с программируемой архитёктурой//Вь'числительная темника и крапзы» валами. Методы и мультипроцессорные средства .-Рига» Риж. пэлитех. ин-т, 1?в9.-С. 1/2-181.

5. Бебенко Л,К. . Аппаратно-программные средств« динамического управления заданиями • МВС ПА// Многопроцессорные» вычислительные структуры.- Таганрог! ТРТМ, 1Ч&Ч*- Вып.11 (XX). - С. 7-11.

6. Каляев A.B., Бабенко Л.К. , Мзкгреоич O.E. , л<<«олмик И. А. и др. СуперЭВМ на основе'процессора ЕС2703. Глрсг»кти*м развития // Конструирование алгоритмов и решение садам математической Фиаики,- M.I ИПМ им. Келдыша, 17В7, - С.177fl9Ö.

7. Бабенко Л.К., Макареаич О.В., Чв*рвмоп А.Г. Принципы, орисания и организации асинхронных крупноблочных вычислений в

многопроцессорных системах //Электронное моделирование. - Киев! Наукоеа Думка. 1925. - №3.- С.13-17.

3. Каляев A.B., Макарэвич O.E., Николаи® H.A., Бабенко Л.К. СуперЭВМ с программируемой архитектурой //ЭВТ. - M.s Радио и связь. - 19S8. - Вып.2. - С.161 -171.

9. БаЁён;<о J1.К. Принципы распараллеливания программ в многопроцессорной системе с программируемой архитектурой // Вопросы совершенствования эффективности радиолакационных средств войск ПВО в услЪеиях радиоэлектронного противодействия противника. - Энгельс! ВЗРК УПО,19SS. - С.71-/3.

10. БабенкоЛ.К., Карпов Е.В..Макаревич O.E. Чефранов А.Г. Управление параллельными процессами в многопроцессорной системе с программируемой врхи-.'ектурой //Известия Сереро-Кавкаэского научного центра высшей школы. Технические науки. - 1986. (М. -С.73-76.

11. Баоенко Л.К., Мскарееич O.E., Сухиьов А.И., Огчарснко О.И. Способы реализации базовых операций вычислительной алгебры в многопроцессорных вычислительны:; системах //УС и М.- Киев: Чаукоэа Думка, 1989г. - КЗ. - С. 25-22.

12- Николаев Н-'Л. , Фомина U.U., Вабенко Л.К. Параллельная система программирования многопроцессорной вычислительной системы// 1|эа«?стия Вузов СССР, "Приборостроение". - Ленинград; ЛИТМО. 19S6. - №2. - Том ХХ1Н с.34-37.

13. Еабенко Л.К., Макаревич О.В., Матвеева Л.Н. Механизмы взаимодействия н синхронизации параллельных процессов в многопроцессорной системе// Автоматика и еычислитэльная техник.-.. - Рига! Зинатне, 1990. - N1 - С.55-63.

14. БабемкоЛ.К., Николаев H.A., Куравлева Л.Н., Сомина H.H. Стиль пограмнирования на параллельном языке Ассемблера //ТРТИ. Таганрог: 19£S.-22c. - flen. в ВИНИТИ 07.01.85. JP S5. №161-183.

15. Бабенко Л.К., Карпов Е.В., Осьмакое С.Г., Шилов А.К- Система прерываний ИВС ПА // ТРТИ. - Таганрог! 1927. - 14с. Деп. в ВИНИТИ 03.12.87г. НЭ499-В37.

16. Кабенко Л.Х. Принципы программирования обменов через сетевой канал многопроцессорной системы// Функционально ориентированные вычислительные системы. Часть 2. - Харьков: ХПИ, 1986. - С. 6Э-69.

17. Николаев И.А., Бабенко Л.К., Матвеева Л.Н., Омаров О.М. Организация вычислительного комплекса на базе многопроцессорной вычислительной системы для автоматизации физического

экспеоимента// Нвгестия Севзро-К&г-ксеексго нзучизго «»нтр» еысшей школы. Технические научи. ~ - К'-4. - С.25-30.

18. Бавенко Л. К., Лутай В.И. Реализация глгсритма быстрого преобразования Фур ьа на многопрписссоркой вычислительной систеиэ с программируемой архитектурой // Многспрочэссорныэ вычислительные структуры. -Т.-.ганроп ТРТИ, 19С6. - ВыпД (КУИ). - С.23-23. —

19. БаСенко Л.К., Иакареэич O.S. Принципы адаптации многопроцессорной вычислительной системы к рк-шзкии эаб*ч обработки изображений //Кнггопроазссерныз вичислительм^г» структуры. - таГ0„раг. ТРТИ, 19801. - Вып. 10 (H1HÎ. - С. 13-20.

20. Бабенка Л.К., Мзкгрсаич О.Б. . Сухиноэ А.И., Озчарг*нко О.И. Параллальнка алгеритны катода циклической . редукции для ре-еыгния сеточный зллптичгскге.' урэвнекмй //ТРТИ. - Таганрог; 1®?89. -36с. -Деп. s КИПЯТИ 04.3?. -8S 2EG2. - BS9,

21. Вабенко Л. К., !1икал&се И. А., Эитиска K.M. Вопросы коммутации г цифровых однородных сетках //"«огопроцсссорныэ

системы. - Таганрог! ТРТИ? 1931. - Е'ып. 3 СП Î ). - С. 35-37.

22. Николаев H.A., Бабенка il.К. , Сухичсг- А.И. Алгоритм решения многомерных паозЗолмчэ^ких ypfiBHCKt'.S и*- мнагопасцегсеркмх вычислительных систамах матричног-о типа //Вычислительные систочи н алгоритмы. - Роете»! РГУ, 1?33. - С. 3-17.

23. БзЗаико Л.К., Сухиксэ А.М. , РыЗицкая jI.ÎT. , Ка"яс* S.A. Амелиз возможностей применяй»;.-' итерационных методе» для речг-еыкя задачи фильтрации на кноРопрацэсссрньгч вычислитэлькух еистснак // Mstoau аотсмптиЕации проектирсэй.чия, прогрдоккрогй« ¡ws и модклирсааиия. - Таганрог! ÏFTW, 1932. - u'tti. . - C.76-Ö1.

24. Каляэз А.М^спсеич О.В. , ПаСанмо Я.К., Киколагг, М.й. , Катаеэ 0.9. йогмокнссти реализации уологыл процессоров дпА моделирования полай // Лвтоматиаеиия ггроиктирезакия деодтреккзй аппаратуры. - Таганрог» ТРТИ, 19ВЗ. - Вып.2.- С.20-27.

23. Бабэнко П.К. , Макаргаич O.S. , Оргаиигьцка пэрспсктиемыи многопроцессорных систем с про-р^нмиру&ияй срям-гектуэей, базирующихся чв параллельном процессоре? НС 2703 // Многопроцессорные вычислительмиз структурой - Тогакрвп tl*ÎH, 1970г. - Вып. 12 о:;:iî. -с. 9-15.

26. Вабонко Л.К. Методы и еррдетэя ргепвраллвлмевкил евлач s ЮС s программируемой архитектуре» и рекемфигусируг'тж управления // Труды IV Мэ*»»дс*ст*а«кого семинаре» "noBvai+wr »ФФектизности ескитнпю рзке*мего ооорукесгий. - Эмгвлыс if УПО, 19"?0.- С.31-55. -

27.'Бабенко Л. К., Макаревич О.Б., Сиецов С.fi. Многопроцессорная ьычислитвльная система г динамическим резервированием / Вопросы радиоэлектроники. Сер.ЗВТ, Вып N7, с.52-60.

2В. Бабенко Я.К., Какаревич О.Б., Сухинов А.Н., Максимов М.М., Рыбицквя Л, П. Оценка производительности многопроцессорной

вычислительной системы с программируемой архитектурой

//трти. - Таганрог: 1990. - 23с. - Дел. в ВИНИТИ 15.03.90.

№1416-В90.

2V. Бабенко Л.К. Принципы динамического управления прохождением заданий в многопроцессорной систгме с программируемой архитектурой // Вопросы совершенствования эффективности радиолакгционных средств войск ПВО в условия« радиоэлектронного противодействия противника. - Энгельс! ВЗРК УПО, 19ВВ. - С. 76—77.

30. Бабенка. Л.К., Карпов Е.В. , Осьмаков С.Г. Алгоритмы' обслуживания запросов решающего поля МВС с программируемой архитектурой //ТРТИ. -Таганрог! 1939. - 16с. -Деп. в БИНИТИ 26.04.S9. №2303. -BS9.

31. Бабенко Л.К. Сравнительный анализ перестраиваемых SIMD-MIMD систем и МВС с программируемой армитектурой и рекоифигурируемым потоком управления . //Труды IV Межведомственного семинара "Псвышемиа эффективности зенитного ракетного сооружения".-Энгельсt ВЗРК УПО, 1990.- С.45-50.

32. Каляев A.B., Макарееич О.Б. , Бабенко Л. К., Николаев H.A. и др. Архитектуоа МВС на вазе ЕС ЭВМ и спецпроцессора, ориентированного на моделирование еадач математической Фиёики. - Новосибирск! ИТПМ. 19S4. - С.40-43.

33. Каляев A.B., Вабенкс Л.К., Катаев О.В., - Макареоич O.E. 0 реализации' крупных операций на МВС с программируемой архитектурой параллельного типа //Препринт 8> 4-68. -Львов: ИППММ АН УССР, «983. - С.¡5-15.

34. Бабанко Л.К., Дыкина Т.К., Трдхтомиров А.Н, "Имитационная недель организации вычислительного процесса в МВС с программируемой архитектурой //Многопроцессорное вычислительные структуры. - Таганрога ТРТй, 1990. - Вып.12 (XXI).- С.15-19.

33. Бабенко Л.К., Макаревич Э.Б., Сухиное А.И., Овчаренко O.U. Параллельные алгоритмы метода циклической редукции для решения сеточных эллиптических уравнений. - М.,1989. - 36с. - Den. в ВИНИТИ 26.04.89. N 2802-Вв?,,,

7)6. ' Л.К. Бабенко, 0. В.Какармич, А.Н. Сухимс», О.М.Овчарврко» .. Реализация FACR(i)- алгоритмов ' на нногопрuuecçopfioft

Е-ычислительной систем«. - М. . 1991.- 33, е.- Леп. в ВИНИТИ '26.07.91. N! 3213-В91.

37. Л.К.Бабенко. 0.Б.Макаоевич. А.И. Сухйнов. 0. И. Ои'чаоенко.

Паоаллельные алгоситмы метола разложения па базису. -М.. 1991.57 е.- flen. в ВИНИТИ 10.09.91. №3666-391.

3S. L.K.Babenfco. О.В.Makarevich. A.G.Chefranov. Parallel

Drogramming Technology and Resource Management in Multiprocessor Systems // Parallel cDfrauHng technoloyies. -Hong Kong.- World Scientific. 1991. - d,495-302.

39. Л.К.Бабенко. О.В.Макаоевнч. Jl.H.Матвеева. Ооггнизация оежима реального есемеми на многопзоцесеозкой системе. // Многопроцессорные вычислительные структуры. Таганрог! ТГТИ. 1991. Выл.3(НХ11>. - с.12-15.

40. Бабенко Л.К.. Млкаиееич О.Б.. Матвеева Л.Н, Исследование сбалансипсегннасти по ипоаелении и санным з нмогапроиесссрна система реального времеки//Н.-югелроцесеоомые ^Ы'-.яслительн!.!!? структуры. Таганрог: ТРТМ, 1992. Вып.14(КК115). - С.19-27.

41. Makarevich О.В., Babenfco L.K. , CJiafranov А. С. J/sal efflantatlcn of the programming language parallel Fortran for multiprocessor systen with proarana able structure. - Proc. of Int. Conf. "Parallel computing technologies. (PaCT - 93), CbninsK. Russia. Aug. 30. - Sept. 4. 1993". - o.409-413.

42. Asmus V.V. . Babenlso 1..K., Makarevich O.B. . OvchsrenEiO 0.1. Parallel Realization of a clustering Algorithm for Multtzana sputnics Itnader bv the method of ttultidimenei vonal Htstoqraa Ana-lviing. - Proc. of First National Conf. of Indian Trimepufew User Group (ITUQ). - Pune, India, September 9-11, 1993.

43. Babenko L.K., Makarevich 0.9. , Chefrenov A.0. Xfttf^ratee Parallel Programs for Universal Multiprocessor Systems D*«igr system. - Proc. of First National Conf. of Indian Treneaut*r User Group tlTUG). - Puno, India. Septenijw 9-11, 1993.

44. A. c. 1413637(СССР). Устройство аля ^появления с&мямо» информацией /Л.К.Бабенке. О.Б.Н*кар**мч, О.Н.ОнврОО. О.В.Катаев, Н.В.Карпе». - Опубл. в ВИ, 1V38. - Г**3.

43. А.с. 1241245(СССР).Устройство для сапрлж»к>*ч миогепагассселке^ вычислительной системы с внешними устройствами* /И.А.Кикелаеа А.Г.Тишенко, Л.К.Ербемко. О.П.Омсрсв, А.О.Агремовский — в BU. 1906. - W2Q.

46. А.с. 13363B3<CCCP>. УетреЛетво аля ейслуюта»»*» ватовев»

■л

Л.К.Бабенко. Е.В.Карпов, С. Г.Осьмаков. О.М.Омаров. -Опив/1. в БИ. 1990. - №2.

47. A.c. 1387006(СССР). Коммутационное устройство /Л.К.Бабенко. В.Р.Баотини. В.Р.Спектор, О.Б.Макаревич.- Опубл. в БИ. 19SS. -»13.

48. A.c. 1550513(СССР) Устройство для обслуживания запросов / Л.К.Бабэнко, О.Б.Макврееич! С.Г.Осьмакое. 0.И.Омаров. - Опубл. в ЕИ, 199О. - №10.

49. A.c. 1674146 Устройство для централизованого управления вычислительной системой /Л.К.Бабенко. О.Б.Макарееич. О.М.Омаров, Е.В.Карпое. О.В.Катаев. - Опубл. в БИ. 1991. - N32.

'30. Устройство переманного приоритета /Л.К.Баиенко, В.Р.Бартини. Е.В.Карпов. С,Г.Осьмакое. - Заявка N4491056/24-24 (СССР). -Решение о выдано а.с. от 05.04.S9r. ' 51. A.c. 1621037 (СССР) Устройство для управление обменов информацией между ЭВМ и группами е.бонентое. /Л.К.Бабенко. В.Р.Бартини, Е.В.Карпов, С.Г.Осьмакое. - Опубл. в БИ. 1991. -N¡2.

52. A.c. 903851 (СССР). Устройство для обслуживания аапросов / Л.К.Бабенко, Е,В.Карпов, С.Г.Осьмакое, Е.Н.Стратулат. - Опубл. е БИ. 1991. - №I.

53. A.c. 1700336 (СССР) Устройство для управления вычислительной системой. /Л.К.Бабэнко, А.В.Каляев, О.Б.Макарееич, А.Г.Че«раное. - Опубл. в БИ. 1991. - №4?. -

54. A.c. 1633415 (СССР). Устройство для управления обслуживанием osnpocoe. /Л.К.Бааенко, Е.В.Карпов; С.Г.Осьмаков, В.Р.Бартини. - Опубл. в Etf. 1991. — №9.

53. A.c. 1709315 (СССР). Устройство для управления обслуживанием оапоосцэ /Л.К. Йабенко, В.Р. Бартини, Е.В. КаопоЕ, С.Г. Осьмакоо. - Опубл. в Ей. 1992. - №4.

Личный вклад автора е работах, опубликованных- в соавторстве.' составляют результаты, связанные с принципами построения МВС и - организацией в них параллельных .вычислений, с архитектурой и алгоритмами Функционирования отдельных подсистем, - с баэрвымн маханионами• организации проиассо®, с идеологией , построения параллельных языков программирования и методами раЬпараллелиеания прикладных задач в МВС, с идеологией построения и разработкой имитационных моделей, планированием и проведением экспериментов на

них.