автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.13, диссертация на тему:Проблемы коммутации и синхронной передачи информации в суперЭВМ

Г Г Б ом

10 МАЙ М

На правах рукописи

ПУЧКОВ ИГОРЬ ИВАНОВИЧ

ПРОБЛЕМЫ КОММУТАЦИИ И СИНХРОННОЙ ПЕРЕДАЧИ ИНФОРМАЦИИ В СУПЕРЭВМ

Специальность 05.13.13 - Вычислительные машины, комплексы,

системы и сети

Автореферат диссертации на соискание ученой стелени кандидата технических наук

Научный руководитель член-корресгтондент РАН, доктор технических наук, профессор

Мчтропольскнй Ю. И.

Москва - 2000

Работа выполнена в Институте системного анализа РАН (ИСА РАН)

Научный руководитель

член-корреспондент РАН, доктор технических наук, профессор Митропольский Юрий Иванович

Официальные оппоненты

доктор технических наук Шнитман Виктор Зиновьевич кандидат технических наук Хайлов Игорь Константинович

Ведущая организация

Институт точной механики и вычислительной техники им. С.А. Лебедева

Защита состоится

(ИТМ и ВТ)

12 ашл 2Ш г. в /б час. 00

мин. на заседании

диссертационного совета Д.200.45.01 при Институте высокопроизводительных вычислительных систем РАН по адресу: 117872, Москва, Нахимовский пр-кт, д. 36, корп. 1, ИВВС РАН

С диссертацией можно ознакомиться в библиотеке ИВВС РАН.

Автореферат разослан « /0» сшре*1Я

2000 г.

Ученый секретарь диссертационного совета Д.200.45.01 доктор физ.-мат. наук

Михайлюк М.В.

-т. ю

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность темы

Важное место в суперЭВМ занимает внутрисистемный обмен информацией, от сбалансированности которого с производительностью основных вычислительных средств, а также с объемами хранимой и обрабатываемой информации в конечном итоге и зависит эффективность работы всей вычислительной системы в целом.

При рассмотрении проблемы организации ввода/вывода в суперЭВМ существенная роль отводится созданию внутрисистемных каналов обмена для подключения различных абонентов системы, к числу которых относятся внешняя память и внешние машины, характеризующиеся высокой интенсивностью обмена. От правильного подхода к решению этой проблемы, в частности от соответствующей пропускной способности каналов, в большой степени зависит и достижение высоких характеристик производительности суперЭВМ в целом.

Особое место, как наиболее эффективные, занимают синхронные каналы, реализующие синхронные методы передачи информации, которые обеспечивают наиболее высокопроизводительный обмен между отдельными частями суперЭВМ.

В вычислительных суперсистемах, основанных на объединении большого числа процессоров, значительную роль в повышении обшей производительности всей суперсистемы играет система коммутации, обеспечивающая связь процессоров как между собой, так и с общей памятью. Поэтому выбор оптимальной архитектуры системы коммутации, обеспечивающей максимальную пропускную способность, масштабируемость суперсистемы и компактность реализации весьма важен.

Таким образом, проблемы коммутации и синхронной передачи информации в суперЭВМ являются весьма актуальными как при разработке конкретных суперЭВМ, так и при анализе архитектурных аспектов построения перспективных вычислительных суперсистем.

Цель работы

Целью и задачей настоящей работы является рассмотрение отдельных аспектов коммутации и передачи информации в суперЭВМ.

Из всего многообразия внутрисистемного обмена в суперЭВМ в работе анализируются наиболее напряженные информационные потоки, такие как, например, связи оперативной памяти центрального процессора с подсистемами дисковой памяти и внешней полупроводниковой памяти.

В рамках проекта перспективной неоднородной вычислительной суперсистемы, основанной на объединении различных процессоров на общей, глобально-адресуемой памяти, исследуется организация как межкластерных связей внутри массово-параллельного мультипроцессора с распределенной памятью, так и его связей с оперативной памятью, мультиконвейерным унипроцессором и диспетчером пакета заданий основного вычислительного модуля.

Исследуются подход к организации связи системной памяти с оперативной памятью и другими частями суперсистемы и структура высокопроизводительного канала системной памяти.

Наряду с проблемами обмена и коммутации, в работе рассматриваются те вопросы организации системы синхронизации в суперЭВМ, от оптимального решения которых в большой степени зависит возможность построения высокопроизводительных устройств обмена, в частности использующих для достижения заданных характеристик синхронные методы передачи информации.

Научная новизна работы

1. Разработана архитектура подсистемы обмена в суперЭВМ «Электроника СС БИС/1».

2. Предложена организация связи каналов с оперативной памятью суперЭВМ с использованием оптимальной комбинированной схемы приоритета. Рассмотрена процедура обработки прерываний центрального процессора, возникающих от каналов.

3. Предложены структура и алгоритмы работы высокопроизводительных каналов внутрисистемного обмена в суперЭВМ. Для их реализации сформулирован принцип организации синхронной связи с использованием фазового сдвига.

4. На основе анализа архитектуры перспективной неоднородной вычислительной суперсистемы предложена структура иерархического межкластерного коммутатора мультипроцессора. Предложен метод обмена информацией как между кластерами мультипроцессора, так и с оперативной памятью суперсистемы.

5. Предложена структура канала с высокой пропускной способностью, обеспечивающего связь между отдельными частями суперсистемы.

Практическая ценность и реализация

Разработанные автором устройства реализованы в отечественной суперЭВМ «Электроника СС БИС/1».

Предлагаемые иерархическая система коммутации и высокопроизводительный канал системной памяти могут быть использованы при дальнейшей разработке перспективной неоднородной вычислительной суперсистемы, что нашло свое отражение в проекте № 037.02.245 49 Миннауки РФ по программе «Информатизация России».

Личный вклад автора в получении научных результатов заключается в следующем:

• участие в разработке принципов построения подсистемы обмена суперЭВМ «Электроника СС БИС/1»;

• предложена структура каналов обмена с подсистемами дисковой памяти и внешней полупроводниковой памяти;

• сформулирован принцип синхронной связи с использованием фазового сдвига, получены аналитические выражения длин линий данных и синхросигнала и определен диапазон устойчивой работы синхронной передачи;

• разработаны, промоделированы и реализованы четыре устройства: ГПИ (ГРУППОВОГО ПРИОРИТЕТА И ИМИТАЦИИ), имеющее децимальный номер ЩЯ2.222.002-28, КС (КАНАЛОВ СИНХРОННЫХ), имеющее децимальный номер ЩЯ2.222.002-31, КСВИ (КАНАЛ СИНХРОННЫЙ ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ

ВВОДА), имеющее децимальный номер ЩЯ2.222.002-29, и КСВО (КАНАЛ СИНХРОННЫЙ ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ВЫВОДА), имеющее децимальный номер ЩЯ2.222.002-30, в составе суперЭВМ «Электроника СС БИС/1»;

• в рамках проекта перспективной неоднородной вычислительной суперсистемы предложены архитектура среды для высокопроизводительного обмена информацией в кластерном мультипроцессоре, алгоритмы передачи и форматы сообщений как между кластерами мультипроцессора, так и с оперативной памятью, исследованы структуры иерархического межкластерного коммутатора в целом и составляющих его центральных и периферийных узлов коммутаторов I и 11-го уровней;

• предложена структура многоразрядного канала с развитой буферной памятью, пиковая пропускная способность которого составляет 2 Гбайт/с.

Апробация результатов

Основные положения диссертации докладывались на следующих семинарах и конференциях: Отраслевой научно-технической конференции «Актуальные проблемы развития вычислительной техники» (Москва, 1988), семинаре Института высокопроизводительных вычислительных систем РАН (Москва, 1995, 1997), Пятом Международном семинаре «Распределенная обработка информации» (Новосибирск, 1995), International Workshop on Advanced Electronic Technology '95 (Moscow, 1995), VI Конференции РТА «Многопроцессорные системы, вычислительные технологии» (Домодедово, 1996), Шестом Международном семинаре «Распределенная обработка информации» (Новосибирск, 1998), Научной конференции, посвященной 70-летию со дня рождения академика В.А. Мельникова (Москва, 1999), семинаре отдела высокопроизводительных вычислительных систем Института системного анализа РАН (Москва, 1999, 2000).

Публикации

Пучков И.И. является автором 17 научных публикаций по теме диссертации.

Структура и объём диссертации

Диссертация состоит из введения, четырех глав, заключения и списка литературы. Содержание диссертации изложено на 98 страницах, включает в себя 25 рисунков, 7 таблиц и список литературы из 28 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во введении отмечается, что важное место в суперЭВМ занимает внутрисистемный обмен информацией, от сбалансированности которого с производительностью основных вычислительных средств, а также с объемами хранимой и обрабатываемой информации в конечном итоге и зависит эффективность работы всей вычислительной системы в целом.

При рассмотрении проблемы организации ввода/вывода в суперЭВМ существенная роль отводится созданию внутрисистемных каналов обмена для подключения различных абонентов системы, к числу которых относятся внешняя память и внешние машины, характеризующиеся высокой интенсивностью обмена. От правильного подхода к решению этой проблемы, в частности от соответствующей пропускной способности каналов, в большой степени зависит и достижение высоких характеристик производительности суперЭВМ в целом.

Отмечается, что особое место занимают синхронные каналы, реализующие синхронные методы передачи информации, которые обеспечивают наиболее высокопроизводительный обмен между отдельными частями суперЭВМ.

В вычислительных суперсистемах, основанных на объединении большого числа процессоров, значительную роль в повышении общей производительности всей суперсистемы играет система коммутации, обеспечивающая связь процессоров как между собой, так и с общей памятью. Поэтому выбор оптимальной архитектуры системы коммутации, обеспечивающей максимальную пропускную способность, масштабируемость суперсистемы и компактность реализации весьма важен.

Таким образом, проблемы коммутации и синхронной передачи информации в суперЭВМ являются весьма актуальными как при разработке конкретных суперЭВМ, так и при анализе архитектурных аспектов построения перспективных вычислительных суперсистем.

Из всего многообразия внутрисистемного обмена в суперЭВМ в работе анализируются наиболее напряженные информационные потоки, такие как, например, связи оперативной памяти центрального процессора с подсистемами дисковой памяти и внешней полупроводниковой памяти.

В рамках проекта перспективной неоднородной вычислительной суперсистемы, основанной на объединении различных процессоров на общей, глобально-адресуемой памяти, исследуется организация как межкластерных связей внутри массово-параллельного мультипроцессора с распределенной памятью, так и его связей с оперативной памятью, мультиконвейерным унипроцессором и диспетчером пакета заданий основного вычислительного модуля.

Рассмотрен подход к организации связи системной памяти с оперативной памятью и другими частями суперсистемы и разработана структура высокопроизводительного канала системной памяти.

Наряду с проблемами обмена и коммутации, в работе рассматриваются те вопросы организации системы синхронизации в суперЭВМ, от оптимального решения которых в большой степени зависит возможность построения высокопроизводительных устройств обмена, в частности использующих для достижения заданных характеристик синхронные методы передачи информации.

В первой главе исследуются два аспекта организации эффективной удаленной связи при внутрисистемном обмене информацией в суперЭВМ, а именно: построение как самих линий передачи данных от источника к приемнику, так и методов организации связи по ним.

Линии передачи данных характеризуются высокой пропускной способностью, надежностью и помехозащищенностью. Делаются выводы о том, что для повышения пропускной способности целесообразно увеличивать разрядность линии передачи, надежность передачи по линии обеспечивается введением информационной избыточности в

виде дополнительных контрольных разрядов, а помехозащищенность линии обеспечивается схемотехническими методами, к числу которых можно отнести построение линии передачи в виде сбалансированной дифференциальной системы. Эффективное использование таких линий возможно лишь при их наиболее полной загрузке и минимизации времени простоя, что достигается применением соответствующих методов организации связи, а также широким использованием буферизации передаваемой информации как на стороне источника, так и на стороне приемника.

Анализируются асинхронные и синхронные методы передачи информации. Первый из них характеризуется последовательным во времени обменом посылками данных и управляющими сигналами, причем передача последующей посылки возможна лишь в ответ на получение подтверждения от абонента о приеме предыдущей посылки. Удвоенное время распространения сигналов по линии увеличивает общее время передачи каждой посылки, что приводит к снижению пропускной способности линии. Асинхронный метод передачи характеризуется тем, что время ответа заранее не определено, кроме того, источник и приемник информации имеют дело с обособленными, несвязанными между собой системами синхронизации, что приводит к необходимости построения схем перепривязки к собственному синхросигналу.

При синхронном методе передачи в установившемся режиме последующая посылка данных передается без получения подтверждения от абонента о приеме предыдущей посылки. Такой способ предполагает использование согласованной временной диаграммы совместной работы как источника, так и приемника информации. При использовании единой системы синхронизации существенно упрощаются схемотехнические решения, так как отпадает необходимость в подсинхронизации.

Синхронный метод передачи позволяет организовать конвейер при обмене, а при использовании буферизации данных в установившемся режиме достигаются почти предельные значения пропускной способности линии.

Асинхронный метод передачи наиболее применим при организации удаленной связи между разнородными, обособленными устройствами, использующими, как правило,

типовые интерфейсы и алгоритмы обмена и отличающимися непредельными требованиями по пропускной способности.

Синхронный же метод передачи наиболее подходит для внутрисистемного обмена в суперЭВМ, характеризующегося высокой пропускной способностью, простыми алгоритмами работы, минимальным количеством управляющих сигналов в интерфейсе, а также минимальным количеством прерываний и простотой их обработки.

Сформулирован принцип синхронной связи, который предполагает:

1. Наличие синхронного и синфазного тактового сигнала на стороне передатчика и на стороне приемника информации.

2. Фиксированное время распространения информации от передатчика до приемника.

3. Использование специальных схемотехнических приемов, направленных на повышение помехоустойчивости передачи информации.

Схема организации синхронной передачи информации представлена на рис. 1.

Передатчик Линия данных Приемник

Линия синхросигнала

Рис. 1. Схема синхронной передачи информации Передатчик представляет собой тактируемую триггерную станцию, соединенную с выходным вентилем, работающим на сбалансированную парафазную линию передачи данных. В качестве приемника используется дифференциальный усилитель.

С помощью отдельной линии синхросигнала обеспечивается присутствие синхронного и синфазного тактового сигнала как на стороне передатчика, так и на стороне приемника. Для этого длина линии синхросигнала должна быть равна:

!<■ = ( к + 1) V Т, к =1,2,3

где: Ьс - длина линии синхросигнала ( м )

V - скорость распространения сигнала по линии ( м/нс ) Т - тактовый период синхросигнала ( не ). Предположим, что длина линии передачи данных составляет:

Ц = (к+1/2)УТ, к =1,2,3... При этом, на стороне приемника образуется фазовый сдвиг между рабочим фронтом синхросигнала и фронтом смены данных, равный половине периода синхросигнала, как показано на рис. 2.

Рабочий фронт синхросигнала

иг

:х

1_Г

Фронт данных

Рис. 2. Фазовый сдвиг между синхросигналом и данными

Фазовый сдвиг позволяет определить диапазон устойчивой работы синхронной передачи информации.

Определим диапазон устойчивой работы, для чего рассмотрим временную диаграмму рабочего такта, представленную на рис. 3, где обозначены: Д1 - суммарная задержка передатчика, Дг - суммарная задержка приемника.

кТ

(к + 1/2) Т

(к + 1) Т

Рис. 3. Временная диаграмма рабочего такта Исходя из рис.3, можно записать очевидное выражение для Ттах - максимального периода синхросигнала, еще не нарушающего правильной работы синхронной передачи:

кТ„ич + Д1 = (к+ 1/2) Т„ом, Тт„= [1 + 1/(2к)]Т„оч - Д,/к.

Аналогичное выражение для Тт;„ имеет вид:

(к+ 1) Ттш -Д2 = (к + 1/2) Тиом , ТтЬ = [1 - 1/(2 к + 2)] Твом + Д2 /(к + 1). Окончательно, диапазон устойчивой работы определяется выражением:

Д

- Т„

[1/ (2к ) + 1/(2к+ 2)] Т„ои - Д,/к - Д2/(к + 1),

из которого следует, что с ростом величины к (т.е. с увеличением длины линии передачи данных) диапазон устойчивой работы уменьшается. На рис. 4 представлены графики Т„,„ и Тт;„ для различных значений параметра к в сравнении с Т„оч,

Т не 18 16 14 12 10 8 6 4 2

2 4 б 8 10 12 14 16 18 не

Рис. 4. Диапазон устойчивой работы

С использованием принципа фазового сдвига автором были разработаны и реализованы в одной из первых отечественных суперЭВМ «Электроника СС БИС/1» синхронные каналы внутрисистемной передачи информации двух типов, а именно синхронный канал связи центрального процессора с дисковой подсистемой и высокопроизводительный синхронный канал связи с контроллером внешней полупроводниковой памяти. Оба канала работают при к = 2 и Т„„м = 15 не, но различаются протоколами обмена и форматами посылок данных.

Достижение приемлемых значений производительности обмена информацией в суперЭВМ подразумевает одновременную работу большого числа каналов ввода и вывода. Объединение этих каналов в ансамбль происходит при их обращении к оперативной памяти.

При этом одни каналы используют пословное обращение к памяти в режиме разделения времени, а другие каналы используют групповое обращение, на некоторое время монополизируя доступ к памяти. Кроме того, все указанные каналы имеют, как правило, различные пропускные способности и, как следствие, различную интенсивность обращений к памяти.

При организации системы приоритетов внутри ансамбля наиболее высокопроизводительным каналам, которые отличаются широким использованием буферов и используют групповое обращение к памяти, целесообразно назначать наивысший приоритет. По мере уменьшения производительности каналов, использования пословного обращения к памяти и различных принципов организации связи, в частности синхронного или асинхронного, приоритет должен соответственно снижаться.

На основе анализа предложена оптимальная комбинированная схема приоритета, когда все каналы ансамбля разбиваются на четное число групп небольшой размерности, а каждой группе по очереди выделяется одинаковый временной интервал. Приоритет каналов внутри группы - линейный. Критерием оптимальной работы комбинированной схемы приоритета ансамбля каналов является формирование в каждом такте одного запроса на обращение к памяти. Достижение этого требования возможно не только рациональным распределением каналов по группам, но и сбалансированным распределением заданий на обмен как между каналами из возможно большего числа разных групп, так и между одновременно работающими каналами различных типов.

Во второй главе описаны назначение и основные функции подсистемы ввода/вывода, заключающиеся в организации взаимодействия абонентов с оперативной памятью ЭВМ под управлением центрального процессора, в частности, в формировании обращений по чтению и записи как отдельных слов, так и массивов данных. Проведен анализ ряда известных подсистем ввода/вывода (БЭСМ-б, 1ВМ/370 и ЕС ЭВМ) с точки зрения их архитектуры, функций, режимов работы и приведены количественные характеристики. Описана структура подсистемы ввода/вывода суперЭВМ «Электроника СС БИС/1», которая включает в себя устройство обмена (УО), имеющее ряд отличительных особенностей, определяемых как составом абонентов, так и организацией обмена информацией с ними.

Описываются разработанные автором с использованием принципа фазового сдвига между синхросигналом и фронтом данных и реализованные в отечественной суперЭВМ «Электроника СС БИС/1» синхронные каналы внутрисистемного обмена информацией двух типов.

К первому из них относится синхронный канал связи основной машины с дисковой подсистемой, состоящий из двух симплексных каналов - ввода и вывода. Приводятся формат данных, интерфейсы и обобщенные временные диаграммы работы каналов. Описаны особенности функционирования каналов и флаги ошибок, формируемые для указания причин возникновения прерываний в каналах. Для проверки функционирования в технологическом режиме синхронных каналов ввода и вывода, проверки информационных кабелей связи с абонентами предназначен имитатор абонентов синхронных каналов. Приведена структурная схема имитатора и описана его работа с обоими каналами.

Ко второму типу относится синхронный высокопроизводительный канал, который предназначен для связи основной машины с подсистемой внешней полупроводниковой памяти. Этот канал отличается высокой пропускной способностью благодаря синхронному обмену массивами данных по широкой магистрали. Приведены структурные схемы симплексных каналов ввода и вывода, описаны особенности функционирования, причины возникновения прерываний в каналах и флаги ошибок, их поясняющие.

Описана организация связи каналов с оперативной памятью основной машины. Приведены структурная схема и алгоритм работы устройства, реализующего комбинированную схему приоритета каналов.

Рассмотрена организация в основной машине обработки прерываний, возникающих от каналов. Приведены алгоритм обработки прерываний и структурная схема устройства, которое его реализует.

Все устройства, описанные в главе 2, были разработаны и промоделированы автором, а затем и реализованы в отечественной суперЭВМ «Электроника СС БИС/1» в составе устройства обмена основной машины, которое включает в себя групповое и периферийное оборудование.

Так, в групповое оборудование устройства обмена входит устройство ГПИ (ГРУППОВОГО ПРИОРИТЕТА И ИМИТАЦИИ), имеющее децимальный номер ЩЯ2.222.002-28 и включающее в себя устройства группового обращения в память (ГОП), сбора информации в адресные регистры (САР) и имитации абонентов синхронных каналов (ИМИ).

В периферийное оборудование устройства обмена входит устройство КС (КАНАЛОВ СИНХРОННЫХ), имеющее децимальный номер ЩЯ2.222.002-31 и включающее в себя два синхронных канала ввода - КСИ1 и КСИЗ, и два синхронных канала вывода - КС02 и КС04, расположенных на одном процессорном блоке основной машины.

Также в состав периферийного оборудования входят устройство КСВИ (КАНАЛ СИНХРОННЫЙ ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ВВОДА), имеющий децимальный номер ЩЯ2.222.002-29, и устройство КСВО (КАНАЛ СИНХРОННЫЙ ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ВЫВОДА), имеющий децимальный номер ЩЯ2.222.002-30.

Моделирование вышеописанных четырех устройств осуществлялось с использованием автоматизированной системы логического проектирования «ПУЛЬС», которая была разработана в Институте точной механики и вычислительной техники имени С.А. Лебедева РАН.

Для каждого устройства были написаны математические модели на специальном входном языке формульного типа. Входные воздействия, в соответствии с логикой работы устройства, описывались в виде функциональных тестов. Результатом моделирования являлась потактовая временная диаграмма, которая включала в себя выходные, входные и некоторые промежуточные сигналы моделировавшегося устройства.

В процессе проектирования моделировались как отдельные устройства, так и объекты, состоящие из целого ряда устройств. Так, в частности, для проверки описанного в главе 1 принципа фазового сдвига между данными и синхросигналом была промоделирована совместная работа каналов синхронных (устройство КС), соединительных информационных линий связи с переменной задержкой распространения сигнала и имитатора абонентов каналов синхронных, размещенного в устройстве ГПИ.

По результатам моделирования, с использованием специально разработанной в НИИ «Дельта» системы, была выпущена техническая документация на устройства КС, ГПИ, КСВИ и КСВО, которые вошли в состав суперЭВМ «Электроника СС БИС/1».

Наладка и опытная эксплуатация этой суперЭВМ показали правильность принятых технических решений. Так, пропускные способности синхронных каналов (устройство КС) составили для одного симплексного канала - 32 Мбайта/с (при к = 2, длине информационной линии L = 7,5 м и периоде синхросигнала Т = 15 не). Пропускная способность синхронного высокопроизводительного канала (каждого из устройств КСВИ и КСВО) составила (при тех же условиях) 130 Мбайт/с.

В третьей главе рассмотрены отдельные аспекты построения иерархической системы коммутации в неоднородной вычислительной суперсистеме. Описана архитектура неоднородной вычислительной суперсистемы, состоящей из ряда сильно-связанных между собой вычислительных модулей и устройств, каждому из которых присуща своя, доминирующая форма параллелизма, и мониторно-моделирующей подсистемы, обеспечивающей подготовку задач к решению и создание условий для оптимального согласования форм параллелизма прикладных задач и аппаратных средств, что ведет к значительному повышению эффективности всей системы в целом.

Наличие в единой вычислительной суперсистеме разнородных составляющих, а именно мультиконвейерного унипроцессора, кластерного мультипроцессора, оперативной памяти и диспетчера пакета заданий в составе основного вычислительного модуля с одной стороны, и мониторно-моделирующей подсистемы, системной памяти, дисковой памяти и нескольких основных вычислительных модулей с другой стороны, приводит к необходимости построения иерархической системы коммутации, в которой выделяются два обобщенных уровня коммутации: внутримодульный и общесистемный.

Первый из них представлен межкластерным коммутатором мультипроцессора. На основе анализа подходов к построению систем коммутации в ряде известных мультипроцессорных систем (таких, как IBM SP2 и Cray T3D) делаются выводы о структуре коммутатора, способах передачи информации и методе маршрутизации. Для обеспечения коммутации достаточно большого числа узлов целесообразен

МУЛЬТИКОНВЕЙЕРНЫЙНЫЙ УНИПРОЦЕССОР

ОПЕРАТИВНАЯ ПАМЯТЬ ВЫЧИСЛИТЕЛЬНОГО МОДУЛЯ

-Я-Л-7Т

в ОП

в ДПЗ \ в ПУ КН --► Ч ^-

..ШММУТА.ШРЛШЛУКНШД.

МУЛЬТИПРО! ЩССОР

ОБЩАЯ ПАМЯТЬ КЛАСТЕРА

т

АДАПТЕР КОММУТАТОРА

ПУ К!

ОБЩАЯ ШИНА КЛАСТЕРА

! V V

КЭШ, КЭШ; • • • КЭШ8

I

МП, мп2 « • « мп8

КЛАСТЕР

К,

Ё

К4

ЦУ

г

О

К,

ЛУН

. .крммушр.Р.!:Ш. .УШИ Ш..

ГРУППА КЛАСТЕРОВ ГК8

Рис. 5. Структура коммутатора мультипроцессора

иерархический подход к построению коммутатора мультипроцессора, а именно каскадное соединение коммутаторов небольшой размерности, как показано на рис. 5, для которого рассмотрен метод передачи информации, приведены структурные схемы как всего коммутатора, так и входящих в его состав узлов. Предложены форматы сообщений для обмена информацией как отдельными кластерами мультипроцессора между собой, так и с оперативной памятью основного вычислительного модуля в режиме выполнения пословных и групповых операций чтения и записи.

Синхронный канал связи кластера с коммутатором позволяет удовлетворить требование масштабируемости кластерного мультипроцессора, состоящее в необходимости соединения между собой значительного числа кластеров. Рассмотрены вопросы реализуемости коммутатора и даны оценки его пропускной способности.

В четвертой главе исследуется канал системной памяти, который предназначен для обеспечения высокопроизводительного обмена между каждым из основных вычислительных модулей и системной памятью, а также для связи с мониторно-моделирующей подсистемой и с дисковой памятью суперсистемы и, таким образом, является средством объединения частей суперсистемы.

Иерархия памяти вычислительной суперсистемы состоит из оперативной памяти основного вычислительного модуля, общей системной памяти и внешней дисковой памяти большого объёма.

В системной памяти в качестве единицы хранения и обмена используется слово системной памяти, включающее в себя четыре 64-разрядных слова (256 информационных разрядов).

Системная память имеет 128 однонаправленных портов, причем 64 из них являются портами записи, а 64 других - портами чтения. Распределение портов имеет вид:

• 64 порта (по 32 порта чтения и записи соответственно) предназначены для связей с восемью основными вычислительными модулями;

• 32 порта (обоих типов) служат для связи с дисковой подсистемой;

• 16 портов предназначены для связи с мониторно-моделирующей подсистемой;

• 16 портов образуют системный резерв.

В максимальной конфигурации вычислительной суперсистемы емкость системной памяти может достигать единиц Терабайт. Пропускная способность одного порта системной памяти составляет 4 Гбайта/с..

Для защиты данных в системной памяти целесообразно использовать (288,256)-код, который является перемежением степени 4 модифицированного (72,64)-кода Хэмминга. Такой код исправляет одиночные и обнаруживает двойные независимые ошибки и одиночные байты ошибок длины 16.

Единицей хранения информации в многопортовой оперативной памяти основного вычислительного модуля служит 64-разрядное слово, а сама память имеет 48 однонаправленных портов, из которых 24 являются портами записи, а 24 - портами чтения. Функциональное распределение портов оперативной памяти выглядит следующим образом:

• 16 портов (по 8 портов чтения и записи соответственно) предназначены для связей с восемью центральными узлами коммутаторов 1-го уровня кластерного мультипроцессора;

• 16 портов (обоих типов) служат для связи с мультиконвейерным унипроцессором;

• 8 портов предназначены для связи с ансамблем каналов системной памяти;

• 2 порта обеспечивают работоспособность диспетчера пакета заданий;

• 6 портов могут быть использованы в других целях.

Емкость оперативной памяти зависит от конфигурации и составляет от 16 Гбайт до 128 Гбайт и более, а пропускная способность порта составляет 2 Гбайта/с.

Наиболее полное и эффективное использование канала системной памяти, базирующегося на синхронном типе обмена информацией, возможно лишь при организации обмена типа «буферная память - буферная память». Архитектурные особенности и алгоритмы работы абонентов канала системной памяти влияют на архитектуру самого канала. В качестве базовой модификации рассмотрим работу канала системной памяти в том случае, когда его абонентом выступает оперативная память основного вычислительного модуля (рис. 6). Канал системной памяти состоит из двух независимо работающих симплексных синхронных каналов - канала вывода и канала ввода. С целью достижения удовлетворительной производительности, информация по каналу системной памяти передается в формате слова системной памяти, состоящего из 256

Порт чтения

Ач

Дч

Буфер 1

Буфер 2

Выходной регистр

Системная память

Порт записи

А, | Дз

|

Буфер 1 Буфер 2

Входной регистр

Канал вывода

256

2 Гбайт/с

Канал ввода

256

2 Гбайт/с

Входной регистр

Буфер 1 Буфер 2

А, Дз

Выходной регистр

Буфер 1 Буфер 2

Ач Дч

*

64 ч 64 ч

2 Гбайт/с 2 Гбайт/с

г

Порт записи Порт чтения

Оперативная память ОВМ

Основной вычислительный модуль (ОВМ)

Рис. 6. Структура канала системной памяти

разрядов. Для повышения достоверности передаваемых по каналу системной памяти данных введена информационная избыточность в виде 32 контрольных разрядов, каждый из которых представляет собой дополнение до нечетности соответствующего байта данных. Повышение помехоустойчивости при передаче данных по каналу обеспечивается схемотехническими методами - использованием парафазной линии.

Опорным синхросигналом, используемым в работе канала системной памяти, является тактовый синхросигнал системной памяти. Данные и сопровождающие их сигналы управления передаются по синхронному каналу в виде двухтактных импульсов, что обеспечивает уверенный прием на стороне абонента.

Важной функцией канала системной памяти является согласование форматов данных. Так, для оперативной памяти основного вычислительного модуля необходимо выполнять преобразования 256 -» 64 и соответственно 64 256.

Возможность выполнения программы канала облегчает организацию обмена и позволяет минимизировать число системных прерываний.

В заключении указаны основные результаты диссертации.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ

Первая часть работы, включающая в себя главы 1 и 2, посвящена обоснованию принципов функционирования, разработке, наладке и опытной эксплуатации устройства обмена центрального процессора одной из первых отечественных суперЭВМ «Электроника СС БИС/1».

На основе анализа линий передачи данных и методов связи по ним сделан выбор в пользу синхронного способа передачи данных по многоразрядной сбалансированной дифференциальной линии.

Опираясь на сформулированный принцип синхронной связи с использованием фазового сдвига получены аналитические выражения длин линий данных и синхросигнала и определен диапазон устойчивой работы синхронной передачи.

Рассмотрено взаимодействие ансамбля каналов различных типов с оперативной памятью суперЭВМ и предложена комбинированная схема приоритета каналов ввода/вывода.

Для разработанных синхронных каналов ввода и вывода, связывающих центральный процессор с дисковой подсистемой, приведены форматы данных, интерфейсы и обобщенные временные диаграммы работы. Пиковая пропускная способность таких каналов составляет 32 Мбайта/с.

Разработанный имитатор абонентов синхронных каналов предназначен для проверки функционирования каналов ввода и вывода, соединенных информационными кабелями.

Для связи центрального процессора с подсистемой внешней полупроводниковой памяти разработаны синхронные высокопроизводительные каналы ввода и вывода, высокая пропускная способность каждого из которых (около 130 Мбайт/с) обеспечивается встроенной буферной памятью и синхронным обменом массивами данных по многоразрядной магистрали.

Описана реализация связи ансамбля каналов с оперативной памятью основной машины с использованием комбинированной схемы приоритета. Рассмотрена процедура обработки прерываний, возникающих от каналов.

Разработка и моделирование четырех устройств: ГПИ (ГРУППОВОГО ПРИОРИТЕТА И ИМИТАЦИИ), имеющего децимальный номер ЩЯ2.222.002-28, КС (КАНАЛОВ СИНХРОННЫХ), имеющего децимальный номер ЩЯ2.222.002-31, КСВИ (КАНАЛ СИНХРОННЫЙ ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ВВОДА), имеющего децимальный номер ЩЯ2.222.002-29, и КСВО (КАНАЛ СИНХРОННЫЙ

ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ВЫВОДА), имеющего децимальный номер ЩЯ2.222.002-30, осуществлялись с использованием автоматизированной системы логического проектирования «ПУЛЬС», разработанной в ИТМ и ВТ имени С.А. Лебедева РАН.

На специальном входном языке формульного типа для каждого устройства были написаны математические модели. Результатами моделирования, с учетом функциональных тестов, являлись потактовые временные диаграммы устройств.

В процессе проектирования моделировались объекты, состоящие из ряда устройств. Так была промоделирована совместная работа каналов синхронных (устройство КС), соединительных информационных линий связи с переменной задержкой распространения сигнала и имитатора абонентов каналов синхронных (ИМИ), размещенного в устройстве ГПИ.

По результатам моделирования, с использованием специально разработанной в НИИ «Дельта» системы, была выпущена техническая документация на устройства КС, ГПИ, КСВИ и КСВО, которые вошли в состав суперЭВМ «Электроника СС БИС/1», наладка и опытная эксплуатация которой показали правильность принятых технических решений.

Вторая часть работы, включающая в себя главы 3 и 4, посвящена дальнейшему развитию принципов организации внутрисистемного обмена информацией на примере разработки архитектуры перспективной неоднородной вычислительной суперсистемы.

В рамках основного вычислительного модуля предложена архитектура среды для высокопроизводительного обмена информацией в системе общей физически распределенной памяти кластеров мультипроцессора. Для выбранного метода коммутации сообщений рассмотрены форматы сообщений нескольких типов - как обмена информацией между отдельными кластерами мультипроцессора, так и операций с оперативной памятью основного вычислительного модуля - выполнения одиночных и групповых операций записи и чтения. Исследованы структуры иерархического межкластерного коммутатора в целом и составляющих его центральных и периферийных узлов коммутаторов I л П-го уровней.

Через 8 двунаправленных портов осуществляется тесная связь кластерного мультипроцессора с оперативной памятью основного вычислительного модуля, а через нее и с мультиконвейерным унипроцессором.

Для решения проблемы масштабируемости мультипроцессора связь отдельных кластеров с коммутатором осуществляется при помощи синхронных симплексных каналов внутрисистемного уровня.

Суммарная пиковая пропускная способность иерархического межкластерного коммутатора мультипроцессора составляет 95 Гбайт/с.

Канал системной памяти связывает между собой системную память неоднородной вычислительной суперсистемы и оперативную память основного вычислительного модуля, для которых соответственно рассмотрены многопортовая организация, форматы хранимой информации, функциональное распределение портов, методы исправления ошибок и приведены количественные характеристики.

Предложена структура многоразрядного канала с развитой буферной памятью, состоящего из двух симплексных синхронных каналов - вывода и ввода, для которых с учетом архитектуры неоднородной суперсистемы определены параметр канала (к) и длины информационных кабелей и кабеля синхросигнала.

Возможность выполнения программы канала, обеспечивающей передачу нескольких массивов данных, минимизирует число системных прерываний.

Суммарная интенсивность обмена между системной памятью и основным вычислительным модулем может достигать 16 Гбайт/с.

По теме диссертации автором опубликовано 17 научных работ, основными из которых являются следующие:

1. Мельников В.А., Митропольский Ю.И., Пучков И.И. и др. Разработка опытного образца и рабочего проекта высокопроизводительной вычислительной системы «Электроника СС БИС/1» // Научно-технический отчет по ОКР «Банк-3», ГР № Ф20303. -М.: НИИ «Дельта», 1986.

2. Мельников В.А., Митропольский Ю.И., Пучков И.И. и др. Вычислительная система «Электроника СС БИС/2» // Аванпроект по теме «Багаж», ГР № Х13224. - М.: НИИ «Дельта», 1988.

3. Камынина М.А., Пучков И.И. и др. Устройство обмена вычислительной системы «Электроника СС БИС/1» // Тезисы докладов отраслевой научно-технической конференции «Актуальные проблемы развития вычислительной техники». - М.: НИЦЭВТ, 1988.

4. Мельников В.А., Митропольский Ю.И., Пучков И.И. и др. Разработка головного образца и внедрение в серийное производство вычислительной системы «Электроника СС БИС/1» // Научно-техннческий отчет по ОКР «Банк-4», ГР № . - М.: НИИ «Дельта», 1989.

5. Анохин A.B., Ленгник Л.М., Митропольский Ю.И., Пучков И.И. Архитектура неоднородной вычислительной суперсистемы // Труды Пятого Международного семинара «Распределенная обработка информации», Институт физики полупроводников СО РАН. -Новосибирск. - 1995. - С. 22-27.

6. Anohin А. V., Lengnick L.M., Mitropolski Yu.I., Puchkov I.I. The research of heterogeneous supercomputer system // International Workshop on Advanced Electronic Technology '95. -Moscow.: The Korea Institute of Telematics and Electronics. - 1995. - P. 113-114.

7. Митропольский Ю.И., Анохин A.B., Пучков И.И. Архитектура коммутационной сети многопроцессорной системы // Доклад на VI Конференции РТА «Многопроцессорные системы, вычислительные технологии». - Домодедово. - 1996.

8. Анохин A.B., Ленгник Л.М., Митропольский Ю.И., Пучков И.И. Структура и состав неоднородной вычислительной суперсистемы // В сб: Вычислительные машины с нетрадиционной архитектурой. Супер ВМ. Выпуск 5. Неоднородные вычислительные суперсистемы. - М.: ИВВС РАН. - 1997. - С. 3-14.

9. Анохин A.B., Пучков И.И. Межкластерный коммутатор мультипроцессора // В сб: Вычислительные машины с нетрадиционной архитектурой. Супер ВМ. Выпуск 5. Неоднородные вычислительные суперсистемы. - М.: ИВВС РАН. - 1997. - С. 37-49.

10. Анохин A.B., Ленгник Л.М., Митропольский Ю.И., Пучков И.И. Архитектура и проблемы эффективности неоднородной вычислительной суперсистемы // Информационные технологии и вычислительные системы. - М.: ОИВТА РАН, ИВВС РАН. - 1997. 4. -С. 12-31.

11. Пучков И.И. Проблемы коммутации в неоднородной вычислительной суперсистеме // Труды Шестого Международного семинара «Распределенная обработка информации», Институт физики полупроводников СО РАН. - Новосибирск. - 1998. - С. 91-95.

12. Пучков И.И. Проблемы коммутации и синхронной передачи информации в суперЭВМ // Научная конференция, посвященная 70-летию со дня рождения академика В.А. Мельникова. Сб. докладов. - М. - 1999. - С. 238-241.

Введение.

Глава 1. Высокопроизводительная синхронная связь в суперЭВМ.

1.1. Линии передачи данных.

1.2. Методы организации связи.

1.3. Принцип синхронной связи в суперЭВМ.

1.4. Организация взаимодействия ансамбля каналов ввода/вывода с оперативной памятью суперЭВМ.

1.5. Выводы.

Глава 2. Синхронные каналы суперЭВМ и их связь с оперативной памятью.

2.1. Синхронный канал связи с дисковой подсистемой.

2.1.1. Канал синхронный ввода.

2.1.2. Канал синхронный вывода.

2.1.3. Имитатор абонентов синхронных каналов.

2.2. Синхронный канал связи с внешней полупроводниковой памятью

2.2.1. Канал синхронный высокопроизводительный ввода.

2.2.2. Канал синхронный высокопроизводительный вывода.

2.3. Связь каналов с оперативной памятью основной машины.

2.4. Организация обработки прерываний от каналов в основной машине

2.5. Разработка, моделирование и реализация устройств.

2.6. Выводы.

Глава 3. Построение иерархической системы коммутации в неоднородной вычислительной суперсистеме.

3.1. Архитектура неоднородной вычислительной суперсистемы.

3.2. Иерархическая система коммутации.

3.3. Межкластерный коммутатор мультипроцессора.

3.3.1. Метод передачи информации в коммутаторе.

3.3.2. Периферийный узел коммутатора 1-го уровня.

3.3.3. Центральный узел коммутатора 1-го уровня.

3.3.4. Коммутатор II - го уровня.

3.3.5. Синхронный канал связи кластера с коммутатором

3.3.6. Реализуемость и пропускная способность коммутатора

3.4. Выводы.

Глава 4. Канал системной памяти - дальнейшее развитие методов синхронной передачи информации.

4.1. Системная память вычислительной суперсистемы.

4.1.1. Архитектура системной памяти.

4.1.2. Исправление ошибок в системной памяти.

4.2. Оперативная память основного вычислительного модуля

4.3. Канал системной памяти.

4.3.1. Структура канала системной памяти.

4.3.2. Особенности работы канала вывода.

4.3.3. Особенности работы канала ввода.

4.4. Выводы.

Важное место в суперЭВМ занимает внутрисистемный обмен информацией, от сбалансированности которого с производительностью основных вычислительных средств, а также с объемами хранимой и обрабатываемой информации в конечном итоге и зависит эффективность работы всей вычислительной системы в целом.

При рассмотрении проблемы организации ввода/вывода в суперЭВМ существенная роль отводится созданию внутрисистемных каналов обмена для подключения различных абонентов системы, к числу которых относятся внешняя память и внешние машины, характеризующиеся высокой интенсивностью обмена. От правильного подхода к решению этой проблемы, в частности от соответствующей пропускной способности каналов, в большой степени зависит и достижение высоких характеристик производительности суперЭВМ в целом.

Особое место, как наиболее эффективные, занимают синхронные каналы, реализующие синхронные методы передачи информации, которые обеспечивают наиболее высокопроизводительный обмен между отдельными частями суперЭВМ.

В вычислительных суперсистемах, основанных на объединении большого числа процессоров, значительную роль в повышении общей производительности всей суперсистемы играет система коммутации, обеспечивающая связь процессоров как между собой, так и с общей памятью. Поэтому выбор оптимальной архитектуры системы коммутации, обеспечивающей максимальную пропускную способность, масштабируемость суперсистемы и компактность реализации весьма важен.

Таким образом, проблемы коммутации и синхронной передачи информации в суперЭВМ являются весьма актуальными как при разработке конкретных суперЭВМ, так и при анализе архитектурных аспектов построения перспективных вычислительных суперсистем.

Целью и задачей настоящей работы является рассмотрение отдельных аспектов коммутации и передачи информации в суперЭВМ. 5

Из всего многообразия внутрисистемного обмена в суперЭВМ в работе анализируются наиболее напряженные информационные потоки, такие как, например, связи оперативной памяти центрального процессора с подсистемами дисковой памяти и внешней полупроводниковой памяти.

В рамках проекта перспективной неоднородной вычислительной суперсистемы, основанной на объединении различных процессоров на общей, глобально-адресуемой памяти, исследуется организация как межкластерных связей внутри массово-параллельного мультипроцессора с распределенной памятью, так и его связей с оперативной памятью, мультиконвейерным унипроцессором и диспетчером пакета заданий основного вычислительного модуля.

Рассмотрен подход к организации связи системной памяти с оперативной памятью и другими частями суперсистемы и разработана структура высокопроизводительного канала системной памяти.

Наряду с проблемами обмена и коммутации, в работе рассматриваются те вопросы организации системы синхронизации в суперЭВМ, от оптимального решения которых в большой степени зависит возможность построения высокопроизводительных устройств обмена, в частности использующих для достижения заданных характеристик синхронные методы передачи информации.

Научная новизна работы заключается в следующем:

1. Разработана архитектура подсистемы обмена в суперЭВМ «Электроника СС БИС/1».

2. Предложена организация связи каналов с оперативной памятью суперЭВМ с использованием оптимальной комбинированной схемы приоритета. Рассмотрена процедура обработки прерываний центрального процессора, возникающих от каналов.

3. Предложены структура и алгоритмы работы высокопроизводительных каналов внутрисистемного обмена в суперЭВМ. Для их реализации сформулирован принцип организации синхронной связи с использованием фазового сдвига.

4. На основе анализа архитектуры перспективной неоднородной вычислительной суперсистемы предложена структура иерархического межкластерного коммутатора 6 мультипроцессора. Предложен метод обмена информацией как между кластерами мультипроцессора, так и с оперативной памятью суперсистемы.

5. Предложена структура канала с высокой пропускной способностью, обеспечивающего связь между отдельными частями суперсистемы.

Структурно, диссертационная работа состоит из введения, четырех глав и заключения.

4.4. Выводы

В главе 4 описан канал системной памяти, связывающий между собой системную память неоднородной суперсистемы и оперативную память основного вычислительного модуля.

Рассмотрена архитектура многопортовой системной памяти большого объёма. Описаны её двухуровневая организация и формат данных, функциональное распределение портов, даны количественные характеристики и метод исправления ошибок в системной памяти.

В качестве абонента канала системной памяти выступает многопортовая оперативная память основного вычислительного модуля, в которой используется расслоение памяти и введена трехуровневая организация. Приведены формат данных, распределение портов и количественные характеристики оперативной памяти.

Рассмотрена структура канала системной памяти, состоящего из двух симплексных синхронных каналов - вывода и ввода. С учетом архитектуры неоднородной суперсистемы определены параметр канала (к) и длины информационных кабелей и кабеля синхросигнала.

Простое управление обменом позволяет реализовать программу канала, которая обеспечивает передачу нескольких массивов данных, расположенных по разным адресам.

91

Выполнение программы канала облегчает организацию обмена и минимизирует число системных прерываний.

Рассмотрены особенности работы каналов ввода и вывода, преобразование форматов данных, приведены количественные характеристики каналов.

92

Заключение

В работе рассмотрены проблемы коммутации и синхронной передачи информации, возникающие при внутрисистемном обмене в суперЭВМ.

I. Первая часть работы, включающая в себя главы 1 и 2, посвящена обоснованию принципов функционирования, разработке, наладке и опытной эксплуатации устройства обмена центрального процессора одной из первых отечественных суперЭВМ «Электроника СС БИС/1».

На основе анализа линий передачи данных и методов связи по ним сделан выбор в пользу синхронного способа передачи данных по многоразрядной сбалансированной дифференциальной линии.

Опираясь на сформулированный принцип синхронной связи получены аналитические выражения длин линий данных и синхросигнала и определен диапазон устойчивой работы синхронной передачи.

Рассмотрено взаимодействие ансамбля каналов различных типов с оперативной памятью суперЭВМ и предложена комбинированная схема приоритета каналов ввода/вывода.

Для разработанных синхронных каналов ввода и вывода, связывающих центральный процессор с дисковой подсистемой, приведены форматы данных, интерфейсы и обобщенные временные диаграммы работы. Пиковая пропускная способность таких каналов составляет 32 Мбайта/с.

Разработанный имитатор абонентов синхронных каналов предназначен для проверки функционирования каналов ввода и вывода, соединенных информационными кабелями.

Для связи центрального процессора с подсистемой внешней полупроводниковой памяти разработаны синхронные высокопроизводительные каналы ввода и вывода, высокая пропускная способность каждого из которых (около 130 Мбайт/с) обеспечивается встроенной буферной памятью и синхронным обменом массивами данных по многоразрядной магистрали.

93

Описана реализация связи ансамбля каналов с оперативной памятью основной машины с использованием комбинированной схемы приоритета. Рассмотрена процедура обработки прерываний, возникающих от каналов.

Разработка и моделирование четырех устройств: ГПИ (ГРУППОВОГО ПРИОРИТЕТА И ИМИТАЦИИ), имеющего децимальный номер ЩЯ2.222.002-28, КС (КАНАЛОВ СИНХРОННЫХ), имеющего децимальный номер ЩЯ2.222.002-31, КСВИ (КАНАЛ СИНХРОННЫЙ ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ВВОДА), имеющего децимальный номер ЩЯ2.222.002-29, и КСВО (КАНАЛ СИНХРОННЫЙ ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ВЫВОДА), имеющего децимальный номер ЩЯ2.222.002-30, осуществлялись с использованием автоматизированной системы логического проектирования «ПУЛЬС», разработанной в ИТМ и ВТ имени С.А. Лебедева РАН.

На специальном входном языке формульного типа для каждого устройства были написаны математические модели. Результатами моделирования, с учетом функциональных тестов, являлись потактовые временные диаграммы устройств.

В процессе проектирования моделировались объекты, состоящие из ряда устройств. Так была промоделирована совместная работа каналов синхронных (устройство КС), соединительных информационных линий связи с переменной задержкой распространения сигнала и имитатора абонентов каналов синхронных (ИМИ), размещенного в устройстве ГПИ.

По результатам моделирования, с использованием специально разработанной в НИИ «Дельта» системы, была выпущена техническая документация на устройства КС, ГПИ, КСВИ и КСВО, которые вошли в состав суперЭВМ «Электроника СС БИС/1», наладка и опытная эксплуатация которой показали правильность принятых технических решений.

П. Вторая часть работы, включающая в себя главы 3 и 4, посвящена дальнейшему развитию принципов организации внутрисистемного обмена информацией на примере разработки архитектуры перспективной неоднородной вычислительной суперсистемы.

В рамках основного вычислительного модуля предложена архитектура среды для высокопроизводительного обмена информацией в системе общей физически

94 распределенной памяти кластеров мультипроцессора. Для выбранного метода коммутации сообщений рассмотрены форматы сообщений нескольких типов - как обмена информацией между отдельными кластерами мультипроцессора, так и операций с оперативной памятью основного вычислительного модуля - выполнения одиночных и групповых операций записи и чтения. Исследованы структуры иерархического межкластерного коммутатора в целом и составляющих его центральных и периферийных узлов коммутаторов I и П-го уровней.

Через 8 двунаправленных портов осуществляется тесная связь кластерного мультипроцессора с оперативной памятью основного вычислительного модуля, а через нее и с мультиконвейерным унипроцессором.

Для решения проблемы масштабируемости мультипроцессора связь отдельных кластеров с коммутатором осуществляется при помощи синхронных симплексных каналов внутрисистемного уровня.

Суммарная пиковая пропускная способность иерархического межкластерного коммутатора мультипроцессора составляет 95 Гбайт/с.

Канал системной памяти связывает между собой системную память неоднородной вычислительной суперсистемы и оперативную память основного вычислительного модуля, для которых соответственно рассмотрены многопортовая организация, форматы хранимой информации, функциональное распределение портов, методы исправления ошибок и приведены количественные характеристики.

Предложена структура многоразрядного канала с развитой буферной памятью, состоящего из двух симплексных синхронных каналов - вывода и ввода, для которых с учетом архитектуры неоднородной суперсистемы определены параметр канала (к) и длины информационных кабелей и кабеля синхросигнала.

Возможность выполнения программы канала, обеспечивающей передачу нескольких массивов данных, минимизирует число системных прерываний.

Пиковая пропускная способность симплексного канала системной памяти составляет 2 Гбайт/с. С учетом общего числа каналов системной памяти, составляющего 4 пары каналов ввода/вывода, суммарная интенсивность обмена между системной памятью и основным вычислительным модулем может достигать 16 Гбайт/с.

95

Дальнейшее повышение пропускной способности каналов внутрисистемного обмена до значений в десятки и сотни Гигабайт/с по-видимому возможно лишь с применением иных физических принципов передачи информации. Так, в частности, представляется весьма перспективным использование для этой цели оптических каналов, обладающих высокими частотными характеристиками, помехозащищенностью и малыми потерями (0,2 дБ/км на длине волны 1,55мкм).

Однако их широкое применение сдерживается необходимостью преобразования представления информации из электронного вида в оптический и обратно, и связанными с этим существенными, в настоящее время, накладными расходами.

По мере развития интегральной схемотехники, упомянутые расходы на преобразование информации из одного вида в другой будут неуклонно снижаться, что откроет путь к использованию нового диапазона пропускной способности каналов обмена.

96

1. Мельников В.А., Митропольский Ю.И., Пучков И.И. и др. Исследование применения больших матричных быстродействующих схем и микропроцессоров в вычислительных системах // Эскизный проект по теме «Банк-2», ГР № Ф15939. - М.: НИИ «Дельта», 1982.

2. Мельников В.А., Митропольский Ю.И., Пучков И.И. и др. Разработка опытного образца и рабочего проекта высокопроизводительной вычислительной системы «Электроника СС БИС/1» // Научно-технический отчет по ОКР «Банк-3», ГР № Ф20303. -М.: НИИ «Дельта», 1986.

3. Мельников В.А., Митропольский Ю.И., Пучков И.И. и др. Вычислительная система «Электроника СС БИС/2» // Аванпроект по теме «Багаж», ГР № Х13224. М.: НИИ «Дельта», 1988.

4. Камынина М.А., Пучков И.И. и др. Устройство обмена вычислительной системы «Электроника СС БИС/1» // Тезисы докладов отраслевой научно-технической конференции «Актуальные проблемы развития вычислительной техники». М.: НИЦЭВТ, 1988.

5. Мельников В.А., Митропольский Ю.И., Пучков И.И. и др. Разработка головного образца и внедрение в серийное производство вычислительной системы «Электроника СС БИС/1» // Научно-технический отчет по ОКР «Банк-4», ГР № . М.: НИИ «Дельта», 1989.

6. Мельников В.А., Митропольский Ю.И., Пучков И.И. и др. Вычислительная система «Электроника СС БИС/2» // Эскизный проект по теме «Багаж-2», ГР № . М. НИИ «Дельта», 1991.

7. Митропольский Ю.И., Анохин А.В., Пучков И.И. и др. Исследование архитектуры, физико-технологических основ реализации и методологии проектирования перспективных суперкомпьютерных систем//Научный отчет. -М.: ИВВС РАН, 1994.

8. Stunkel С.В. et al. The SP2 High-Performance Switch // IBM System Journal. 1995. -V. 34, № 16. -P. 185-203.

9. Scott S.L. Synchronization and Communication in the T3E multiprocessor // ACM SIGPLAN Notices. 1996. - V. 31, № 9. - P. 26-36.

10. Анохин A.B., Ленгник Л.М., Митропольский Ю.И., Пучков И.И. Архитектура неоднородной вычислительной суперсистемы // Труды Пятого Международного семинара97

11. Распределенная обработка информации», Институт физики полупроводников СО РАН. -Новосибирск. 1995. - С. 22-27.

12. Митропольский Ю.И. Концепции построения неоднородных вычислительных суперсистем // Труды Пятого Международного семинара «Распределенная обработка информации», Институт физики полупроводников СО РАН. Новосибирск. - 1995. - С. 4246.

13. Митропольский Ю.И. Суперсистемы следующий этап развития суперЭВМ // Информационные технологии и вычислительные системы. - М.: ОИВТА РАН, ИВВС РАН. - 1996. -№ 1. - С. 9-16.

14. Митропольский Ю.И., Анохин A.B., Пучков И.И. Архитектура коммутационной сети многопроцессорной системы // Доклад на VI Конференции РТА «Многопроцессорные системы, вычислительные технологии». Домодедово. - 1996.

15. The СВ-С10 family. Data book NEC Electronic Inc. Doc. No. A12504EU1VODSOO, 1997.

16. Митропольский Ю.И. Мультиконвейерный унипроцессор // В сб: Вычислительные машины с нетрадиционной архитектурой. Супер ВМ. Выпуск 5. Неоднородные вычислительные суперсистемы. М.: ИВВС РАН. - 1997. - С. 50-64.98

17. Анохин А.В., Пучков И.И. Межкластерный коммутатор мультипроцессора // В сб: Вычислительные машины с нетрадиционной архитектурой. Супер ВМ. Выпуск 5. Неоднородные вычислительные суперсистемы. М.: ИВВС РАН. - 1997. - С. 37-49.

18. Бояринов И М. Исправление ошибок в полупроводниковой памяти вычислительной системы // В сб: Вычислительные машины с нетрадиционной архитектурой. Супер ВМ. Выпуск 5. Неоднородные вычислительные суперсистемы. М.: ИВВС РАН. - 1997. - С 82-100.

19. Анохин А.В., Ленгник Л.М., Митропольский Ю.И., Пучков И.И. Архитектура и проблемы эффективности неоднородной вычислительной суперсистемы // Информационные технологии и вычислительные системы. М.: ОИВТА РАН, ИВВС РАН. - 1997. -№ 4. - С. 12-31.

20. Пучков И.И. Проблемы коммутации в неоднородной вычислительной суперсистеме // Труды Шестого Международного семинара «Распределенная обработка информации», Институт физики полупроводников СО РАН. Новосибирск. - 1998. - С. 91-95.

21. Митропольский Ю.И., Анохин А.В., Пучков И.И. и др. Разработка архитектуры перспективной высокопроизводительной вычислительной системы // Проект 037.02.245.49 Миннауки РФ. Итоговый отчет. М.: ИВВС РАН, 1998.

22. Пучков И.И. Проблемы коммутации и синхронной передачи информации в суперЭВМ // Научная конференция, посвященная 70-летию со дня рождения академика В.А. Мельникова. Сб. докладов. -М. 1999. - С. 238-241.

23. Принципы работы системы ШМ/370. Пер. с англ.-М.: Мир, 1978.-576 С.

24. Интерфейсы систем обработки данных: Справочник / Под ред. А.А. Мячева.-М.: Радио и связь, 1989. -416 С.

25. К. Hwang. Advanced Computer Architecture. -N.Y.: Mc.Craw-Hill. -1993.