автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.13, диссертация на тему:Разработка моделей, методов и структурных средств взаимодействия процессоров и параллельной общей памяти в мультимикропроцессорных вычислительных системах

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ РАН

УДК 681.32 На правах рукописи

СОКОЛ Юрий Михайлович

РАЗРАБОТКА МОДЕЛЕЙ. МЕТОДОВ И СТРУКТУРНЫХ СРЕДСТВ ВЗАИМОДЕЙСТВИЯ ПРОЦЕССОРОВ И ПАРАЛЛЕЛЬНОЙ ОБЩЕЙ ПАМЯТИ В МУЛЬТИМИХРОПРОЦЕССОРНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ

Специальность 05.13.13 - Организация структур и вычислительных процессов а ЭВМ,. комплексах и системах

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук

Москва

19 9 4

Работа выполнена в Научно-производственном центр« "ЭЛВИС" НПАО "ЭЛАС".

Официальные оппоненты: д.т.н., проф. Барский А.Б.

д.т. в., проф. Баварии Г. П. д.т.н., проф. Игиатущенко В.В

Ведущая организация: Институт точной механики и

вычислительной техники РАН

Защита состоится "_" __ 1994г. в _час._ми:

на заседании специализированного совета Д 002.68.01 Института Проблем Управления РАН по адресу: 117342, Москва, Профсоюзная 65. ИЛУ.

С диссертацией можно ознакомится в библиотеке Институ проблем управления

Автореферат разослан "_* _ 1994г.

Прсим принять участие в работе совета или прислать отзыв одном экземпляре, заверенный печать» организации

Ученый секретарь Специализированного

совета Д 002.69.01 Оркевич Е.

к. т.н.

- 3 -

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность тепы диссертации. Разработка и развитие проблемы повыаения эффективности вычислительных средств включает, в частности, разработку, исследование и внедрение новых архитектурных и структурнмх принципов повышения реальной производительности вычислительных систем, основанных на параллельной организации вычислительных процессов. Важное место в этом направлении занимает разработка и внедрение в народное хозяйство мультипроцессорных вычислительных систем (ЮС). Потребность в создании таких систем и их значение определяются тем, что они могут обеспечить принципиально более высокие, рекордные показатели производительности, живучести и готовности по сравнению с однопроцессорными ЭВМ за счет непосредственного воплощения параллелизма в архитектуре, структуре и программном обеспечении.

Одним из важных и перспективных направлений развития вычислительной техники на современном этапе является создание мультимикропроцессорных систем (ММС1. Появление дешевых и надежных микропроцессоров повысило возможности построения мультипроцессорных систем с одной стороны, а с другой - обострило старые и породило новые проблемы синтеза многопроцессорных вычислительных структур.

Практическая разработка и создание высокопроизводительных ИБС на базе микропроцессоров требует критического анализа известных архитектурных и структурных решений и их эффективности, что приводит к новым постановкам задач проектирования и/или модификации известных решений. Экспериментальное макетирование столь сложных систем, как ШС со многими потоками команд и данных, с громадным разнообразием допустимых вариантов организации структур и процессов, находяздхся в поле зрения разработчиков, представляется невозможным. Поэтому главным направлением исследований при практической разработке ШС является математическое моделирование и теоретическое обоснование принимаемых решений.

Анализ перспективных направлений развития ШС показал необходимость теоретического исследования таких вопросов, как влия-гае неполаосвяэного интерфейса на эффективность системы, совмещение работы процессора в памяти и эффект введения в процессоры »нутренней памяти, доступной другим процессорам. Одной из иамбо-!ее важных проблем при организации взаимодействия процессоров с памятью является рациональное сочетание конвейерной обработки в :роцессорах с их параллельной работой в системе. Резанаее зкач*-¡ие для повызения* производительности МВС имеет развитие нетрадиционных принципов организации внутрисистемного интерфейса, осио-икяих на использовании распределенное буферной аамжтя.

Целью диссертационной работы является разработка и теоретическое исследование комплекса новых структурных и, частично, архитектурных принципов, методов и средств организации центральной части (вычислительного ядра) МВС со многими потоками команд и данных, ориентированных на использование современной микропроцес сорной технологии и направленных на повышение реальной производительности таких систем с позиций концепции совместного использования общих ресурсов параллельными процессами и с совмещением использования нескольких ресурсов одним процессом, учитывающих стохастический характер функционирования и прогрессивные формы организации и описания последовательно-параллельных процессов.

Основные задачи диссертационной работы, определяемые поставленной целью, и новые теоретические и практические результаты, которые выносятся на защиту, состоят в разработке и исследовании принципов организации основных взаимосвязанных компонентов вычислительного ядра МВС рассматриваемого класса - совокупности параллельных вычислительных ресурсов системы (процессоров), модулей параллельной общей памяти и объединяющих их систем коммутаций. При этом, в отличие от решенных ранее задач, в работе решается задача комплексного подхода к аналитическому исследованию трех взаимосвязанных подсистем (процессоры-система ком-мутации-память) в сочетании с более детальным уровнем рассмотрения и описания функционирования каждой подсистемы.

Это предполагает теоретическое обобщение и дальнейшее развитие методов математического моделирования вычислительных систем.'Достижение указанной цели дает разработчику вычислительных средств аппарат и методы, с помощью которых он может быстро и достаточно корректно оценивать различные варианты архитектурно-структурных решений и выбирать лучшие из них. Это позволяет сформулировать задачу корректного выбора архитектуры ВС для конкретной области применения как математическую задачу, решаемую в диссертации.

В частности, в работе на аналитических моделях проводится исследование мультипроцессорной системы с модулями индивидуальной памяти, непосредственно доступными своим процессорам, а по общей магистрали - другим процессорам, и с модулями общей памяти, доступными со стороны процессоров как по полносвязному, так :: по неполносвязному интерфейсу, и с совмещением работы процессора и памяти с реализацией конвейерного принципа взаимодействия процессора с памятью.

В развитие принципа распределенной буферной памяти в диссертации предлагаются различные структурные варианты буферизации запросов от процессоров к модулям общей памяти и получень аналитические зависимости, позволившие провести комплексное

исследование влияния буферизации на время простоя процессоров из-за конфликтов в модулях общей памяти.

Научная новизна и оригинальность работы состоит в разработке, обосновании и аналитическом исследовании комплекса новых структурных и алгоритмических принципов, методов и средств повышения производительности МВС с совместным использованием общих ресурсов несколькими параллельными процессорами и с совмещением использования нескольких ресурсов одним процессом, с учетом стохастического характера функционирования МВС и их подсистем и в ориентации на практическое проектирование структур и алгоритмов функционирования вычислительного ядра МВС со многими потоками команд и данных на базе микропроцессоров. Дальнейшее развитие получило математическое исследование структурной организации буферизованного доступа работающих по конвейерному принципу процессоров к параллельной общей памяти.

Практическая ценность работы. Разработанные в диссертации методы доведены до инженерных методик расчета производительности основных архитектурных и структурных компонент мультипроцессорных систем. Это позволяет научно обосновано решать такие важные а практике разработки и создания МВС задачи, как разработка и анализ структуры системы коммутации (внутрисистемного интерфейса) между процессорами и модулями общей памяти, выбор рациональной структуры и конфигурации МВС по заданной производительности с учетом количества и особенностей потоков обращений к различным модулям памяти; разработка и анализ новых структурных средств и режимов взаимодействия конвейерных процессоров с параллельной общей памятью; сопоставительный анализ по пропускной :пособности с традиционными структурами интерфейсов.

Достоверность научных положений, выводов и практических ре-:омендаций подтверждена корректным обоснованием и анализом мате-(атических моделей рассматриваемых структур и процессов. В тео->етических исследованиях существенно используются методы струк-•урно-логического проектирования вычислительных систем, методы ■еории вероятностей и массового обслуживания. Основные положении ;иссертации обоснованы путем строгой формализации, экспериме:.— ального моделирования и сопровождаются наглядным представлением езультатов. Обоснованность предлагаемых аналитических методов асчета эффективности мультипроцессорных систем подтверждена ре-ультатами статистического моделирования.

Реализация результатов работы. Результаты теоретических ис-ледований использованы при проектировании высокопроизводитель-ых микро-ЭВМ в рамках НИР и ОКР по темам "Электроника НЦ-05", Развитие 1", "Электроника 8501", "Салют 21","Салют 22" и "Салют 4". Результаты исследований позволили всесторонне оценить раз-

яичные варианты построения ШС с цельи выбора оптимальных вариантов и реализовать ряд рекомендаций, направленных на повышение производительности и возмохности построения многопроцессорных систем с эффективным использованием процессоров. В частности:

1. Анализ различных вариантов микропрограммной реализации системы команд и оценха пропускной способности микро-ЭВМ "Электроника НЦ-05* и систем на ее основе позволили выявить эффективные алгоритмы микропрограмм и определить состав операций комплекта БИС серии 1802, хорошо согласующегося с архитектурными особенностями и микропрограммным управлением микро-ЭВМ. В результате, только за счет эффективно составленных микропрограмм и незначительного объема дополнительной аппаратуры пропускная способность микро-ЭВМ и систем увеличилась не менее чем на четверть.

2. Исследования проектируемой мультипроцессорной вычислительной системы на базе микро-ЭВМ "Электроника НЦ-05" показали необходимость введения блохов внутренней памяти в процессоры, что позволило увеличить число процессоров на общей магистрали до четырех. Для построения мультипроцессорных систем большой производительности рекомендуется построение многомагистральных систем с использованием двухвходовых модулей памяти.

3. Практические рекомендации работы позволили повысить производительность проектируемых систем на десятки процентов.

Практическое использование результатов диссертационной работы подтверждено соответствующими документами по внедрению, авторскими свидетельствами на изобретения, а также отражено в научно-технических отчетах НИР и ОКР по указанным темам.

Аппробация работы. Основные результаты работы были доложены на IV и VI Республиканских конференциях молодых ученых и специалистов "Вопросы микроэлектроники" (Тбилиси, 1980, 1987), Всесоюзном совещании "Применение микропроцессоров в системах управления (Москва, 1982), Всесоюзной научно-технической конференции "Современное состояние и тенденции развития отечественных МСВТ" (Москва, 1990), Международной конференции "Высокопроизводительные системы, в управлении и научных исследованиях" (Алма-Ата, 1991), а также на ряде отраслевых конференций.

Публикации. В изданиях, рекомендованных ВАК для опубликования научных результатов докторской диссертаций, непосредственно но теме диссертации опубликовано 30 печатных работ.

Структура диссертации. Диссертация состоит из введения, вести глав, заключения, списка литературы, включающего 159 работ отечественных и зарубежных авторов, и приложений.

Объем диссертации: 276 стр. текста, 40 стр. рисунков и таблиц, список литературы на 11 стр.. приложения, включающие материалы по внедрению результатов диссертации, на 28 стр.

- 7 -

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность исследуемой в диссертации проблемы, формулируются цель диссертационного исследования и новые теоретические и практические результаты, которые выносятся на защиту.

Глава 1 имеет обзорный характер и, кроме того, в ней конкретизируются задачи исследования эффективности мультимикропроцес-сорных вычислительных систем и описываются методы исследования.

Под мультипроцессорной системой в работе понимается такая вычислительная система, которая содержит несколько устройств обработки информации (процессоров), действующих по принципу параллельного исполнения множественного потока команд с множественным потоком данных (МКМД), общую память (ОП), доступную для всех или для группы процессоров, устройства ввода-вывода с общим доступом и единую операционную систему, осуществляющую общее управление всеми аппаратными и программными средствами. Каждый из процессоров такой системы может иметь собственную локальную память.

Мультимикропроцессорная система содержит несколько одновременно работающих микропроцессоров. Под микропроцессором понимается функционально законченное устройство, которое реализуется в виде одной или нескольких БИС и выполняющее функции обработки информации в соответствии с программой, поступающей на ее вход.

Микропроцессорная реализация мультипроцессорных систем имеет ряд специфических особенностей. Построение МВС на базе микропроцессоров обладает воз?дожностью модульного наращивания вычислительных ресурсов системы и магистральной организацией, являющейся обязательной для микропроцессоров из-за ограниченности числа выводов их корпуса. Решение в ММС задачи с большим объемом вычислений достигается за счет ее разделения на более мелкие части и высокой степени параллельности вычислений, реализуемых с помощью большого числа микропроцессоров. Эти микропроцессоры работают в значительной степени асинхронно.

Наличие большого числа асинхронно работающих активных устройств, способных по собственной инициативе использовать ресурсы системы, предъявляют высокие требования к организации взаимодействия устройств. Требуется быстро и достаточно простыми средствами коммутировать источники и приемники информации, устранять конфликтные ситуации при одновременном затребовании несколькими процессорами одного и того же ресурса. В связи с изложенным наибольшую актуальность приобретают поиски и теоретические обоснования таких структурных организаций ММС, которые бы без существенного увеличения оборудования приводили к повышению их эффективности.

Распространенными концепциями построения микропроцессоров

являются микропрограммирование и совмещение операций во времени. Микропрограммирование позволяет сократить объем и стоимость аппаратуры микропроцессора, а также обеспечить легкую адаптируемость микропроцессора в различных областях применения. Частичное или полное совмещение операций во времени является одним из самых эффективных методов повышения быстродействия микропроцессоров. Совмещение может применятся как к самому процессору, так и к взаимодействию процессора с внешней памятью и периферийными устройствами. Основу реализации принципа совмещения составляет конвейерный принцип работы процессора, использующий внутренний параллелизм выполнения программы (опережающая подкачка и просмотр команд, предварительный выбор операндов и т.д.). При этом конвейерный принцип распространяется на коммутирующую среду и память.

Архитектура современных ММС в основном повторяет архитектуру обычных мультипроцессорных систем. Однако для построения ММС в силу магистральной ориентации микропроцессоров наиболее привлекательным оказывается использование единственной разделямой во времени магистрали. Для уменьшения конфликтов на общей магистрали или в модулях общей памяти к каждому процессору подключается модуль индивидуальной памяти, непосредственно доступный своему процессору, минуя общую магистраль.

Поскольку число активных модулей, присоединенных к одной магистрали, ограничено, то для достижения большей производительности предлагается построение многомагистральных систем с мно-говходовыми модулями памяти с неполносвязным или иерархически организованным интерфейсом. В таких системах на каждую магистраль подключается несколько процессоров, модулей памяти и устройств ввода-вывода, а связь между магистралями осуществляется посредством межмагистральных коммутаторов или многовходовых модулей памяти. Применение таких структур обеспечивает высокую гибкость и практически любую степень расширяемости системы.

В качестве критерия эффективности в работе выбрана пропускная способность системы на смеси команд, определяемая средним числом команд, выполняемых системой в единицу времени. Основными факторами, влияющими на пропускную способность мультипроцессорной системы, являются характеристики процессоров и модулей памяти и организация связи между ними. Поэтому в качестве объекта исследования в данной работе выбрано ядро МВС как наиболее специфичная часть всей системы, которая при достаточно высокой нагрузке определяет производительность всей системы. По определению, ядро ВС - это совокупность процессорных модулей, модулей ОП и схемы коммутации их между собой.

Процесс функционирования вычислительной системы - это процесс выполнения совокупностью процессоров некоторого набора

программ. Случайный характер инициирования программ, практическая непредсказуемость значений данных, обрабатываемых программой, и связанная с этим случайность временных интервалов взаимодействия модулей ВС приводит к необходимости рассматривать процесс функционирования ВС как случайный процесс и изучать его с позиций теории вероятностей и математической статистики.

В соответствии с этим МВС можно представить как совокупность ресурсов, за использование которых конкурируют некоторые запросы, вследствии чего неизбежно возникают очереди к ресурсам, изучаемые с позиций теории массового обслуживания. В связи с широким использованием теории массового обслуживания при исследовании функционирования ВС в настоящее время интенсивное развитие получили сети массового обслуживания (СеМО), при помощи которых строятся детальные модели ВС. Применение СеМО в теории вычислительных систем основано на том, что в ВС естественным образом выделяются отдельные подсистемы, которые интерпретируются как системы массового обслуживания (СМО).

На основе разработанных в последние годы достаточно общих моделей и методов анализа СеМО решены многие задачи исследования эдномагистральных и полносвязных мультипроцессорных систем. Однако, известные автору работы не позволяют без существенных изменений в аналитических моделях рассматриваемых процессов ис-юльзовать результаты этих исследований для комплексного анализа эазличных структурных и функциональных организаций взаимодейст-5ИЯ процессоров и модулей параллельной памяти в ММС, поскольку, »о-первых, обычно имеют дело только с традиционной, последовательной работой процессора и памяти, во-вторых, известные модели ><5ычно игнорируют существование, а тем более - особенности интерфейса связи процессоров с модулями общей памяти. Ранее не бы-ш получены аналитические зависимости производительности от па->аметров неполносвязной системы, не учитывались принципиальное :труктурное свойство нетрадиционных внутрисистемных интерфейсов ВС (принцип распределенной буферной памяти), доступность внут-1енией памяти со стороны других процессоров и совмещение работы [роцессора и памяти с реализацией конвейерного принципа взаимо-,ействия процессоров с памятью.

В настоящей диссертации ставится и решается задача ком-лексной разработки и аналитического исследования принципов, ме-одов и средств структурной организации центральной части муль-имикропроцессорных систем со многими потоками хоманд и данных, ешается задача определения рациональной структуры и конфигура-ии многомагистральной мультипроцессорной системы по заданной ропускной способности с учетом особенностей потоков обращений роцессоров к параллельной общей памяти. Предлагаются и исследу-

ются нетрадиционные структурные методы организации и функционирования параллельного внутрисистемного интерфейса обмена информацией для МЫС типа МКМД.

Во 2-й главе диссертации на основе обобщения характерных структур современных ШС разработана базовая математическая модель мультипроцессорной системы с блоками внутренней памяти в процессорах и с полносвязным интерфейсом связи процессоров с модулями параллельной общей памяти, в которой реализован предложенный автором и не исследованный ранее принцип совмещения работы процессора и памяти. На основе представленной модели разработан и теоретически обоснован метод оценки эффективности систем рассматриваемого класса.

В качестве базовой в работе рассмотривается однородная мультипроцессорная система, состоящая из п процессоров и m n-портовых модулей общей памяти OITj ( j=l,.., m). В каждом процессоре имеется блок внутренней памяти (ВВП), непосредственно доступный данному процессору. Для общей идентификации модулей памяти ВВП обозначается также через 0По, подразумевая б каждом процессоре свой ВВП. Каждый процессор с помощью собственной (неразделяемой) магистрали соединен с каждым модулем памяти ОПу через предназначенный только для него порт.

Формализуя процесс функционирования системы, за основной временной интервал работы процессора, назызаемый ниже периодом, принят один акт его обращения к памяти. В каждом периоде процессор работает некоторое случайное время f, распределенное по закону F(t), после чего обращается в память. Выдав запрос в память, процессор продолжает работать случайное время > распределенное по закону Git), после чего должен ожидать ответ из памяти. Время ожидания ответа из памяти является непроизводительным простоем процессора, снижающим его производительность.

Каждый запрос процессора с вероятностью р относится к ВВП,

fTi

а с. вероятностью С1-р)•Чд относится к 0П| (Z qj =1). В ОПу (j=0,..,m) запросы обслуживаются по дисциплине "первый пришел -первый обслужился" за случайное время Tj , распределенное по закону Hj (t ). Получив ответ из памяти и закончив работу по С-зако-ну, процессор вновь начинает работать по F-закону. Предполагается, что случайные величины f , ^ и для всех процессоров и всех периодов независимы.

При сделанных предположениях мультипроцессорную систему можно представить в виде замкнутой СеМО с конечным числом заявок, циркулирующих между обслуживающими узлами, представляющих процессоры и модули памяти. Однако, в отличие от традиционной СеМО, где заявки переходят от одного узла обслуживания к другому только после полного обслуживания в предыдущем узле и в каждый

момент времени заявка может находиться только в одном обслуживающем узле, в рассматриваемой модели после фазы генерации процессором запроса в память, заявка некоторое время одновременно занимает два обслуживающих устройства: процессор (совмещенная фаза работы по С-закону) и некоторый модуль памяти.

В общем случае соответствующая мультипроцессорной системе СеМО определяется вектором

( п, ш, р, <су>т. Г, С, (Н,-}^) , < 1 )

где {Ст - вектор размера и, элементами которого являются С^-У=1,...,т); если С}~С, то индекс j опускается.

Под эффективностью работы процессора понимается коэффициент производительной работы процессора )ир, равный средней доле времени работы процессора в каждом периоде обращения к памяти, а под эффективностью работы системы - среднее число работающих процессоров Мр=П'кр. На основе эффективности работы каждого процессора несложно оценить пропускную способность и другие характеристики системы. В частности, пропускная способность системы О выражается через пропускную способность процессора Со при условии мгновенной реакции памяти и эффективность системы Мр:0=(Зо'Мр>

Для оценки эффекта совмещения работы процессора и памяти наряду с описанной выше системой, называемой ниже квазипараллельной или я-системой, рассматривается система без совмещения работы процессора и памяти, называемая ниже последовательной или э-системой, в которой процессор начинает работать по С-закону только после получения ответа из памяти. Соответственно различаются обозначения эффективности: Мд и Мб. Эффект совмещения Сс определяется относительно Б-системы:

Се = (Мч-Мэ)/Мз. . ( 2 )

Получение аналитических зависимостей для исследуемых характеристик МВС в общем случае при произвольных распределениях становится практически невозможным даже при использовании сетевых моделей с упрощенной структурой. Поэтому на практике часто используют приближенные модели, основанные на замене реальных распределений на экспоненциальные или детерминированные. Использование гипотезы об экспоненциальности распределений дает неплохие результаты при определении средних характеристик, которые, сак показывают экспериментальные исследования, достаточно устой-швы по отношению к видам распределений. Средние значения характеристик, определяемые на основе экспоненциальных стохастических :етей, обычно не более, чем на 10-15% отличаются от реальных, [то вполне приемлемо при инженерных исследованиях.

Для исследования систем произвольной сложности и оценки тех арактеристик, которые не допускают аналитического описания, спольэуют имитационное моделирование.

На основе результатов исследования локально-сбалансированных экспоненциальных СеМО, полученных Гордоном, Ныовеллом, Баскетом, в работе получены аналитические выражения для определения характеристик мультипроцессорных систем без совмещениия работы процессора и памяти:

(п, ш, р, {q;>m, ^ , D(0), {HAe , <l-e'-V)«,)), ( 3 ) где D(eO - детерминированное распределение со значением а Гд и Ну^ - функции распределения времен работы процессора и БВП со средними значениями Л"' и соответственно, имеющие сетевую фа-

зовую структуру, т.е. работа соответствующего модуля интерпретируется как процесс обслуживания ь многофазной СМО с экспоненциально распределенными временами обслуживания в каждой фазе и с заданными вероятностями перехода между фазами.

Эффективность s-системы (3) при сделанных предположениях определяется следующим выражением:

т - 11 П(ч-о.Л

м3 =

а-

PibPi

( 4 )

¿А 21 /ЧлЛ 7

н-.о П.' -Г)-,< 4-.1 «" » '

где = Л^'. Д-= (1-р)Д;/(1+рД,), j=0,..,m; п'=.£п..

Введение параллельной работы процессора и памяти нарушает локальную сбалансированность СМО и существенно увеличивает число состояний системы, так как необходимо учитывать порядок очереди на обслуживание в 011^. Поэтому наряду с основными уравнениями для определения вероятностей состояний и эффективности системы в работе представлен приближенный метод оценки эффективности q-cиcтeмы (п. т. р, 1-е"'", 1-е-*', < 1-е^ '> . ( 5 )

Метод основан на использовании мажорирующей последовательной Э(в)-системы, в которой в отличие от соответствующей системы процессор после получения ответа из ОП^ ^=0,1,..,в) с вероятностью вj начинает работать по С-закону, а с вероятностью (1-8^) пропускает эту фазу и переходит работать по Г-закону, начиная новый период. При 0; = 1 и=0,..,т) получается Б-система.

Очевидно, что б(9)-система является частным случаем системы (3). Эффективность 6)-системы определяется по формуле (4) с

Л- (*) Пр&о + с- ъ-П+А, 1 6 >

где /=Л/у - степень совмещения, уэ^ = /1//г4- ~ коэффициент загрузки 0П; и=0.1,...п), Л =Л-у/(Я + У) ,

На основе оценки вероятностей {0,* в диссертации получено несколько нижних и верхних оценок эффективности системы (5), наилучшими из которых в подавляющей большинстве случаев являются, соответственно, МНб и МВг:

ИНэ = №3(6^) / [1+<Г{р8в+(1-р)?-1> 1 , ( 7 )

МВг = Нз(в,) / [1+Лр9в*(1-р)^0,;-1)] , ( 8 )

- 13 - _

где Мб(9) определяется выражением (4) на основе уэа'(8) (6), 6«, =сГ/(сР +/>„), 9^= сГ/СсГ+уэ^ ), 0^= 1<?/{р; +3)]^' , а определяется из системы уравнений

1 -сГ "22-(¿>->) _ , о »

СО- —---— . j=l.....и, ( 9 )

где гО(б^) - вероятность работы процессора по Г-закону, а г2л-(8,) - вероятность простоя процессора в б(9^)-системе, ожидающего ответ из ОП:. Система уравнений (9) решается итерационным

^ /с)

методом с начальными значениями Ск>- = п.

4

В качестве универсальной оценки Мд* можно взять среднее арифметическое МН и МВ, наилучших среди нижних и верхних оценок, соответственно, и оценить относительную погрешность получаемой оценки. Проведенные для широкого диапазона параметров расчеты показали достаточную для практических применений точность оценок Мд*. относительная погрешность которой не превосходит 8%.

В заключение второй главы получены простые аналитические оценки эффективности одномагистральных систем без ВВП с совмещением работы процессора и памяти при общих законах распределения Г, С и Н^. На основе этих оценок и результатов статистического моделирования проведен анализ погрешности, получаемой при замене произвольных распределений на экспоненциальные. Показано, что погрешность по отношению к реальным распределениям не превышает 10%. Это позволяет рекомендовать проводить предварительный анализ функционирования мультипроцессорных систем с использованием полученных на экспоненциальной модели оценок эффективности.

В 3-й главе ставится и решается задача аналитического исследования эффекта повышения производительности мультипроцессорной системы за счет совмещения работы процессорами памяти, эффекта введения внутренней памяти в процессоры и возможности построения многопроцессорных систем при использовании локальной памяти в процессорах. В силу того, что многомагистральную М1С можно интерпретировать как совокупность одномагистральных систем, объединенных посредством многовходовых модулей ОП, вахней-шей частной задачей, решаемой в 3-й главе, является задача теоретического исследования эффективности одномагистральной системы с ВВП в процессорах и с совмещением работы процессора и памяти.

Одномагистральная система эквивалентна по эффективности полносвязной системе с одним модулем общей памяти. Поэтому, исключая из рассмотрения расслоение общей памяти, на их примере можно наглядно представить основные зависимости характеристик полносвязной системы от остальных параметров. Основными параметрами одномагистральной системы являются число процессоров п, степень. совмещения <£, вероятность р обращения в ВВП и коэффици-

енты загрузки БВП и ОП ра и лр1, соответственно. Для выявления путей повышения производительности системы в работе проведен всестороний анализ зависимости последней от этих параметров. При этом использование экспоненциальной модели приводит к небольшому занижению показателя эффективности реальной системы, не нарушающему общий характер ее зависимости от параметров.

При увеличении числа процессоров в одномагистральной системе ее эффективность увеличивается, однако абсолютный прирост эффективности с каждым дополнительным процессором снижается. При неограниченном увеличении числа процессоров эффективность системы имеет ограниченный предел, равный I (1-р)у^) 'и не зависящий ни от степени совмещения, ни от скорости работы БВП. Большой практический интерес представляет определение точки насыщения системы, т.е. минимального числа процессоров, при котором эффективность системы превышает значение г-^Пт^Ь^ (0<г<1), называемое г-уров-нем насыщения. На основе оценок МНб (7) и МВг (8) в работе получены, соответственно, верхняя и нижняя оценки точки насыщения: п48 = пйп<п: п!/В" - В/(п+1) » е"а/(1-г>>. ( 10 )

п,н = тах<п: А" > п!•(1-г) • е А ). ( 11 )

где В = (рД+иЛ (1-р)^ 1, Дг определяется по формуле (6) с ев= <Г/( сГ+ ) и е1 =<Г/( А = (рД+1)/[(1-р)£], а^

определяется по формуле (6) с ве = сГ/( сГ+и 0^= {<?/{£+) ]". Больший интерес представляет верхняя оценка, гарантирующая превышение г-уровня насыщения. Нижняя оценка точки насыщения показывает, какое максимальное число процессоров может быть в системе, эффективность которой не превосходит г/[(1-р)уэ^].

Используя оценку МВг, можно определить границу п^ эффективного добавления процессоров в систему, при котором добавление еще одного процессора повышает эффективность системы не более, чем на (0<АК1 и эффективность однопроцессорной систе-

пь = т1п {п; « <■ 12 >

где А определено выше.

При совмещении работы процессора и памяти эффективность системы повышается: чем выше степень совмещения, тем выше эффективность системы. Однако больший прирост эффективности наблюдается при меньшей степени совмещения. Абсолютный максимум эффекта совмещения Се достигается в однопроцессорной системе. При неограниченном увеличении числа процессоров в системе эффект совмещения снижается до нуля. Аналогичное снижение эффекта совмещения до нуля наблюдается при увеличении коэффициентов и^ загрузки модулей памяти до бесконечности или при их одновременном уменьшении до нуля.

Ускорение обслуживания в любом модуле памяти положительно сказывается на эффективности системы. Однако для построения многопроцессорных систем больнее значение имеет коэффициент загрузки общего модуля памяти . При уменьшении ^ до нуля точка насыщения системы возрастает до бесконечности.

На эффективкс.-лъ системы ощутимо влияют конфликты при одновременном обращении нескольких процессоров к общему модулю памяти. В работе наглядно показано, что при большой загруженности общего модуля памяти потери эффективности в основном обусловлены конфликтами. Общие потери эффективности тем выше, чем ниже степень совмещения. Однако конфликты в обшей памяти при большой ее загрузке пагубнее действуют на системы с большей степенью совмещения Введение ВВП значительно повышает эффективность системы за счет уменьшения времени обслуживания в ВВП и снижения частоты конфликтов в общем модуле памяти. При этом с увеличением числа процессоров в системе больший эффект приобретает второй фактор, в то время как эффект от ускорения обслуживания в ВВП падает до нуля. Снижение частоты конфликтов в системах с ВВП повышает точку насыщения системы, что позволяет строить многопроцессорные системы с эффективным использованием каждого процессора.

Особое место в третьей главе занимает метод оценки эффективности системы с доступными со стороны других процессоров блоками внутренней памяти и анализ влияния доступности чужих блоков на производительность системы.

Пусть при обращении процессора к общей магистрали с вероятностью г его запрос относится к общему модулю памяти, а с вероятностью <1-г)/(п-1) - к чужому ВВП одного из процессоров системы. В чужом ВВП запрос обслуживается в порядке очередности "первый пришел - первый обслужился" за случайное время , распределенное по закону Н2(и = 1 - е*^'При отсутствии конфликтов в ВВП среднее время обслуживания запросов в своем ВВП и с общей магистрали разно соответственно //¿'и т/<\1+

В силу возможной занятости ВВП обслуживанием своего запроса приближенно можно считать, что время обслуживания с общей магистрали увеличивается в среднем на где =( 1-г)рА^/к<}- вероятность обращения с общей магистрали в БВП, занятый обслуживанием собственного процессора. Аналогично, время обслуживания в своем БВП увеличивается в среднем на величину где й^ - вероятность обслуживания в БВП чужого запроса: = ( 1-г) (• В приближенном расчете предполагаем, что времена К/Дг' и 1^*= [ х-)<1 + (1-г)/й1* являются средними значениями экспоненциально распределенных времен обслузивания, соответственно, в ;воем БВП и в ОП в системе с локальнымн БВП. Знач-^чия \>е и у^ опре-яеяяются ?п системы уравнений локального баланса:

(V = + и,), ( 13 }

Для оценки точности предлагаемого метода расчета эффективности МВС с общедоступными БВП в работе приведены результаты имитационного моделирования, полученные на основе реальных гистограмм работы процессора и постоянных временных циклов работы БВП и ОП. Проведенный анализ показал, что аналитические результаты ниже результатов моделирования, однако они обладают достаточной для практических применений точностью и наглядностью и дают полное представление о влиянии доступности чужих БВП на эффективность системы.

В частности, показано, что с увеличением вероятности обращения в чужие БВП эффективность системы снижается, т.к. увеличивается частота конфликтов в БВП. Однако такое снижение эффективности (с точки зрения работы процессора) не превышает 10-13% и компенсируется уменьшением непроизводительных пересылок между процессорами и общими модулями памяти.

Интересный результат получен для системы, в которой вся память состоит только из БВП процессоров (г=0) и запрос с равной вероятностью может быть послан в любой БВП, в том числе и в свой (р=1/п). В этом случае с увеличением числа процессоров п эффективность системы имеет явно выраженный максимум. Это объясняется тем, что с введением нового процессора в систему значительно уменьшается вероятность обращения в свой БВП. В результате теряется эффект введения БВП в процессор и получающиеся потери, начиная с некоторого п=п^, перекрывают эффективность дополнительного процессора.

В системе с общедоступными БВП без дополнительной общей памяти уменьшение цикла работы БВП приводит к существенному увеличению эффективности. При этом увеличение числа процессоров в системе вызывает возрастание эффекта от ускорения работы БВП. Это достигается, в основном, за счет уменьшения времени обслуживания на общей магистрали, хотя при большой вероятности обращения в свой БВП немалую роль играет и уменьшение времени обслуживания в собственном БВП.

Реальная пропускная способность системы с большим числом медленных процессоров выше пропускной способности системы с небольшим числом быстрых процессоров при равной суммарной пропускной способности процессоров. При неограниченном увеличении числа процессоров в системе с постоянной суммарной пропускной способностью реальная пропускная способность системы имеет предел, не зависящий ни от степени совмещения, ни от коэффициента загрузки БВП: Пи 0я(п,Лг1 пАг=п1/11) = с-т1п</г</(1-р),ир, ( 14 )

- 17 -

где с характеризует связность решаемых задач по памяти.

При неограниченном уменьшении цикла работы процессора пропускная способность МВС, монотонно возрастая, также имеет ограниченный предел, не зависящий от степени совмещения, но сильно зависящий от скорости работы БВП:

В заключение третьей главы проведен анализ взаимодействия процессоров с параллельной общей памятью. Расслоение ОП на параллельные модули является известным структурным приемом для повышения ее пропускной способности. Многомодульные системы по сравнению с одномагистральной с одним модулем ОП описывается большим числом параметров: дополнительно появляются следующие п - число модулей общей памяти, qj -вероятность обращения в j-fl модуль памяти коэффициент загрузки j-ro модуля памя-

ти (j=l,..,m). Поэтому для исследования особенности МВС с параллельной общей памятью в работе проводится дополнительный анализ зависимости производительности полносвязной системы от этих параметров.

В системе без совмещения работы процессора и памяти (3) эффективность системы зависит только от (qjpj). В системе с однородными модулями памяти j=l,..,m) согласованное распределение вероятностей обращения з ОП tQjJSy = qjo ) является оптимальным с точки зрения эффективности системы. Однако условия согласованности не являются оптимальными в системе с неоднородными модулями памяти. Например, в однопроцессорной системе оптимальным распределением является: qj=l. где qjр. = ^nün<qyai(. >, q[=0, При увеличении числа процессоров из-за' возникающих конфликтов между процессорами при обращении в один модуль памяти возникает необходимость рассредоточить обращения и на медленно действующие модули памяти, в результате чего, несмотря на снижение общей средней интенсивности обслуживания в ОП, эффективность системы увеличивается, так как большое положительное действие оказывает снижение конфликтов в быстродействующих модулях памяти. При неограниченном увеличении числа процессоров в системе оптимальное распределение {qj) сходится к согласованному распределению qjjij = Чр= const.

В системе с совмещением большое значение приобретает вероятность работы процессора по G-закону после получения ответа из Ollj. Как видно из оценок, эта вероятность зависит от отношения S/lßy +6), т.е. не только от произведений q^py. При неограниченном увеличении числа процессоров ее эффективность сходится к

Ив Hq = (1-рГ1 minUq-.p.-r'}, < 16 )

п-»о» tfjitn *> *

т.е. при большом числе процессоров эффективность системы ограничивается пропускной способностью наиболее загруженного модуля ОП с соответствующим коэффициентом. Для повышения эффективности системы необходимо, в первую очередь, увеличить пропускную способность этого модуля, либо уменьшить вероятность обращения к нему.

В системах с однородными модулями общей памяти (ß ■ =J3) оптимальное распределение вероятностей обращения в ОП^ (j=l.....m)

при любой степени совмещения <Г достигается при qj=l/m, т.е. в симметричной системе. Предельное по п значение эффективности в этих системах равно т/[(1-р)уа], т.е. пропорционально числу модулей общей памяти и при m—>00 неограниченно возрастает. При конечном же числе процессоров эффективность системы с увеличением числа модулей памяти возрастает до конечного предела:

limjiq = n i 1 + + (1-р) ¿¿¡г 1 . < 17 >

т.е. в предельном случае эффективность симметричной системы пропорциональна числу процессоров и эффективности однопроцессорной системы с одним модулем общей памяти.

Таким образом, монотонное увеличение эффективности системы при увеличении п или m ограничено и приводит к конечному пределу. При этом коэффициент прироста эффективности в сильной степени зависит от числа уже имеющихся в системе модулей и уменьшается с ростом Ji . При некоторых значениях или т^ в системе достигается г-уровень насыщения ( 0 <г <1 ), равный, соответственно, г-lim Mq или г-lim Mq. При этом, чем больше п или т, тем больше, соответственно, тг или п,.

При пропорциональном увеличении в однородной системе числа процессоров и модулей памяти (слп = ст п) ее эффективность неограниченно возрастает. Однако коэффициент использования процессоров и модулей памяти при этом снижается.

В главе 4 разработан и исследован на математической модели нетрадиционный принцип структурной организации МВС с неполносвяз-ным интерфейсом связи процессоров с модулями общей памяти. В част ности, разработана оригинальная математическая модель многомагист ральной мультипроцессорной системы, связь между магистралями в которой осуществляется на основе многовходовых модулей памяти, в виде сети массового обслуживания с совместным использованием одним запросом нескольких ресурсов системы (процессор, магистраль, модуль ОП) и с двухуровневой очередью запросов к модулям ОП.

Рассмотрим мультипроцессорную систему, состоящую из N процессоров, Н многовходовых модулей общей памяти OUj (j=l.....М) и L

магистралей Mrj, (i=l,... ,L) типа "Общая шина" СМ ЭВМ, связывающих процессоры с общей памятью. В каждом процессоре имеется ВВП, обозначаемый также через 0По. Процессор имеет выход только на од-

ну магистраль. К 1-й магистрали подключено ^ однородных процессоров (¿N¿=N1 и несколько ОП^, а к каждому ОП^ может бьггь подключено несколько магистралей. Отметим, что в рассматриваемой системе группы однородных процессоров, подключенных к одной магистрали, могут быть ориентированы на решение специальных крупных подзадач в мультипроцессорном режиме и отличаться от процессоров с другой магистрали.

Функционирование системы описывается последовательностью обращений процессоров в модули памяти как в базовой математической модели. Каждый процессор 1-й магистрали работает независимо от других процессоров некоторое время . называемое временем подготовки запроса, после чего обращается в память. Выдав запрос в память, процессор продолжает работать еще некоторое время . после чего должен ожидать ответ из памяти. Каждый запрос процессора с 1-й магистрали с вероятностью р; поступает по внутренней магистрали в БВП, где он обслуживается за время % ;, ас вероятностью С1—р^) запрос пуступает в очередь на 1-ую магистраль, откуда с вероятностью q¿j направляется в ОПу (£^^=1).

Предоставление магистрали процессорам осуществляется арбитром магистрали по дисциплине "первый пришел - первый обслужился". При обращении очередного запроса в модуль памяти, занятый обслуживанием запроса с другой магистрали, он становится в очередь, образуемую запросами с разных магистралей и управляемую техническими средствами данного модуля памяти. При этом процессор занимает общую магистраль на все время ожидания и последующего обслуживания в памяти. Время обслуживания любого запроса в ОП^ равно

Предполагается, что все определенные выше времена работы процессоров и и модулей памяти (Гв/ и Гявляются независимыми экспоненциально распределенными случайными величинами со следующими параметрами: Л; = П = )'*

и = (Ы7;) * Переходы заявок между устройствами обслуживание определяются структурой связи между модулями мультипроцессорной системы, вероятностью обращения в БВП и матрицей вероятностей обращения в модули памяти <<1,7«/»•

При сделанных предположениях общая модель мультипроцессорной системы определяется следующим вектором параметров

<и{М{>х>.Н.{р»)1.<чу>4.,„.<Д;>ь.<аг,-)|..</г;в>А.{/<;)„). П8)

где - матрица размерности п-а.

Отличительной особенностью данной СеУО является наличие двух типов очередей: очереди к магистрали и очереди к модулю обпей памяти. Каждый запрос к общей памяти последовательно проходит через обо очереди, не подвергаясь обслугкванию на каком-либо устройстве: я очередь к ОП^- поступает только запрос. сточг^й порт-т! г. оч&розя па гсагпстрзлз (заи.т?гг!1 нггчсту.ы.^), з тс

как остальные запросы из очереди на магистрали ожидает ее освобождения. При одновременном обращении процессоров с разных магистралей в общий модуль памяти встает проблема очередности или дисциплины обслуживания магистралей в модуле памяти.

Анализ четырех дисциплин обслуживания магистралей в модулях памяти (дисциплина с циклическим переключением, приоритет однородным запросам, приоритет "своей" магистрали, приоритет главной магистрали) показал сильную зависимость эффективности мультипроцессорной системы от принятой дисциплины. Зависимость эта имеет сложный характер, в значительной степени обусловленный распределением вероятностей обращения с магистралей в различные модули памяти. Если выбор осуществлять при произвольных параметрах системы, то достаточно хорошей дисциплиной является дисциплина циклического переключения модуля памяти на различные магистрали - аналога дисциплины "первый пришел - первый обслужился".

Центральное место в четвертой главе занимает разработанный автором итерационный алгоритм оценки эффективности многоиагист-ральных систем (18) с неполносвязным интерфейсом между процессорами и модулями памяти, основанный на декомпозиции системы на однокагистральные и расчете их эффективности с учетом загруженности остальных магистралей исходной системы и межмагистральных конфликтов в общих модулях памяти.

Пусть D - множество всех подмножеств множества номеров магистралей системы <1.....L) и Oj¿(oL) - среднее время обслуживания запросов с 1-й магистрали с учетом времени ожидания обслуживания очередного запроса в модуле памяти в системе с неполны» набором магистралей <¿€D при условии, что на всех магистралях oL имеются запросы в память. Предполагается, что £J;(oL)=0, если

Среднее время обслуживания запросов с 1-й магистрали СГ; определяется итерационным методом с начальным значением

= Jbü Л ^( 19 )

где P¿(С) - вероятность отсутствия запросов на J-й магистрал! при среднем времени обслуживания запросов с магистрали, равном б

• _ _*/•_{(í-p)Am

Pj(ff) = 2. Т^ГТйП-^-) (20)

На каждом шаге итерации производится расчет () и (0",„> п< формуле (6) с jx=A&tlt и и с использованием вероятносп

6. =J\J (у/,* ц) и оценки 0J. определяемой при y/t- На основ»

ptK вычисляется р/(по формуле (20). Как и ранее,

Л. у>.

Итерационный процесс продолжается до тех пор, пока дв. последовательных приближения будут совпадать с заданной точ

- 21 -

HOCTbD £ , т. е. для всех 1 ^ 1 ^ L

if. < 21 >

Общая структура итерационного алгоритма вычисления эффективности многомагнстральной системы имеет следующий вид:

Шаг 1. Определение значений для всех 1 = 1.....L и иеЪ.

Шаг 2. Начало итерационного процесса: 1:=0; G>ta-ut( 1....L). Шаг 3. Вычисление оценок в,; (Оценки 9,, или 91Т ) с= Шаг 4. Вычисление Д-.-'^Л" 1 по формуле (6) с yv =A-6V; .

и А = .

Шаг 5. Вычисление Р/ Cv,-) по формуле (20) с Шаг 6. Вычисление по формуле (19).

Шаг 7. Если условие (21) Не выполнено, то 1:=1+1 и переходим

к шагу 3, в противном случае переход к шагу 8. Шаг 8. Вычисление эффективностей магистралей Mq^Cv;) по фор-

"УЛе м 1 ~ >

Hq,= ——- •

(i'P)AO-ti

Для вычисления tjf (с£) используется MVA-алгоритм (Reiser М., Lavenberg S.S.: Метод анализа средних значений) основанный на отношении Литтла между средним временем ожидания и средней длиной очереди. Для этого рассмотрим CU0, состоящую из L классов заявок, соответствующих магистралям мультипроцессорной системы, и М одноканальных обслуживающих центров - модулей памяти. В каждом классе 1 имеется по одной заявке, которая переходит иэ 1-го центра в J-й согласно матрице вероятностей переходов R'= (rf^) (1 = 1. ...L; l.J=l...,M), где г=q,; .

Сопоставим каждому набору U.eD вектор к= (к,,..,^) и число К=£ где kj=0, если «С , и к^=1.если je«C. Обозначим

через W,w(K) среднее время нахождения запроса с 1-й магистрали в 0П„, в системе с набором магистралей оС„, соответствующим числу К. Тогда для всех !£«£„

CJe(K) = =rw/m(K). ( 22 )

где U/„(К) =q,«U„~7K).

Пусть Тегп = HVA-алгоритм основан на следующих ре-

курсивных соотноиениях:

(к) = Т,„ [i * nl (к -2ft) 7, < 23 )

где п Д (К) - среднее число заявок в 0Пт при наборе магистралей в системе: w/f«)

h* = £ - ( 2« ) Zw'(K> '

Начальные условия задаются при К=0: п_(0)=0.

Представленный итерационный алгоритм вычисления эффектив-сости многомагистраяьных систем ориентирован на машинную реали-latiKD. Проведенные расчеты показали быструю сходдмость оОвего

итерационного алгоритма: для оценки эффективности системы с удовлетворительной для практических применений точностью достаточно шести-восьми итераций.

Анализ погрешности, проведенный в работе на основе решения системы уравнений глобального баланса для двухмагистральной системы и аналитических результатов расчета эффективности полносвязных систем, показал достаточную для практических применений точность предлагаемого метода расчета эффективности многомагистральных систем с неполносвязным интерфейсом. Это позволяет быстро и с достаточной для практики точностью оценивать различные варианты структурной организации мультипроцессорных систем.

В настоящее время по технико-экономическим показателям наибольшее распространение получили двухвходовые модули памяти, в которых достаточно просто реализуется устройство управления двумя входами. На основе двухвходовых модулей памяти возможно построение многомагистральных систем с разнообразной сетевой структурой.

Для систем с двухвходовыми модулями памяти среднее время обслуживания запросов с каждой магистрали ...{..) определяется по следующей формуле:

' ' ч 'л*""'!'..',!

м

где к-число магистралей в наборе Л, а = .Г

Выражение (25) обобщает понятие цепной дроби на случай, когда каждый знаменатель в дроби распадается на сумму ветвей, подобных исходной дроби. (Поэтому в выражении использовано обозначение обычной цепной дроби). Быстрая сходимость цепных дробей позволяет рекомендовать использовать на практике подходящие дроби второго порядка, погрешность которых не превышает 2'/.-.

ШЛЛ) = Г 11+ £ ---—~ 1 . ( 26 )

е 1 + Г

На основе полученных аналитических выражений показано, что в системах с двухвходовыми модулями памяти при равенстве вероятностей обращения с какой-либо магистрали в некоторые модули ОП производительность системы не зависит от распределения вероятностей обращения в эти модули ОП с другой магистрали при равенстве суммарной вероятности обращения в них. При неравенстве же вероятностей обращения в какие-либо модули ОП с одной магистрали наибольшей производительностью при постоянстве суммарной вероятности обращения в эти модули памяти с противоположной магистрали обладает система, в которой обращение с нее полностью направлено в наименее используемый первой магистралью модуль памяти из данной группы модулей ОП. Располагая соответствующим образом в памяти информацию, используемую процессорами, можно до-

биться существенного повышения эффективности системы за счет снижения частоты конфликтов в модулях ОП.

Выражение (25) показывает, что распределение вероятностей обращения с магистралей в различные модули ОП влияет на эффективность системы только в интегральном виде через величину О;*-частоту конфликтов между магистралями в общих модулях памяти. На основе этого в работе выведено свойство эквивалентности систем относительно интенсивности обслуживания запросов с магистралей в памяти и производительности каждой магистрали и системы в целом, позволявшее рассматривать системы, имеющие между каждой парой магистралей не более одного модуля ОП. Это снижает размерность системы и облегчает их исследование, исключая, естественно, исследование зависимости 0 от распределения вероятностей обращения в модули ОП.

Рассмотрим Ь-магистральнув мультипроцессорную систему с М = Ь+Ь(Ь-1)/2 однородными модулями общей памяти, Ь из которых (ОПу, j = 1.....и подключены только к одной из Ь магистралей и являются ее собственностью, а остальные распределены по одному между каждой парой магистралей, позволяя любым процессорам системы непосредственно "общаться" друг с другом. Такие системы представляют наиболее общую структуру многомагистральных систем с двух-входовыми модулями памяти, из которой, варьируя вероятности обращений с магистралей в модули памяти, можно получить любую частную структуру.

Очевидно, что в симметричной системе с однородными магистралями, когда с каждой магистрали обращение в общие модули памяти происходит с равной вероятностью (1-р)/(1.-1), эффективности всех магистралей равны и При этом средние времена обслужива-

ния и>в{Л1) в модулях памяти определяются обычной цепной дробью:

соеи} = ?[1 .. ( 27 »

где к - число магистралей в наборе и..

Приближенное выражение (26) принимает вид

] - ( 28 )

При к=2 и к=3 выражения (27) и (28) совпадают.

Простые аналитические выражения позволили оценить потери производительности из-за межмагистральных конфликтов в многомагистральных вычислительных системах с полным графом связей между магистралями и определить пути повышения производительности и оптимизации таких систем с рациональным использованием ресурсов: магистралей, процессоров и модулей памяти. Показано, что до и-редел-' -'ного уровня насыщения магистрали можно увеличивать на ней число процессоров, распределяя тем самым все процессоры на нень--

шее число магистралей с незначительным снижением эффективности системы. Так сокращение числа магистралей вдвое ([,=N/2) по сравнение с полносвязной системой (1=Ю приводит к уменьшению эффективности не более, чем на 20Х. Анализ производительности многомагистральной системы с полным графом связей между магистралями показал их достаточно высокую эффективность, наращиваемую почти пропорционально числу магистралей в системе.

Альтернативой структуры многомагистральной системы с полным графом связей между магистралями на основе двухвходоаых модулей памяти является конвейерная структура, или для симметричного случая - кольцевая. В кольцевой системе каждая магистраль связана на основе модулей общей памяти только с двумя соседними,, в результате чего образуется кольцо из магистралей. В конвейерной структуре это кольцо разрывается в одном месте. Эти системы имеют наименьшее число связей и являются наиболее дешевыми ыногома-гистральными системами.

Для симметричной Ь-магистральной кольцевой системы с одинаковой частотой конфликтов 0 между каждой парой магистралей среднее время обслуживания (ог{1.....I.) также определяется простой

цепной дробью с (1.-1) элементом:

^ = 6/1 - ••. +&/1] .

На основе известных свойств цепных дробей показано, что для кольцевой системы с четным числом магистралей производительность одной магистрали монотонно возрастает при увеличении числа магистралей, а с нечетным числом магистралей монотонно убывает, причем производителность магистрали в кольцевой системе с четным числом магистралей ниже пропускной способности магистрали в системе с нечетным числом магистралей. При этом интенсивности ШЫ обслуживания запросов с магистрали при их неограниченном увеличении в кольцевой многомагистральной системе имеет предел: V* => Ив ШЫ = М /лМ-О ♦ Г. ( 29 )

Производительность одной магистрали в любой кольцевой системе ограничена снизу производительностью магистрали двухмагист-ральной системы, а сверху - трехмагистральной системы, разница между которыми не превышает 7Х. Это позволяет быстро оценить производительность любой многомагистральной кольцевой системы на основе более простых двух- и трех-магистральных систем, которые являются системами с полним графом связей между магистралями и основными представителями систем с кольцевой структурой.

При разрыве связи между какой-либо парой магистралей в кольцевой системе получается конвейерная структура с двумя граничными магистралями. На основе анализа эффективности ыногоиа-гистральких систем с конвейерной структурой получены условия оптимальности распределения процессоров по магистралям и условия

сбалансированности системы. В частности, показано, что в конвейерной Ь-магистральной системе (Ь>5) с однородными модулями памяти и равными вероятностями обращения в доступные модули памяти оптимальное распределение предполагает некоторое превышение числа процессоров на средних и граничных магистралях по отношении к соседним с граничными магистралями. Для сбалансированной системы соотношение обратное.

В заключение 4-й главы проведен сравнительный анализ многомагистральных систем с раэнобразными структурами связи "процессоры - память". Показано, что при увеличении числа магистралей предельная (при N—>оо) эффективность систем возрастает. При большой загрузке магистралей конвейерные и кольцевые системы с 1->4 уступают полносвязным системам, так как наличие только двух входов у модулей обшей памяти не позволяет полностью их загрузить, сколь иного бы процессоров не было в системе.

Однако при небольшом числе процессоров более эффективными являются конвейерные и кольцевые системы. В таких системах нарушается полнодоступность каждого модуля ОП, однако имеется возможность передачи данных из одного модуля ОП в другой. Данная структура системы является наиболее эффективной при конвейерной организации вычислительного процесса обработки данных, когда передача информации из одного модуля ОП в другой принимает естественный характер прохождения обрабатываемых данных по конвейеру.

При увеличении вероятности обращения в ВВП до 1 монотонно снижается до 0 относительное превышение эффективности одной системы по отношению к другой с равным числом процессоров и модулей памяти. Следовательно, при достаточно большой локализации в ВВП процессов, реализуемых в процессорах, одномагистральные системы незначительно уступают в эффективности полносвязным системам с параллельной обией памятью и, являясь более простыми • и экономичными, могут оказаться предпочтительнее последних.

Дальнейшим развитием систем с совмещением работы процессора и памяти является реализация конвейерного принципа взаимодейстия процессора с памятью, при котором процессор может вырабатывать некоторую последовательность запросов в память, не дожидаясь при определенных условиях ответа на предыдущие. Для приема и сохранения до обслуживания последовательности запросов необходимо предусмотреть соответствующие буфера. При этом возможны различные варианты буферизации запросов, отличающиеся струхтурной организацией буферов, а также дисциплинами буферизации и обслуживания запросов из разных буферов в модулях памяти.

В развитие принципа распределенной буферной памяти (Игиату-щенко В.В.) в главе 5 диссертации решается задача аналитической оценки влияния различных структур буферизации запросов парал-.

лельно действующих по конвейерному принципу процессоров к общим ресурсам памяти на снижение производительности из-за конфликтов в модулях общей памяти.

Наиболее простой структурный способ организации взаимодействия конвейерного процессора с общей памятью в МВС состоит в буферизации запросов в процессоре с последовательной выдачей их в модули памяти. Вопросы организации конвейерной обработки в данном случае полностью решаются внутри процессора.

В такой системе, в отличие от рассмотренной в главе 2, выработанный процессором запрос к памяти записывается в буфер выдачи (БВ), представляющий ПГО-очередь запросов от данного процессора в память. Процессор же после выдачи запроса в буфер продолжает работать и через некоторое время генерирует новый запрос. Буфер имеет ограниченный объем, равный г. При заполнении буфера работа процессора блокируется до освобождения хотя бы одного места в нем.

Обслуживание запросов от процессоров в модулях памяти производится по дисциплине "первый пришел - первый обслужился". При этом в очереди к модулю памяти может находиться только один запрос от данного процессора, находящийся первым в соответствующем буфере (очереди). Все остальные запросы из буфера независимо от того, к какому модулю памяти они относятся, обязаны ждать своей очереди выдачи в память. Первый же по очереди запрос занимает место в буфере на все время ожидания и обслуживания в памяти. В каждый момент времени в модуле памяти может обслуживаться только один запрос. Время обслуживания одного запроса равно 2".

В качестве основной характеристики системы при анализе эффективности взаимодействия конвейерных процессоров с модулями памяти испсльзуем пропускную способность П„, всех модулей ламяти, определяемую как среднее число запросов, обслуженных в единицу времени.

Как и ранее, предположим, что времена генерации запросов процессорами и их обслуживания в модулях памяти являются независимыми случайными величинами, распределенными по показательному закону с параметрами, соответственно, Я и /1 - Тогда функционирование рассматриваемой системы, называемой Р5-системой, можно описать с помощью однородного марковского процесса.

Отличительной особенностью систем»: массового обслуживания, моделирующей функционирование РБ-систе^ы, является наличие двух видов очередей: очередь запросов в буфере процессора и очередь запросов от разных процессоров в обшЛ! модуль памяти. В очередь к ОП,- с вероятностью поступает только запрос, стоящий первым в бу^?ре сгенерированных процессором запросов.

Для расчета пропускной способности памяти воспользуемся итерационно-декомпозиционным иетодом расчета эффективности кногока-гистраяьиой слоте»!!. Однако с отвич!;.' от «:ногс;'сгкстрсль!:ой

системы, где очередь первого уровня формируется потоком запросов, зависящим от длины очереди, в рассматриваемой системе очередь первого уровня формируется единственным процессором с постоянной интенсивностью до заполнения буфера. Применительно к данному случаю предложенный выше алгоритм заключается в определении средних времен СГ; (1 = 1,п) обслуживания запросов 1-го процессора с учетом конфликтов в модулях памяти и наличия запросов в память у других процессоров (итерации (19)) и в последующем использовании времени б"; при расчете пропускной способности однопроцессорной системы с буферизацией предварительно сгенерированных запросов и с блокировкой работы процессора при заполнении буфера.

В качестве модели однопроцессорной системы используем одно-канальную двухфазную систему массового обслуживания с ограниченным буфером между фазами на г мест, где первая фаза моделирует работу процессора, а вторая - модуля памяти. Предполагается, что времена обслуживания в перЕоП и во второй фазах являются показательно распределенными случайными величинами с параметрами Л и V; = ОТ/ . соответственно. При заполнении буфера работа процессора блокируется, а при пустом буфере блокируется работа модуля памяти. Вероятности соответствующих состояний Р,; и Ре; определяются выражениями

'30)

Р,; = 1 - , ( 31 )

где У = А /У; . Интенсивность генерации запросов процессором и пропускная способность П^ модуля памяти в стационарном режиме определяется по формуле П,; = Д(1-Р/,;), а пропускная способность памяти в исходной системе:

П^ =,гп,;= Я-(п -.г р,.). ( 32 )

Проведенные расчеты показали, что для практического диапазона изменения параметров системы относительная погрешность получаемых оценок не превышает 3-5%. Это позволяет использовать предложенный метод оценки производительности для инженерных исследований рассматриваемых систем.

Большой практический интерес при исследовании системы с буферизацией запросов представляет анализ получаемого при этом эффекта. В качества количественной характеристики эффекта используем коэффициент С, повышения пропускной способности памяти относительно системы с последовательной работой процессора и памяти, которая определяется единичным значением объема буфера (г=1):

Сг = !Пм(г) - Пт(1)1 / Пт(1), ( 3? )

где .1/Т, (г) - пропускная способность памяти в система, в. каждом процессоре которой имеется буфзр на г мест.

В работе показано, что реализация опережающей подготовки запросов в память и использование соответствующих буферов в процессоре приводит к существенному повышению производительности мультипроцессорных систем за счет сокращения непроизводительных простоев процессора при выполнении операций с памятью благодаря своевременной подготовки команд и операндов, совмещаемой с выполнением предшествующих операций. При этом наибольший прирост производительности достигается при введении буфера небольшого объема, не требующего больших аппаратурных затрат. Так в сбалансированных системах (пЛ = пуч) повышение производительности относительно систем с последовательной работой процессора и памяти (г=1) составляет от 30'/. при г=2 до 45-50% при г=4. При дальнейшем увеличении объема буфера прирост производительности снижается, достигая при некотором R насыщения:

ПД = lim Пт С г) = min{ пЛ, yy-m-n/ln+m-l)}. ( 34 )

Простые аналитические оценки производительности получены также при асимптотическом изменении других параметров системы. В частности, показана немонотонная зависимость эффекта С^ от коэффициента загрузки модуля памяти который при J0—»0 или ja—оо снижается до нуля.

) Введение буфера в процессоры приводит -дополнительному ожиданию выдачи запроса в память и увеличению времени Т получения ответа из памяти на подготовленный процессором запрос. В работе показано резкое увеличение времени получения ответа при большом объеме буфера и большой загруженности памяти, когда каждый запрос ожидает окончания обслуживания большого числа находящихся в буфере предшествующих запросов. Однако при небольшой загруженности памяти, достигаемой в структурно сбалансированной системе, т.е. при п Я < тд увеличение времени Т невелико и компенсируется опережающей подготовкой одного-двух запросов.

Предложенный выше декомпозиционный метод оценки пропускной способности памяти позволяет использовать более общие модели элементов декомпозиции. Это, в свою очередь, позволяет рассматривать более общую модель всей системы и расширить класс поддающихся аналитическому исследованию вычислительных систем. Так при расчете среднего времени б\ обслуживания запросов 1-го процессора в предложенном алгоритме допускается неоднородность процессоров, т.е. каждый процессор может иметь свои временные характеристики работы и структурные параметры, включая объем буфера и интенсивность генерации запросов. Это позволяет оценивать производительность систем со ■специализированными процессорами с различными законами функционирования и взаимодействия с памятью, а также с различными вариантами организации памяти: многоуровневыми. иерархическими, с различными физическими носителями.

О другой стороны, модель однопроцессорной системы в виде двухфазной СМО позволяет рассматривать систему с интенсивностью генерации запросов процессором в память, зависящей от числа запросов в буфере. Это позволяет учесть в модели зависимость между командами при их конвейерной обработке в процессоре. В работе показано, что увеличение объема буфера имеет большее значение при небольшой зависимости между обращениями в память. Например, при ^=1 и р=0.6, где р - вероятность зависимости между обращениями в память, прирост производительности для г=2 и г=4 состав-» ляет, соответственно, 13'/. и 15'/.. При р=0 соответствующий прирост достигает уже 24% и 41%.

Узким местом рассмотренных Р5-систем является то, что в каждый момент времени может обслуживаться или ожидать освобождения модуля памяти только один запрос от процессора, стоящий первым в очереди подготовленных запросов. При этом он блокирует выдачу других запросов, находящихся в буфере и, возможно, относящихся к свободным модулям памяти, на все время ожидания и обслуживания.

Более эффективными являются РР-системы, в которых процессор мо>ет выдавать подготовленные запросы в различные модули памяти параллельно. При этом интерфейс взаимодействия процессора с памятью можно оставить прежним, за исключением того, что выдача запросов в модули памяти осуществляется на основе циклического опроса регистров БВ. После выдачи запроса в один модуль памяти сразу же опрашивается следующий регистр и при наличии запроса ' и свободном соответствующем модуле памяти процессором может быть выдан другой запрос в память без ожидания обслуживания предыдущего запроса. Если же модуль памяти занят обслуживанием другого запроса (возможно и от данного процессора), то выработанный запрос, оставаясь в буфере, должен ожидать обслуживания в специально организованной очереди запросов к данному модулю памяти. В процессоре же опрашивается следующий регистр БВ и т. д. В результате логически реализуется параллельная выдача запросов из процессора в свободные модули памяти или по мере их освобождения.

Функционирование РР-системы описывается замкнутой СеМО с п классами заявок, где каждый класс соответствует определенному процессору. В каждом классе имеется г заявок, обслуживаемых соответствующим процессором и модулями памяти. Данная СеМО удовлетворяет условиям локального баланса. Поэтому характеристики системы можно определить с помощью рекурсивного МУА-алгоритма.

Анализ производительности РР-систем показал, что реализация параллельной выдачи процессором запросов в различные модули памяти приводит к дополнительному повышению производительк сти мультипроцессорных систем на 30-40% по сравнению с системами с последовательной выдачей запросов за счет эффективного использо-

вания буфера выдачи запросов в процессоре и распараллеливания обслуживания запросов каждого процессора в различных модулях памяти. При пропорциональном увеличении числа модулей памяти в системе и коэффициента загрузки ja эффект от параллельного интерфейса может достигать сколь угодно больших значений. При этом возможность параллельного обслуживания нескольких запросов от одного процессора е различных модулях памяти значительно снижает время получения ответа по сравнению с PS-системой.

При изменении коэффициента загрузки JO в РР-системе наблюдается немонотонное изменение эффекта С, повышения производительности, как и в PS-системе. Однако, в отличие от PS-системы предельное значение Ct при »оо в данном случае отличается.от нуля и зависит от структурных параметров системы:

lim С_ = (т-1)(г-1)/(пг+т-1). ( 35 )

В системах с параллельной выдачей запросов в память в каждом процессоре создаются параллельные очереди в соответствующие модули памяти 0П^ (j=l,m). Это эквивалентно буферизации запросов в портах модуля памяти. Введение распределенных буферов в каждом порту модуля памяти позволяет полностью локализовать управление обслуживанием запросов в модулях памяти, включающее разревение конфликтов между запросами от разных процессоров при их буферизации и дисциплину обслуживания. В случае заполнения буфера выдаваемый процессором запрос сохраняется в блоке обмена информацией на регистре выдаче (РВ), а работа процессора блокируется до освобождения РВ.

В работе представлена математическая модель мультипроцессорной системы с буферизацией запросов в портах модуля памяти, называемой ниже MS-системой. На основе системы уравнений (СУР) глобального баланса для вероятностей стационарных состояний системы несложно определить характеристики HS-системы при небольших значениях структурных параметров: числа процессоров п, модулей 0П d и размера буфера в порту модуля памяти г. Однако значительное увеличение числа состояний в системе при увеличении структурных параметров системы п, и или г делает невозможным определение характеристик системы путем непосредственного решения СУР. Поэтому для практического использования в работе разработан приближенный метод вычисления характеристик MS-систем, основанный на декомпозиции системы на подсистемы "процессоры - один модуль памяти".

Приняв начальное предположение об отсутствии блокировок и используя ЛрА/в в качестве параметра экспоненциального распределения времени генераций процессором запроса б 0^, определим коэффициент КР< производительной работы процессора в подсистеме "процессоры - ОП/. Тогда время простоя процессора из-за блокировки ого работы в данной подсистеме раьно =ЛТ* (1-Kpi )/KPi.

В с1.;лу симметричности исходной системы аналогичные блокировки возникают из-за конфликтов в других модулях памяти. Учитывая их, вновь определим среднее время обращения в первый модуль памяти А",1=тЯ"1+(т-1) А, и т.д. Пусть КР = lim К0(- и А= lim А:."Тогда

I о~> /—»во

коэффициент кР производительной работы процессора в исходной системе определяется по формуле:

¿р= Л-1/(Л-1 + А), ( 36 )

где А = Л ''(l-KpJ/Kp - среднее время блокировки работы процессора при одном обращении.

Система с одним модулем памяти эквивалентна РР-системе, в которой буфер выдачи процессора имеет (г+1) место (регистр выдачи в процессоре и г мест в порту модуля памяти). Поэтому для вычисления коэффициента Кр можно воспользоваться алгоритмом вычисления характеристик РР-системы.

Сравнение с результатами, полученными на основё решения СУР, показали достаточную для практики точность предлагемого метода расчета характеристик MS-системы. Это позволило провести исследования'MS-систем с буферированной памятью при произвольных значениях n, m и г. В частности, было показано, что при увеличении структурных - параметров п и и возрастает потенциальная возможность повышения производительности системы с буферированной памятью. Так, если при n=m=2 повышение пропускной способности при г=1 достигает 40%, то при n=m=4 и г=1 эффект С^ достигает 35%. При этом возрастает возможность повышения производительности при увеличении объема буфера. Так при n=m=4 и г=3 максимальное значение Сч достигает уже 100%, что соответствует увеличению производительности вдвое.

Вместе с тем отмечена относительно малая длина очереди за-7росов к модулям памяти. При увеличении как коэффициентаß, так 1 объема буфера г средняя длина очереди к модулю памяти увеличи-зается. Однако при неограниченном увеличении уэ сохраняется не-1улевая вероятность того, что некоторые модули памяти свободны зт запросов, так как процессоры не способны их загрузить из-за 5локировки в других модулях памяти. Поэтому при неограниченном увеличении коэффициента jo среднее число М^ запросов, находящихся в отдельном буфере порта модуля памяти, не достигает объема этого буфера: Цт M.j<r.

Более эффективное использование буфера достигается в случае юступности его регистров всем процессорам системы,т.е. когда бу-зер в модуле памяти язляется общим для всех процессоров. Для системы с общим буфером в модуле памяти, называемую ниже МС-системой, :акже разработана математическая модель и выведены уравнения 'лояльного баланса для вероятностей стационарных состояний системы, юзволяющие определить характеристики системы при т=2, и п^8:

Однако, при больших значениях п, ш или г все же необходимо исполь зовать приближенный метод вычисления характеристик МС-системы.

Для оценки характеристик МС-системы используется тот же декомпозиционно-итерационный метод, что и для МБ-системы. При этом для определения коэффициента Кр производительной работы процессора в подсистеме "процессоры - ОП/1 (в отличие от МБ-системы) используется модель мультипроцессора в виде двухфазной системы массового обслуживания без потерь с конечным буфером между фазами: КР = (1 - Рс) / (п<Я, ( 37 )

где СГ= Л/^* " коэффициент загрузки ОП^ в подсистеме "процессоры - 0П^\ а . ,«„/.* Р = I £(п<ЗГ)'+ (па:)/^ б"1 .

Подробный анализ погрешности метода показал достаточную его точность для практического применения. При этом максимальные значения погрешности Лош достигаются при небольшом объеме буфера. Например, в двухпроцессорной системе с двумя модулями ОП при р=2 максимальное значение Лош = .10% достигается при г=4.

Основная погрешность аналитической модели мультипроцессорной системы,, как было отмечено выше, обусловлена заменой постоянного распределения времени обслуживания в модуле памяти на показательно распределенное. Поэтому для оценки этой погрешности в работе рассмотрена дискретная модель МС-системы с постоянным временем обслуживания в модуле памяти и геометрическим распределением времени генерации процессором запроса в память, являющимся аналогом показательного распределения для дискретного случая. Расчеты характеристик МС-системЬ с одним модулем памяти, выполненные для экспоненциальной и геометрической моделей, подтвердили занижение эффективности экспоненциальной модели. Однако, различие результатов для двух моделей не превышает 10-15%, что вполне приемлемо для использования экспонециальной модели при инженерных исследованиях рассматриваемых систем.

Анализ производительности МС-систем, проведенный на основе разработанных методов, показал, что использование общего для всех процессоров системы буфера в каждом модуле параллельной памяти МВС приводит к дополнительному повышению производительности многопроцессорной системы на 5-10% за счет повышения эффективности (на 10-20%) использования регистров общего буфера по сравнению с буфером, распределенным по портам модуля ОП. Наибольший эффект от введения общего буфера в каждый модуль памяти достигается в сбалансированной системе, причем максимальный прирост производительности МВС достигается при использовании буфера с весьма небольшим объемом (на 4-8 мест).

В заключение 5-й главы рассматривается общая модель системы с двухуровневой организацией буфера в модуле памяти, называемой

МС-системой. Анализ МС-систем показал монотонное повышение производительности мультипроцессорной системы при увеличении объема общего буфера за счет регистров распределенных по портам буферов. Однако это справедливо при условии отсутствия конфликтов между процессорами при буферизации запросов, что выполняется при нулевом времени буферизации. В реальной же системе на буферизацию тратится определенное время и в каждый момент времени в конкретный буфер может записываться только один запрос. В результате при буферизации запросов в общем буфере могут возникнуть дополнительные конфликты между процессорами, что неизбежно приведет к некоторому снижению производительности МС-системы. Поэтому для исключения конфликтов при буферизации запросов целесообразно иметь отдельный для каждого процессора буфер приема запросов (хотя бы на один запрос), расположенный в соответствующем порту модуля памяти. После приема запроса управление его обслуживанием локализуется внутри модуля памяти, и для увеличения объема буфера может использоваться уже общий для всех запросов буфер, перепись в который из разделенных по портам буферов производится с помощью внутримодульной логики. Такой компромиссный подход позволяет избежать конфликты при буферизации запросов в модуле памяти и рационально использовать регистры общего йуфера.

Для анализа конфликтов при буферизации запросов в работе рассмотрена модель МС-системы с ненулевым временем буферизации в модуле памяти, на основе которой показано, что с увеличением времени буферизации Тс эффективность МС-системы резко снижается, а возникающие конфликты между процессорами при буферизации запросов приводят к тому, что при некотором 7* производительность МС-системы становится ниже производительности соответствующей (по общему объему буфера) МЭ-системы.

При небольших значениях Т0 ($ 0.2г), что соответствует реальным системам, доминирующее превосходство по производительности сохраняется за МС-системами, а в некоторых случаях наиболее производительными становятся МС-системы с одним буферным регистром в каждом порту модуля памяти. Учитывая, что МС-системы являются более производительными и при средних значениях Тс (Гв=0.52*), следует рекомендовать именно такую организацию буфера в модулях памяти.

Теоретические исследования выполнены автором в процессе разработки и создания ряда высокопроизводительных микро-ЭВМ и ММС, основными из которых являются микро-ЭВМ "Электроника НЦ-05", "Элетроника 8501", "Салют 21","Салют 22" и "Салют 24". В главе 6 диссертации представлены в качестве примеров два альтернативных варианта организации ММС: системы с магистральной*структур )й на осноье микро-ЭВМ "Электроника НЦ-05" и системы с полносвязным интерфейсом "Салют 22". .

Применение разработанного метода расчета эффективности мультипроцессорных систем к разработке микропроцессора "Электроника НЦ-05" позволило оценить количественно все основные структурные решения его организации и в ряде случаев дать рекомендации по введению в его состав дополнительных средств, обеспечивающих повышение его быстродействия и возможности построения многопроцессорных систем на его основе.

Основные архитектурные принципы, заложенные в микро-ЭВМ "Электроника НЦ-05", заключаются в следующем.

Микро-ЭВМ построена по модульному принципу, в соответствии с которым она конструируется как система автономных модулей. Микро-ЭВМ организована по одномагистральному принципу, в со<?т-ветствии с которым все модули обработки, хранения и передачи информации подключаются друг к другу с помощью односвязного интерфейса "Магистраль НЦ (МНЦ)", являющегося расширением интерфейса микро-ЭВМ "Электроника 60". Связь между модулями полностью асинхронная, благодаря чему на магистрали могут работать устройства с различными скоростями обмена.

Естественным способом увеличения вычислительной мощности _ микро-ЭВМ является подключение к магистрали НЦ нескольких процессоров, разделяющих ее во времени. При этом один процессор назначается главным, остальные - подчиненными. Главный процессор принимает и обрабатывает все внешние прерывания, устанавливает режимы работы устройств, определяет для них очередную задачу. Ему доступны все ресурсы подчиненных процессоров. Для обеспечения системных функций в каждый процессор введен арбитр, который активирован в главном процессоре и отключен в подчиненных.

Для разгрузки магистрали НЦ и использования в полной мере скорости работы блоков процессора в его состав введен двухвходо-вый блок внутренней памяти (БВП), доступный по одному входу непосредственно для запросов данному процессору, а по второму - через магистраль НЦ всем процессорам системы. Адресное пространство этого блока включено в общее адресное пространство на магистрали,что снимает ограничения на способы программирования. Объем БВП составляет 16К слов, достаточный для того, чтобы локальные данные процессов, исполняемых процессорами, расположить в собственных БВП.

Реализация системы команд, обладающей широким набором'операций и типов адресаций данных, которые, в свою очередь, представлены большим разнообразием форматов (биты, байты, поля битов, слова, двойные слова), а также системных требований к организации . вычислительного процесса, • оказалась возможной в рамках микропроцессора благодаря применению микропрограммного управления.

Стремление получить высокое быстродействие при малом объеме оборудования привело к необходимости проектирования нового ком-

плек-..-a БИС, хорошо совместимого с архитектурой микро-ЭВМ. В результате было разработано шесть схем серии 1802: АУ, АР, УМ, 0И, И, РОН. При разработке нового комплекта БИС были учтены рекомендации, полученные автором диссертации в результате анализа алгоритмов микропрограммной реализации системы команд и оценки пропускной способности микро-ЭВМ и систем на ее основе.

Требования дальнейшего повышения быстродействия процессора потребовало введения в его состав дополнительных средств, обеспечивающих совмещение выполнения отдельных фаз вычислительного процесса. Анализ и оценка различных вариантов структурной организации процессора позволили выбрать и реализовать следующие решения:

- аппаратно реализовано совмещение выполнения одной микрокоманды с чтением следующей, позволившее почти вдвое сократить цикл микрокоманды;

- совмещена работа основных операционных устройств процессора (АУ и АР) с работой умножителя и блока обмена информацией (БОИ), выполняющих более длительные операции;

- совмещено исполнение одной команды с формированием адреса и выборкой следующей.

В работе на основе реальных распределений времен работы процессоров и модулей памяти, полученных для нескольких областей применения микро-ЭВМ (инженерных и научно-технических расчетов (Гибб-сон III), управления узлами коммутации (УУК), управления абонентскими пунктами (УАП)), проведен анализ влияния отдельных структурных решений на пропускную способность мультипроцессорных систем, построенных на базе микро-ЭВМ "Электроника НЦ-05". В результате

- Показана высокая эс[>фекивность реализованного в блоке микро-программного<управления принципа совмещения работы процессора и памяти. Например, при р^0.8 эффект совмещения в системе, имеющей до 4-х процессоров, приблизительно равен 23.4% - для научно-технических расчетов и 30% - для управления узлами коммутации.

- Подтверждена высокая эффективность введения блоков внутренней памяти в процессоры. При эффективном использовании внутренней памяти (р > 0.7) число процессоров на магистрали можно увеличить до четырех, причем четвертый процессор повышает пропускную способность на 60-85%.

- Для построения многопроцессорных систем большой производительности рекомендуется построение многомагистральных систем с использованием двухвходовых модулей памяти. Так в двухмагистраль-н'ой системе с четырьмя процессорами на каждой магистрали при р=0.8 можно достичь пропускную способность, равную 1 млн.оп./с для смеси Гиббсон и 2 млн.оп./с для смесей УУК и УАП. В трехма-гистральных системах при тех же условиях достигается Пропускная способность, соответственно, в 1.7 млн.оп./с и в 3.4 млн.оп./с. '

- Показано, что быстродействие процессора является самым существенным фактором, влияющим на повышение пропускной способности систем. Так повышение быстродействия процессора вдвое за счет совмещения выполнения микрокоманды с выборкой следующей повысило пропускную способность двух-четырехпроцессорных систем на 70-75%.

Использование предложенных методов анализа и полученных аналитических зависимостей позволило всесторонне оценить архитектурно-структурные решения изделий "Салют 21" и "Салют 22" и выявить "узкие" места, приводящие к существенному снижению производительности. На основе этого были выработаны рекомендации, направленные на повышение производительности и возможности построения многопроцессорных систем с полносвязным интерфейсом.

Вычислительная система "Салют 22" строится по магистрально-модульному принципу. ВС "Салют 22" включает 6 процессоров "Салют 21", в которых реализована концепция прозрачного мультипроцесси-рования. Каждый процессор имеет две последовательно-параллельные 32-разрядные шины с разделением во времени передачи по ним адреса и данных: шину команд, связывающую процессор с ЗУ команд (ЗУК), и шину операндов для связи процессора с ЗУ операндов (ЗУО). При этом обе области памяти физически разделены между собой и каждая из них расслоена по младшим адресам на 8 независимых модулей-слоев. Каждый модуль памяти имеет несколько входов (портов), к которым подключаются шины отдельных процессоров, а в каждом порту имеется буфер для записи информации при обращении процессора в данный модуль памяти.

Процессор осуществляет предварительную подкачку командных слов (по 4 байта) в буфер команд. Буфер имеет объем 8 32-разрядных слов, что является достаточным, чтобы на линейном участке программы перед выполнением команды соответствующий код ухе полностью находился в буфере процессора.

Вычислительная система "Салют 22" относится к классу авиакосмических БЦВМ. Для сертификации конкретной реализации БЦВМ используется базовая архитектура МИ-ЭТЮ-ИБОА, относительно которой в работе проведена оценка принятых решений. Проведенный анализ выявил, что львиную долю времени в работе процессора (около 50%) отнимают команды пересылок между процессором и памятью. Конфликтное время работы модуля памяти равно при этом только 10%, а 14% отнимает интерфейсное время. Обычные арифметико-логические операции занимают лишь 10%, а около 30% процентов занимают операции над числами с плавающей запятой. Отсюда следует, что для радикального повышения пропускной способности процессора необходимо ускорить выполнение операций над числами с плавающей запятой, например, введением специального ускорителя.

Большой вес пересылок требует ускорения выполнения этих ко-

ма-^д. В первую очередь это относится к интерфейсному времени взаимодействия процессора с памятью. Использование двух областей памяти для данных и команд и двух магистралей связи процессора с ними повысило производительность пестипроцессорной системы более, чем на 25%.

Существенное повышение производительности процессора достается при введении специальных автономных блоков предварительного просмотра команд и выборки операндов. Работа процессора в данном случае организуется по конвейерному принципу, а введенные блоки, работающие с совмещением во времени с основными операционными устройствами процессора, могут автономно выполнять работу процессора по чтению операндов, высвобождая до 15% процессорного времени.

Значительное повышение производительности ВС "Салют 22" может быть достигнуто при конвейерной организации взаимодействия процессора с памятью. При этом реальная производительность многопроцессорных систем типа "Салют-22" может быть резко увеличена (не менее 60%) за счет простых структурных методов и дополнительных почти символических аппаратурных затрат, основу которых составляет оригинальная система многоуровневой буферизации запросов к памяти с распараллеливанием выдачи запросов из процессора в различные модули.

Введение буфера команд повысило производительность системы "Салют 22" на десятки процентов. При этом наиболее ощутимый рост производительности достигается при небольшом объеме буфера. При' большом объеме буфера наступает насыщение системы. Так для шестипроцессорной системы с восьмислойной памятью насыщение наступает при 3-4 регистрах в буфере команд, когда прирост производительности при увеличении буфера команд на один регистр не превышает 10% производительности одного процессора в системе.

Насыщение системы при увеличении объема (К 32-х разрядных слов) буфера команд сопровождается резким снижением вероятности Ро, когда процессор простаивает из-за отсутствия команд в буфере. В рассматриваемой системе при К=4 Ро=0.03, хотя при К=1 Ро достигает 0.33. В "Салют 21" К=8, при котором Ро=0.002. Из проведенного анализа следует, что наличие в буфере команд процессора "Салют 21" восьми регистров излишне: без существенной потери производительности достаточно иметь четыре регистра.

ВЫВОДЫ, ТЕОРЕТИЧЕСКИЕ И ПРАКТИЧЕСКИЕ РЕЗУЛЬТАТЫ

В диссертации осуществлено теоретическое обобщение крупной научной проблемы, имеющей важное народнохозяйственное значена , -проблемы разработки и исследования комплекса новых принципов, методов и средств структурной организации высокопроизводительных

мультимикропроцессорных вычислительных систем (ММС) со многим» потоками команд и данных. Исследование осуществлено с позициГ выдвинутой при участии автора концепции совмещения работы процессора и памяти и буферизованного доступа работающих по конвейерному принципу процессоров к параллельной общей памяти в ориентации на уменьшение времени решения сложных задач обработки информации и управления.

В диссертации получены следующие основные теоретические I практические результаты.

1. На основе обобщения характерных структур современных ММС и перспективных направлений их развития разработана базовая математическая модель малоисследованных в аналитическом плане мультипроцессорных систем с модулями индивидуальной памяти, непосредственно доступными своим процессорам, а по общей магистрал! - другим процессорам, и с модулями общей памяти, доступными' сс стороны процессоров как по полносвязному, так и по неполносвязно-му интерфейсу, и с совмещением работы процессора и памяти.

2. На базе построенной модели и использования методов исследования сетей массового обслуживания разработан и теоретичесю обоснован метод оценки производительности многомагистральной многопроцессорной системы с совмещением работы процессора и памяти, включающий в себя:

- оценки эффективности многомодульных систем с локальными блоками внутренней памяти (БВП) и с полносвязным интерфейсом связ! процессоров с модулями параллельной общей памяти;

- оценки эффективности одномагистральных систем с БВП, доступными по общей магистрали всем процессорам системы;

- итерационный алгоритм оценки эффективности многомагистральных систем с неполносвязным интерфейсом, основанный на декомпозиции такой системы на одномагистральные системы и расчете их эф фективности с учетом загруженности остальных магистралей исходно] системы и межмагистральных конфликтов в общих модулях памяти.

3. Использование разработанного в диссертации метода расчет эффективности позволило провести исследование мультипроцессорньг систем с типовыми и перспективными структурами: одномагистральны систем, многомагистральных систем с полносвязным интерфейсом : многомагистральных систем с неполносвязным интерфейсом, в частно ти, с конвейерной и кольцевой структурами. Исследования показали

3.1. Совмещение работы процессора и памяти позволяет увели чить эффективность системы от 30'/. до 100% в зависимости от зако нов распределения времен работы процессоров и модулей памяти. Эф фект совмещения находится в сильной зависимости от загруженност модулей памяти и магистралей: при увеличении коэффициентов за грузки модулей памяти до бесконечности, равно как и при неограни

ченнои увеличении числа процессоров на магистрали, прирост эффективности за счет совмещения падает до нуля.

3.2. При увеличении числа процессоров, модулей памяти и магистралей производительность системы возрастает, однако при неограниченном увеличении числа процессоров или модулей памяти система достигает насыщения. При пропорциональном увеличении числа процессоров, модулей памяти и магистралей можно достичь сколь угодно большой эффективности, однако их использование при этом снижается.

3.3. Введение ВВП в процессоры значительно повышает эффективность системы за счет уменьшения времени обслуживания в ВВП и снижения конфликтов в общем модуле памяти. При этом с увеличением числа процессоров в системе больший эффект приобретает второй фактор, в то время как эффект от ускорения обслуживания в ВВП падает до нуля. Снижение конфликтов в системах с ВВП позволяет строить многопроцессорные системы с эффективным использованием каждого процессора.

3.4. Снижение эффективности работы процессора из-за конфликтов в общедоступных ВВП не превышает 10-13% и компенсируется уменьшением непроизводительных пересылок между процессорами и общими модулями памяти.

3.5. Эффективность многомагистральной системы зависит от распределения вероятностей обращения в общие модули памяти через интегральные величины - частоты межмагистральных конфликтов. Это облегчает анализ соответствующих зависимостей и решение задачи выбора оптимального распределения информации в модулях 0П. На основе анализа эффективности многомагистральных систем получены условия оптимальности распределения процессоров по магистралям и условия сбалансированности системы с рациональным использованием ресурсов: магистралей, процессоров и модулей памяти.

3.6. Реальная пропускная способность системы с большим числом медленных процессоров выше пропускной способности системы с небольшим числом быстрых процессоров при равной суммарной пропускной способности процессоров. При неограниченном увеличении числа процессоров в системе с постоянной суммарной пропускной способностью реальная пропускная способность системы имеет предел, не зависящий ни от степени совмещения, ни от коэффициента загрузки ВВП. При неограниченном уменьшении цикла работы процессора пропускная способность многопроцессорной системы, монотонно возрастая, также имеет предел, не зависящий от степени совмещения, но зависящий от скорости работы ВВП.

4. Разработаны и исследованы новые принципы структурной организации взаимодействия конвейерных процессоров с параллел' -ой общей памятью, основанные на использовании распределенной буферной памяти, максимальный вариант которой включает четыре уровня:-

последовательный буфер выдачи в процессоре; буфер параллельной выдачи процессора; автономные буфера в портах модуля памяти; общий для всех портов буфер в модуле памяти. В частности:

4.1. Разработаны математические модели и впервые получены аналитические оценки влияния различных структур буферизации запросов параллельно действующих по конвейерному принципу процессоров к общим ресурсам памяти на снижение производительности из-за конфликтов. Использование метода декомпозиции позволяет оценить производительность МВС с комбинированным использованием буферов во всех уровнях.

4.2. Показано, что использование буферизации запросов приводит к существенному повышению производительности мультипроцессорных систем (на десятки процентов) за счет увеличения пропускной способности памяти и коэффициента использования процессоров. При этом наиболее значительный прирост производительности достигается при введении в модули памяти буфера небольшого объема с достаточно простой технической реализацией.

4.3. Анализ систем с различной структурой организации буферов показал немонотонную зависимость эффекта повышения производительности при использованиии буфера от коэффициента загрузки модуля памяти и структурных параметров системы, а также показал эффект насыщения системы при увеличении объема буфера. Предложенные методы расчета производительности систем с буферизацией запросов к памяти позволяют решать задачу выбора оптимальной структуры мультипроцессорной системы и рационального объема буфера на каждом уровне.

5. Проведенные аналитические исследования направлены на реальное проектирование высокопроизводительных микро-ЭВМ и практическое создание ММС со многими потоками команд и данных в рамках НИР и ОКР по темам "Электроника НЦ-05", "Салют 21", "Салют 22" и "Салют 24". Результаты исследований позволили всесторонне оценить различные варианты построения ММС с целью выбора оптимального варианта и реализовать ряд рекомендаций, направленных на повышение производительности и возможности построения многопроцессорных систем с эффективным использованием процессоров. В частности:

5.1. Анализ различных вариантов микропрограммной реализации системы команд и оценка пропускной способности микро-ЭВМ "Электроника НЦ-05" и систем на ее основе позволили выявить эффективные алгоритмы микропрограмм и определить состав операций комплекта БИС серии 1802, хорошо согласующегося с архитектурными особенностями и микропрограммным управлением микро-ЭВМ. В результате, только за счет эффективно составленных микропрограмм, реализующих совмещение работы процессора и памяти, и незначительного объема дополнительной аппаратуры пропускная способность

- 41 -

микр э-ЭВМ и систем увеличилась более чем на четверть.

5.2. Исследования проектируемой многопроцессорной вычислительной системы на базе микро-ЭВМ "Электроника НЦ-05" показали необходимость введения блоков внутренней памяти в процессоры, что позволило увеличить число процессоров на общей магистрали до четырех. Для построения многопроцессорных систем большой производительности рекомендуется построение многомагистральных систем с использованием двухвходовых модулей памяти.

5.3. Повышение быстродействия процессора вдвое за счет совмещения выполнения микрокоманды с выборкой следующей повысило пропускную способность двух-четырехпроцессорных систем на 70-75%.

5.4. Использование в ВС "Салют 22" двух областей памяти для данных и команд и двух магистралей связи процессора с ними повысило производительность шестипроцессорной системы более чем на 25%.

5.5. Использование опережающей подкачки команд и буфера на 8 32-разрядных слов обеспечивает "почти" постоянное (99.7%) наличие команд в процессоре "Салют 21" на линейном участке программы.

5.6. Значительное повышение производительности ВС "Салют 22" может быть достигнуто при конвейерной организации взаимодействия процессора с памятью. При этом реальная производительность мультимикропроцессорных систем типа "Салют 22" может быть резко увеличена (не менее чем на 60%) за счет простых структурных методов и дополнительных почти символических аппаратурных затрат, основу которых составляет оригинальная система многоуровневой буферизации запросов к памяти с распараллеливанием вы-цачи запросов из процессора в различные модули.

5.7. В развитие концепции мультипроцессорной вычислительной :истемы "Салют-22" разработаны технические предложения по пост->оению перспективной вычислительной системы высокой производительности (до 100 млн.оп./с) и технологической рабочей станции.

5.8. Разработаны принципы построения архитектур параметри-1еского ряда перспективных БЦВМ на основе МПК типа Салют для БКУ CA и методы комплексирования микропроцессорных и многомашинных ГВС перспективных КА.

6. Разработанные аналитические методы обладают достаточной >бщностыэ и могут быть использованы для расчета реальной произ-юдительности мульгипроцесорных систем с различными конфигурацией и параметрами, а также реализованных на иной элементной ба-:е. В частности, предполагается использовать разработанные мето-,ы в рамках перспективных работ по организации систем на основе PARC-процессоров, работающих по конвейерному принципу и испо " -ующих Зуферизацип запросов как за инструкциями, так и за данны-и и в процессоре, и в портах многопортовых модулей памяти.

Основное содержание диссертации отражено в следующих опубликование работах:

1.Сокол D.U. Казанцев П.Н. Некоторые вопросы эффективности процессора с разделением вычислительных ресурсов. - Управляющие системы и машины, 1973, N 2, с.81-88.

2. A.c. N 767757. Устройство для выполнения арифметических и логических операций над словами. /Береэенко А.И.. Казанцев П.Н., Корнев М.Д., Сокол D.M. и др. Приоритет от 25.12.78.

3. Казанцев П.Н., Корнев Ы.Д., Ыамаев X. А.. Сокол D.U. Исследование многопроцессорных систем с обшей виной. - В сб. : Вопросы микроэлектроники и физики полупроводниковых приборов. Тез.докладов - Тбилиси, Иэд.:НТОРЭС им.А.С.Попова, 1980, с.205.

4. Воробьев H.U., Казанцев П.Н., Корнев U.A.. Мамаев X. А.. Сокол D.U. Архитектурные особенности высокопроизводительной мик-ро-ЭВН "Электроника НЦ-05Т". - Электронная промышленность, 1980, К 7. с.9-12.

5. Казанцев П.Н., Корнев М.Д.. Мамаев X. А., Сокол D.U. Но-дудь процессора микро-ЭВЦ "Электроника НЦ-05Т". - Электронна* промышленность. 1981, N 1, с.47-50.

6. Сокол D.U. Исследование производительности детерминированной конвейерной вычислительной системы с ограниченной памятью. - Электронная техника, сер.9 (ЭСУ), 1981, N 3, с.54-59.

7. Сокол D.U. Анализ эффекта совмещения работы процессора « памяти к мультипроцессорных системах. - Автоматика и вычислительная техника, 1981, N 5, с.8-16.

8. Корнев U. Д., Крейнин А. Я.. Сокол D.U.. Казанцев П.Н. Исследование эффективности многопроцессорных систем с блоками внутренней памяти. - Автоматика и вычислительная техника, 1982, N 5. стр.25-32.

9. Сокол D.U. Приближенный расчет эффективности многома-гметральных вычислительных систем. - Управляющие системы ■ машины, 1981. N 6, с.45-49.

10. Сокол D.U. Оценка эффективности мультипроцессорам систем с совмеоением работы процессора и памяти. - Электронна) техника, сер.ЭСУ. 1982, HI. с.41-46.

11. Сокол D.U. Об одной аналитической модели конфликтов i общей памяти мультипроцессорных систем. - Автоматика и вычислительна* техника. 1982, N 4. с.66-68.

12. Сокол D.U. Оценки эффективности многопроцессорных систе» с блоками внутренней памяти. - Электронное моделирование, 1982, H 5. с.15-21.

13.Каган B.U., КреВнин А.Я.. Сокол D.U. Влияние конфликтов i памяти на эффективность мультипроцессорных систем. - В кв.: Применение микропроцессоров в системах управления, тез.докладов.

- 43 -

U.. Изд.: НТОРЭС им.А.С.Попова, 1982.

14. Березенко А. И., Казанцев П.Н., Калинин С.Е., Корнев М. Д., Корягин Л.Н., Сокол D.U. Архитектурно-структурные особенности микропроцессорного комплекта БИС серии 1802. - Электронная промышленность, 1983, N 4, с.5-10.

15. Сокол D.M. Выбор дисциплины обслуживания в магистралях многопроцессорных систем. - Электронная техника, сер.ЭСУ, 1983, вып.4. с.49-53.

16. Сокол D.M. Итерационный алгоритм оценки эффективности многомагистральных вычислительных систем с совмещением работы процессора и памяти. - Управляющие системы и машины, 1986, N 2, с.57-64.

17. Сокол D.M. Производительность многопроцессорных систем с блоками внутренней памяти. - Электронная техника, сер.ЭСУ, 1986, N 2. стр.49-54.

18. A.c. N 146748. Процессор. /Казанцев П.Н.. Гаморин М.D., Сокол D.M. и др. Приоритет от 24.11.86.

19. Сокол D.M. Анализ производительности двухмагистральных вычислительных систем. - Электронная техника, сер. ЭСУ 1990, вып.1, с.53-56.

•20. Сокол D.M. Интенсивность обслуживания магистралей в двухвходовых модулях памяти. - Электронная техника, сер.10 "Микроэлектронные устройства", 1990, вып. 4, с. 17-21.

21. Дорогов В.Г., Леоненко В.А., Сокол D.M., Петров А.Е. Архитектура высокопроизводительной вычислительной системы с прозрачным мультипроцессированием. - В сб.: Современное* состояние и тенденции развития отечественных микропроцессорных средств вычислительной техники. Материалы конф. - М.: ЦНИИ "Электроника", 1990, с.40-43.

22. Сокол D.M. Анализ конфликтов в двухвходовых иодулях памяти многомагистральных систем. - Электронная техника, сер.10 "Микроэлектронные устройства", 1990, вып.6, с.16-21.

23. Сокол D.M. Оценка производительности иногомагистральных многопроцессорных систем с двухвходовыми модулями общей памяти. -В сб. Научных трудов НПО им. С. А. Лавочкина, вып.1, М.: Транспорт, 1991, с.40.

24. Сокол D.H. Производительность многопроцессорной системы с буферизацией запросов в многопортовой памяти. - В сб.: Высокопроизводительные вычислительные системы в управлении и научных исследованиях. Материалы Международной конференции. - Алма-Ата, Изд. Института проблем управления. Сентябрь, 1991, с.58.

25. Сокол D.U. Оценка производительности многопроцессорных систем с процессорами конвейерного типа. - Электронная техника Сер.10, Микроэлектронные устройства, 1991, Вып.6, с.19-23.

26. Сокол D.M. Анализ эффективности опережающей подготовки

процессором запросов в память в многопроцессорных системах. Электронная техника, сер.10 "Микроэлектронике устройства", 1991, вып.6, стр.24-29.

27. Сокол D.M. Анализ пропускной способности буферированной многопортовой памяти - Автоматика и телемеханика, 1992, N 3 с.153-163.

28. Сокол D.M. Производительность МВС с обшей памятью и параллельным интерфейсом в конвейерных процессорах. - Электронная техника, Сер.10, Микроэлектронные устройства, 1992, Вып.3,4, с.11-17.

29. Сокол D.M. Оптимизация интерфейса параллельной обшей памяти для многопроцессорных вычислительных систем. - Автоматика и телемеханика, 1993, N 5, с.180-189.

30. Сокол С.М. Оценка пропускной способности буферированной многопортовой памяти в многопроцессорной системе. - Электронная техника. Сер.10 "Микроэлектронные устройства", 1993, Вып.3,4, с.24-29.

Личный вклад. Все результаты, составляющие основное содержание диссертации, получены автором самостоятельно. В работах, опубликованных в соавторстве, личный вклад диссертанта состоит в следующем:

В работе 1 автору принадлежит разработка математической модели, выбор критериев эффективности и оценка принципиальнных структурных организаций процессора с разделением вычислительных ресурсов. В авторских свидетельствах 2 и 18 и в работе 14 - разработка и реализация принципов функционирования и структурных схем соответствующих устройств и выбор состава операций отдельных БИС комплекта 1802. В работах 3, 8 и 13 - содержательная математическая формулировка задачи, разработка математической модели, исследование МВС с совмещением работы процессора и памяти и анализ эффекта введения внутренней памяти в процессоры. В работах 4 и 5 автору принадлежит разработка и обоснование архитектуры и общей структурной организации микропроцессора с блоками внутренней памяти и многопроцессорных систем на его основе, разработка, микропрограммная реализация и анализ предложенного автором принципа совмещения работы процессора и памяти. В работе 21, имеющей характер обобщенной информации о разрабатываемой группой разработчиков МВС, автору принадлежит разработка принципов архитектурной организации МВС.

Зак.5Э4.Т«р.80.ШУ