автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.15, диссертация на тему:Исследование методов отладки аппаратуры и программного обеспечения на процессоре с автоматическим распределением ресурсов

На правах рукописи

ТОРЧИГИН СЕРГЕИ ВЛАДИМИРОВИЧ

ИССЛЕДОВАНИЕ МЕТОДОВ ОТЛАДКИ АППАРАТУРЫ И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ НА ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЕ С АВТОМАТИЧЕСКИМ РАСПРЕДЕЛЕНИЕМ

РЕСУРСОВ

Специальность: 05.13.15 «Вычислительные машины и системы»

АВТОРОФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва - 2003

Работа выполнена в Институте проблем информатики РАН.

Научный руководитель:

доктор технических наук, профессор, академик РАН Всеволод Сергеевич Бурцев

Официальные Оппоненты:

доктор технических наук, профессор Ярослав Афанасьевич Хетагуров

кандидат технических наук Игорь Анатольевич Шилов

Ведущая организация

Институт электронных управляющих машин ОАО "ИНЭУМ"

Защита диссертации состоится*^ * ^ £¿-¿^-¿003 года в / ' часов на заседании диссертационного Совета Д 002.&73.01 при Институте проблем информатики РАН (Москва, ул. Вавилова, 44-2).

С диссертацией можно ознакомится в библиотеке Института проблем информатики РАН.

Автореферат разослан

2003 года.

Отзыв, заверенный печатью, просим отправлять в одном экземпляре по адресу: 119333, Москва ул. Вавилова, 44-2.

Ученый секретарь диссертационного совета доктор технических наук, профессор

С.Н.Гринченко

2.СОЗ--Д

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

В настоящее время в различных областях науки и техники, таких как энергетика, аэродинамика, биология, информатика, экономика и других существует большое количество сложных вычислительных задач. Эти задачи требуют огромных вычислительных мощностей и, как правило, имеют большое количество глобальных данных, что приводит к снижению реальной производительность в традиционных, находящихся в эксплуатации и производстве суперЭВМ и вычислительных комплексов. Можно назвать две основные проблемы, тормозящие рост реальной производительности вычислительных комплексов:

1. Необходимость под держки когерентности КЭШ памяти.

2. Необходимость синхронизации вычислительных процессов по данным. Это приводит к тому что, реальная производительность универсальных суперЭВМ и многопроцессорных вычислительных комплексов составляет в среднем лишь 12-15 процентов от пиковой производительности комплексов на задачах с относительно большим количеством глобальных данных.

Для устранения этих серьезных недостатков требуется разработка совершенно новых методов организации вычислительного процесса и аппаратных средств, реализующих эти методы.

В этой связи весьма перспективным выглядит подход, в котором вычислительный процесс управляется потоками готовых к обработке данных. Этот подход в течение длительного времени привлекает к себе внимание разработчиков компьютеров многими весьма ценными для получения предельной производительности особенностями. В первую очередь, это связано с тем, что уже на стадии изложения алгоритма в максимальной степени исключается взаимосвязь операций, и провозглашается принцип «можно выполнять одновременно все операции, для которых в этот момент готовы операнды». Выполнение этого принципа обеспечивает предельную степень параллелизма, который имеется у конкретной задачи.

В настоящее время спроектирован, изготовлен, отлажен и прошел всесторонние испытания макет вычислительной системы с автоматическим распределением ресурсов (ВСАРР), который позволил исследовать, как на программном, так и на аппаратном уровнях большинство проблем, возникающих при разработке полномасштабной ВСАРР. Одной из основных таких проблем является исследование и разработка современных методов отладки аппаратуры ВСАРР и выполняемых на нем задач. Эти вопросы рассматриваются в настоящей работе.

Отличительной особенностью ВСАРР является автоматическое (без вмешательства программиста) распределение ресурсов системы и распараллеливание вычислительных процессов. Еще одной отличительной

особенностью ВСАРР является то, что организацию параллельных вычислительных процессов выполняет ассоциативная память. Проведенные исследования на имитационной модели и макете ВСАРР на задачах с относительно большим количеством глобальных данных показали, что при увеличении числа исполнительных устройств и модулей ассоциативной памяти производительность всей системы в целом возрастает, если параллелилизм самой задачи достаточно высок. ВСАРР может эффективно работать, как в многозадачном режиме, так и в режиме управления процессами внутри большой задачи. На аппаратном уровне, без затраты времени исполнительных устройств, решена проблема синхронизации вычислительных процессов, как по данным внутри системы, так и по данным, которые приходят от внешних объектов, работающих в реальном масштабе времени.

Исполняемая на ВСАРР задача может быть представлена в виде графа вычислений, каждый узел которого имеет не более двух входов и практически неограниченное количество выходов. Так как в ВСАРР последовательность выполнения большинства операций не определена и ход их выполнения может изменяться при различных запусках одной и той же задачи, то отладка задач на ВСАРРР требует принципиально новых подходов, которые исследуются в настоящей работе. Весьма актуальными являются следующие новые вопросы, возникающие при отладке задач:

• разработка методов отладки задач на ВСАРР;

• разработка принципов организации системного программного обеспечения для отладки задач на ВСАРР;

• разработка методов отладки аппаратуры ВСАРР;

• аппаратная поддержка методов отладки задач, проходящих на ВСАРР;

• аппаратная поддержка методов отладки системного программного обеспечения, расположенного на ВСАРР.

Наряду со средствами отладки задач необходимо разработать средства для автономной отладки следующих компонентов аппаратуры ВСАРР.

• ассоциативной памяти;

• многопоточных исполнительных устройств;

• всей системы в целом. Цель диссертационной работы

Цель работы - исследовать новые методы отладки системного программного обеспечения и прикладных задач для новой вычислительной системы с автоматическим распределением ресурсов. Разработать принципы отладки задач для указанной архитектуры. Создать программное обеспечение для программно-аппаратной отладки прикладных задач, выполняемых на рассматриваемой архитектуре, а также для отладки аппаратуры указанной вычислительной системы. Создать аппаратную поддержку разработанных методов отладки.

[ Методы исследования

Исследования проводились с использованием теории операционных систем, теории параллельных вычислительных процессов. Программное обеспечение для программно - аппаратной отладки ВСАРР создавалось на основе современных принципов объектно-ориентированного программирования и методов информатики. Степень научной новизны

Впервые исследованы и разработаны методы, позволяющие отлаживать программное обеспечение и аппаратуру для новой вычислительной системы с автоматическим распределением ресурсов и с новыми подходами к организации процесса вычислений. Научная новизна работы состоит в следующем:

• предложены новые методы отладки системных и прикладных задач на ВСАРР;

• предложена аппаратная поддержка для методов отладки системных и прикладных задач;

• выявлены специфические компоненты системного программного обеспечения, необходимые для отладки задач на ВСАРР;

• сформулированы принципы разработки программно-аппаратных средств для отладки аппаратуры ВСАРР;

• разработаны структура и алгоритмы функционирования сервисных программ, выполняющих следующие функции:

о получение и визуализация результатов; о сбор статистики о работе ВСАРР;

о загрузка данных и кода программ в память рассматриваемой

вычислительной системы, а также их модификации; о считывание содержимого логических анализаторов с устройств ВСАРР.

Практическая значимость

Практическая значимость заключается в следующем:

• разработано программное обеспечение для отладки системных и прикладных задач, запускаемых на ВСАРР;

• определены особенности аппаратной поддержки ВСАРР, необходимые для обеспечения эффективной отладки системных и прикладных задач;

• реализовано и апробировано на макете разработанное программное обеспечение для отладки аппаратуры макета ВСАРР.

Все перечисленное выше было разработано, отлажено и практически апробировано при отладке макета ВСАРР.

Полученные результаты диссертационной работы целесообразно использовать при отладке задач на подобных архитектурах, для разработки и

отладки расположенных на ВСАРР компонентов ОС и для разработки аппаратных средств, при помощи которых производится отладка аппаратуры ВСАРР.

Апробация результатов

Основные положения и результаты работы докладывались и обсуждались на научных семинарах в ИПИ РАН 2000-2002 г., на международных конференциях «Информационные технологии в науки, образовании, телекоммуникации, бизнесе» 2001 и 2002 годах. Исследование разработанных методик и механизмов отладки производились в Институте проблем информатики РАН при отладке макета ВСАРР. Публикации

Опубликовано 8 научных работ, список которых приведен в конце автореферата. Объем работы

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложения. Объем диссертации: всего 178 е., из них основного текста 156с., список литературы из 80 наименований, 55 рисунков. Краткое описание работы

Во введении обосновывается актуальность темы диссертации, определяется область исследований, формулируются цель и задачи исследования.

Первая глава является обзорной. В ней рассматриваются параллельные вычисления, их связь с аппаратурой, универсальные ЭВМ с множеством процессорных элементов. Подробно рассматриваются вычислительные системы, управляемые потоками данных, и организация в них вычислительного процесса (ВП). Анализируются проблемы, связанные с отладкой задач в многопроцессорных вычислительных системах (МВС). Вводятся основные понятия, такие как граф вычислений задачи, узел, токен, пара, маска, ключ, взаимодействие токенов и др.

Среди ряда известных архитектур, реализующих параллельные вычисления: конвейерных, матричных, теговых и т. п., наибольшее внимание уделено архитектуре с автоматическим распределением ресурсов, в которой вычислительный процесс представляется в виде графа вычислений.

Кроме того, анализируются известные в настоящее время методы отладки аппаратуры и задач. Показано, что для эффективной отладки необходимо четко представлять себе особенности отлаживаемого объекта.

Во второй главе приводится анализ архитектуры ВСАРР, разработанной в ИПИ РАН. Рассматриваются архитектурные особенности ВСАРР. В узлах графа вычислений может находиться программа, в частном случае она может выполняться так же, как и в архитектуре фон-Неймана. Показано, что для отладки задачи на ВСАРР необходимо разработать специальное программное обеспечение с соответствующей аппаратной поддержкой.

Результаты, полученные на моделях ВСАРР, показали, что построенные на них вычислительные системы обладают набором новых качественных свойств и функциональных возможностей с более высокими технико-экономическими характеристиками. Это дает основание говорить о широких возможностях ВСАРР в плане создания универсальных и специализированных процессоров, отличающихся высокой производительностью и надежностью. ВСАРР, состоящая из модулей ассоциативной памяти, исполнительных устройств, устройства управления ассоциативной памятью и оперативно запоминающим устройством (ОЗУ) может достигать реальной производительности более одного терафлопа операций в секунду. Структурная схема ВСАРР показана на рис. 1.

Пользователь 1

Пользователь п

Рис. 1 Структурная схема ВСАРР. На аппаратном уровне без затраты времени процессора решена проблема синхронизации вычислительных процессов по данным. Система обладает высокой структурной надежностью, масштабируемостью и технологичностью. Еще одной интересной особенностью исследуемой архитектуры является то, что организацию параллельных вычислительных процессов выполняет ассоциативная память.

Анализируются проблемы, возникающие при отладке задач и аппаратуры ВСАРР. Показано, что основные трудности с отладкой задач возникают из-за того, что в рассматриваемой системе временные зависимости минимизированы, а реальные вычислительные процессы протекают во времени.

В третьей главе исследуются вопросы отладки задач, выполняемых на ВСАРР и аппаратуры ВСАРР. Формулируются принципы разработки программного обеспечения для отладки задач на ВСАРР. Показано, что часть программного обеспечения целесообразно располагать на сопряженной с ВСАРР ХОСТ - машине, работающей под управлением стандартной операционной системой (ОС) типа (Window, Linux). Рассматриваются необходимые дополнительные аппаратные средства и вводятся специальные команды, которые позволяют облегчить процедуру отладки задач и компонентов ОС, расположенных на ВСАРР. Как выяснилось в результате анализа различных подходов к построению отладчиков, наиболее перспективным направлением является то, в котором отладчик собирает трассу задачи или ведет протокол выполнения задачи. В отладчике должна иметься возможность оперативно включать и отключать в процессе выполнения задачи сбор трассы задачи и ее протоколирование. Целесообразно также иметь возможность изменять набор протоколируемых данных. Поэтому для ВСАРР следует разработать совершенно новую схему отладчика подобного типа, которая фиксирует все приходящие данные в узел графа вычисления задачи и выходящие из него данные. Порядок выполнения узлов графа вычислений задачи зависит только от готовности приходящих в этот узел данных, поэтому для отладки задач в отладчике и аппаратуре необходимо встроить следующие виды остановов исполнительных устройств ВСАРР: Остановы в графе вычислений задачи

1. Выдача токена из исполнительного устройства (ИУ). Останов ИУ осуществляется перед выдачей результата от одного узла графа вычислений задачи другому узлу. Состояние и данные токена могут маскироваться. При этом останов может осуществляться перед выдачей результата какому-то конкретному узлу или группе узлов, а также при определенном значении результата.

2. Вход в узел графа вычислений задачи. Останов производится по приходу данных в каждый узел графа вычислений задачи. На состояние и данные пришедшей пары может быть наложена маска. Следовательно, должна быть возможность произвести останов ИУ ВСАРР по приходу конкретных данных, определенному узлу или группе узлов графа вычислений задачи.

3. По контексту (поле в токене или паре). Останов производится перед выдачей токена из ИУ или по приему пары в ИУ по заданному контексту. Контекст токена или пары может маскироваться. При помощи этого останова, можно узнать какие данные входили в определенный узел графа вычислений задачи и какие выходили. Следовательно, зная содержимое ассоциативной памяти, можно прогнозировать дельнейшие вычисления задачи и влиять на ход вычислений. То же может быть выполнено и для группы узлов.

Остановы внутри узла графа вычислений задачи

1. Покомандный. В покомандном режиме, остановы производятся внутри узлов графа вычислений задачи, состоящих из последовательного набора команд. При помощи этого вида останова выявляются ошибки в программе узла. Существует возможность просмотра и изменения функциональных регистров ИУ, памяти команд и констант. Останов может происходить и по определенному значению регистров общего назначения (РОНа) или РОНов, что бывает полезно в больших программах узла.

2. Останов по номеру команды в программе узла. Этот вид останова полезен при отладке программы внутри узла, в котором были исключительные ситуации или переходы. Останов производится перед началом выполнения команды, на которую был установлен останов. Как правило, этот режим останова применяется в паре с имеющим маску поузловым остановом или с остановом по состоянию с маской.

Если отладка задачи производилась на ВСАРР, то после останова пользователь может произвести сброс интересующей информации о задаче на ХОСТ -машину.

Отладочные аппаратные средства были встроены также и в ассоциативную память. К ним относятся логический анализатор и специальный просмотровый режим, в котором, накладывая маску на ключ токена, можно выводить любую интересующую информацию о задаче. Рассмотренные программно -аппаратные отладочные средства превосходят по функциональности и удобству средства, имеющиеся в стандартных архитектурах. При помощи предложенных остановов можно выполнять следующие действия:

• Отлаживать граф вычислений задачи, останавливаясь только на интересующих узлах.

• Устанавливать точки останова на обращение к ассоциативной памяти, как по чтению, так и по записи (в исследуемой архитектуре можно останавливаться при обращении к целому вектору или группе данных, в отличие от стандартных архитектур, в которых можно останавливаться только по конкретному адресу в памяти или адресу и данному).

• Просматривать ассоциативную память специальными средствами и выбирать только необходимую информацию, задавая маску на просмотр.

• Устанавливать точки останова на сообщениях от ОС (все обработчики прерываний ОС представлены в виде узлов, поэтому очень легко организовать этот вид останова) для ВСАРР;

• Обрабатывать исключительные ситуации в исполнительных устройствах ВСАРР.

Для отладки аппаратуры ВСАРР была предложена следующая методика состоящая из следующих пяти этапов (рис. 2):

1. Автономная отладка математической модели каждого блока устройства ВСАРР.

2. Автономная отладка блоков устройств ВСАРР на отладочном стенде.

3. Автономная отладка взаимосвязанных блоков и устройств ВСАРР.

4. Комплексная отладка пар устройств ИУ, и АП,.

5. Комплексная отладка аппаратуры ВСАРР.

1) Автономная отладка каждой модели блока

устройств ВСАРР 2) Автономная отладка

~ ~ каждого блока устройств

ВСАРР на отладочном стенде

Автономная

отладка выявленного неисправного блока устройства

Проверка на модели блока, ситуации вызвавшую ошибку в блоке при отладке его на отладочном стенде

3) Автономная отладка каждого устройства ВСАРР

Автономная отладка выявленного неисправного устройства

5) Комплексная отладка всей ВСАРР

4) Комплексная отладка каждой пары устройств ИУ и АП

Отладка выявленной неисправной пары ИУ и АП

Рис. 2 Методика отладки аппаратуры макета ВСАРР

На первом этапе производится автономная отладка математических моделей всех блоков устройств ВСАРР в системе автоматического проектирования (САПР), например, (ЗиагШБ II. Верификация модели выполняется с помощью встроенного в САПР симулятора, результаты работы которого можно проанализировать в встроенным в САПР сигнальном редакторе, в нем же задаются и тестовые воздействия на модель.

На втором этапе производится автономная отладка блоков устройств ВСАРР на отладочном стенде. Отладочный стенд сопряжен с ХОСТ - машиной при помощи специально разработанного интерфейса. На ХОСТ - машине располагается специальное ПО для проведение отладки любых блоков устройств ВСАРР, самих устройств и комплексной отладки всей ВСАРР. С помощью этого ПО можно задавать на входы отлаживаемого блока любые входные воздействия, просматривать внутренние регистры блока, память встроенного в блок логического анализатора и выходные данные.

На третьем этапе отлаживается все устройство целиком. Интерфейсы между блоками и т.д.

Четвертый этап включает в себя комплексную отладку пар устройств ИУ, и АП,. Отлаживаются интерфейсы между устройствами.

На заключительном этапе производится комплексная отладка всей ВСАРР. Проверяется правильность функционирования коммутаторов токенов и пар.

Если при комплексной отладке ВСАРР оказывается, что она работает неправильно, то выявляется в какой паре устройств ИУ„ АП, происходит ошибка, затем в каком именно устройстве АП или ИУ есть ошибка, далее анализируется отдельно это устройство. Выявляется блок в устройстве совершающий ошибку, и производится его автономная отладка.

После того, как будет отлажена вся аппаратура ВСАРР, можно переходить к отладке задач на ВСАРР. Для этого нужно разработать специальное ПО с аппаратной поддержкой, способное останавливать выполнение задачи в узлах графа вычислений, собирать трассу и вести протокол выполнения задачи. На рисунке 3 приведена методика отладки прикладных задач, она также состоит из двух этапов. На первом этапе производится отладка задачи на одном ИУ и одном модуле ассоциативной памяти (МАП). Это делается, для того чтобы, обнаружить все ошибки, возникающие при работе прикладной программы внутри узла. Когда получен желаемый результат и все ошибки в программе исправлены, то необходимо перейти ко второму этапу отладки. Второй этап отладки осуществляется на всех ИУ и МАП. Именно на этом этапе и производится отладка графа вычислений задачи. Как известно, после комплексной отладки аппаратуры любой вычислительной системы нет полной уверенности в правильности ее работы при любых входных данных. Поэтому разработана приведенная ниже (на рисунке 3) методика комплексной отладки программ и аппаратуры ВСАРР.

В четвертой главе содержится описание используемых для отладки задач и аппаратуры программно - аппаратных средств, разработанных с учетом представленных в главе 3 методов. При этом аппаратные средства встроены в ВСАРР, а программные средства находятся на сопряженной с ВСАРР ХОСТ - машине. При помощи этих средств можно отлаживать следующие блоки ВСАРР:

• исполнительные устройства (включая функциональные блоки);

• модули ассоциативной памяти;

• коммутаторы пар и токенов.

Для отладки этих модулей были разработаны следующие специальные сервисные программы:

• отладчик устройств и функциональных блоков ВСАРР;

• логический анализатор для всех функциональных блоков ВСАРР;

• обработчик прерываний и исключительных ситуаций от ВСАРР;

• анализатор получаемой от ВСАРР статистики; и ряд других вспомогательных программ.

Приводятся сведения о разработанных аппаратных средствах, которые позволяют следить за состояниями исполнительных устройств, о программно -аппаратных средствах для просмотра ассоциативной памяти ВСАРР и поиска в ней необходимой информации.

Приводятся функциональные возможности специального отладчика, который позволяет интерактивно отлаживать задачу непосредственно на ВСАРР. Отладчик имеет следующие возможности:

1. Останавливать выполнение задачи на начале обработки каждого узла, узла или узлов, выбранных программистом в графе вычислений задачи.

2. Останавливать выполнение задачи по приходу в узел любых данных или только определенных. Таким образом, программист может останавливать выполнение задачи по приходу на определенный узел определенных данных, в частном случае, по приходу вектора.

3. Останавливать выполнение задачи при выдаче любых данных или определенных данных в МАП. Таким образом, можно контролировать данные, записываемые в МАП, и данные, которые будут взаимодействовать с посылаемым данным в МАПе.

Отладчик имеет возможность контролировать входные и выходные данные, а также контролировать содержимое ассоциативной памяти. При отладке программ можно задавать сразу несколько остановов одного вида и различные комбинации остановов. Однако это возможно только при работе с трассой отлаживаемой задачи.

Еще одной возможностью отладчика является отладка программы узла графа вычислений отлаживаемой задачи. Отладчик имеет стандартные средства отладки, подобные имеющимся в архитектуре фон-Неймана.

Выявлены два вида ошибок, возникающих в программах узла. К первому относятся аварийные ситуации, возникающие во время выполнения программы, например, попытка деления на ноль и т.п. Такие ошибки приводят к аварийному завершению задачи. С помощью встроенного отладчика можно обнаружить их источник. Ко второму виду ошибок относятся ошибки в логике программы узла. Найти их намного сложнее. Однако встроенный отладчик имеет необходимые средства слежения за содержимым регистров общего назначения, что значительно облегчает поиск таких ошибок. На основе опыта отладки макета ВСАРР можно сделать вывод, что использование такого мощного инструмента и предложенной выше методики позволяет производить отладку задач весьма эффективно.

Для отладки аппаратных средств в каждый функциональный блок ВСАРР (ассоциативная память, коммутаторы, блок целочисленных операций, блок вещественных операций, память команд, устройство управления и др.) были встроены логические анализаторы, содержимое которых передается на ХОСТ - машину. С помощью этих логических анализаторов выполняется динамическая отладка всей аппаратуры ВСАРР. Был разработан специальный набор отладочных программ, который помогает определить неработающий или сбойный блок ВСАРР.

Заключение Опыт отладки макета ВСАРР подтвердил правильность методов и подходов, разработанных в ходе диссертационной работы, и помог сформировать направления дальнейшего развития программно- аппаратных средств для ВСАРР.

На практике получены следующие результаты:

• определены архитектурные особенности аппаратной поддержки ВСАРР, необходимые для обеспечения эффективной отладки задач;

• разработано программное обеспечение для отладки системных и прикладных задач;

• разработано программное обеспечение для отладки аппаратуры ВСАРР. Все перечисленные программно-аппаратные средства были разработаны, отлажены и апробированы при отладке макета ВСАРР. В рамках диссертационной работы, на основе опыта разработки и отладки макета, выявлены и проанализированы возникающие при отладке проблемы и намечены пути их решения. Созданы необходимые аппаратные средства поддержки методов отладки. Для полномасштабной ВСАРР необходимо лишь развитие предлагаемых средств.

Практическая реализация комплекса программного обеспечения и средств аппаратной поддержки для отладки системных и прикладных программ, а также для отладки аппаратуры макета ВСАРР, подтвердила работоспособность и эффективность разработанных средств.

Положения, выносимые на защиту:

1. Результаты анализа архитектурных особенностей аппаратной поддержки ВСАРР и прохождения задач в этой системе с целью определения необходимой аппаратной поддержки, требуемой для отладки аппаратуры и прикладных задач.

2. Методика отладки аппаратуры, системного программного обеспечения и прикладных задач.

3. Набор специализированных программ для отладки аппаратуры, системного программного обеспечения и прикладных задач.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработана методика отладки аппаратуры ВСАРР.

2. Предложена аппаратная и программная поддержка автономной отладки устройств ВСАРР.

3. Предложена аппаратная поддержка для отладки аппаратуры, системного программного обеспечения и прикладных задач.

4. Разработано и создано программное обеспечение для отладки аппаратуры ВСАРР.

5. Разработана методика отладки системных и прикладных задач на ВСАРР.

6. Разработано и создано программное обеспечение для отладки системных и прикладных задач на ВСАРР.

7. Намечены пути дальнейшего развития разработанных средств для использования их в полномасштабной ВСАРР.

Основные публикации по теме диссертации

Общий список печатных трудов автора по теме диссертации включает 8 наименований:

1. Торчигин C.B. Особенности отладки прикладных программ на вычислительной системе потока данных. И С.А. Лебедев и развитие отечественной вычислительной техники М.2002 г., с. 188-190

2. Торчигин C.B. Опыт использования стандарта JTAG при отладке высокопроизводительной вычислительной системы, управляемой потоком данных. // Материалы международной конференции «Информационные технологии в науке, образовании и бизнесе IT+SE'2001.» Гурзуф, 2001., с. 57-59

3. Торчигин C.B. Опыт разработки и применения программных средств, использующих возможности механизма граничного сканирования (стандарта JTAG) для тестирования устройств на основе ПЛИС фирмы ALTERA. // Материалы международной конференции «Информационные технологии в науке, образовании и бизнесе IT+SE'2002.» Гурзуф, 2002., с.81-83

4. Торчигин C.B. Принципы использования механизма граничного сканирования (стандарт JTAG) в неоднородных микропроцессорных системах. // УДК 681.31 Деп. В ВИНИТИ 10.10.2002, № 1707-В2002

5. Торчигин C.B. Разработка программных средств, использующих возможности механизма граничного сканирования для тестирования неоднородных микропроцессорных систем. // УДК 681.31 Деп. В ВИНИТИ 10.10.2002, № 1708-В2002

6. Янкевич Е.А., Градов Е.С., Торчигин C.B. Макетирование исполнительного устройства процессора гибридной архитектуры. // С.А. Лебедев и развитие отечественной вычислительной техники. М.2002 г.,с. 176-180. (личный вклад C.B. Торчигина - раздел, относящийся к отладке макета исполнительного устройства вычислительной системы с автоматическим распределением ресурсов)

7. Торчигин C.B. Программные средства, использующие возможности механизма граничного сканирования стандарта JTAG для тестирования устройств на основе ПЛИС фирмы ALTERA. // Электронный журнал «Исследовано в России», 2002, с. 1702-1711. http://zhurnal.ape.relarn.ru/aiticles/2002/150.pdf

8. Торчигин C.B. Принципы использования стандарта JTAG при отладке вычислительных систем, основанных на программируемых логических интегральных схемах. // Электронный журнал «Исследовано в России», 2002, с.1686-1701. http://zhurnal.ape.relarn.ru/articles/2002/149.pdf

Приложение 1. Расшифровка аббревиатур

АП - Ассоциативная память БГП - буфер готовых пар ВП - вычислительный процесс

ВСАРР - вычислительная система с автоматическим распределением ресурсов ИУ - исполнительное устройство КМ - коммутатор

МАП - модуль ассоциативной памяти

МВС - многопроцессорные вычислительные системы

ОС - операционная система

ОЗУ - оперативно запоминающее устройство

ПО - программное обеспечение

РОН - регистр общего назначения

Подписано к печати 18.04.2003. Формат 60x84 1/16. Бумага офсетная. Печать офсетная. Тираж 100 экз. Заказ № 1.18.04.2003 Отпечатано в «МАТИ»-РГТУ им. К.Э.Циолковского 109240 Москва, Берниковская наб.,14

I

114 6*'*

Введение.

ГЛАВА 1. Обзор современных высокопроизводительных вычислительных комплексов и методов их отладки.

Архитектуры современных многопроцессорных систем.

Сравнительный анализ современных многопроцессорных вычислительных систем.

Вычислительные системы, управляемые потоком данных.

Основные проблемы, связанные с отладкой задач и аппаратуры современных вычислительных систем.

Общая методика отладки аппаратных средств вычислительных систем.

Трудности при отладке задач на многопроцессорных вычислительных системах традиционных архитектур.

Обзор средств для отладки программ на современных многопроцессорных вычислительных системах.

Методы отладки многопоточных программ на вычислительных системах с массовым параллелизмом.

Выводы.

ГЛАВА 2. Особенности организации вычислительных процессов и архитектура вычислительной системы с автоматическим распределением ресурсов.

Исследование принципов организации вычислений при автоматическом распределении ресурсов.

Основные архитектурные особенности вычислительной системы с автоматическим распределением ресурсов.

Исследование и разработка принципов взаимодействия между вычислительной системой с автоматическим распределением ресурсов и ХОСТ - машиной.

Выводы.

ГЛАВА 3. Методы отладки вычислительной системы с автоматическим распределением ресурсов.

Исследование необходимых аппаратных средств для отладки устройств вычислительной системы с автоматическим распределением ресурсов.

Обоснование дополнительной аппаратной поддержки в вычислительной системе с автоматическим распределением ресурсов для отладки задач пользователей и аппаратуры самой системы.

Обоснование методики автономной отладки аппаратуры вычислительной системы с автоматическим распределением ресурсов.

Обоснование необходимых средств для отладки задач в вычислительной системе с автоматическим распределением ресурсов.

Исследование подходов к отладке задач на вычислительной системе с автоматическим распределением ресурсов.

Выводы.

ГЛАВА 4 Реализация предложенных методов в виде набора сервисных программ для вычислительной системы с автоматическим распределением ресурсов.

Состав и функциональные возможности разработанных программных средств для обмена информацией между макетом вычислительной системы с автоматическим распределением ресурсов и инженерным персональным компьютером.

Особенности реализации программного обеспечение инженерного персонального компьютера.

Особенности реализации программных средств для отладки макета вычислительной системы с автоматическим распределением ресурсов.

Особенности реализации программного обеспечения для отладки задач, выполняемых на макете вычислительной системы с автоматическим распределением ресурсов.

Актуальность темы

В настоящее время в различных областях науки и техники, таких как энергетика, аэродинамика, биология, информатика, экономика и других существует большое количество сложных вычислительных задач. Эти задачи требуют огромных вычислительных мощностей и, как правило, имеют большое количество глобальных (разделяемых) данных, что приводит к снижению реальной производительность суперЭВМ и вычислительных комплексов. Можно назвать две основные проблемы, тормозящие рост реальной производительности вычислительных комплексов:

1. Необходимость поддержки когерентности КЭШ памяти.

2. Необходимость синхронизации вычислительных процессов по данным.

Это приводит к тому, что реальная производительность универсальных суперЭВМ и многопроцессорных вычислительных комплексов на задачах с относительно большим количеством глобальных данных составляет в среднем лишь 12-15 процентов от пиковой производительности комплексов [37, 38]. Для устранения этих серьезных недостатков необходима разработка совершенно новых методов организации вычислительного процесса и аппаратных средств, реализующих эти методы.

В этой связи весьма перспективным выглядит подход, в котором вычислительный процесс управляется потоками готовых к обработке данных [35, 36]. Этот подход в течение длительного времени привлекает к себе внимание разработчиков компьютеров многими весьма ценными для получения предельной производительности особенностями. В первую очередь, это связано с тем, что уже на стадии изложения алгоритма в максимальной степени исключается взаимосвязь операций, и провозглашается принцип «можно выполнять одновременно все операции, для которых в этот момент готовы операнды». Выполнение этого принципа обеспечивает предельную степень параллелизма, который имеется у конкретной задачи.

В настоящее время спроектирован, изготовлен, отлажен и прошел всесторонние испытания макет вычислительной системы с автоматическим распределением ресурсов (ВСАРР), который позволил исследовать, как на программном, так и на аппаратном уровнях большинство проблем, возникающих при разработке полномасштабной ВСАРР. Одной из основных таких проблем является исследование и разработка современных методов отладки аппаратуры ВСАРР и выполняемых на ней задач. Эти вопросы рассматриваются в настоящей работе.

Отличительной особенностью ВСАРР является автоматическое (без вмешательства программиста) распределение ресурсов системы и распараллеливание вычислительных процессов. Еще одной отличительной особенностью ВСАРР является то, что организацию параллельных вычислительных процессов выполняет ассоциативная память. Проведенные исследования на имитационной модели и макете ВСАРР на задачах с относительно большим количеством глобальных данных показали, что при увеличении числа исполнительных устройств и модулей ассоциативной памяти производительность всей системы в целом возрастает пропорционально количеству процессоров, если параллелизм самой задачи достаточно высок. ВСАРР может эффективно работать, как в многозадачном режиме, так и в режиме управления процессами внутри большой задачи. На аппаратном уровне, без затраты времени исполнительных устройств, решена проблема синхронизации вычислительных процессов как по данным внутри системы, так и по данным, которые приходят от внешних объектов, работающих в реальном масштабе времени.

Исполняемая на ВСАРР задача может быть представлена в виде графа вычислений, каждый узел которого имеет не более двух входов и практически неограниченное количество выходов. Так как в ВСАРР последовательность выполнения большинства операций не определена и ход их выполнения может изменяться при различных запусках одной и той же задачи, то отладка задач на ВСАРРР требует принципиально новых подходов, которые исследуются в настоящей работе. Весьма актуальными являются следующие новые вопросы, возникающие при отладке задач:

• разработка методов отладки задач на ВСАРР;

• разработка принципов организации системного программного обеспечения для отладки задач на ВСАРР;

• разработка методов отладки аппаратуры ВСАРР;

• аппаратная поддержка методов отладки задач, проходящих на ВСАРР;

• аппаратная поддержка методов отладки системного программного обеспечения, расположенного на ВСАРР.

Наряду со средствами отладки задач необходимо разработать средства для автономной отладки следующих компонентов аппаратуры ВСАРР:

• ассоциативной памяти;

• многопоточных исполнительных устройств;

• всей системы в целом.

Цель диссертационной работы

Цель работы - исследовать новые методы отладки системного программного обеспечения и прикладных задач для новой вычислительной системы с автоматическим распределением ресурсов. Разработать принципы отладки задач для указанной архитектуры. Создать программное обеспечение для отладки прикладных задач, выполняемых на рассматриваемой архитектуре, а также для отладки аппаратуры указанной вычислительной системы. Создать необходимую аппаратную поддержку разработанных методов отладки.

Методы исследования

Исследования проводились с использованием теории операционных систем, теории параллельных вычислительных процессов. Программное обеспечение для отладки ВСАРР создавалось на основе современных принципов объектно-ориентированного программирования.

Степень научной новизны

Впервые исследованы и разработаны методы, позволяющие отлаживать программное обеспечение и аппаратуру для новой вычислительной системы с автоматическим распределением ресурсов и с новыми подходами к организации процесса вычислений. Научная новизна работы состоит в следующем:

• предложены методы отладки системных и прикладных задач на ВСАРР;

• предложена аппаратная поддержка для методов отладки системных и прикладных задач;

• выявлены специфические компоненты системного программного обеспечения, необходимые для отладки задач на ВСАРР;

• сформулированы принципы разработки программно-аппаратных средств для отладки аппаратуры ВСАРР;

• исследованы и разработаны структура и алгоритмы функционирования сервисных программ, выполняющих следующие функции: о получение и визуализация результатов; о сбор статистики о работе ВСАРР; о загрузка данных и кода программ в память рассматриваемой вычислительной системы, а также их модификации; о считывание содержимого логических анализаторов с устройств ВСАРР.

Практическая значимость

Практическая значимость заключается в следующем:

• разработано программное обеспечение для отладки системных и прикладных задач запускаемых на ВСАРР;

• определены особенности аппаратной поддержки ВСАРР, необходимые для обеспечения эффективной отладки системных и прикладных задач;

• реализовано и апробировано на макете разработанное программное обеспечение для отладки аппаратуры макета ВСАРР.

Все перечисленное выше было разработано, отлажено и практически апробировано при отладке макета ВСАРР.

Полученные результаты диссертационной работы могут быть использованы при отладке аппаратуры полномасштабной суперЭВМ с автоматическим распределением ресурсов, а также сложных задач, требующих больших объемов вычислений, выполняемых на этой суперЭВМ. Кроме того, полученные результаты могут быть использованы при отладке аппаратуры и задач на суперЭВМ подобной архитектуры.

Апробация результатов

Основные положения и результаты работы докладывались и обсуждались на научных семинарах в ИПИ РАН 2000-2003 г., на международных конференциях «Информационные технологии в науки, образовании, телекоммуникации, бизнесе» 2001 и 2002 годах, на международной конференции «Интеллектуальные и многопроцессорные системы ИМС'2003» в 2003 году. Исследование разработанных методик и механизмов отладки проводилось в Институте проблем информатики РАН при отладке макета ВСАРР.

Объем работы

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложения. Объем диссертации: всего 178 е., из них основного текста 147с., список литературы из 80 наименований, 50 рисунков.

Основные результаты работы

1. Разработана методика отладки аппаратуры ВСАРР.

2. Предложена аппаратная и программная поддержка автономной отладки устройств ВСАРР.

3. Предложена аппаратная поддержка для отладки аппаратуры, системного программного обеспечения и прикладных задач,

4. Разработано и создано программное обеспечение для отладки аппаратуры ВСАРР.

5. Разработана методика отладки системных и прикладных задач на ВСАРР.

6. Разработано и создано программное обеспечение для отладки системных и прикладных задач на ВСАРР.

7. Намечены пути дальнейшего развития разработанных средств для использования их в полномасштабной ВСАРР.

Заключение

Опыт отладки макета ВСАРР подтвердил правильность методов и подходов, разработанных в ходе диссертационной работы, и помог сформировать направления дальнейшего развития программно- аппаратных средств для ВСАРР. На практике получены следующие результаты: определены архитектурные особенности аппаратной поддержки ВСАРР, необходимые для обеспечения эффективной отладки задач; разработано программное обеспечение для отладки системных и прикладных задач; разработано программное обеспечение для отладки аппаратуры ВСАРР.

Все перечисленные программно-аппаратные средства были разработаны, отлажены и апробированы при отладке макета ВСАРР. В рамках диссертационной работы, на основе опыта разработки и отладки макета, выявлены и проанализированы возникающие при отладке проблемы и намечены пути их решения. Созданы необходимые аппаратные средства поддержки методов отладки. Для полномасштабной ВСАРР необходимо лишь развитие предлагаемых средств.

Практическая реализация комплекса программного обеспечения и средств аппаратной поддержки для отладки системных и прикладных программ, а также для отладки аппаратуры макета ВСАРР, подтвердила работоспособность и эффективность разработанных средств.

1. «Архитектура и языки программирования для машин, управляемых потоком данных», // Отчет отдела системного программирования ВЦКП АН СССР за 1989 г.

2. Agervala Т., Arvind. Data Flow Systems // Computer. Vol.15. - No.2. Feb, 1982. -P.10-13

3. Agerwala Т., J.L.Martin, J.H.Mirza and others "SP2 System Architecture" // IBM Systems Journal, Vol. 34, M 2,1995.

4. Amos В., S. Deshpande, M. Mayfield, F. O'Connell "RS/6000 SP 375MHz POWER3 SMP High Node", White paper, IBM Corporation // http://www-l.ibm.com/servers/eserver/ pseries/hardware/whitepapers/nighthawk.pdf August 2000.

5. Buck J.T., Scheduling dynamic dataflow graphs with bounded memory using the token flow model // Thesis of dissertation for the degree of Doctor of Philosophy, University of California at Berkeley, 1993

6. Culler D., "The Explicit Token Store" // Jurnal of Parallel and Distributed Computing, vol.10, 289-308,1990.

7. Culler D.E., K.E. Schauser, T. von Eicken. Two Fundamental Limits on Dataflow Multiprocessing // Computer Science Division University of California, Berkeley : Report No. UCB/CSD 92/716

8. Dennis J., Data Flow Supercomputers // Computer. Vol.13. - No.l 1. Nov, 1980. - P.48-56

9. Dennis J.,. The Evolution of 'Static' Data-Flow Architecture // Advanced Topics in Dataflow Computing, ed. L. Bic and J.-L. Gaudiot, Prentice Hall, 1991. P.35-91

10. Dennis J.B., "First Version of s Data Flow Procedure Language" // Lecture Notes in Computer Science, vol.19,1974.

11. Dorojevets M., COOL multithreading in HTMT SPELL-1 processors // International Journal of High Speed Electronics and Systems. Vol. 10. - No. 1, 2000

12. Gurd J.R. et al., "Fine grain Parallel Computing: the Dataflow Approach" // Lecture Notes in Computers Science, vol.272, 1987

13. Gurd J.R. et al., "The Manchester Prototipe Dataflow Computer" // Communication of the ACM, vol.28, no. 1,1985

14. Kavi K.M., J. Arul, R. Giorgi. Execution and Cache Performance of the Scheduled Dataflow Architecture // Journal of Universal Computer Science, Vol. 6, no. 10,2000

15. Kawakanvi K., Gurd J.R., " A Scalable Dataflow Structure Store" // Proceedings of the 13th Annual Simposium on Computer Architecture, June 1986

16. Sakai S. et al., "An Architecture of a Dataflow Single Chip Processor" // 16 Annual Symposium on Computer Architecture, 1989.

17. Sakai S. et al., "Pipeline Optimisation of a Data-flow Machine" in "Advanced Topics in Data-Flow Computing".

18. Sargeant J. and Kirkham C.C., "Stored Data Structure on the Manchester Dataflow Machine" // Proceedings of the 13th Annual Simposium on Computer Architecture, June 1986.

19. Silc J.„ B. Robic, T. Ungerer. Asynchrony in parallel computing: From dataflow to multithreading // Parallel and Distributed Computing Practices. March 1998. - Vol.1, No.l

20. Sterling Т., L. Bergman. A design analysis of a Hybrid Technology Multithreaded Architecture for Petaflops scale computation // Jet propulsion laboratory California Institute of Technology Pasadena, California, 1999

21. Ungerer Т., В. Robic, J. Silc. Multithreaded processors // The Computer Journal. -Vol.45. No.3. 2002. - P.320-348

22. Ween A.H., "Dataflow Machine Architecture" // ACM Computing Surveys, vol.18, no.4,1986.

23. Yamaguchi Y. et al., "An Architectural Design of a Higly Parallel Dataflow Machine" // in Information Processing 89 (IFIP Congress Proceedings), 1989 Elsevier Sc.Publ.

24. Амосов A.A., Ю.А.Дубинский, Н.В.Копченова "Вычислительные методы для инженеров" учеб. пособие // М.: Высш. шк,, 1994.

25. Антонов А.П., «Язак описания цифровых устройств AlteraHDL» // Москва: РадиоСофт, 2001

26. Антонов А.П., В.Ф.Мелехин, А.С.Филиппов "Обзор элементной базы фирмы ALTERA."//СПб : Файнстрит, 1997.

27. Армстронг Ж.П., "Моделирование цифровых систем на языке VHDL" // М.,МИР, 1992.

28. Архангельский А.Я., «Delphi 7 справочное пособие» // Москва: БИНОМ, 2003

29. Берд К. Петафлопсные вычисления: дорого, но реально (часть1) // Компьютерра. -2000.- 13 дек.

30. Бибило П.Н., «Синтез логических схем с использованием языка VHDL» // Москва: СОЛОН-Р, 2002

31. Букатов А.А. Разработка средств непроцедурной реализации распараллеливающих преобразований программ. // Труды Всероссийской научной конференции

32. Фундаментальные и прикладные аспекты разработки больших распределенных комплексов». Абрау-Дюрсо. 1998.-е. 109-116.

33. Бурцев B.C., Л.Г.Тарасенко "Использование стандартных микропроцессоров в системе потока данных" В сб. Вычислительные машины с нетрадиционной архитектурой.// СуперЭВМ. Выпуск 3, М., ИВВС РАН, 1995г., с.3-30.

34. Бурцев В.С.,"Система массового параллелизма с автоматическим распределением аппаратных средств суперЭВМ в процессе решения задачи." В сб. Вычислительные машины с нетрадиционной архитектурой.// СуперЭВМ. Выпуск 2, М. ВЦКП РАН, 1994г., с.3-37.

35. Воеводин Вл.В. Архитектура массивно-параллельных компьютеров (на примере CRAY T3D). Особенности программирования: // Курс лекций. Параллельная обработка данных. http://parallel.ru/

36. Гиндбург А., М. Милчев, Ю. Солоницын, «Переферийные устройства» // СПб: ПИТЕР, 2001

37. Гордеев А.В., Молчанов А.Ю. "Системное программное обеспечение" // СПб: ПИТЕР, 2002

38. Гук М.,"Интерфейсы ПК: справочник" // СПб: ЗАО "Издательство "Питер"", 1999.

39. Данилов П. IBM POWER4 процессор из параллельного мира // http://www.ixbt.com/cpu/ibm-power4.shtml. - 2002. - 12 марта

40. Жилин И. Голубой ключик // Компьютерный мир Харькова. Независимый информационно-аналитический еженедельник. Сетевая версия. 2000. - 14 февр. -№1

41. Иртегов Д., "Введение в операционные системы" // СПб: БХВ-Санкт-Петербург, 2002

42. Каляев А.В. Многопроцессорные системы с программируемой архитектурой. -М.: Радио и связь. 1984. -240 с.

43. Каляев А.В., Левин И.И., Пономарев И.М. Базовый модуль многопроцессорной вычислительной системы с программируемой архитектурой для эффективного решения исследовательских и производственных задач. // Наука производству, М.,№ 11, 1999. -с 33 -39.

44. Каляев А.В., Станишевский О.Б. Принципы построения программно-аппаратных средств супермакрокомпьютеров. // Информатика, М., №2, 1990. -с. 13-21.

45. Каляев А.В., Фрадкин Б.Г., Левин И.И. Унифицированная элементная база для построения реконфигурируемых под задачу вычислительных систем. // Известия ВУЗов, Электроника, М.,№ 1, 1997. -с. 74-83.

46. Каляев А.В., Каляев И.А., Левин И.И., Пономарев И.М. Параллельный компьютер с программируемой под структуру задачи архитектурой. // Труды шестого международного семинара "Распределенная обработка информации", Новосибирск. 1998. -с. 25-29.

47. Картунов В. Еще раз о Hyper Threading // http://www.ixbt.com/cpu/hyperthreading-tech.shtml. 2002. - 10 мая

48. Комолов Д.А., Р.А. Мальяк, А.С. Филиппов «Системы автоматизированного проектирования фирмы ALTERA MAX+PLUS II и QuartusII» // Москва: РАДИОСОФТ, 2002

49. Корнеев В.В., "Параллельные вычислительные системы" // М.: "Нолидж",1999.

50. Корнеев В.В. Архитектуры с распределенной разделяемой памятью // Открытые Системы. -2001. -№3

51. Корнеев В.В. Параллельные вычислительные системы. // М.: "Нолидж", 1999

52. Корнеев В.В. Эволюция микропроцессорных архитектур // Открытые системы.2000. №4

53. Корнеев В.В., А.В. Киселев "Современные микропроцессоры"// М.: "Нолидж",1998.

54. Кузьминский М. Архитектура S2MP свежий взгляд на cc-NUMA // Открытые системы. - 1997. - №2

55. Кузьминский М. Векторно-параллельные суперкомпьютеры NEC // Открытые системы. 1999. - №3

56. Кузьминский М. Дорога к высоким тактовым частотам // Открытые системы.2001.-№2

57. Кузьминский М., Волков Д. Современные суперкомпьютеры: состояние и перспективы // Открытые Системы. 1995. - №6

58. Мокрушин Л.А. Концепция компьютеров потока данных: Обзор-реферат. // Л.: ЛЭТИ, каф. ИИТ, 1990

59. Молчадский В.Д., "Сравнение архитектур SMP и NUMA" // Открытые Технологии. http://www.ot.ru/ru/news/interesting/numa smp.html

60. Новиков Ю.В., «Основы цифровой схемотехники» // Москва: МИР 2001

61. Новиков Ю.В., О.А. Калашников, С.Э. Гуляев, «Разработка устройств сопряжения» //Москва: ЭКОМ, 1997

62. Опадчий Ю.Ф., О.П.Глудкин, А.И.Гуров "Аналоговая и цифровая электроника" // М.,1996, Радио и связь.

63. Пескова С.А., "Курс лекций по дисциплине "Техническое обеспечение и внешние устройства ЭВС" // МАТИ-РГТУ, кафедра МПС, Э и Э.

64. Разевиг В.Д., "Система проектирования цифровых устройств OrCAD" // М.:"Солон-Р", 2000.

65. Севериновский Е. Hyper-Threading: "два-в-одном" от Intel, или Скрытые возможности Хеоп // Компьютерное Обозрение. 2002. - 27 марта. - №12

66. Стешенко В.Б.,"ПЛИС фирмы "Altera": Элементная база, система проектирования и языки описания аппаратуры"// М.: "Додэка-ХХГ, 2002.

67. Тэллес М., Ю. Хсих, «Наука отладки» // Москва: КУДИЦ-ОБРАЗ, 2003

68. Угрюмов Е., «Цифровая схемотехника» // СПб : БХВ-Санкт-Петербург, 2000

69. Харман Э., «Разработка СОМ Приложений в среде Delphi» // Москва: Вильяме, 2000

70. Хетагуров Я. А. Проектирование информационно-вычислительных комплексов -М.: Высшая школа. 1977 г.

71. Хетагуров Я.А., Древе Ю.Г. Проектирование информационно-вычислительных комплексов. М. 1987.- 280с.

72. Хетагуров Я.А. Основы проектирования управляющих вычислительных систем // М.: Радио и связь, 1991,с. 287.

73. Чмырь Игорь Алексеевич. "Теория операционных систем" // курс лекций 10/06/1997 Одесская Государственная Академия Холода.

74. Шмидт В. Системы IBM SP2 // Открытые системы. 1995. - №6

75. Шнитман В.З. Современные высокопроизводительные компьютеры // Центр Информационных Технологий. 1996. - http://citforum.ru/hardware/svk/contents.shtml

76. Шнитман В.З., Кузнецов С.Д. Аппаратно-программные платформы корпоративных информационных систем // Центр Информационных Технологий. 1996. -http://citforum.ru/hardware/appkis/contents.shtml

77. Шнитман В.З., Кузнецов С.Д. Серверы корпоративных баз данных // Центр Информационных Технологий. ^ 1997. http://citforum.ru/database/skbd/contents.shtml

78. Яицков А.С., "VHDL — язык описания аппаратных средств: Учебное пособие" // , МАТИ-РГТУ "ЛАТМЭС",М., 1998.

79. Ясинявичус Р.Ю. Параллельные пространственно-временные вычислительные структуры. //Вильнюс: Мокслас. 1988 г. -с. 181.el- оч- <57a1. Российская академия наук

80. Q Институт проблем информатики1. На правах рукописи

81. Торчигин Сергей Владимирович

82. ИССЛЕДОВАНИЕ МЕТОДОВ ОТЛАДКИ АППАРАТУРЫ И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ НА ПРОЦЕССОРЕ С АВТОМАТИЧЕСКИМ РАСПРЕДЕЛЕНИЕМ РЕСУРСОВ0Jt±щ7с/1с/if1. G ifc1. Hit? ictc^rerycL^

83. KcCttftyCfa"^ длительные машины и системы»

84. Дата Читательский билет № Диспетчерский № Сот𠹕