автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.05, диссертация на тему:Исследование и разработка высокопроизводительных устройств коммуникационной среды для создания параллельных ЭВМ индустриального применения

ВВЕДЕНИЕ.

1. Исследование и выбор схемы построения коммуникационной среды для создания параллельных ЭВМ индустриального применения.

1.1. Анализ области применения.

1.2. Требования, предъявляемые к коммуникационным средам параллельных ЭВМ индустриального применения.

1.3. Коммуникационные среды и архитектуры параллельных ЭВМ.

1.3.1. Классификация коммуникационных сред.

1.3.2. Основные типы архитектур параллельных ЭВМ.

1.3.2.1. Симметричные мультипроцессорные системы.

1.3.2.2. Системы с неоднородным доступом к памяти.

1.3.2.3. Системы с массовым параллелизмом.

1.3.2.4. Кластерные системы

1.3.2.5. Неоднородные системы.

1.4. Выбор схемы построения коммуникационной среды, удовлетворяющей поставленным требованиям.

1.4.1. Промышленные сети класса FieldBus.

1.4.2. Высокопроизводительные коммуникационные среды масштаба вычислительной системы для создания параллельных ЭВМ научного и офисного применения.

1.4.3. Высокопроизводительные коммуникационные среды масштаба вычислительной системы для создания параллельных ЭВМ индустриального применения зарубежных производителей.

1.4.4. Двухслойная схема построения коммуникационной среды для создания параллельных ЭВМ индустриального применения.

Выводы

2. Разработка методов и средств, используемых при построении верхнего слоя коммуникационной среды параллельной ЭВМ индустриального применения.

2.1. Реализация индустриального Ethernet/Fast Ethernet на базе контроллера коммутатора/адаптера сетей Ethernet/Fast Ethernet.

2.2. Разработка блоков контроллера коммутатора, повышающих эффективность его использования для построения коммуникационных сред параллельных ЭВМ кластерного типа.

2.2.1. Организация управления коммутацией кадров в коммутаторе.

2.2.1.1. Методы построения адресной таблицы.

2.2.1.2. Методы организации транковых соединений.

2.2.2. Масштабирование коммутаторов.

2.3. Структура разработанного контроллера коммутатора Ethernet/Fast Ethernet.

Выводы.

3. Исследование и разработка методов построения нижнего высокопроизводительного слоя коммуникационной среды для создания параллельных ЭВМ индустриального применения.

3.1. Исследование методов организации высокопроизводительных коммуникационных протоколов.

3.1.1. Многоуровневая организация коммуникационных протоколов.

3.1.2. Специализированные высокопроизводительные коммуникационные интерфейсы.

3.1.2.1. Виртуальный интерфейс VI.

3.1.2.2. Коммуникационная библиотека Myricom GM.

3.1.2.3. Коммуникационная библиотека Quadrics QNA API.

3.2. Разработка методов и средств построения высокопроизводительного коммуникационного интерфейса.

3.2.1. Формулировка базовых принципов построения интерфейса.

3.2.2. Архитектура и функционирование интерфейса.

3.2.3. Разработка адаптера высокопроизводительной коммуникационной среды.

3.2.3.1. Обобщенная функциональная модель адаптера.

3.2.3.2. Структура адаптера.

3.2.3.3. Схема функционирования разработанного адаптера в

Э вычислительной системе.

Выводы.

4. Разработка методов построения канального уровня высокопроизводительного слоя коммуникационной среды для создания параллельных ЭВМ индустриального применения.

4.1. Основные характеристики разработанного протокола.

4.2. Разработка метода доступа к среде с кольцевой топологией.

4.2.1. Алгоритм работы многомаркерного метода доступа.

Э 4.2.2. Методика оценки эффективности использования среды.

4.2.3. Метод создания отказоустойчивых колец.

4.2.4. Структура контроллера, реализующего разработанный протокол

4.3. Реализация подуровня коммутируемых соединений.

Выводы.

1 5. Использование разработанных средств построения коммуникационных сред.

5.1. Проектирование систем на базе разработанных средств построения коммуникационных сред.

5.2. Варианты построения систем на базе разработанного контроллера коммутатора Ethernet/Fast Ethernet.

5.3. Специализированная распределенная вычислительная система на устройствах с перенастраиваемой архитектурой.

Выводы.

Усложнение технологий производства, стремление повысить интеллектуальность АСУ приводят к задачам построения и совершенствования высокопроизводительных ЭВМ, предназначенных для функционирования в условиях индустриальных систем и систем специального назначения.

Один из основных способов повышения производительности вычислительной системы - это увеличение количества вычислительных устройств, т.е. построение параллельной ЭВМ. При построении высокопроизводительного параллельного компьютера ключевыми являются два вопроса: создание мощного базового процессорного узла и создание эффективной подсистемы коммуникаций, связывающей базовые узлы друг с другом - коммуникационной среды масштаба вычислительной системы. Именно поэтому вопрос создания такой среды стал одним из ведущих направлений исследований в США в рамках Стратегической ускоренной компьютерной инициативы ASCI Министерства энергетики США, под эгидой которой созданы на сегодняшний день самые мощные в мире суперЭВМ. Данное направление программы ASCI получило название PathForward и привело к созданию наиболее мощной современной коммуникационной среды масштаба вычислительной системы QsNet. Ряд подобных работ различных компаний и альянсов вылился в создание таких стандартов и спецификаций как Virtual Interface [1, 2], InfiniBand [3, 4], SCI[10], Myrinet [5, 6] и др.

Коммуникационная среда масштаба вычислительной системы служит для создания на базе независимых компонент - вычислительных модулей, устройств ввода/вывода, периферийных устройств и др. - единой распределенной вычислительной системы, параллельной ЭВМ. В англоязычной литературе для таких коммуникационных сред введен термин SAN - System Area Network. Этот термин вводится, чтобы отличить такие среды от сред для LAN) [7] - Local Area Networks - локальных вычислительных сетей (ЛВС). Особенность SAN, которая отличает ее от ЛВС - это направленность на организацию эффективных обменов информацией между процессами, выполняющимися одновременно на вычислительных узлах системы. В то время как задача ЛВС — это организация обмена информацией между машинами сети.

В России подобные исследования развиты мало. Отечественных сред такого типа не существует. Для создания высокопроизводительных параллельных ЭВМ общего применения российские разработчики пока вынуждены использовать коммуникационное оборудование зарубежных производителей, главным образом, коммуникационных сред типа Myrinet и SCI на базе устройств и программного обеспечения соответственно компаний Myricom и Dolphinics Interconnect Solutions. Высокопроизводительное оборудование коммуникационных сред, удовлетворяющее требованиям условий индустриального и специального применения, для российского потребителя является коммерчески недоступным.

Данная работа посвящена решению актуальной научно-технической задачи разработки устройств и средств построения высокопроизводительной коммуникационной среды для создания параллельных многопроцессорных вычислительных систем индустриального и специального применения.

Работа имеет существенное значение для повышения производительности параллельных ЭВМ, предназначенных для контроля и автоматического управления объектами индустриального и специального применения. На важность указывает большое количество публикаций по теме в отечественной и зарубежной литературе, а также большое количество проводимых конференций и семинаров, посвященных данным вопросам, и большая практическая заинтересованность в создании таких систем.

Представленная работа связана с научными планами отдела разработки высокопроизводительных систем НИИ Системных Исследований РАН по созданию современных высокопроизводительных параллельных ЭВМ, а также по созданию и развитию коммуникационных устройств и вычислительных сетей.

Цель работы (исследования)

Цель диссертации заключается в научном исследовании, направленном на развитие теории и практики построения высокопроизводительных коммуникационных сред параллельных ЭВМ индустриального применения, а также на исследование и разработку схемотехнических и алгоритмических методов построения высокопроизводительных устройств коммуникационной среды для обеспечения взаимодействия процессов, выполняющихся параллельно на различных вычислительных модулях высокопроизводительной параллельной ЭВМ индустриального применения, обеспечивающих скорости обмена до 1 Гбит/с и время задержки от 5 мкс.

Для достижения цели был использован комплексный подход, включающий исследование существующих коммуникационных протоколов, стандартов и алгоритмов, моделирование потоков данных, разработку методов, структур и схемотехники устройств, функциональных схем и программного обеспечения, экспериментальное подтверждение идеи на макетных образцах разработанных изделий.

Состояние вопроса определяет необходимость:

• провести исследование коммуникационных протоколов, стандартов и методов;

• выполнить анализ требований, обуславливаемых областью применения;

• исследовать структурно-алгоритмические решения;

• на основе анализа протоколов, алгоритмов и требований области применения определить общие подходы и методики построения коммуникационной среды для создания параллельных ЭВМ индустриального применения;

• определить методы построения высокопроизводительных устройств различных уровней коммуникационной среды для создания параллельных ЭВМ индустриального применения.

В соответствии с этим были определены следующие основные задачи:

• анализ требований, предъявляемых к коммуникационным средам ' высокопроизводительных параллельных ЭВМ индустриального применения;

• анализ методов, алгоритмов и подходов, используемых для создания коммуникационных сред высокопроизводительных параллельных ЭВМ;

• выбор схем построения коммуникационной среды для создания высокопроизводительной параллельной ЭВМ индустриального применения;

• разработка структур и схемотехники контроллера коммутатора/адаптера сетей типа Fast Ethernet для создания параллельных ЭВМ индустриального применения кластерного типа;

• исследование и разработка высокопроизводительного коммуникационного интерфейса для построения параллельных ЭВМ индустриального применения с массовым параллелизмом;

• разработка структур и схемотехники адаптера коммуникационной среды, реализующего функции доступа к коммуникационной среде со стороны процессов, выполняющихся на вычислительном модуле, со скоростями обмена данными до 1 Гбит/с и временем задержки на межпроцессорные взаимодействия от 5 мкс;

• разработка методов и средств доступа к высокопроизводительной коммуникационной среде с кольцевой топологией, позволяющих повысить отказоустойчивость и эффективность использования среды при большом количестве одновременных запросов на передачу данных по среде.

Методы исследования

В качестве основных методов исследования использовался анализ печатных источников и электронных документов Интернет, а также программное и аппаратное моделирование разрабатываемых алгоритмов и архитектур. Для оценки эффективности технологии многомаркерного метода доступа была использована математическая модель многопродуктовой

I потоковой сети. i

Программные модели алгоритмов разрабатывались на языках высокого уровня C/C++ и на языке поведенческого моделирования архитектур Verilog. Для программного моделирования архитектуры устройств использовались системы Verilog-XL фирмы Cadence и ModelSim фирмы Mentor Graphics.

Для создания макетных образцов с реальными задержками и аппаратного моделирования использовались перепрограммируемые микросхемы типа FPGA фирмы Altera, и системы проектирования Max+PlusII и QuartusII фирмы Altera.

Научная новизна диссертации

1. Предложена схема и обоснованы принципы двухслойного построения коммуникационной среды для создания высокопроизводительной параллельной ЭВМ индустриального применения. Двухслойная схема коммуникационной среды позволяет проводить логическое и физическое разбиение высокопроизводительной параллельной ЭВМ на слабосвязанные или независимые сегменты в соответствии со спецификой задач для ЭВМ индустриального применения.

2. Исследованы архитектуры высокопроизводительных коммуникационных интерфейсов, обеспечивающих эффективное

Э взаимодействие друг с другом процессов, идущих на различных вычислительных узлах параллельной ЭВМ с массовым параллелизмом. Выделены базовые принципы построения таких интерфейсов. Разработана архитектура высокопроизводительного коммуникационного интерфейса для использования в параллельных ЭВМ индустриального применения. Отличительными особенностями разработанного интерфейса являются аппаратная реализация групповых и широковещательных пересылок, возможность работы как в режиме обмена сообщениями, так и в режиме прямого доступа к виртуальному адресному пространству удаленных процессов, и поддержка операций удаленного чтения с модификацией данных.

3. Разработана структура адаптера коммуникационной среды, реализующего аппаратно и микропрограммно основную часть функции разработанного высокопроизводительного коммуникационного интерфейса. Адаптер с разработанной структурой позволяет процессам, выполняющимся на различных вычислительных узлах параллельной ЭВМ, осуществлять обмен данными со скоростями до 1 Гбит/с и временами задержек на межпроцессорные взаимодействия от 5 мкс, что сравнимо по характеристикам с зарубежными коммерческими аналогами неиндустриального применения, при возможности одновременной обработки до 10 коммуникационных операций, что в 2,5 раза превосходит рассмотренный зарубежный аналог. Выигрыш достигается за счет того, что обработка базовых коммуникационных операций реализуется не микропрограммно на процессорном ядре адаптера, а аппаратно в конвейере на специально разработанной потоковой машине адаптера.

4. Разработан метод доступа к среде с кольцевой топологией, позволяющий повысить эффективность использования среды в 11 раз по сравнению с текущими применяемыми алгоритмами. Повышение эффективности достигается за счет того, что в кольце передается не право на захват кольца, а при помощи маркеров станций в кольце передается право на захват конкретной целевой станции, что позволяет различным станциям в кольце вести одновременно независимые передачи пакетов.

5. Предложен метод создания отказоустойчивых колец с возможностью создания резервных соединений и объединения колец в отсутствие дополнительных устройств. Предложенный метод позволяет обнаруживать и изолировать в кольце сбойные участки, количество которых может достигать половины числа узлов в кольце, обеспечивая при этом целостность системы, что по характеристикам превосходит известный метод резервирования колец, используемый в FDDI. Предложенный метод реализуется за счет дублирования только входных соединений контроллера и переключением входа контроллера на резервное соединение в случае детектирования разрыва связи по основному соединению.

К другим результатам, имеющим техническую новизну, могут быть отнесены следующие положения:

• Разработана структура и схемотехника масштабируемого управляемого контроллера коммутатора/адаптера Ethernet/Fast Ethernet, имеющая в своем составе контроллер интерфейса среды с кольцевой топологией и контроллер интерфейса шины PCI, что позволяет сократить количество разрабатываемых и используемых микросхем в 2.3 раза по сравнению с зарубежными аналогами для построения управляемых масштабируемых коммутаторов Ethernet/Fast Ethernet с количеством портов до 105 и многопортовых адаптеров с количеством портов до 8.

• Предложена трехуровневая структура и схемотехника адресной таблицы сетевого коммутатора, позволяющая проводить поиск адреса в 1,5.2 раза быстрее, и иметь минимальное гарантированное количество адресов в 30 раз большее, чем у рассмотренных зарубежных аналогов. Первый уровень реализован с использованием хэш-функции на базе циклического кода CRC-10. Второй уровень введен для борьбы с коллизиями хэш-функции первого уровня и использует другую хэш-функцию циклического кода CRC-9. Третий уровень введен для борьбы с коллизиями хэш-функции второго уровня и использует алгоритм упорядоченного заполнения и бинарного поиска.

• Разработана структура и схемотехника блока реализации транковых соединений, реализующего фиксированный, случайный и предложенный циклический алгоритм балансировки трафика. Предложенный механизм реализует циклический перебор целевых портов в составе транкового соединения при поступлении запросов на передачу кадров через это соединение, что устраняет недостаток неэффективного использования пропускных способностей, присущий методу фиксированного распределения трафика, и недостаток непредсказуемости порядка следования кадров, присущий методу случайного распределения трафика.

Основные положения, выносимые на защиту

1. Двухслойная схема построения коммуникационной среды для создания высокопроизводительной параллельной ЭВМ индустриального применения.

2. Архитектура и средства построения высокопроизводительного коммуникационного интерфейса, предназначенного для создания коммуникационных сред параллельных ЭВМ индустриального применения.

3. Структура и схемотехнические решения узлов адаптера коммуникационной среды, реализующего аппаратно и микропрограммно основную часть функции разработанного высокопроизводительного коммуникационного интерфейса.

4. Многомаркерный метод доступа к среде с кольцевой топологией, позволяющий повысить эффективность использования среды в 11 раз по сравнению с текущими применяемыми алгоритмами.

5. Структура и схемотехнические решения узлов масштабируемого управляемого контроллера коммутатора/адаптера Ethernet/Fast Ethernet, имеющего в своем составе разработанный контроллер среды с кольцевой топологией и контроллер интерфейса шины PCI, что позволяет сократить количество разрабатываемых и используемых микросхем в 2.3 раза по сравнению с зарубежными аналогами для построения управляемых масштабируемых коммутаторов Ethernet/Fast Ethernet с количеством портов до 105 и многопортовых адаптеров с количеством портов до 8.

Практическая ценность диссертации

1. На основе структуры и схемотехники управляемого масштабируемого контроллера коммутатора/адаптера сетей типа Ethernet/Fast Ethernet разработана микросхема, способная работать в жестких условиях окружающей среды, присущих системам индустриального применения. Данная микросхема используется в ряде ОКР по созданию автоматизированных систем управления и кластерных систем индустриального и специального применения.

2. На основе структуры и схемотехники адаптера коммуникационной среды планируется разработка микросхемы для использования в жестких условиях окружающей среды для использования в ОКР по созданию высокопроизводительных параллельных ЭВМ индустриального и специального применения.

3. Разработанная архитектура высокопроизводительного коммуникационного интерфейса рекомендована для использования в ряде ОКР по созданию систем с массовым параллелизмом и суперЭВМ.

4. Предложенный метод доступа к среде с кольцевой топологией используется для создания высокоскоростных каналов, посредством которых сетевые коммутаторы могут объединяться друг с другом в масштабируемые стековые коммутаторы.

Апробация

Основные положения диссертации докладывались и обсуждались на научно-технических конференциях и семинарах:

• Научно-техническая сессия «Электроника, Микро- и Наноэлектроника», 2000.

• На VI международной конференции PRIP'2001 - Pattern Recognition and Information Processing, Минск, Беларусь, 2001г.

• На 6 международной конференции РаСТ 2001. Parallel Computing Technologies. Novosibirsk, Russia, 2001г.

• Научные сессии МИФИ-2002 и МИФИ-2003.

• Научно-техническая сессия «Электроника, Микро- и Наноэлектроника», 2002.

• На семинарах НИИСИ РАН, МИФИ, межведомственных совещаниях и семинарах.

Публикации

По теме диссертации опубликовано 10 работ. Структура и объем работы.

Диссертация состоит из введения, пяти глав, заключения и списка литературы.

Выводы

В пятой главе рассмотрены вопросы практического использования разработанных средств для построения коммуникационных устройств и распределенных вычислительных систем.

Определено, что работа по созданию коммуникационной среды масштаба вычислительной системы включает в себя решение следующих задач:

1. Реализация канального и физического уровней среды.

2. Реализация коммуникационного интерфейса, через который отдельные приложения могут взаимодействовать друг с другом унифицированным способом независимо от физической локализации в системе.

3. Реализация на базе коммуникационного интерфейса программного обеспечения уровня вычислительной системы в целом, выполняющего глобальные функции управления ресурсами, администрирования, и анализа функциональности системы.

Предложено решение перечисленных задач при построении коммуникационной среды для создания параллельных ЭВМ по выбранной двухслойной схеме. Кластерный слой реализуется на устройствах на базе разработанного контроллера коммутатора/адаптера Ethernet/Fast Ethernet и соединениях 100BASE-TX на индустриальных компонентах. Слой МРР

135 реализуется на устройствах на базе разработанного адаптера высокопроизводительной коммуникационной среды и линиях LVDS на компонентах от National Semiconductors и ЗМ Interconnections. В качестве базового коммуникационного интерфейса для кластерного слоя предлагается интерфейс сокетов, для слоя МРР предлагается разработанный высокопроизводительный коммуникационный интерфейс КоИн. В качестве программного интерфейса уровня вычислительной системы и унифицированного переносимого коммуникационного интерфейса предлагается использовать реализацию MPICH интерфейса передачи сообщений MPI.

Приведены варианты использования разработанных средств и устройств в реальных системах.

ЗАКЛЮЧЕНИЕ

Основной результат диссертации заключается в развитии теории построения высокопроизводительных коммуникационных сред параллельных ЭВМ индустриального применения и в развитии теории и практики схемотехнических и алгоритмических методов построения высокопроизводительных устройств для коммуникационных сред параллельных ЭВМ индустриального применения.

В ходе исследования получены следующие результаты:

Исследованы методы и средства построения коммуникационных сред высокопроизводительных параллельных ЭВМ. Предложена двухслойная схема построения коммуникационной среды для создания высокопроизводительной параллельной ЭВМ индустриального применения. Двухслойная схема построения коммуникационной среды позволяет проводить логическое и физическое разбиение высокопроизводительной параллельной ЭВМ на слабосвязанные или независимые сегменты в соответствии со спецификой задач для ЭВМ индустриального применения.

Разработана архитектура и средства построения высокопроизводительного коммуникационного интерфейса, предназначенного для использования в параллельных ЭВМ индустриального применения. Разработанный интерфейс обеспечивает эффективное взаимодействие друг с другом процессов, идущих на различных вычислительных узлах параллельной ЭВМ с массовым параллелизмом. Отличительными особенностями разработанного интерфейса являются аппаратная реализация групповых и широковещательных пересылок, возможность работы как в режиме обмена сообщениями, так и в режиме прямого доступа к виртуальному адресному пространству удаленных процессов, и поддержка операций удаленного чтения с модификацией данных.

Разработана структура и схемотехнические решения узлов адаптера коммуникационной среды, реализующего аппаратно и микропрограммно основную часть функции разработанного высокопроизводительного коммуникационного интерфейса. Адаптер с разработанной структурой позволяет процессам, выполняющимся на различных вычислительных узлах параллельной ЭВМ, осуществлять обмен данными со скоростями до 1 Гбит/с и временами задержек на межпроцессорные взаимодействия от 5 мкс, что сравнимо по характеристикам с зарубежными коммерческими аналогами неиндустриального применения, при возможности одновременной обработки до 10 коммуникационных операций, что в 2,5 раза превосходит рассмотренный зарубежный аналог. Выигрыш достигается за счет того, что обработка базовых коммуникационных операций реализуется не микропрограммно на процессорном ядре адаптера, а аппаратно в конвейере на специально разработанной потоковой машине адаптера.

Предложен многомаркерный метод доступа к среде с кольцевой топологией, позволяющий повысить эффективность использования среды в 11 раз по сравнению с текущими применяемыми алгоритмами. Повышение эффективности достигается за счет того, что в кольце передается не право на захват кольца, а при помощи маркеров станций в кольце передается право на захват конкретной целевой станции, что позволяет различным станциям в кольце вести одновременно независимые передачи пакетов. Разработана структура и схемотехнические решения узлов контроллера среды, реализующего разработанный метод доступа и позволяющего создавать кольцевые коммуникационные среды с повышенной отказоустойчивостью.

Разработана структура и схемотехнические решения узлов масштабируемого управляемого контроллера коммутатора/адаптера Ethernet/Fast Ethernet, имеющего в своем составе разработанный контроллер среды с кольцевой топологией и контроллер интерфейса шины PCI, что позволяет сократить количество разрабатываемых и используемых микросхем в 2-3 раза по сравнению с зарубежными аналогами для построения управляемых масштабируемых коммутаторов Ethernet/Fast Ethernet с количеством портов до 105 и многопортовых адаптеров с количеством портов ДО 8.

На основе разработанной структуры и схемотехники управляемого масштабируемого контроллера коммутатора/адаптера сетей типа Ethernet/Fast Ethernet разработана микросхема, способная работать в жестких условиях окружающей среды, присущих системам индустриального применения. Данная микросхема используется в ряде ОКР по созданию автоматизированных систем управления и кластерных систем индустриального и специального применения.

1. Virtual Interface Architecture Specification. Version 1.0. Compaq Computer Corp., Intel Corporation, Microsoft Corporation. December 16,1997

2. Virtual Interface Architecture for SANs. Technology Brief. Compaq Computer Corporation, ECQ Technology Communications. June 1998

3. InfiniBand Cavalry to the Rescue. By Infiniband Trade Assiciation. Buses and Boards, September/October 2000

4. InfiniBand Architecture Specification. Vol 1,2. Release 1.0. October 24, 2000. Final

5. Myrinet-on-VME Protocol Specification Draft Standart. VITA 26-199x. Draft 1.1,31 August 1998

6. N. Boden, D. Cohen, R. Federman, A.Kulawik, J.Seizovic, W.Su. Myrinet; A Gigabit-per-Second Local Area Network. IEEE Micro. Feb. 1995

7. Новиков Ю. В., Карпенко Д. Г. Аппаратура локальных сетей: функции, выбор, разработка / Под общей редакцией Ю.В. Новикова. М., Издательство ЭКОМ, 1998. - 288с.: ил.

8. Информационно-аналитический центр по параллельным вычислениям (http://parallel.ru)

9. Корнеев В. В. Параллельные вычислительные системы.- М.: Нолидж,1999. 320 е.: ил.

10. Aval on Beowulf Cluster, (http://cnls.lanl.gov/avalon/)

11. Андреев А., Воеводин В., Жуматин С. Кластеры и суперкомпьютеры -близнецы или братья? Открытые системы No.5-6, 2000

12. Волков Д., Кузьминский М. Современные суперкомпьютеры: состояние и перспективы. Открытые системы No. 6, 1995

13. G. Pfister. Sizing Up Parallel Architectures. DataBase Programming & Design OnLine. May 1998

14. HP 9000 V2600 Enterprise Server. Architectural Overview White Paper.

15. Architecture HP 9000 V-Class Server. Second Edition. Hewlett Packard March, 1998. USA.

16. Шадский А. Семейство компьютеров Ultra компании Sun Microsystems. Jetlnfo. No. 23-24,1997

17. Ковязин P. Суперкомпьютеры фирмы SUN. (http://green.ifmo.ru/~koviazin/Sunref/main.html)

18. Sun HPC 10000 Specifications. Sun Microsystems, (http://www.sun.com)

19. J. Laudon and D. Lenoski. The SGI Origin: A ccNUMA Highly Scalable Server. Silicon Graphics, Inc. (http://www.sgi.com)

20. Кузьминский M. Архитектура S2MP свежий взгляд на cc-NUMA. Открытые ситемы No. 2,1997.

21. Кузьминский М. Векторно параллельные суперкомпьютеры NEC. Открытые системы No. 3, 1999

22. Sequent's NUMA-Q SMP Architecture. Overview. Sequent Ltd.

23. Новейшие серверы семейства AlphaServer. Высокотехнологичные продукты и решения Compaq. Открытые системы, 2000

24. Новые AlphaServer GS компьютеры нового тысячелетия. Обзор архитектуры. Compaq Computer Corp., 2000

25. AlphaServer GS Family Benchmark Performance. Compaq Performance Brief, (http://www.compaq.com)

26. New Compaq AlphaServer GS Series. Architecture White Paper. Compaq Computer Corp.(http ://www.compaq.com)

27. What is RAID Basics? A Simple Guide to Understanding RAID. Mylex RAID Primer.

28. Дисковые массивы RAID. Computerworld Россия. 27 мая 1997.

29. IBM RS/6000 SP. Planning Volume 1, Hardware and Phycical Environment. Eighth Edition. IBM, July 2000 (http://www.ibm.com)

30. Андреев А. Обзор архитектуры суперкомпьютеров серии RS/6000 SP корпорации IBM. Лаборатория параллельных информационных технологий НИВЦ МГУ.

31. Шмидт В. Системы IBM SP2. Открытые системы No.6, 1995

32. G. Henry, Т. G. Mattson. An Overview of the Intel TFLOPS Supercomputer. Intel Technology Journal, Quarter 1,1998.

33. B. Mitchell. Scalable Platform Services on the Intel TFLOPS Supercomputer. Intel Technology Journal, Quarter 1,1998

34. The SR8000 Hardware Specifications. Hitachi, Inc. (http://www.hi tachi-eu.com/hel/hpcc)

35. QM-1 Overview. Quadrics Supercomputer Worlds Ltd.(http ://www.quadrics.com)

36. QSW SuperCluster Architecture Overview. Quadrics Supercomputer Worlds Ltd. (http://www.quadrics.com)

37. Шнитман В. AlphaServer SC новое семейство суперкомпьютеров. Открытые системы No. 1-2, 2000

38. Робачевский А. М. Операционная система UNIX. СПб.: БХВ - Санкт-Петербург, 1999. - 528с.: ил.

39. А.Н. Любашин. Промышленные сети. (http://www.asutp.ru/?p=600353)

40. Вольфганг Эйзенбарт. Промышленные шины для систем автоматизации^ http://www.asutp.ru/?p=600124)

41. Корхов В. Современные высокоскоростные коммуникационные технологии. Обзор, (http://www.csa.ru/~vladimir/commtech.html)

42. W. М. Cardoza, F.S. Glover, W.E.Shaman. Design of the TruCluster Multicomputer System for the Digital UNIX Environment. Digital Technical Journal. Vol.8, No. 1,1996

43. M. Fillo, R. B. Gillett. Architecture and Implementation of MEMORY CHANNEL 2. Digital Technical Journal. Vol.9 No.l, 1997

44. R.W. Horst, D. Garcia. ServerNet SAN I/O Architecture. Hot Interconnects V, 1997

45. ServerNet A High Bandwidth, Low Latency Cluster Interconnection. Compaq White Paper ECG097/0998. September 199848. cLAN Hardware Installation Guide. PartNumber: CLAN-D001, Revision 1.1. Giganet Incorporated. December, 1999 (http://www.giganet.com)

46. High Performance Host Adapters. cLAN Data Sheet. Giganet Incorporated, 2000 (http://www.giganet.com)

47. LANai7. Draft, Myricom. June 21, 1999 (http://www.myri.com)

48. LANai9. Draft. Myricom. June 26, 2000 (http://www.myri.com)

49. Сьюзен Снелл Соломон. Myrinet на базе VME (http://www.asutp.ru/?p=600136)

50. Richard Jaenicke. SKYchannel A High-Prformance Communications Architecture for Embedded Multiprocessor Systems. VITA Journal, September 1997

51. Ричард Джейник. SKYchannel высокопроизводительная архитектура передачи данных для встраиваемых многопроцессорных систем (http://www.asutp.ru/?p=600137)

52. В. Isenstein and В. Blau. RACEway Interlink as a PCI Switching Fabric. Mercury Computer Systems, Inc. (www.mc.com)

53. Бэрри Айзенштайн. Интерфейс RACEway interlink как РС1-структура для PMC-модулей (http://www.asutp.ru/?p=600169)

54. RACE Series RACEway Interlink Modules. Mercury Computer Systemc Inc. (http://www.mc.corn/literature/literaturefiles/racewayintrlnk-mod-ds.pdf)

55. Огнев И. В., Борисов В. В. Интеллектуальные системы ассоциативной памяти. М.: Радио и связь, 1996. - 176 е.: ил.

56. Вирт Н. Алгоритмы и структуры данных. Пер. с англ. -М.: Мир, 1989.360 с.

57. Акритас А. Основы компьютерной алгебры с приложениями. Перевод с английского Панкратьева Е.В. Изд-во "Мир". Москва, 1994

58. Сидоров Е.А., Бобков С.Г. Устройство обработки адресов коммутатора локальной вычислительной сети, работающего по принципу прозрачного моста. Заявка на патент РФ №2001126897 от 4.10.2001.

59. Сидоров Е.А., Бобков С.Г., Власов А.Ю., Пивоваров В.В.Транковые соединения коммутатора ЛВС.//Электроника, микро- и наноэлектроника. Сборник научных трудов / Под ред. В.Я. Стенина. М.:МИФИ, 2002. с . 107-111

60. Allayer Rox Bus Architecture. Application Brief AB001, Revision 1.1 (http://www.allayer.com/pdCab001 .pdf)

61. IEEE Std 802.3, 2000 Edition

62. Олифер В.Г., Олифер Н.С. Компьютерные сети. Принципы, технологии, протоколы. Изд. дом "Питер". Санкт-Петербург, 2000г. 672с.: ил.69. IEEE Std 802.1Q-1998

63. ANSI/IEEE Std 802.ID, 1998 Edition (ISO/IEC 15802-3: 1998)

64. A Simple Network Management Protocol (SNMP). RFC 1157. May 1990

65. Remote Network Monitoring Management Information Base. RFC 2819. May 2000

66. PCI Local Bus Specification. Revision 2.2. December 18, 1998

67. Дж. Уолрэнд. Телекоммуникационные и компьютерные сети. Вводный курс. Москва: Постмаркет, 2001 480 с.

68. Таненбаум Э. Компьютерные сети. СПб.: Питер, 2002. - 848 е.: ил.

69. Олифер В.Г., Олифер Н.А. Сетевые операционные системы. СПб.: Питер, 2001. - 544с. :ил.

70. Скотт М. Ядро Linux в комментариях: Пер. с англ./Скотт Максвелл,- К.: Издательство Диасофт, 2000. 488 с.

71. Гордеев А.В., Молчанов А. Ю. Системное программное обеспечение. -СПб.: Питер, 2002. 736с.: ил.

72. The GM Message Passing System. Myricom, Inc. 1999 (http://www.myri.com/scs/GM/doc/refman.pdf)

73. The GM Message Passing System. Myricom, Inc. 1999 (http://www.myri.com/scs/GM/doc/refman.pdf)

74. Token ring access method and Physical Layer specifications. ANSI/IEEE Std802.5-1998E

75. Information Systems Fiber Distributed Data Interface (FDDI) - Token Ring Media Access Control (MAC) (formerly ANSI X3.139-1987 (R1997)).86. IEEE Std 1596.3- 1996

76. Myrinet-2000-SAN/PCI interface PCI short card. Specifications. 3 May 2001. (http://www.myri.com/myrinet/PCI64/m3m-pci64b.html)

77. Столлинг В. Компьютерные системы передачи данных, 6-е издание.: Пер. с англ. М.: Издательский дом «Вильяме», 2002. - 928с.: ил. -Парал. Тит.англ.i

78. Сидоров Е.А., Бобков С.Г. Метод доступа к коммуникационной среде с кольцевой топологией. Заявка на патент РФ №2001126896 от 4.10.2001.

79. Малашенко Ю. Е., Новикова Н. М. Модели неопределенности в многопользовательских сетях. М.: Эдиториал УРСС, 1999. 160 с.

80. Басакер Р., Саати Т. Конечные графы и сети. Пер. с англ. Главная редакция физико-математической литература изд-ва «Наука», Москва, 1973/-368 е.: ил.

81. Новиков Ю. В., Карпенко Д. Г. Аппаратура локальных сетей: функции, выбор, разработка / Под общей редакцией Ю.В. Новикова. М.,

82. Издательство ЭКОМ, 1998. 288с.: ил.i

83. Message Passing Interface Forum. MPI: A message-passing interface standard. 1995 (http://www.mcs.anl.gov/mpi/standard.html)

84. M Snir, S. Otto, S. Husa-Lederman, D. Walker, J. Dongara. MPI: The Complete Reference. The MIT Press. Cambridge, Massachusets. London, England. 1996

85. William Gropp, Ewing Lusk, Nathan Doss, and Anthony Skjellum. A high-performace, portable implementation of the MPI Message Passing Interface standard. Parallel Computing, 22(6):789-828, 1996.

86. W. Gropp, Б. Lusk. MPICH Working Note: The Second-Generation ADI for the MPICH Implementation of MPI. Mathematics and Computer Science Division. Argonne National Laboratory, 1995

87. W. Gropp, E. Lusk. MPICH Abstract Device Interface. Version 3. Reference Manual, Mathematics and Computer Science Division. Argonne National Laboratory. Draft of November 16 (http://www-unix.mcs.anl.gov/mpi/mpich/adi3/adi3man.pdf)