автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.15, диссертация на тему:Развитие языковых средств SPMD-технологии для параллельного и сетевого решения задач планирования и управления

ВВЕДЕНИЕ л 1. Анализ сложности задач, решаемых в системе ж/д транспорта, и обоснование способов параллельной обработки и требований к производительности вычислительных средств

1.1 Характеристика сложности задач, решаемых на ж/д транспорте и выделение класса задач экспоненциальной сложности

1.2 Анализ традиционных методов решения класса сложных задач, использующих ограничения

1.2.1 Графический метод решения задачи линейного программирования

1.2.2 Симплекс-метод

1.3 Исследовапие возможности распараллеливания задач линейного и целочисленного программирования и обоснование схемы их решения

1.3.1 Алгоритм прямого перебора решения задачи линейного программирования

1.3.1.1 Общий алгоритм перебора

1.3.1.2 План параллельных вычислений

1.2.1.3 Сложность алгоритма прямого перебора

1.3.2 Параллельный аналог «симплекс-метода»

1.3.2.1 Общий алгоритм симплекс-метода

1.3.2.2 Сложность алгоритма

1.3.2.3 План параллельных вычислений

1.3.3 Алгоритмы целочисленного программирования

1.3.3.1 Метод ветвей и границ

1.3.3.2 Параллельный алгоритм решения задач целочисленного программирования методом ветвей и границ

1.3.3.3 План параллельных вычислений

1.4 SPMD-технология и возможность ее применения для решения сложных задач 51 Выводы ;

2. Разработка системы команд и операций в среде ОС Windows для ВС типа SPMD

2.1 Разработка требований к архитектуре ВС, предназначенной для решения сложных задач планирования и управления

2.2 Разработка ассемблера (системы команд) ВС на основе SPMD-технологин - приставки к ПК

2.3 Основы методики монопрограммирования. Экспериментальное программирование задач

2.3.1 Векторная операция свертки

2.3.2 Распараллеливание по одномерному опорному массиву

2.4 Анализ полноты системы команд на основе экспериментального программирования

Выводы

3. Исследование возможности применения языков высокого уровня при реализации SPMD-технологии

3.1 Средства поддержки параллельности в ЯВУ для многопроцессорных

3.1.1 Способы отражения параллелизма в последовательных языках программирования

3.1.2 Средства поддержки параллельности Фортрана 90 и HPF

3.1.3 Средства поддержки параллельности НРС++

3.1.4 Команды и операции процессора для SPMD - технологии следуют тенденциям языкового развития

3.2 Исследование возможности реализации SPMD - технологии программирования на языке Java

3.2.1 Обоснование применения языка Java для организации параллельных вычислений

3.2.2 Модель параллельного программирования Java

3.2.3 Реализация языковой поддержки SPMD - технологии с помощью средств Java

3.2.4 Методика разработки параллельных программ на основе SPMD-технологии на языке Java

Выводы

4.Эффективность ВС на основе SPMD-технологии

4.1 Исследование функционирования ВС

4.2 Разработка тест-программы для оценки производительности ВС 148 Выводы 156 Заключение 157 Литература

Актуальность. Стратегия повышения эффективности работы Российских железных дорог опирается на внедрение новых принциповг и методов управления (централизация вычислительных процессов и управления) с применением современных технологий, полную модернизацию имеющихся сетей связи и на создание единого инфокоммуникационного пространства отрасли [1].

Информация, собранная на местах в вычислительных центрах линейных подразделений, передается для дальнейшей обработки в региональные центры управления перевозками (РЦУП), а оттуда - в центр управления перевозок МПС (ЦУП МПС). Задачи, решаемые в РЦУП и ЦУП МПС, связаны с обработкой большого количества информации. Повышенная сложность многих задач, среди которых задачи планирования и организации перевозками, поездной и грузовой работы для транзитных и местных поездов, стимулирует использование мэйнфреймов (ЮМ 9672) и мощных серверов на базе супер-ЭВМ. С другой стороны, в новых экономических условиях хозяйствования, при постоянном увеличении стоимости электроэнергии и затрат на содержание больших площадей ИВЦ, приходится задумываться о большой энергоемкости, тепловыделении и габаритах используемого оборудования [2-4].

Перспективным способом наращивания вычислительных мощностей является создание вычислительных систем, поддерживающих ПК, АРМ, отдельные станции корпоративной или региональной сети, являющихся внешними устройствами, ориентированными на однозадачный или однопользовательский режим и реализующих основные принципы суперкомпьютера. Создание таких установок позволило бы значительно снизить требования к качеству связи между вычислительными центрами разных уровней. Это - многопроцессорная вычислительная система на разделяемой памяти, созданная на базе существующих микропроцессоров, реализующая в себе простейшие функции организации распараллеливания вычислений под управлением штатной операционной системы ПК, например, Windows. При этом функции распараллеливания должны быть простейшими, обусловленными классом решаемых задач, на которые ориентирована система.

Однако более практичным способом реализации высокой производительности вычислительных средств является применение сетей ЭВМ, организация в них параллельных вычислений. В ГВЦ МПС в настоящее время идет внедрение технологии Parallel Sysplex, разработанной фирмой IBM для построения многомашинных и многопроцессорных систем. Построение кластеров Parallel Sysplex позволяет увеличить количество процессорных устройств (СРС) и MVS (ОС/390) имиджей, которые могут непосредственно разделять работу [5-7].

Для организации эффективного распараллеливания вычислений необходим переход на новые технологии программирования многопроцессорных систем и новые параллельные методы решения задач, которые позволят резко снизить стоимость вычислений.

Эффективным способом распараллеливания на данный момент признан способ распараллеливания на основе SPMD-технологии (Single Program -Multiple Data, одна программа - множественные данные), которая основана на совмещении двух способов распараллеливания: распараллеливания по информации и по управлению [8]. Ее популярность обусловлена простотой реализации, универсальностью, возможностью поддержки на уровне системы команд или процедур в языке программирования.

Преимущество SPMD - технологии над другими способами распараллеливания состоит в том, что она позволяет создавать эффективные параллельные алгоритмы для большинства методов вычисления.

Для эффективного использования многопроцессорных ВС (мэйнфреймов) и многомашинных вычислительных комплексов на основе сетей (локальные сети созданы практически во всех информационно-вычислительных центрах (ИВЦ), в научных учреждениях, на станциях), возникла необходимость ввести в широко используемые последовательные языки программирования средства поддержки параллельной обработки. Языки высокого уровня расширяются языковыми конструкциями, основанными на SPMD - технологии распараллеливания.

Проблемам проектирования ВС, основанного на SPMD-технологии на базе экспериментального программирования (программирования на гипотетической машине) задач, посвяш;ены работы Барского А.Б., Шилова В.В, Желенкова Б.В.[9-17] Они позволили значительно приблизиться к уровню возмолшой разработки. Однако важными остались следующие проблемы:

- обоснование применения ВС на основе SPMD-технологии при решении задач оперативного планирования и управления на ж/д транспорте;

- систематизация и анализ полноты системы команд ВС на основе SPMD-технологии;

- проблема «врезки» микропроцессора ВС на основе SPMD-технологии в операционную среду ПК;

- языковые проблемы внедрения SPMD - технологии для решения сложных задач на основе сетевых технологий.

Этими факторами обусловлена актуальность вопросов, рассматриваемых в работе.

Целью диссертационной работы является оценка эффективности применения SPMD - технологии при решении сложных задач планирования и управления на железнодорожном транспорте и разработка средств поддержки SPMD - технологии на уровне машинно-ориентированного языка и языка высокого уровня. Исходя из поставленной цели, в работе решаются следующие задачи:

1. Анализ традиционных методов решения сложных задач планирования и управления на ж/д транспорте и исследование возможности их распараллеливания.

2. Обоснование возможности применения SPMD - технологии при решении сложных задач планирования и управления.

3. Разработка и обоснование системы команд многопроцессорной ВС на основе SPMD- технологии.

4. Исследование возможности реализации системы команд ВС на основе SPMD- технологии как процедур на базе языков высокого уровня (ЯВУ) и систем программирования.

5. Разработка методики параллельного программирования на языке высокого уровня, основанной на концепции SPMD- технологии.

6. Оценка эффективности параллельных методов решения сложных задач планирования и управления на ж/д транспорте с использованием разработанной системы команд и процедур.

Научная новизна работы.

Решение поставленных в диссертационной работе задач определяет научную новизну исследования, которую, прежде всего, составляют:

• параллельные алгоритмы известных последовательных методов решения задач оперативного планирования и их эффективная реализация на многопроцессорных вычислительных системах.

• система команд ВС на основе SPMD - технологии, поддерживаюш:ая динамическое распараллеливание без использования средств операционной системы для решения сложных задач планирования и управления на ж/д транспорте.

• предложенные языковые конструкции (методы) на языке Java для поддержки SPMD - технологии, прототипом которых являются операции системы команд ВС на основе SPMD - технологии.

• разработанная методика написания параллельных программ на языке Java на основе концепции SPMD, предусматривающая анализ задачи, выбор схемы распараллеливания, определение схемы вычислений и программирование задачи, привязку потоков к процессорам, отладку и тестирование.

Основные практические результаты, выносимые на защиту.

1. Исследование возможностей создания параллельных программ решения задач линейного программирования на основе прямого перебора вершин многогранника допустимых решений и параллельного аналога симплекс-метода, задач целочисленного программирования параллельным методом ветвей и границ.

2. Система команд и операций ВС на основе SPMD - технологии, обеспечивающая управление параллельным вычислительным процессом без использования операционной системы.

3. Средства поддержки распараллеливания по SPMD - технологии на языке Jaya.

4. Методика параллельного программирования на языке Jaya, основанная на концепции SPMD - технологии.

Краткое содержание работы.

Диссертационная работа состоит из введения, четырех глав, выводов по главам и заключения.

выводы

1. Разработан имитатор параллельных вычислений, моделирующий все основные принципы 8РМВ технологии.

- Возможность динамического распределения данных между ПЭ по некоторому алгоритму.

- Задание всем или нескольким ПЭ одной и той же программы в терминах ассемблера ВС 8РМВ - технологии.

- Обеспечение совместной обработки массивов переменной длины.

- Синхронизация ПЭ при обработке общих данных.

- Автоматическое создание дескрипторов массивов, обеспечивающих механизм динамического распределения данных между ПЭ исходя из поставленной задачи.

2. Имитатор предоставляет возможности исследования функционирования во времени и получения статистической информации о работе ВС. Полученные статистические данные можно использовать для решения задачи диспетчеризации. Целесообразно использовать разработанный имитатор параллельных вычислений для поддержки курса « Вычислительные комплексы, системы сети».

3. Оценка производительности ВС на основе 8РМО - технологии показала, что при решении тестовых задач данная вычислительная система работает с максимальной эффективностью, благодаря равномерности загрузки процессоров и эффективности параллельных алгоритмов. Показана эффективность ВС 8РМВ

- технологии при решении сложных задач планирования и управления на ж/д транспорте.

ЗАКЛЮЧЕНИЕ

1. Информатизация ж/д транспорта предлагает оперативное решение ряда задач экспоненциальной сложности. Возникает необходимость наращивания вычислительных мощностей. Это стимулирует использование мэйнфреймов и серверов на базе супер-ЭВМ. Но, в новых экономических условиях хозяйствования при постоянном увеличении стоимости электроэнергии, приходится задуматься о большой энергоемкости, тепловыделении и габаритах используемого оборудования.

Поэтому перспективным способом наращивания вычислительных мощностей является создание вычислительных систем, поддерживающих ПК, АРМ, отдельные станции корпоративной или региональной сети, являющихся внешними устройствами, ориентированными на однозадачный или однопользовательский режим и реализующих основные принципы суперкомпьютера. При этом функции распараллеливания должны быть простейшими.

2. Ориентация на применение многопроцессорных симметричных вычислительных систем, а также микропроцессорных систем в составе персональных компьютеров или рабочих станций и на применение сетевых технологий требует разработки для решения задач повышенной сложности новых параллельных методов, которые позволят резко снизить стоимость вычислений.

Показана возможность построения параллельных алгоритмов решения задач линейного программирования на основе метода прямого перебора вершин многогранника допустимых решений и параллельного аналога симплекс-метода. Задачи целочисленного линейного программирования предлагается решать параллельным методом ветвей и границ.

3. Организация вычислений на мультипроцессорных ВС должна обеспечивать максимальное использование всех элементов системы. Для этого необходимо использовать наиболее эффективные способы распараллеливания.

На сегодняшний день самым эффективным из существующих способов является способ распараллеливания по iS'PMD-технологии (Single Program

Multiple Data), которая основана на совмещении двух известных способов распараллеливания: по управлению и по информации.

SPMD - технология программирования обусловила разработку предложенных параллельных методов решения оптимизационных задач.

Обоснованы параллельные схемы вычислений, реализующие решение задач линейного программирования на основе разработанных параллельных методов прямого перебора вершин многогранника допустимых решений и параллельного аналога симплекс-метода на процессорах ВС на базе SPMD - технологии.

4. На значительном материале разработок и публикаций исследована и систематизирована система команд ВС на базе SPMD - технологии, основанная на следующих принципах: явное задание и использование номера процессора и числа процессоров в системе, использование дескрипторов массивов в командах ВС с указанием в них информации для переадресации и для расширения операций поиска, добавления, исключения и слияния массивов, равное участие процессоров в обработке массива с различной дисциплиной распределения его элементов, применение простейших механизмов синхронизации, не требующих запуска операционной системы.

5. На основе экснериментального программирования показана показана достаточность разработанной системы команд и эффективность применения SPMD - технологии для решения сложных задач на ж/д транспорте на примере решения задачи определения числа и назначений пассажирских поездов дальнего следования.

6. В последнее время наблюдается тенденция выхода 8РМО-технологии за рамки технологии разработки суперкомпьютеров, обуславливая общий стиль программирования многопроцессорных вычислительных систем и многомашинных вычислительных комплексов, например на основе сети. Наблюдается слияние сетевых технологий решения сложных задач с SPMD-тexнoлoгиeй. Это требует языковой поддержки параллельной обработки.

Проведенный анализ средств, расширяющих языки Фортран и С++, показал, что несмотря на разницу в подходе к реализации параллельности, существуют основные общие средства поддержки параллельной обработки, введенные в языки:

- последовательные ЯВУ расширяются параллельными конструкциями, поддерживающими концепцию 8РМП;

- в языки вводятся средства, позволяющие пользователю специфицировать размещение и распределение данных по процессорам;

- предусматривается синхронизация при обработке общих данных. Неявная синхронизация автоматически выполняется системой реализации. Явная синхронизация задается пользователем. В качестве средств явной синхронизации используются семафоры, события и критические области. Для этих средств вводятся новые типы данных, новые операторы и стандартные функции.

7. Выявлена аналогия между директивами, функциями и классами параллельного Фортрана и параллельного С++ и командами и операциями системы команд, разработанной для процессора RISC - архитектуры ВС на основе SPMD -технологии. Предложено использовать язык Java в качестве языка программирования параллельных вычислительных систем.

8. Язык Java необходимо расширить языковыми конструкциями (методами), поддерживающими SPMD - технологию, прототипом которых является система команд RISC - процессора.

9. Разработаны процедуры поддержки распараллеливания по SPMD - технологии на языке Java: процедура запуска параллельной Java - программы на процессорах ВС или рабочих станциях сети; процедура динамического распределения данных между процессорами ВС или рабочими станциями сети; процедура синхронизации совместных действий процессоров ВС или рабочих станций сети. Предложено направление дальнейшего развития языка Java для поддержки SPMD - технологии.

10. Разработана методика написания параллельных программ на языке Java на основе концепции SPMD, предусматривающая анализ задачи, выбор схемы распараллеливания, определение схемы вычислений и программирование задачи, привязку потоков к процессорам, отладку и тестирование.

11. Разработан имитатор параллельных вычислений, моделирующий все основные принципы SPMD технологии. Он предоставляет возможности исследования функционирования во времени и получения статистической информации о работе многопроцессорной ВС на основе SPMD-технологии. Полученные статистические данные можно использовать для решения задачи диспетчеризации. Целесообразно использовать разработанный имитатор параллельных вычислений для поддержки курса « Вычислительные комплексы, системы сети».

12. Произведена оценка производительности ВС на основе SPMD - технологии. Показана эффективность параллельных методов решения сложных задач планирования и управления. Используемые параллельные методы обладают значительным объемом потенциального параллелизма и хорошо распараллеливаемы между процессорами ВС на основе SPMD-технологии.

На основе предложенных разработок обоснована возможность применения SPMD-технологии при решении сложных задач планирования и управления на железнодорожном транспорте. Исследована и систематизирована система команд ВС на базе SPMD - технологии, команды и операции которой являются прототипами процедур поддержки распараллеливания по SPMD - технологии на языке Java.

Апробация результатов.

1. Результаты доложены на двух конференциях.

2. Основные положения работы изложены в двух статьях без соавторства.

3. Разработан имитатор параллельных вычислений для поддержки курса

Вычислительные комплексы, системы и сети».

1. Информационные технологии на железнодорожном транспорте. Шестая международная научно-практическая конференция 'TnfoTrans 2001 ". Октябрь 12-14. 2001 г. г. Сочи.

2. П. А. Козлов. Информационные технологии для новой эксплуатационной модели управления перевозками.-М.:"Автоматика, связь, информатика", №4 , 2001 г.

3. В.В. Обертинский, Н.Н. Юсупов, З.П. Нечуева. Принципы создания программно-технических комплексов для АСУЖТ. М.: "Автоматика, связь, информатика", №4 , 2000 г.

4. А.Д. Никишин, А.И. Грушенков. Локальные вычислительные сети в информационных сетях МПС. -М.: "Автоматика, связь, информатика", №4, 2000 г.

5. А. Голубев, В. Урусов. Мэйнфреймы молотилки данных.- С-Пб.: "BYTE /Россия", №4(20), 2000 г., стр. 32-37.

6. Р. Rogers, G. Capobianco, D. Carey, N. Davies, L. Fadel, K. Hewitt, J. Olivei-ra, F. Pita, A. Salla, V. Sokal, Y. F. Tay, H. Timm ABCs of 0S/390 System Programming. Volume 5. International Technical Support Organization www.redbooks.ibm.com

7. Авдуевский A. Постой паровоз. М.: LAN, Том 4, №3, Март 1998 г.-С.137.

8. Кагр А.Н. Programming for parallelism. IEEE Computer mag., vol. 20, no. 5, may 1987.

9. Барский А.Б. Производительность монопрограммной высокопараллельной системы. // V Всесоюзная конференция " Однородные вычислительные системы, структуры и среды". Пушкино, 1991 г.

10. Барский А.Б. Развитие 7?75'С-архитектуры при построении микропроцессорных систем для решения задач оптимального планирования и управления. // Вторая международная НТК "Актуальные проблемы развития железнодорожного транспорта". МГУ ПС, 1996 г.

11. Барский А.Б., Шилов В.В. Архитектура и программирование локально-асинхронной вычислительной системы. // Международная конференция "Высокопро-изводительные вычислительные системы в управлении и научных исследованиях" Алма-Ата, 1991 г.

12. Барский А.Б., Шилов В.В. Логическое программирование на высокопараллельной вычислительной системе. // "Компьютерная хроника", 1996 г., №12.

13. Барский А. Б., Желенков Б. В. Направление развития высокопроизводительных вычислительных систем. // Заключительный отчет по теме "Про-лог-5", книга 1, раздел 1.3. М., 45 ЦНИИ МО РФ, 1997 г.

14. Барский А. Б., Желенков Б. В. Учебно-экспериментальный супермакет ВС // 4 Военно-научная конференция, 4 Секция: " Совершенствование методологии вычислительных и программных комплексов и систем". М, 45 ЦНИИ МО РФ, ноябрь 1997 г.

15. Барский А.Б., Шилов В.В. БРМБ-архитектура и параллельная обработка структур данных. Информационные технологии, №6, 1999 г.

16. Барский А.Б., Шилов В.В. БРМБ-архитектура и параллельный логический вывод. Информационные технодогии, №12, 1999 г.

17. Желенков Б.В. Исследование и разработка вычислительной системы БРМБ технологии для решения задач высокой сложности. // Диссертация на соискание ученой степени канд. техн. наук. - МИИТ, 1998 г.

18. Н.А. Козлов. Новый этап в разработке автоматизированных систем управления.-М. "Автоматика, связь, информатика", №4 , 2000 г.

19. Отчет о поисковой научно-исследовательской работе: Научная концепция "Железнодорожный транспорт России в 2020-2030 г.г." ВНИ-ИЖТ,1999 г.

20. План НИОКР выполняемых в 2001 г. научно-исследовательских и опытно-конструкторских работ. ВНИИЖТ, 2001 г.

21. Отчет работы ВНИИЖТа по программам и приоритетным направлениям МПС с 1996 г.

22. Отчет о научно-исследовательской деятельности ВНИИЖТа за 1999 г.

23. Общий курс и правила технической эксплуатации железных дорог/ Под редакцией М.Н. Хацкелевича. М.: "Транспорт", 1984 г.

24. И.К. Левшин, И.Н.Шапкин, А.И.Щелоков. Прогрессивная технология на железных дорогах.- М.: "Транспорт", 1993 г.

25. Гоманков Ф.С. Технология и организация перевозок на железнодорожном транспорте. М.: "Транспорт", 1994 г.

26. Джон Э.Сэвидж. Сложность вычислений.-М.: "Факториал", 1998 г.

27. В.И. Хохлюк. Параллельные алгоритмы целочисленной онтимйзации.-М.: "Радио и связь", 1987 г.

28. Вентцель Е.С. Исследование операций.-М.: "Сов. Радио", 1972 г.

29. А.С. Солодовников, В.А. Бабайцев, А.В. Браилов. Математика в экономике.- М.: "Финансы и статистика", 1998 г.

30. Исследование операций в экономике /Под ред. Н.Ш. Кремера. М.: "Банки и биржи", ЮНИТИ, 1999 г.

31. Барский А.Б. Параллельные технологии решения оптимизационных задач. Приложение к журналу «Информационные технологии». Машиностроение, № 2, 2001 г.

32. Хокни Р., Джессхоуп К. Параллельные ЭВМ. Архитектура, програми-рование и алгоритмы. Перевод с английского Д. И. Абашкина. Под ред. Е. П. Курочкина. -М.: "Радио и связь". 1986 г.

33. Connection Machine Technical Summary // "Thinking Machines"- Tecnical Report Series TR89-1, May 1989 r.

34. Feng Zhao and Lennart Johnsson. The Parallel Multipole Method on the Connection Machine. // Thinking Machines Corporation Cambridge, Massa-chusets.

35. K. Mathur, S. L. Johnsson. The Finite Element Method on a Data Parallel Computing System. // TMC Technical Report CS89-2.36. в. Murray, P. A. Bash, M. Каф1иБ. Molecular Dynamics On the Connection Machine // TMC Technical Report CB88-3.

36. Richard A. Shapiro. Finite Element Algorithms for the Euler Equations on the Connection Machine // United Technologies Research Center, E. Hartford, Connecticut.

37. Барский A.Б. Монопрограммные высокопараллельные локально -асинхронные вычислительные структуры. // "Вопросы кибернетики. Эф-фективыные вычисления на супер-ЭВМ". М. 1988 г., стр. 148-170.

38. Майерс Г. Архитектура современных ЭВМ: В 2-кн. Перевод с англий-ского.//М. "Мир". 1985 г.

39. ЭВМ пятого поколения. Концепции, проблемы, перспективы. Под ред. Т. Мото-Ока. // М. "Финансы и статистика". 1984 г.

40. Барский А. Б. Параллельные процессы в вычислительных системах. Планирование и организация. М.: "Радио и связь", 1990 г.

41. Желенков Б. В. Локально-асинхронная вычислительная система типа SPMD // Тезисы докладов II международной научно-технической конференции "Актуальные проблемы развития железнодорожного транспорта" -МИИТ 1996г.

42. Барский А.Б. Архитектура параллельных вычислительных систем. Учебное пособие. М.: МНИТ, 2000 г.

43. B.A. Babaian. Multiprocessing. Memory subsystem, memory models, synchronization, cache coherence. Moscow Center for SPARC Technologies, November, 1993 Г.

44. Барский А.Б., Шилов В.В. Архитектура SPMD и мультимикропроцессор-ные супер-ВС.//VI Санкт-Петербургская международная конференция

45. Региональная информатика 98. РИ - 98». - Санкт-Петербург, 2-4 июня 1998 года.

46. Желенков Б. В. Мультипроцессорная вычислительная система для решения задач управления // Тезисы научной конференции "XXIV Гагарин-ские чтения. Всероссийская молодежная научная конференция" М., ЛАТМЭС, 1998 г.

47. Желенков Б. В. Новая технология построения вычислительных систем для решения сложных задач на железнодорожном транспорте. М.: "Транспорт, наука и техника", №4 1998 г. - с. 21-23

48. Горелик A.M. Средства поддержки параллельности в языках программирования. М.: " Открытые системы", 1995 г., №2.

49. Программирование на параллельных вычислительных системах, М. Мир, 1991 г.

50. Итоги науки и техники. Вычислительные науки, т. 3, А.П. Черняев. Системы программирования для высокопроизводительных ЭВМ. М.: ВИНИТИ, 1990г.

51. Hempel R. The Argonne/GMD Macros in FORTRAN for Portable Parallel Programming using the Message Passing Programming Model, Feb. 1991.

52. International Standard ISO/IES 1539:1991(E) Information technology -Programming languages Fortran

53. Горелик A. M., Ушкова В.Л. Фортран сегодня и завтра. М. Наука, 1990 г.

54. Международный стандарт ИСО/МЭК 1991 (Р). Перевод с англ.

55. Hiranandani 5., Kennedy К., Tseng C.-W. Compiling Fortran D for MIMD Distributed-Memory Machines, Comm. of the ACM, vol. 35, N 8,(August 1992), 66-80.

56. Zima Н., Brezany P., Chapman В., Mexrotra P., Schwald A. Vienna Fortran. A Language Specification Version L L

57. High Performance Fortran Language Specification. High Performance Fortran Forum, May 3, 1993, Version 1.0.

58. И. Евсеев. "HPF. Памятка для начинающего пользователя. ", http://www.csa.ru/

59. Fortran 90, HPF and Multiprocessing. The Uniform Resource Locator for this World Wide Web page is http://scv.bu.edu/SCV/Tutorials/F90/62. "HPF chapter in Designing and Building Parallel Programs by Ian Foster." http: //www .mcs.anl.gov/people/foster/

60. E. Johnson, P. Beckman, D. Gannon. "HPC++: An Experiment with the Parallel Standard Template Library",http://www.cs.indiana.edu/hyplan/ejohnson/papers/ pslt.html

61. HPC++ Technical Overview, http://www. extreme. indiana. edu

62. B. Коваленко, Д. Корягин. Вычислительная инфраструктура будущего. -М.: "Открытые системы", №11-12, 1999 г.

63. Институт Системного Программирования РАН .WWW: http:// www, ispras. ru

64. V. Ivannikov, S. Gaissaryan, M. Domrachev, V. Etch, N. Shtaltovnaya. "DPJ: Java class library for development of data-parallel programs", http://www.ispras.ru

65. HPCC and Java A Report by The Parallel Compiler Runtime Consortium (PCRC). http ://www.npac. svr. edu/users/gcf/hpiava3 .html

66. JAVAR A prototype restructuring compiler for Java. http ://www. extreme. Indiana, edu/hpj ava/

67. C. Дунаев ."Intranet технологии". Москва, "Диалог-МИФИ", 1997 г.

68. М.Томас и др. "Секреты программирования на Java". Санкт-Петербург, "Питер", 1997 г.73. 2000 Sun Microsystems. Java Language Specification. Second Edition

69. Y.Jegou & V.Ivannikov . "Report of Project 13: Parallel programming using Java subset classes.", http://lapinov.inria.msu.ru/REPORT/98/repl3.html

70. Susan F. Hummel, Ton Ngo, Harini Srinivasan, "SPMD Programming in Java", tech. report, IBM T.J. Watson Research Center. http://www.npac.svr.edu/projects/iavaforcse/cpande/IBMspmdjavanew.ps

71. F. Breg, A. Bik, D. Gannon. "Exploiting implicit loop paralleUsm using multiple multithreaded servers in Java",http://www.extreme.indiana.edu/hpiava/papers/implicit/implicit.html

72. B.B. Корнеев. "Параллельные вычислительные системы". Москва, "+НОЛИДЖ", 1999 г.

73. Б.И. Илюшкин. Использование языка Java для разработки параллельных приложений.

74. Geoffrey С. Fox and Wojtek Furmanski "Java for Parallel Computing and as a General Language for Scientific and Engineering Simulation and Modelling", http://www.npac.syr.edu/users/gcf/01/terri/SCCS793

75. Роберт Орфали, Дан Харки, Джери Эдварде. Основы CORBA.- М.: "Малин", 1999 г.

76. Марко Кэнту. Delphi 4 для профессионалов.-СПб.: "Питер", 1999.

77. В.А. Воеводин. Суперкомпьютерная грань компьютерного мира.- С-Пб.: "Byte/Россия", 2000 г., №4(20), стр. 14 20.

78. В.А. Воеводин. Архитектура массивно параллельных компьютеров ( на примере CRAY T3D). Особенности программирования. - С-Пб.: "Byte/Россия", 2000 г., №4(20), стр. 22 - 24.

79. Берзигияров П.К., Султанов В.Г. Технология разработки масштабируемых параллельных вычислений для SMP-систем на базе MPI. Институт Проблем Химической Физики РАН 142432, Московская область, Черноголовка panAaz@pro.icp. ac.ru

80. Коньшин В.Н. Параллельные алгоритмы в задачах вычислительной гидродинамики. МФТИ.

81. Смирнова Е.В. Реализация параллельной обработки данных при решении задач управления на железнодорожном транспорте. М.: "Транспорт, наука и техника", №10, 1998 г.

82. Смирнова Е.В. Прямой алгоритм решения задач линейного программирования на многопроцессорной ВС SPMD-технологии. // Тезисы научной конференции "XXV Гагаринские чтения. Всероссийская молодежная научная конференция".- М.: ЛАТМЭС, 1999 г.

83. Смирнова Е.В. Организация параллельных вычислений на ВС SPMD -технологии с использованием языка Java. // Вестник МИИТа вып. 4, 2000 г., с. 98.

84. Смирнова Е.В. Реализация поддержки SPMD технологии в языке Java для решения сложных задач на основе сетевых технологий. - М.: "Машиностроение", Информационные технологии, №10, 2001 г.