автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Управление организацией вычислений в автоматизированных системах научных исследований

УПРАВЛЕНИЕ ОРГАНИЗАЦИЕЙ ВЫЧИСЛЕНИЙ В АВТОМАТИЗИРОВАННЫХ СИСТЕМАХ НАУЧНЫХ ИССЛЕДОВАНИЙ

Специальность 05 13 06 - Автоматизация и управление технологическими

процессами и производствами (промышленность)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

г б мои ^

Орел, 2008

003172804

Работа выполнена на кафедре «Информационные системы» в Орловском государственном техническом университете (ОрелГТУ)

Научный руководитель - доктор технических наук, доцент

Коськин Александр Васильевич

Официальные оппоненты - доктор технических наук, профессор

Иванников Александр Дмитриевич кандидат технических наук Ломакин Владимир Васильевич

Ведущая организация Брянский государственный технический

университет г Брянск

Защита состоится в /6часов на заседании диссертационного

совета Д212 182 01 при Орловском государственном техническом университете по адресу. 302020, РФ, г Орел, Наугорское шоссе, д 29

С диссертацией можно ознакомиться в библиотеке Орловского государственного технического университета.

Автореферат разослан «%3> мая 2008 г

Ученый секретарь

диссертационного совета Д212 182 01 доктор технических наук, профессор _А И. Суздальцев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы В настоящее время для повышения эффективности научных исследований широко применяются различные средства их автоматизации Использование таких средств позволяет ускорить ход научных исследований, снизить их трудоемкость При этом становится возможным изучение сложных объектов и процессов, исследование которых традиционными методами затруднено или невозможно Наибольший эффект от применения автоматизированных систем научных исследований (АСНИ) удается достичь в областях науки, требующих обработки больших объемов данных, например, разработка фармацевтических препаратов, астрономия, газодинамика, генетика и других В таких сферах АСНИ являются одними из самых требовательных к вычислительным ресурсам Применение специализированных высокопроизводительных систем сдерживается их высокой стоимостью, а использование низкопроизводительных приводит к существенным временным затратам Более доступным средством является использование распределенных вычислительных сред (РВС) как глобального характера, так и локальных, построенных на базе уже имеющегося на предприятии парка ЭВМ К сожалению, для большинства научно-исследовательских учреждений и высших учебных заведений приобретение дорогостоящих высокопроизводительных систем, обеспечивающих реализацию сложных вычислений, является невозможным Однако, в этом случае повышение производительности вычислений возможно за счет привлечения распределенной вычислительной мощности компьютерной сети

Изучение возможностей применения распределенных вычислительных сред в научных исследованиях ведется достаточно давно Основополагающие концепции исследований в этом направлении сформулированы в работах В В Воеводина, Вл В Воеводина, В Н Коваленко, Е И Коваленко, Д А Корягина, Я Фостера, В В Топоркова, К Кессельмана и других авторов. Однако вопросы, связанные с организацией вычислений в АСНИ с использованием распределенных вычислительных сред, еще не получили должного освещения Этим определяется актуальность диссертационной работы

Объектом исследования в данной работе являются АСНИ, ориентированные на обработку больших объемов информации и сложные вычисления

В качестве предмета исследования выступают методики организации вычислений в АСНИ при использовании распределенной вычислительной среды

Цель диссертационной работы повышение производительности АСНИ при проведении вычислительных экспериментов за счет сетевого ресурса

Для достижения поставленной цели решались следующие задачи

- исследование особенностей организации вычислений в АСНИ,

- исследование принципов построения современных распределенных вычислительных сред,

- исследование методов представления вычислительных заданий в

распределенных вычислительных средах,

- разработка модели представления заданий и связей между ними,

- разработка спецификации формата описания множества взаимосвязанных вычислительных заданий АСНИ,

- разработка и исследование модели множества взаимосвязанных вычислительных заданий АСНИ, а также методики анализа таких множеств,

- разработка прототипа подсистемы управления организацией вычислений в АСНИ с использованием распределенной вычислительной среды,

- экспериментальное исследование организации решения задач АСНИ в распределенной вычислительной среде на базе разработанного прототипа

Методы и средства исследований При решении указанных задач использовались методы теории множеств, теории вычислительных процессов, теории графов, теории алгоритмов, математической статистики, объектно-ориентированного программирования

Достоверность научных положений и полученных результатов подтверждается их практической реализацией и результатами исследования прототипа подсистемы управления организацией вычислений в АСНИ с использованием распределенной вычислительной среды

Научная новизна работы заключается в

1 Разработанных моделях представления и построения пакета взаимосвязанных вычислительных заданий, базирующихся на теории множеств

2 Разработанном алгоритме формирования заявок на вычисления

3 Предложенном критерии оценки требуемых вычислительных ресурсов и методике его расчета, основанной на ярусно-параллельных формах графов алгоритмов, а также методах сетевого планирования

Практическая ценность работы

1 Разработана спецификация формата описания множества взаимосвязанных вычислительных заданий АСНИ

2 Создан прототип подсистемы управления организацией вычислений в АСНИ с использованием распределенной вычислительной среды

Реализация и внедрение результатов работы

1. Результаты диссертационной работы использовались при построении и развитии автоматизированной системы научных исследований методов восстановления изображения сечения по проекциям ЗАО «НАУЧПРИБОР»

2 Результаты диссертационной работы используются в учебном процессе кафедры «Информационные системы» Орловского государственного технического университета, в курсе «Архитектуры вычислительных систем» для специальностей «Программное обеспечение вычислительной техники и автоматизированных систем", "Прикладная информатика»

Апробация работы Основные положения и результаты диссертационного исследования докладывались и обсуждались на II Международной научно-практической конференции «Информационные технологии в науке, образовании и производстве» г Орел (май 2006 г), на Пятой Международной

электронной научно-технической конференции «Технологическая системотехника - 2006» в г Тула (мая 2006 г), на III Международной научно-практической конференции «Информационные технологии в науке, образовании и производстве» в г Орле (апрель 2008 г) а также на научно-практических семинарах кафедры «Информационные системы» ОрелГТУ (г Орел По результатам исследований опубликовано 8 работ

Положения, выносимые на защиту

1 Модели представления и построения пакета взаимосвязанных вычислительных заданий

2 Алгоритм формирования заявок на вычисление

3 Критерий оценки требуемых вычислительных ресурсов и методика его расчета

4 Прототип подсистемы управления организацией вычислений в АСНИ с использованием распределенной вычислительной среды

Структура и объем работы Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений Работа изложена на 149 страницах машинописного текста, включающего 24 рисунка, две таблицы, список литературы из 103 наименований, одно приложение

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, представлены ее цель и задачи, научная новизна, практическая значимость и основные положения, выносимые на защиту

В первой главе проведен анализ направлений и перспектив развития современных АСНИ в аспекте применения распределенных вычислительных сред для сокращения времени, затрачиваемого на проведение исследований Рассмотрены и проанализированы методики использования в АСНИ ресурсов, распределенных вычислительных сред, методы передачи вычислительных заданий между АСНИ и распределенными средами, а также спецификации форматов представления множества взаимосвязанных вычислительных заданий Показано, что применяемые на данный момент механизмы использования распределенных вычислительных сред для АСНИ обладают следующими недостатками

- АСНИ не поддерживают унифицированные средства взаимодействия с распределенной вычислительной средой В состав только некоторых из них входят собственные средства построения распределенной вычислительной сети, что затрудняет расширение масштаба такой среды за рамки парка ЭВМ конкретного предприятия,

- в подавляющем большинстве вычислительных сред не поддерживается обработка множества взаимосвязанных заданий Данная особенность предполагает формирование запросов на вычисление, состоящих из единичных задач,

- отсутствуют спецификации форматов, обеспечивающих описание множества взаимосвязанных вычислительных заданий АСНИ,

- не реализованы в полной мере механизмы управления организацией вычислений в АСНИ с использованием распределенной вычислительной среды Проведенный анализ выявил необходимость разработки новой методики использования распределенных вычислительных сред при проведении вычислений в АСНИ Такая методика должна обеспечить эффективное взаимодействие между АСНИ и вычислительной средой, а также позволить обрабатывать множество взаимосвязанных вычислительных заданий и организовывать передачу их на выполнение в распределенную среду Также необходимо предусмотреть механизмы анализа множеств взаимосвязанных заданий, на возможность распределенной обработки Такой анализ должен обеспечить возможность оценки целесообразности применения распределенной вычислительной среды для конкретного набора взаимосвязанных вычислительных заданий

На основе анализа, проведенного в первой главе, сформулированы цели и задачи дальнейших исследований

Во второй главе разработана и исследована формальная модель множества взаимосвязанных вычислительных заданий АСНИ, модель построения пакета взаимосвязанных заданий Предложен критерий оценки требуемых вычислительных ресурсов, а также методика его расчета

Вычисления в АСНИ представляют собой набор взаимосвязанных заданий Большинство заданий имеют небольшое число аргументов, так как однотипные данные группируются во множества Задание не может быть направлено на вычисление до момента окончательного формирования всех входных аргументов Исследователь в процессе формирования эксперимента задает порядок выполнения заданий, некоторые из которых могут выполняться параллельно друг с другом Для сохранения однозначности результата требуется соблюдать последовательность выполнения, заданную исследователем Организация параллельного выполнения заданий за счет применения распределенной вычислительной среды способна существенно сократить временные затраты на вычислительный эксперимент

Модель множества взаимосвязанных заданий, описывающая последовательность вычислений, представляется четверкой

<С, С, ¥, Я>, (1)

где в - множество заданий вычислительного эксперимента АСНИ; С - множество взаимосвязей между заданиями, Р - множество входных данных,

И - множество выходных данных, определяющих результат вычислений в АСНИ,

Для представления разработанной модели были использованы графовые структуры

На рисунке 1 изображен граф, вершины которого представляют собой отдельные вычислительные задания (число в скобках - оценочная сложность задачи), а дуги описывают последовательность вычисления, а также потоки информации, передающиеся между заданиями Узлы, не имеющие входящих дуг, являются начальными Соответствующие им задания имеют все

необходимые для запуска входные данные Узлы, не имеющие выходящих дуг, соответствуют заданиям, непосредственно формирующим результат вычислений в АСНИ

1<1 - идентификатор задания, Б - оценочная сложность задания

Рисунок 1- Представление множества взаимосвязанных вычислительных заданий АСНИ в виде графа

Для анализа целесообразности применения распределенной среды при вычислениях необходимо проанализировать взаимосвязь и оценочную сложность заданий Для анализа возможности параллельного выполнения заданий была разработана методика, основанная на принципах используемых при решении задач сетевого планирования Сущность методики заключается в следующем

1 Для полученного множества взаимосвязанных заданий находится минимально возможное время выполнение всех задач, то есть, путь по графу максимальной длины (критический путь) Длина пути рассчитывается как сумма весов вершин, составляющих данный путь

2 Рассчитывается коэффициент потенциального параллелизма

К = Т5/Тг

где К - оценочный коэффициент потенциального параллелизма,

Т5 - сумма временных оценок всех заданий,

Тг - минимально возможное оценочное время выполнения всех заданий (длина критического пути),

Для анализа множества взаимосвязанных заданий при отсутствии информации об оценочной сложности, использовалась методика, основанная на концепции построения ярусно-параллельной формы графа алгоритма Сущность методики заключается в следующем в первый ярус выделяются все задания, не имеющие предшествующих, эти задания заведомо не связаны друг с другом Из списка заданий удаляются задания первого яруса, а также все их

связи Для оставшихся заданий выделяется аналогичная группа - второй ярус Анализ продолжается до момента опустошения списка заданий

По окончании каждому заданию будет присвоен некоторый индекс -номер яруса Поскольку на каждом шаге помечается как минимум одно задание, число необходимых индексов не превысит число заданий Количество ярусов, определяет высоту ярусно-параллельной формы графа

Графически такую структуру удобно представить канонической ярусно-параллельной формой графа, пример которой изображен на рисунке 2

1 ярус С 1 / С2) Сз) С4)

2 ярус О)/ V6 У п1) Гг) ( 8 У С9 У

3 ярус С10)/ С14) ий) Мб) С17)

4 ярус С13У С15)

~ идентификатор задания

Рисунок 2 - Каноническая ярусно-параллельная форма графа взаимосвязанных вычислительных заданий

Оценочный коэффициент потенциального параллелизма в таком случае рассчитывается по формуле

где N - количество вычислительных заданий,

V - высота канонической ярусно-параллельной формы графа взаимосвязанных заданий

Оценочный коэффициент потенциального параллелизма позволяет оценить целесообразность применения распределенной вычислительной среды Равенство данного коэффициента единице свидетельствует о том, что ни одно вычислительное задание не может выполняться параллельно другим. В таком случае сокращение времени вычисления возможно только за счет увеличения производительности ЭВМ, используемой при вычислениях Данный коэффициент предоставляет усредненную оценку количества требуемых

вычислительных ресурсов для рассматриваемого множества взаимосвязанных вычислительных заданий

Для описания множеств вычислительных заданий с соблюдением указных исследователем взаимосвязей необходимо разработать средства построения пакетов таких заданий Для решения этой задачи в рамках диссертационной работы была разработана модель построения пакета взаимосвязанных вычислительных заданий, базирующаяся на теории множеств Эта модель может быть представлена следующим образом

ATask = (Task, Reí), (2)

где ATask - множество взаимосвязанных заданий АСНИ, Task - множество заданий, Reí - множество взаимосвязей между заданиями В свою очередь, множества Task и Reí могут быть представлены следующим образом

Task = {id, name, exec, time, def,[indata],[outdata], err}. (3)

Каждому заданию присущ следующий набор атрибутов идентификатор (id), имя (паше), запускаемое приложение (exec), оценка сложности (time), описание (deí), источник входных данных (mdata), файл вывода (outdata), файл журнала ошибок (err) Значения атрибутов indata и outdata могут быть не определены, если в качестве входа или выхода выступает другое вычислительное задание

Reí = {T_s, T_t}, (4) где T_s е Task - задание источник, T_t е Task —задание получатель Такая модель позволяет учесть всю необходимую для анализа и организации запуска вычислительных заданий информацию о заданиях и их взаимосвязях

В третьей главе на основе построенных моделей разработана подсистема АСНИ, отвечающая за организацию вычислений в распределенной среде Структура подсистемы представлена на рисунке 3

Структура подсистемы организации решения задач АСНИ в распределенной вычислительной среде включает следующие основные функциональные блоки'

- блок разбора входных данных Данный блок реализует синтаксический разбор поступающего файла описания множества заданий с последующим сохранением информации о заданиях и связях в БД,

- блок анализа множества взаимосвязанных заданий Указанный блок производит расчет оценочного коэффициента потенциального параллелизма, для поступившего множества заданий Одним из основных результатов работы блока является информация о возможности параллельного выполнения заданий,

- блок формирования заявок на вычисление Блок реализует выбор заданий, готовых к выполнению, с последующим формированием вычислительной заявки в распределенную среду Заявки могут быть

представлены в различных форматах, в зависимости от особенностей распределенной вычислительной среды,

- блок мониторинга хода вычислений Данный блок используется для слежения за процессом вычисления, а также, при необходимости, информирования пользователя АСНИ о ходе вычислительного эксперимента,

Рисунок 3 - Структура подсистемы управления организацией вычислений в АСНИ с использованием распределенной вычислительной среды

- блок сбора результатов вычислений и их передача АСНИ По окончании процесса вычисления, в блоке осуществляется получение результатов из распределенной вычислительной среды, а также передача их в АСНИ,

- база данных База данных реализует механизмы хранения и предоставления информации в подсистеме В качестве такой информации выступают данные о заданиях, взаимосвязях между ними, их текущем состоянии и т д

Предложенная в диссертационной работе методика анализа возможности параллельного выполнения заданий, основанная на принципах используемых при решении задач сетевого планирования, а также на анализе ярусно-параллельных форм графа, реализована в виде алгоритма расчета оценочного коэффициента потенциального параллелизма, представленного на рисунке 4

Для удобного анализа взаимосвязей между заданиями на этапе непосредственной организации вычислений в распределенной среде такие

связи можно представить в виде матрицы взаимосвязи заданий 8 размерности ЫхЫ, где N - количество заданий

{О, связь между вычислительными заданиями отсутствует, 1, если вычислительное задание 1 должно быть выполнено до запуска задания^

Рисунок 4 — Алгоритм расчета оценочного коэффициента потенциального

параллелизма

Просмотр взаимосвязей между заданиями, представленных в виде матрицы, инициируется в начале процесса организации решения задач АСНИ и начинается с назначения на выполнение готовых к запуску заданий В дальнейшем просмотр происходит каждый раз после успешного завершения одного из заданий Результатом просмотра является список задач, для которых выполнены все предшествующие задания Такие задачи могут быть запущены на обработку Данная процедура может быть представлена алгоритмом, изображенным на рисунке 5

В качестве средства описания взаимосвязанных заданий АСНИ при передаче в подсистему организации вычислений разработано расширение для спецификации формата ^ЭЬ, основанное на структуре формата ГОЬ Такое расширение позволяет дополнить спецификацию формата ^БЬ средствами описания множеств заданий, а также зависимостей между заданиями в указанных множествах

Поскольку спецификация формата ^ОЬ описана на основе ХМЬ-схемы, в описании расширения так же использовалась данная схема

Рисунок 5 - Алгоритм формирования заявок на вычисления

В описании спецификации используется понятие псевдо-схемы Псевдосхема представляет компонент до момента его непосредственного описания В псевдо-схемах для представления атрибутов и элементов используются описание в соответствии с формами Бэкуса-Наура «9» - обозначает нуль или одно вхождение, «*» - обозначает нуль или более вхождений, «+»- обозначает одно или более вхождений

Для описания множества зависимых заданий, в качестве расширения спецификации формата введем элемент ЭА01оЬз Данный элемент может быть представлен следующей псевдо-схемой <БАС1оЬз кН'хв«! ГО'"» < ДоЬВейпШоп. />+ <ГоЬОереп<1епс1е5 />* </Т>АОДоЬз>

Данная псевдо-схема показывает, что множество зависимых заданий описывается двумя основными элементами Элемент .ГоЬОеЯшйоп - описание задания Таких элементов может быть много, но минимальное число равно единице в силу того, что не допустима ситуация, когда в документе не содержится описание хотя бы одного вычислительного задания Элемент

JobDependencies - описание зависимости между заданиями В документе такой элемент может отсутствовать, что свидетельствует о независимости всех описанных вычислительных заданий Элемент JobDefinition наследует все свойства, описанные в спецификации формата JSDL Все вложенные в данный элемент атрибуты и элементы также определяются данной спецификацией

Элемент JobDependencies описывает зависимости между заданиями Для описания используется пара, состоящая из двух идентификаторов соответствующих заданий в множестве - источника и цели зависимости Данный элемент представлен следующей псевдо-схемой <JobDependencies> <JobSource />+ <JobTarget />+ <Information />* </JobDependencies>

Как видно из псевдо-схемы, допускается наличие в элементе JobDependencies более одного элемента типа JobSource или JobTarget Это объясняется тем, что задание может зависеть от результата не только одного задания, но и группы заданий В таком случае элементов типа JobSource будет несколько Возможен также и противоположный случай, который приводит к появлению в описании нескольких элементов типа JobTarget

Элементы JobSource и JobTarget можно описать следующими соответствующими псевдо-схемами

< JobSource > xsd ID < /JobSource>+

< JobTarget > xsd ID < /JobTarget >+

Элемент Information позволяет каждую зависимость сопроводить дополнительно информацией, содержащей описание характера зависимости Однако, данный элемент не обязателен и может отсутствовать в документе! Элемент описывается следующей псевдо-схемой

< Information > xsd string </Information>*

Результаты вычислений передаются в АСНИ в виде пар, состоящих из идентификатора задания и выходных дынных полученных при вычислении, в случае возникновения ошибок в АСНИ также передается журнал ошибок

В четвертой главе работы рассмотрены принципы реализации подсистемы управления организацией вычислений в АСНИ с использованием распределенной вычислительной среды Приведены экспериментальные исследования зависимости времени выполнения множества взаимосвязанных заданий на различном количестве вычислительных узлов от значения оценочного коэффициента потенциального параллелизма На 11 различных наборах с одинаковой суммарной оценочной сложностью состоящих из 100 взаимосвязанных заданий, с различным коэффициентом оценочного параллелизма измерялась длительность выполнения на различном количестве узлов (от 1 до 8) Результаты эксперимента представлены на рисунке 6

Экспериментальные исследования показали, что при использовании для вычислений количества узлов, равного или большего оценочному коэффициенту потенциального параллелизма, добавление дополнительных

вычислительных узлов не приводит к существенному сокращению длительности вычислений.

7.5

7.3

7.1

6.4

5.3 4,8 3,7 3,0

2.4

1.6

1.2

1100

ж а 1000

900

а 800

У 700

л

впо

о 500

-С

¡8 400

н

5 300

200

3 4 5 6 7 Количество вычислительных узлов

Рисунок 6 - Длительность вычислений на различном количестве вычислительных узлов наборов заданий с разным оценочным коэффициентом потенциального параллелизма.

Подсистема управления организацией вычислений апробировалась в автоматизированной системе научных исследований методов восстановления изображения сечения по проекциям ЗАО «НАУЧПРИБОР». Исследование производилось на полученном из АСНИ множестве взаимосвязанных заданий, реализующих серию вычислительных экспериментов оценки искажения реконструированных изображений из множества проекционных данных, отличающихся такими параметрами, как амплитуда вибраций источников и детекторов и отклонение оси поворота к нормали плоскости сканирования. Зависимость длительности вычислений от количества используемых вычислительных узлов представлена на рисунке 7.

Рисунок 7 - Сокращение длительности вычислений на различном количестве

вычислительных узлов

Полученный набор взаимосвязанных заданий состоит из 151 задания, оценочный коэффициент потенциального параллелизма для данного множества равен 25,1 Данное множество заданий на одной ЭВМ выполняется за 236 минут Вычисления производились на различном количестве вычислительных узлов (1, 5, 10, 15, 20, 25, 30, 35) За счет применения разработанной подсистемы, длительность вычислений удалось сократить до 16 минут

Результаты экспериментов подтверждают существенное сокращение длительности вычислений производимых в АСНИ при применении подсистемы управления организацией вычислений с использованием распределенной среды

В заключении сформулированы основные результаты работы

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1 Проведен анализ особенностей организации вычислений в АСНИ, принципов построения современных распределенных вычислительных сред Исследованы методы представления вычислительных заданий в распределенной среде На основе проведенного анализа разработана модель представления заданий и связей между ними

2 Разработаны и исследованы модели представления и построения пакета заданий АСНИ, состоящего из множества взаимосвязанных заданий Для анализа возможности параллельного выполнения заданий и оценки требуемых вычислительных ресурсов предложен критерий и методика его расчета, основанная на концепции построения ярусно-параллельной формы графа алгоритма, а также методах применяемых при решении задач сетевого планирования

3 Разработаны и реализованы средства описания взаимосвязанных заданий АСНИ при передаче в подсистему организации вычислений Такие средства представляют собой набор расширений для спецификации формата ^ЭЬ, основанных на структуре формата ГОЬ Сформированный набор расширений позволяет дополнить спецификацию формата ДБЭЬ средствами описания множеств заданий, а также зависимостей между ними в указанных множествах

4 Разработана структура подсистемы организации решения задач АСНИ в распределенной вычислительной среде, состоящая из взаимосвязанных блоков

5 Разработаны алгоритмы, реализующие методику анализа графа множества взаимосвязанных заданий АСНИ, а также выбор заданий, готовых к выполнению, и назначение их на запуск в распределенную среду.

6 Разработан и реализован прототип подсистемы управления организацией вычислений в АСНИ с использованием распределенной вычислительной среды

7 Предложенный подход реализован в АСНИ методов восстановления изображения сечения по проекциям ЗАО «НАУЧПРИБОР»

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1 Мозгов, С С Средства описания взаимосвязанных вычислительных заданий АСНИ для представления в распределенной вычислительной среде [Текст]/ С С Мозгов, И В Бизин // Известия ТулГУ Серия Технологическая системотехника Вып 14 Труды участников Пятой Международной электронной научно-технической конференции "Технологическая системотехника -2006" -Тула Изд-воТулГУ,2006 - с 8-12

2 Мозгов С С О проблеме проектирования современных высокопроизводительных телекоммуникационных систем и сетей передачи данных [Текст] / СС Мозгов, ИВ Бизин // Известия ОрелГТУ Серия «Фундаментальные и прикладные проблемы техники и технологии информационные системы и технологии» - Орел- ОрелГТУ, 2007 - № 4/268(535) -С 191-193

3 Мозгов, С С Средства повышения производительности вычислений в автоматизированных системах научного исследования [Текст] / С С Мозгов // Известия ОрелГТУ Серия Фундаментальные и прикладные проблемы техники и технологии информационные системы и технологии» - Орел ОрелГТУ, 2007 -№4-2/268(535)-С 277-279

4 Мозгов, С С Структура хранения множеств заданий и алгоритм назначения их на выполнение в подсистеме анализа заданий АСНИ [Текст] / С С Мозгов // Известия ОрелГТУ. Серия Фундаментальные и прикладные проблемы техники и технологии информационные системы и технологии» - Орел ОрелГТУ, 2007 -№ 4-2/268(535) - С 302-305

5 Мозгов, С С Графические языки программирования в АСНИ с возможностью распределения задач между ресурсами ЛВС [Текст] /ИВ Бизин, С С Мозгов // Известия ОрелГТУ Серия «Фундаментальные и прикладные проблемы техники и технологии информационные системы и технологии» -Орел ОрелГТУ,2008 -№ 1-3/269(544)-С 23-26

6 Мозгов, С С О проблемах использования распределенных вычислительных систем при автоматизации научных исследований [Текст] / С С Мозгов // Известия ОрелГТУ Серия «Фундаментальные и прикладные проблемы техники и технологии информационные системы и технологии» - Орел ОрелГТУ, 2008 -№ 1-3/269(544)-С. 182-183

7 Мозгов С С Анализ алгоритмов маршрутизации в вычислительных сетях [Текст] / С С Мозгов, А В Артемов // Известия ОрелГТУ Серия «Информационныесистемы и технологии» -Орел ОрелГТУ, 2005 -№1(7) - С 150-158

8 Мозгов С С Анализ подходов к классификации корпоративных вычислительный сетей [Текст] / С С Мозгов, И В Бизин, С И Афонин // Известия ОрелГТУ Серия «Информационные системы и технологии» - Орел ОрелГТУ, 2005 -№1(7) -С 159-162

ЛР ИД № 00670 от 05 01 2000 г

Подписано к печати « Л 7 » ^Л^эО_2008 г

Уел печ л 1 Тираж 100 экз

_Заказ № Ъ^/о?_

Полиграфический отдел ОрелГТУ 302025, г Орел, ул Московская, 65

ВВЕДЕНИЕ.:.

1 АНАЛИЗ ПОДХОДОВ К ОРГАНИЗАЦИИ ВЫЧИСЛЕНИЙ В

АВТОМАТИЗИРОВАННЫХ СИСТЕМАХ НАУЧНЫХ

ИССЛЕДОВАНИЙ.

1.1 Обзор существующих автоматизированных систем научных исследований в аспекте применения ресурсов распределенной вычислительной среды.

1.2 Анализ вариантов построения и характеристик современных многомашинных вычислительных систем.

1.3 Анализ принципов обработки вычислительных заданий в распределенной среде.

1.4 Сравнительный анализ форматов представления заданий в распределенной вычислительной среде.

1.5 Выводы по первой главе.

2 УПРАВЛЕНИЕ ОРГАНИЗАЦИЕЙ ВЫЧИСЛЕНИЙ В

АВТОМАТИЗИРОВАННЫХ СИСТЕМАХ НАУЧНЫХ

ИССЛЕДОВАНИЙ.

2.1 Особенности организации вычислений в автоматизированных системах научных исследований.

2.2 Разработка модели представления множества взаимосвязанных вычислительных заданий АСНИ.

2.3 Разработка критерия оценки требуемых вычислительных ресурсов и методики его расчета.

2.4 Разработка модели построения пакета взаимосвязанных вычислительных заданий.

2.5 Выводы по второй главе.

3 РАЗРАБОТКА ПОДСИСТЕМЫ УПРАВЛЕНИЯ ОРГАНИЗАЦИЕЙ

ВЫЧИСЛЕНИЙ В АСНИ С ИСПОЛЬЗОВАНИЕМ РЕСУРСОВ

РАСПРЕДЕЛЕННОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЫ.

3.1 Разработка структуры подсистемы управления организацией вычислений в АСНИ.

3.2 Реализация структурных схем составляющих подсистемы управления организацией вычислений в АСНИ.

3.2.1 Реализация структурной схемы блока синтаксического разбора входных данных.

3.2.2 Реализация структурной схемы блока анализа множества взаимосвязанных вычислительных заданий АСНИ.

3.2.3 Реализация структурной схемы блока формирования заявок на вычисления.

3.2.4 Реализация структурной схемы блока сбора результатов и мониторинга хода вычислений.

3.2.5 Разработка структурной схемы базы данных подсистемы организации вычислений в АСНИ.

3.3 Разработка алгоритмов функционирования ключевых блоков.

3.3.1 Алгоритм расчета оценочного коэффициента потенциального параллелизма.

3.3.2 Алгоритм построения канонической ярусно-параллельной формы графа множества взаимосвязанных заданий АСНИ.

3.3.3 Алгоритм анализа взаимосвязи заданий и формирования вычислительных заявок при организации вычислений в распределенной среде.

3.4 Разработка спецификации формата описания множества взаимосвязанных вычислительных заданий АСНИ.

3.5 Выводы по третьей главе.

4 РЕАЛИЗАЦИЯ ПРОТОТИПА ПОДСИСТЕМЫ УПРАВЛЕНИЯ

ОРГАНИЗАЦИЕЙ ВЫЧИСЛЕНИЙ В АСНИ.

4.1 Построение распределенной вычислительной среды.

4.1.1 Анализ доступной технической базы.

4.1.2 Выбор инструментальных средств и построение распределенной вычислительной среды.

4.2 Реализация подсистемы управления организацией вычислений в АСНИ.

4.3 Исследование зависимости времени выполнения множества заданий на различном количестве вычислительных узлов от значения оценочного коэффициента потенциального параллелизма.

4.4 Апробация прототипа в автоматизированной системе научных исследований методов реконструкции томограмм.

4.5 Выводы по четвертой главе.

В настоящее время для повышения эффективности научных исследований широко применяются различные средства их автоматизации. Использование таких средств позволяет ускорить ход научных исследований, снизить их трудоемкость. При этом становится возможным изучение сложных объектов и процессов, исследование которых традиционными методами затруднено или невозможно. Наибольший эффект от применения автоматизированных систем научных исследований (АСНИ) удается достичь в областях науки, требующих обработки больших объемов данных, например, разработка фармацевтических препаратов, астрономия, газодинамика, генетика и других. В таких сферах АСНИ являются одними из самых требовательных к вычислительным ресурсам. Применение специализированных высокопроизводительных систем сдерживается их высокой стоимостью, а использование низкопроизводительных приводит к существенным временным затратам. Более доступным средством является использование распределенных вычислительных сред (РВС) как глобального характера, так и локальных, построенных на базе уже имеющегося на предприятии парка ЭВМ. К сожалению, для большинства научно-исследовательских учреждений и высших учебных заведений приобретение дорогостоящих высокопроизводительных систем, обеспечивающих реализацию сложных вычислений, является невозможным. Однако, в этом случае повышение производительности вычислений возможно за счет привлечения распределенной вычислительной мощности компьютерной сети.

Изучение возможностей применения распределенных вычислительных сред в научных исследованиях ведется достаточно давно. Основополагающие концепции исследований в этом направлении сформулированы в работах В.В. Воеводина, Вл.В. Воеводина, В.Н. Коваленко, Е.И. Коваленко, Д.А. Корягина, Я. Фостера, В.В. Топоркова, К. Кессельмана и других авторов.

Однако вопросы, связанные с организацией вычислений в АСНИ с использованием распределенных вычислительных сред, еще не получили должного освещения. Этим определяется актуальность диссертационной работы.

Объектом исследования в данной работе являются АСНИ, ориентированные на обработку больших объемов информации и сложные вычисления.

В качестве предмета исследования выступают методики организации вычислений в АСНИ при использовании распределенной вычислительной среды.

Цель диссертационной работы: повышение производительности АСНИ при проведении вычислительных экспериментов за счет сетевого ресурса.

Для достижения поставленной цели решались следующие задачи:

- исследование особенностей организации вычислений в АСНИ;

- исследование принципов построения современных распределенных вычислительных сред;

- исследование методов представления вычислительных заданий в распределенных вычислительных средах;

- разработка модели представления заданий и связей между ними;

- разработка спецификации формата описания множества взаимосвязанных вычислительных заданий АСНИ;

- разработка и исследование модели множества взаимосвязанных вычислительных заданий АСНИ, а также методики анализа таких множеств;

- разработка прототипа подсистемы управления организацией вычислений в АСНИ с использованием распределенной вычислительной среды;

- экспериментальное исследование организации решения задач АСНИ в распределенной вычислительной среде на базе разработанного прототипа.

Методы и средства исследований. При решении указанных задач использовались методы теории множеств, теории вычислительных процессов, теории графов, теории алгоритмов, математической статистики, объектно-ориентированного программирования.

Достоверность научных положений и полученных результатов подтверждается их практической реализацией и результатами исследования прототипа подсистемы управления организацией вычислений в АСНИ с использованием распределенной вычислительной среды.

Научная новизна работы заключается в:

1. Разработанных моделях представления и построения пакета взаимосвязанных вычислительных заданий, базирующихся на теории множеств.

2. Разработанном алгоритме формирования заявок на вычисления.

3. Предложенном критерии оценки требуемых вычислительных ресурсов и методике его расчета, основанной на ярусно-параллельных формах графов алгоритмов, а также методах сетевого планирования.

Практическая ценность работы:

1. Разработана спецификация формата описания множества взаимосвязанных вычислительных заданий АСНИ.

2. Прототип подсистемы управления организацией вычислений в АСНИ с использованием распределенной вычислительной среды.

Реализация и внедрение результатов работы.

1. Результаты диссертационной работы использовались при построении и развитии автоматизированной системы научных исследований методов реконструкции томограмм ЗАО «НАУЧПРИБОР»;

2. Результаты диссертационной работы используются в учебном процессе кафедры «Информационные системы» Орловского государственного технического университета. В курсе «Архитектуры вычислительных систем» для специальностей: "Программное обеспечение вычислительной техники и автоматизированных систем", "Прикладная информатика".

Апробация работы. Основные положения и результаты диссертационного исследования докладывались и обсуждались на II Международной научно-практической конференции «Информационные технологии в науке, образовании и производстве» г. Орел (май 2006 г.), на Пятой Международной электронной научно-технической конференции «Технологическая системотехника - 2006» в г. Тула (мая 2006 г.), на III Международной научно-практической конференции «Информационные технологии в науке, образовании и производстве» в г. Орле (апрель 2008 г.) а также на научно-практических семинарах кафедры: «Информационные системы» ОрелГТУ (г. Орел.) По результатам исследований опубликовано 8 работ.

Положения, выносимые на защиту:

1. Модели представления и построения пакета взаимосвязанных вычислительных заданий.

2. Алгоритм формирования заявок на вычисление.

3. Критерий оценки требуемых вычислительных ресурсов и методика его расчета.

4. Прототип подсистемы управления организацией вычислений в АСНИ с использованием распределенной вычислительной среды.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Работа изложена на 149 страницах машинописного текста, включающего 24 рисунка, две таблицы, одно приложение, список литературы из 103 наименований.

4.5 Выводы по четвертой главе

1. Выбранные средства реализации распределенной вычислительной среды на базе имеющегося в организации парка ЭВМ, объединенных между собой коммуникационными каналами, позволяет с минимальными временными затратами построить среду, позволяющую организовывать распределенные вычисления.

2. Проведенные экспериментальные исследования зависимости времени выполнения множества взаимосвязанных заданий на различном количестве вычислительных узлов от значения оценочного коэффициента потенциального параллелизма показали, что при использовании для вычислений количества узлов, равного или большего коэффициенту параллелизма, добавление дополнительных вычислительных узлов не приводит к существенному сокращению длительности вычислений.

3. Применение разработанной подсистемы управления организацией вычислений в автоматизированной системе научных исследований методов реконструкции томограмм позволило сократить длительность вычислений в 15 раз.

4. Результаты экспериментов подтверждают существенное сокращение длительности вычислений производимых в АСИН при применении подсистемы управления организацией вычислений с использованием распределенной среды.

ЗАКЛЮЧЕНИЕ

В процессе диссертационного исследования были получены следующие результаты:

1. Проведен анализ особенностей организации вычислений в АСНИ, принципов построения современных распределенных вычислительных сред. Исследованы методы представления вычислительных заданий в распределенной среде. На основе проведенного анализа разработана модель представления заданий и связей между ними.

2. Разработаны и исследованы модели представления и построения пакета заданий АСНИ, состоящего из множества взаимосвязанных заданий. Для анализа возможности параллельного выполнения заданий и оценки требуемых вычислительных ресурсов предложен критерий и методика его расчета, основанная на концепции построения ярусно-параллельной формы графа алгоритма, а также методах применяемых при решении задач сетевого планирования.

3. Разработаны и реализованы средства описания взаимосвязанных заданий АСНИ при передаче в подсистему организации вычислений. Такие средства представляют собой набор расширений для спецификации формата ^БЬ, основанных на структуре формата ЛЗЬ. Сформированный набор расширений позволяет дополнить спецификацию формата ^БЬ средствами описания множеств заданий, а также зависимостей между ними в указанных множествах.

4. Разработана структура подсистемы организации решения задач АСНИ в распределенной вычислительной среде, состоящая из взаимосвязанных блоков.

5. Разработаны алгоритмы, реализующие методику анализа графа множества взаимосвязанных заданий АСНИ, а также выбор заданий, готовых к выполнению, и назначение их на запуск в распределенную среду.

6. Разработан и реализован прототип подсистемы управления организацией вычислений в АСНИ с использованием распределенной вычислительной среды.

7. Предложенный подход реализован в АСНИ методов восстановления изображения сечения по проекциям ЗАО «НАУЧ11РИБОР».

1. Альянах, И.Н. Моделирование вычислительных систем Текст. / И.Н. Альянах. Д.: Машиностроение, 1988. - 223 с.

2. Ануфриев, A. MATLAB 7.0. В подлиннике Текст. / А. Ануфриев, А. Смирнов, Е. Смирнова. СПб.: БХВ-Петербург, 2005. - 315 с.

3. Барвайс, Дж. Справочная книга по математической логике. Часть 2: теория множеств Текст. / Дж. Барвайс. М.: Наука, 1982. - 376 с.

4. Богданов, С.А. Метадиспетчер: реализация средствами метакомпьютерной системы Globus Текст. / С.А. Богданов, В.Н. Коваленко, Е.В. Хухлачев, О.Н. Шорин // М.:Препринт ИПМ РАН, N30, 2001 г.

5. Божанов, С.Е. Структурный анализ и планирование процессов параллельного выполнения функциональных программ Текст. / С.Е. Божанов, В.П. Кутепов, Д.А. Шестаков / Известия РАН. Теория и системы управления. 2005, № 6. С. 131-146.

6. Бурков, В.Н. Теория графов в управлении организационными системами Текст. / В.Н. Бурков, А.Ю. Заложнев, Д.А. Новиков. М.: Синтег, 2001.- 124 с.

7. Буч, Г. Объестно-ориентированный анализ и проектирование с примерами приложений на С++, 2-е изание/Пер. с англ. -М.: "Издательство Бином" Текст. / Г. Буч. СПб: "Невский диалект", 1998 г. - 560 с.

8. Васильев, А.Н. Maple 8. Самоучитель / А. Н. Васильев. М.: Диалектика, Вильяме, 2003. - 534 с.

9. Владимиров, Д. Кластерная система Condor Текст. / Д. Владимиров // Открытые системы, 07-08, 2000, С. 70-85.

10. Воеводин, В.В. Математические модели и методы в параллельных процессах Текст. / В.В. Воеводин. М.: Наука, 1986. - 296 с.

11. Воеводин, В.В. Параллельные вычисления Текст. / В.В. Воеводин, Вл.В. Воеводин. СПб.: БХВ-Петербург, 2002. - 608 с.

12. Воеводин, В.В. Суперкомпьютеры: вчера, сегодня, завтра Текст. / В.В. Воеводин // Сборник научно-популярных статей «Российская наука на заре нового века». Под редакцией академика В.П. Скулачева. М.: научный мир, 2001.-С. 475-483.

13. Воеводин, Вл.В. Вычислительное дело и кластерные системы Текст. / Вл.В. Воеводин, С.А. Жуматий. Издательство московского университета, 2007. - 149 с.

14. Гамма, Эрик Расширения Eclipse: принципы, шаблоны и подключаемые модули / Гамма, Эрик, Кент Бек. Издательство: КУДИЦ-Образ, 2005. - 384 с.

15. Гандер, В. Решение задач в научных вычислениях с применением Maple и MATLAB / В. Гандер, И. Гржебичек. М.: Вассамедина, 2005. - 520 с.

16. Гергель, В.П. Основы параллельных вычислений для многопроцессорных вычислительных систем Учебное пособие Издание 2-е, дополненное / В.П. Гергель, Р.Г. Стронгин. Издательство Нижегородского госуниверситета Нижний Новгород, 2003. - 345 с.

17. Говорухин, В. Компьютер в математическом исследовании: Maple, MATLAB, LaTeX. Учебный курс Текст. / В. Говорухин, В. Цибулин // СПб.Издательство "Питер", 2001. 624 с.

18. Диго, С.М. Проектирование и использование баз данных Текст.: Учебник / С.М. Диго. М.: Финансы и статистика, 1995. - 208 с.

19. Емельянов, В.В. Модели в задачах анализа и управления сложными системами и процессами Текст. / В.В. Емельянов // Компьютерная хроника, 1999, №3. С. 51-69.

20. Касьянов, В. Н. Графы в программировании: обработка, визуализация и применение Текст. / В.Н. Касьянов. СПб.: БХВ-Петербург, 2003.-1104 с.

21. Кацубо, Д.В. Использование кластеронй системы "OpenMOSIX" для построения распределенных вычислений / Д.В. Кацубо. Минск, 2003. -81 с.

22. Клейнрок, JI. Теория массового обслуживания Текст. / JI. Клейнрок. М.: Машиностроение, 1979. - 432 с.

23. Коваленко, В. Эволюция и проблемы GRID Текст. / В. Коваленко, Д. Корягин // Открытые системы, 2003, № 1. С. 27.

24. Коваленко, В.Н. Метод опережающего планирования для Грид Текст. / В.Н. Коваленко, Е.И. Коваленко, Д.А. Корягин, Э.З. Любимский. -М.:ИПМ им. М.В.Келдыша РАН, 2005. 33 с.

25. Коваленко, В.Н. Организация ресурсов ГРИД Текст. / В.Н. Коваленко, Д.А. Корягин. Москва, Иститут прикладной математике имени М.В. Келдыша, #63, 2004. - С. 1-25.

26. Коваленко, В.Н. Пакетная обработка заданий в компьютерных сетях Текст. / В.Н. Коваленко, Е.И. Коваленко //Открытые системы, № 7-8, 2000.-С. 1-19.

27. Коваленко, В.Н. Структура и проблемы развития программного обеспечения среды распределенных вычислений Грид Текст. / В.Н. Коваленко, Е.И. Коваленко, Д.А. Корягин, Э.З. Любимский, А.В. Орлов, Е.В. Хухлаев. М.:ИПМ им. М.В.Келдыша РАН, 2002. - 34 с.

28. Кондратин, Т.В. Использование средств компьютерного моделирования в курсах механики жидкости и газа: Учебно-методическое пособие Текст. / Т.В. Кондратин, Б.К. Ткаченко, М.В. Березникова и др. // М.:МФТИ, 2005.-112 с.

29. Коновалов, H.A. Параллельные программы для вычислительных кластеров и сетей Текст. / H.A. Коновалов, В.А. Крюков // Открытые системы, 2002, № 3. С. 12-18.

30. Конынин, В. Параллельная реализация программного комплекса FlowVision Текст. / В. Коныиин // САПР и Графика, 2006, № 12. С. 34-43.

31. Кориков, A.M. Распределенная автоматизированная система научных исследований и обучения Текст. /А.М.Кориков, В.Г.Резник // Томская академия систем управления и радиоэлектроники, 2000. 200 с.

32. Корнеев, В.Д. Параллельное программирование в MPI Текст. /

33. B.Д. Корнеев. Новосибирск: Изд-во СО РАН, 2000. - 430 с.

34. Костенко, В.А. К вопросу об оценке оптимальной степени параллелизма Текст. / В.А. Костенко В.А. // Программирование, № 4, 1995.1. C. 24-28.

35. Котляров, Д.В. Граф-схемное потоковое параллельное программирование и его реализация на кластерных системах Текст. / Д.В. Котляров, В.П. Кутепов, М.А. Осипов // Москосвкий энергентический институт (технический университет), 2004. 29 с.

36. Кофлер, М. Весь линукс. Установка, конфигурирование, использование Текст. / М. Кофлер. М.: Бином-Пресс, 2006. - 880 с.

37. Красилов A.A. Интеллектуальные системы общего назначения Электронный ресурс. / Альберт Александрович Красилов. Режим доступа: http://www.intellsyst.m/publications/text/glossariy.shtml.

38. Крюков, В.А. Разработка параллельных программ для вычислительных кластеров и сетей Текст. / В.А. Крюков // Информационные технологии и вычислительные системы 1-2, 2003. С. 4261.

39. Кудрявцев, М.Е. Mathcad 11. Полное руководство по русской версии / Е. М. Кудрявцев. М.: ДМК пресс, 2005. - 592 с.

40. Лапшин, Г.М. Организация и планирование вычислительных центров в машино и приборостроении Текст. / Г.М. Лапшин // Л.: Машиностроение. Ленингр. Отделение, 1990. 248 с.

41. Легалов, А. На пути к переносимым параллельным программам Текст. / А. Легалов, Д. Кузьмин, Ф. Казаков, Д. Привалихин // Журнал "Открытые системы", #05, 2003. С. 54-64.

42. Михалевич, B.C. Методы последовательной оптимизации в дискретных сетевых задачах оптимального распределения ресурсов Текст. / B.C. Михалевич. М.:Наука, 1983. - 208 с.

43. Мозгов С.С. Анализ алгоритмов маршрутизации в вычислительных сетях текст./ С.С. Мозгов, A.B. Артемов // Известия ОрелГТУ. Серия «Информационные системы и технологии». Орел: ОрелГТУ, 2005. - № 1 (7).-С. 150-158.

44. Мозгов С.С. Анализ подходов к классификации корпоративных вычислительный сетей текст./ С.С. Мозгов, И.В. Бизин, С.И. Афонин // Известия ОрелГТУ. Серия «Информационные системы и технологии». -Орел: ОрелГТУ, 2005. -№ 1 (7). С. 159-162.

45. Мозгов, С.С. О проблемах использования распределенных вычислительных систем при автоматизации научных исследований текст./

46. С.С. Мозгов // Известия ОрелГТУ. Серия «Фундаментальные и прикладные проблемы техники и технологии: информационные системы и технологии». -Орел: ОрелГТУ, 2008. № 1-3/269(544) - С. 182-183.

47. Нечепуренко, М.И. Алгоритмы и программы решения задач на графах и сетях Текст. / М.И. Нечепуренко, В.К. Попков, С.М. Майнагашев и др. //Новосибирск:Наука. Сиб. Отделение, 1990. 515 с.

48. Новицкий, Н.И. Сетевое планирование и управление производством Текст. / Н.И. Новицкий. М.: Новое знание, 2004. - 158 с.

49. Ope, О. Теория графов / О. Ope. M.: Наука, 1980. - 336 с.

50. Советов, Б.Я. Моделирование систем Текст. / Б.Я. Советов, С.А. Яковлев. М.: Высшая школа, 2001. - 271с.

51. Соколинский, Л.Б. Параллельные машины баз данных. / Л.Б. Соколинский // Сборник научно-популярных статей «Российская наука назаре нового века». Под редакцией академика В.П. Скулачева. М.: научный мир, 2001.-С. 484-494.

52. Сон, Э.Е. Фундаментальные и прикладные задачи для суперкомпьютерных комплексов Электронный ресурс./ Э.Е. Сон. -Режим доступа: http://nit.miem.edu.ra/cgi-bin/article?id=260.

53. Татарников, О. Обзор программ для символьной математики Текст. / О. Татарников // М.:Компьютер Пресс, 2006, № 7. С. 56-60.

54. Топорков, В.В. Модели распределенных вычислений Текст. / В.В. Топорков. М.: Физматлит, 2004. - 320 с.

55. Уилсон, Р. Введение в теорию графов Текст. / Р. Уилсон -М.:Наука, 1977.-207 с.

56. Флоренс, Жак Приложения, работающие в грид EGEE. Режим доступа: http://public.eu-egee.org/files/AppHcation%20runnmg%20on%20 EGEErusnew.pdf.

57. Харари, Ф. Теория графов Текст. / Ф. Харари. М.:КомКнига, 2006. - 302 с.

58. Хаусдорф, Ф. Теория множеств: Пер. с нем. Текст. / Ф. Хаусдорф. М.: Едиториал УРСС, 2006. - 303 с.

59. Хендерсон, П. Функциональное программирование Пер. с англ. Текст. / П. Хендерсон. М.: Мир, 1983. - 320 с.

60. Шпаковский, Г.И. Параллельные микропроцессоры для цифровой обработки сигналов и медиа данных / Г.И. Шпаковский. Мн.: БГУ, 2000. -196 с.

61. Ющенко, Н.В. Оценка времени выполнения программ статико-динамическим методом / Н.В. Ющенко // Программные системы и инструменты. Вып. 2 под ред. JI.H. Королева. М.:Изд-во МГУ, 2001. - С. 157-167.

62. Amar, L. The MOSIX Scalable Cluster File Systems for LINUX Electronic resource. / Amar L., Barak A., Eizenberg A. and Shiloh A. Режим доступа: http://www.mosix.cs.huji.ac.il/ftps/mfs.ps.gz.

63. Amir, Y. An Opportunity Cost Approach for Job Assignment in a Scalable Computing Cluster. Electronic resource. / Amir Y., Awerbuch В., Barak A., Borgstrom R.S. and Keren А. -ежим доступа: http://www.mosix.cs.huji.ac.il/ftps/opc.ps.gz.

64. Andrews, G. R. Foundations of Multithreaded, Parallel, and Distributed Programming (русский перевод Эндрюс Г.Р.) Текст. / G.R. Andrews. М.: Издательский дом "Вильяме", 2003. - 250 с.

65. Anjomshoaa, АН Job submission description language (Specification, version 1.0) Electronic resource. / Ali Anjomshoaa, Fred Brisard, Michel Drescher, Donal Fellows and other // Режим доступа: http ://www. о gf. org/do cuments/GFD. 5 6 .p df.

66. Barak, A. The MOSIX Multicomputer Operating System for High Performance Cluster Computing text. / A. Barak, O. La'adan // Journal of Future Generation Computer System, 1998.-p.13.

67. Berman, F. High-performance scheduling // The Grid: Blueprint for a New Computing Infrastructure / Eds I. Foster, C. Kesselman. San Francisco: Morgan Kaufmann, 1999. P. 279-307.

68. Condor High Throughput Computing (HTC). Electronic resource.: Режим доступа: http://www.cs.wisc.edu/condor/.

69. Fabrizio, Pacini et al. Workload Management System User and Reference Guide, 2006. Режим доступа: https://edms.cern.ch/fíle/572489/l/WMS-guide.pdf

70. Fabrizio, Pacini Job Description Language HowTo. Electronic resource.: Режим доступа: http://serverll.infh.it/worlcload-grid/docs/DataGrid-01 -TEN-0102-02-Document.doc.

71. Foster, I. The Anatomy of the Grid: Enabling Scalable Virtual Organizations Text. / I. Foster, C. Kesselman, S. Tuecke // International Journal of High Performance Computing Applications, 15 (3), 2001. p. 200-222.

72. Globus Toolkit. Electronic resource.: Режим доступа: htpp ://www.globus. org.

73. J. Frey, Т. Tannenbaum, I. Foster, M. Livny, and S. Tueclce. Condor-G: A computation management agent for multiinstitutional Grids. Cluster Computing, 5(3):237-246, 2002.

74. Job description language attributes specification Electronic resource. / Режим доступа: http://edms.cern.ch/document/555796/l.

75. Jon B.Weissman, P. Srinivasan. Ensemble Scheduling: Resource Co-Allocation on the ComputationalGrid. http://www-users.cs.umn.edu/~jon/papers/grid2001ens.ps.

76. K. Czajkowski, S. Fitzgerald, I. Foster, and C. Kesselman. Grid information services for distributed resource sharing. In Proceedings of the Tenth IEEE International Symposium on High-Performance Distributed Computing (HPDC-10), August 2001.

77. Kesliav, S. An Engineering Approach to Computer Networking Text. / S. Kesliav. Massachusetts: Addison Wesley Publishing Company, 1997. - 688 p.

78. LCG middleware documentation. Режим доступа: http://grid-deployment.web.cern.ch/grid-deployment/cgi-bin/index.cgi?var=documentation.

79. Parelch, A. A generalized processor sharing approach to flow control in integrated services networks: The single node case Text. / A. Parekh, R. Gallager // IEEE/ACM Transaction on Networking, 1993. №3. - VI. - P. 344-357.

80. Platform LSF. Electronic resource.: Режим доступа: http://www.platfoim.com/Products/Platform.LSF.Family/Platform.LSF/.

81. Portable Batch System. Electronic resource.: Режим доступа: http://www.openpbs.org.

82. R. Raman, M. Livny, and M. Solomon. Matchmaking: An extensible framework for distributed resource management. Cluster Computing, 2(2), 1999.

83. Relational Grid Monitoring Architecture (R-GMA). A.Cooke et al, UK e-Science All Hands Conference, Nottingham, September 2003. http://www.r-gma.org/pub/ah03l 48.pdf.

84. Sun Grid Engine. Electronic resource.: Режим доступа: http ://www. sun.com/ software/gridware/sge.html.

85. The Globus Resource Specification Language RSL vl.0. http://www.globus.Org/toolkit/docs/2.4/gram/rslspec 1 .html.

86. Workload Management System User and Reference Guide, Режим доступа: https://edms.cern.ch/file/572489/l/WMS-guide.pdf.

87. Zeigler, B.P. Object-Oriented Simulation with Hierarchical, Modular Models: Intelligent Agents and Endomorphic Systems. Boston: Academic Press, 1990. - 228p.