автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Оптимизация принятия решений при обеспечении надежности работы сложных информационно-вычислительных систем

На правах рукописи

Николов Александр Георгиевич

УДК 658.012.011.56.005:681.3.01

Оптимизация принятия решений при обеспечении надежности работы сложных информационно-вычислительных систем

Специальность 05.13.01 - «Системный анализ, управление и обработка информации (промышленность)»

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва 2004

Работа выполнена в Московском государственном горном университете.

Научный руководитель

доктор технических наук, профессор КУПРИЯНОВ ВЯЧЕСЛАВ ВАСИЛЬЕВИЧ

Официальные оппоненты:

доктор технических наук, профессор ПЕВЗНЕР ЛЕОНИД ДАВИДОВИЧ доктор технических наук, профессор ХЕТАГУРОВ ЯРОСЛАВ АФАНАСЬЕВИЧ

Ведущее предприятие - Институт проблем управления им. В.А.Трапезникова РАН

Защита диссертации состоится «у^ » 2004 г. в час. на

заседании диссертационного совета Д 212.128.07 при Московском государственном горном университете по адресу 119991, Москва, Ленинский проспект, д.6

С диссертацией можно ознакомится в библиотеке университета.

Автореферат разослан

Ученый секретарь диссертационного совета,

доктор технических наук, профессор КУБРИН СЕРГЕЙ СЕРГЕЕВИЧ

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы

Благодаря своей архитектурной гибкости, высокой производительности и умеренной цене кластерные информационно-вычислительные системы (ИВС) на сегодняшний день являются одним из наиболее перспективных решений для построения сложных распределенных вычислительных систем. Возможность создания систем, состоящих из множества однотипных или разнородных структурных элементов (узлов), автономно работающих над локальными задачами обработки данных, но, вместе с тем, связанно выполняющих некоторую общую вычислительную задачу, открывает широчайшие перспективы во всех отраслях экономики, науки и промышленного производства. Исходя из важности решаемых задач, очевидно, что любые сбои, отключения или аварии, возникающие в процессе работы кластерных систем, недопустимы и крайне нежелательны. Особенностью кластерных ИВС, состоящих из функциональных блоков массового производства (процессор, память и т.п.), является то, что в них, как правило, не используются специальные средства защиты от неблагоприятных воздействий внешней среды (температура, влажность, электромагнитное излучение и т.п.) в силу массогабаритных, стоимостных и других ограничений. Очевидно, что вопросы обеспечения надежности функционирования подобных систем являются одними из важнейших в рамках общей концепции их применения.

В современных технологиях обеспечения надежности обработки информации кластерными ИВС широко применяются три концептуально различных подхода к принятию решений: экспертный, классический и неформальный.

Первый заключается в использовании эмпирических знаний и опыта практической работы одного или нескольких экспертов, досконально знающих предметную область. Решение принимается единолично или на основе согласованного мнения, и критерием его оптимальности служит уверенность экспертов, подтвержденная их квалификацией. К недостаткам подхода относятся: субъективность оценок предпочтительности альтернативных решений; отсутствие формального аппарата для принятия на постоянной основе оптимальных управленческих решений в условиях многоальтернативности выбора и многокритериальности оценок предпочтительности альтернатив; невозможность создания единой целостной системы, обеспечивающей надежность

ИВС на всем протяжении срока их

Суть классического подхода заключается в построении надежностной модели кластерной ИВС, позволяющей рассчитывать временные интервалы, в рамках которых обработка информации будет идти с надежностью не меньше заданных значений соответствующих параметров. Непрерывность и достоверность процесса обработки информации обеспечивается программными системами диагностики отказов и сбоев и аппаратным резервированием наиболее важных узлов ИВС. Таким образом, перечень возможных решений и их оптимальность определены рамками проектного решения кластерной ИВС и адекватностью выбранной для него надежностной модели. Недостатки подхода: чрезвычайная трудоемкость построения адекватной надежностной модели ИВС, невозможность ее переноса на другие ИВС; отсутствие возможности к восприятию новых знаний - самообучению; не учитывается или учитывается слабо многокритериальность и многоальтернативность исходных ситуаций; стоимостные и массогабаритные ограничения по резервированию систем.

Неформальный подход заключается в использовании систем искусственного интеллекта построенных на базе нейронных сетей. Его суть -применение аппарата искусственных нейронных сетей (ИНС), основанного на модели «черного ящика» для анализа исходных ситуаций и принятия управленческих решений без участия экспертов и без построения надежностной модели ИВС. Оптимальность принимаемых решений зависит от правильности выбора структуры нейронной сети и качества ее обучения (самообучения). Недостатками подхода можно считать: необходимость наличия большого объема статистических данных по каждой конкретной ИВС для эффективного обучения ИНС; модель «черного ящика» не позволяет осуществлять обратный логический вывод - от решения к исходным ситуациям - т.е. определять причины сбоев и отказов и подтверждать правильность принятого решения; ИНС, построенная с учетом множества параметров, описывающих состояние кластерной ИВС и множества критериев, характеризующих оптимальность решения, весьма требовательна к вычислительным ресурсам.

Все вышесказанное дает основание рассматривать вопросы разработки нового подхода к поддержке принятия решений при обеспечении надежности функционирования кластерных ИВС как актуальную научную и практическую задачу.

Цель исследования заключается в разработке моделей, методов и алгоритмов, позволяющих оптимизировать принимаемые управленческие

решения при обеспечении надежности обработки информации кластерными информационно-вычислительными системами. Задачи исследования:

о анализ существующих методик обеспечения надежности обработки информации кластерными ИВС с целью выявления их недостатков и определения путей повышения их эффективности;

о анализ причинно-следственных связей в технологиях обеспечения надежности обработки информации кластерными ИВС; о разработка процедур формализации отображений типа «ситуация -решение», предназначенных для автоматизированной оценки технического состояния ИВС;

о разработка методики адаптивного самообучения системы поддержки принятия решений для обеспечения надежности обработки информации кластерными ИВС;

о разработка методики оценки технического состояния кластерных ИВС с помощью аппарата дискретно представленных сцен;

о разработка алгоритма многокритериальной оптимизации принимаемых управленческих решений для обеспечения надежности обработки информации кластерными ИВС;

о верификация предложенных моделей, методик и алгоритмов для оценки эффективности разработанного подхода.

Идея работы заключается в анализе причинно-следственных связей между физическими воздействиями внешней среды и состояниями узлов кластерной ИВС и выработке оптимальных управляющих решений для обеспечения надежности обработки информации кластерными ИВС.

Основные научные положения, разработанные соискателем, и их новизна:

о новый подход к оценке надежности работы кластерных ИВС, состоящий из этапов исчисления ситуационных исходов, оценки предпочтительности принимаемых решений, идентификации количества и состава классов эталонных ситуаций, распознавания ситуаций-сцен, самообучения, который позволяет формализовать процесс принятия и оптимизации управленческих решений при обеспечении надежности обработки информации;

о алгоритм распознавания количества классов эталонных состояний кластерной ИВС, основанный на методе классификации и гипотезе «компактности», который, в отличие от существующих, позволяет осуществлять разбиение пространства состояний ИВС на классы как в одномерных, так и многомерных ситуациях;

о методика адаптивного самообучения системы поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС, включающая формализацию знаний в заданной предметной области на основе теории кластерного анализа выборки

значений параметров, которая, в отличие от существующих, позволяет определять оценки значимости факторов и проводить оптимизацию признакового пространства;

о методика оценки технического состояния кластерной ИВС, основанная на теории распознавания дискретно представленных сцен, которая позволяет, в отличие от известных, оптимизировать процесс оценки сходства распознаваемой и эталонной сцен с учетом их «масштаба» и «освещенности».

о алгоритм формализованной оценки предпочтительности альтернативных решений на множестве критериев, характеризующих надежность обработки информации, который отличается сочетанием принципа монотонности и процедур последовательного сужения множества рассматриваемых альтернатив при оптимизации принимаемых решений;

Достоверность научных положений, выводов и рекомендаций подтверждается положительными результатами экспериментального моделирования процессов оценки надежности обработки информации кластерными ИВС и принятия эффективных решений в системах обеспечения надежности кластерных ИВС с помощью разработанных инструментальных средств, позволяющих уменьшить затраты на восстановление кластерных вычислительных комплексов после сбоев, повысить уровень их надежности и снизить затраты на 15 - 25 % по сравнению с существующими подходами. При выводе научных положений использовались методы теории многокритериальной оптимизации и принятия решений, нечетких множеств, математической статистики, кластерного анализа, математического моделирования.

Научная значимость работы состоит в разработке нового подхода к принятию управленческих решений при обеспечении надежности обработки информации кластерными ИВС, который включает модели, методики и алгоритмы формализации интеллектуальной деятельности и многокритериальной оптимизации принимаемых решений, что позволяет осуществлять интеграцию технологических процессов контроля и обеспечения надежности обработки информации, уменьшая субъективизм принимаемых решений и обеспечивая их адекватность. Практическая значимость работы состоит:

• в разработке процедур для оценки текущего технического состояния кластерных ИВС, позволяющих определять его принадлежность к одному из классов типичных состояний системы;

• разработке процедур оптимизации принимаемых решений при обеспечении надежности обработки информации, позволяющих

осуществлять выбор в условиях многоальтернативности решений и многокритериапыности оценок их оптимальности;

• разработке структуры интегрированных потоков системы поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС с определением информационных потоков взаимодействия подсистем;

• создании инструментальных средств поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС;

• внедрении основных результатов диссертационной работы по оптимизации принятия решений при обеспечении надежности обработки информации кластерными ИВС в разработки ЗАО «СК ПРЕСС» (г. Москва) и ФГУП «Главный информационно-вычислительный центр металлургии» (г. Москва) и в учебный процесс для подготовки бакалавров, специалистов и магистров по направлению 552800 «Информатика и вычислительная техника» на кафедре «Автоматизированные системы управления» МГГУ.

Апробация работы.

Основные результаты диссертации и ее отдельные положения докладывались на семинарах кафедры АСУ МГГУ и следующих конференциях: «Неделя-горняка» (Москва, 2001 - 2004 гг.), Annual Reliability and Maintainability Symposium (Лос-Анджелес, США, 2004). Публикации.

По теме диссертации опубликовано 6 научных работ. Структура и объем диссертации.

Диссертационная работа состоит из введения, четырех глав и заключения, списка использованной литературы из 95 наименований, включает 4 рисунка, 1 таблицу.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

В диссертации рассматривается проблема обеспечения в реальном времени надежности обработки информации кластерными ИВС (обеспечения непрерывности процесса обработки информации и достоверности его результатов) в условиях неблагоприятного воздействий внешней среды и изменения технического состояния внутренних функциональных компонентов, составляющих суть узлов кластерных ИВС. К факторам, воздействующим на работу ИВС, относятся параметры внешней среды, такие как температура, влажность, электромагнитный фон, вибрационные колебания, ионизирующее излучение и т.д. Влияние указанных факторов на

кластерные ИВС в общем случае проявляется через изменение значений параметров, характеризующих техническое состояние ИВС. К ним прежде всего относятся температура узлов кластерной ИВС (и составляющих их элементов), электрическое напряжение на элементах узлов ИВС и их вибрационная нагрузка.

В первой главе диссертации показано, что существующие методы обеспечения надежности обработки информации кластерными ИВС находят широкое применение в технологиях эксплуатации подобных систем в различных областях народного хозяйства. Это объясняется тем, что своевременная, непрерывная и безошибочная обработка больших объемов информации является жизненно необходимым условием существования и корректного функционирования как предприятий, так и сложных технических систем. Большой вклад в решение проблем обеспечения надежности функционирования сложных систем, оптимизации и прогнозирования внесли Бусленко Н.П., Коваленко И.Н., Сотсков Б.С., Шор Я.Б., Герцбах И.Б., Болотин В.В., Иыуду К.А., Певзнер Л.Д., Редкозубов С.А. Хетагуров Я.А., Бердичевский Б.Е., Креденцер Б.П., Ллойд Д., Чурюмов В.А. и др.

Кластерные информационно-вычислительные системы (рис.1) представляют собой набор рабочих станций общего назначения, используются в качестве дешевого варианта массивно-параллельного компьютера. Для связи узлов применяется одна из стандартных сетевых технологий (Fast/Gigabit Ethernet, Myrinet) на базе шинной архитектуры или коммутатора. При объединении в ИВС компьютеров разной мощности или разной архитектуры говорят о гетерогенных кластерных ИВС. Примерами таких систем являются NT-кластер в NCSA, Beowulf-кластеры. Используются стандартные для рабочих станций операционные системы, чаще всего свободно распространяемые - Linux/FreeBSD, вместе со специальными средствами поддержки параллельного программирования и распределения нагрузки.

Рис.]. Архитектура кластерной информационно-вычислительной системы

Существующие на сегодняшний день методы обеспечения надежности обработки информации кластерными ИВС, образующие три обширных класса

6

- экспертный, классический и неформальный подходы к надежности обработки информации - как правило, в реальных сложных системах используются наравне, зачастую дополняя возможности друг друга. Однако все они обладают рядом серьезных ограничений. Прежде всего, это стоимостные и массогабаритные ограничения - резервирование обходится чрезвычайно дорого и не всегда применимо из-за пространственных ограничений. Помимо этого в них не учитывается или слабо учитывается многокритериальность и многоальтернативность исходных ситуаций и принимаемых решений. Кроме того, они в большинстве случаев неспособны к самообучению и восприятию новых знаний. И, наконец, главнейший недостаток - необходимость построения адекватной математической модели, характеризующей параметры надежности ИВС, как это принято в рамках теории надежности. Для простых систем синтез подобной модели не представляет особого труда, однако в случае с кластерными ИВС ситуация принципиально отлична - моделируемая система представляет собой сложный, многокомпонентный объект с развитой структурой шгутрепних связей, обладающий нелинейным характером поведения. Существующие на настоящий момент математические модели описывают подобные объекты крайне грубо, не вдаваясь в детали внутренней архитектуры, в результате чего теряется их адекватность и применимость в реальных задачах, связанных с процессами обеспечения надежности функционирования кластерных ИВС. Построение же «глубокой», хорошо проработанной надежностной модели кластерных систем представляется крайне затруднительной задачей ввиду наличия чрезвычайно сложных взаимосвязей, существующих между структурными элементами, требующих огромных временных затрат на их формализацию, и отсутствия единой, неизменной архитектуры, позволяющей типизировать разработанную модель для широкого класса подобных систем (для каждой конкретной ИВС придется строить свою математическую модель).

Таким образом, встает вопрос об использовании иных методов, позволяющих обеспечивать надежность функционирования кластерных ИВС без построения формальных надежностных математических моделей. Одним из наиболее перспективных путей решения этой задачи является применение методов сравнительного анализа или, иными словами, распознавания сцен.

Во второй главе диссертации рассмотрены основные теоретические предпосылки поддержки принятия решений при обеспечении надежности функционирования кластерных информационно-вычислительных систем.

Оценка и прогнозирование надежности обработки информации кластерными ИВС предполагает наличие следующей последовательности действий: измерение значений показателей, характеризующих текущее техническое состояние кластерной системы (выявление исходной ситуации), анализ полученных данных с целью определения степени надежности отдельных узлов и всей ИВС в целом и формирование заключения, т.е. принятие управляющего решения. В общем случае имеется ряд неформальных отображений вида ситуация —> событие —) решение (каждое достигнутое решение может создать свою ситуацию, предшествующую новому событию, которое в свою очередь приводит к новому исходу и т.д.), позволяющих определить причины возникновения того или иного сбоя в процессе функционирования кластерной ИВС, а также строить прогнозы относительно результатов принимаемых решений. Изучение подобных связей является основополагающим фактором, позволяющим перейти от простого оценивания и прогнозирования надежности обработки информации к активному управлению ею на всем протяжении срока работы кластерных ИВС с целью ее максимизации.

В связи с этим возникает необходимость проведения исследований связей типа «ситуация - событие - решение» и создания формального аппарата для исчисления ситуационных исходов.

Систему моделирования ситуационных исходов в условиях сбоев, отказов можно представить в виде динамической системы 5 = {Х.К.р}, где Б -системообразующие отношения между входными воздействиями (а - случайная помеха), характеризующими текущую ситуацию, и реакциями (параметрами) системы У" = > характеризующими ситуационные исходы

( } = 1,/ - индекс воздействия, г = 1,/ - индекс реакции). Если входные воздействия дискретно изменяются, то на шаге п—(индекс ситуации) отображается в

Для заданной предметной области под системой S будем понимать кластерную ИВС, состоящую из К параллельных узлов, между которыми динамически распределяется вычислительная нагрузка. Каждый ^ый узел выполняет обработку своей, строго определенной части данных из одной общей задачи. В случае сбоя происходит реконфигурация системы -перераспределение задачи по другим работоспособным узлам и перезапуск процесса обработки данных. Для сохранения промежуточных результатов работы и повышения надежности функционирования кластерных ИВС, в

зависимости от предъявляемых требований по надежности, с определенной интенсивностью происходит промежуточная фиксация состояний системы, т.е. задаются некоторые точки архивирования, в которых состояние системы и всех ее компонентов однозначно определено и из которых можно перезапускать вычислительный процесс без необходимости возврата к началу работы системы. Под X будем понимать вектор параметров, характеризующих текущее состояние окружающей среды (температура воздуха, его влажность, напряженность электрического и магнитного полей и т.п.), под У - вектор параметров, характеризующих текущее техническое состояние функциональных блоков узлов кластерной ИВС (температура деталей, напряжение питания на элементах, вибрации конструкций и т.д.).

Исходя из сказанного вычислительный поток кластерной ИВС можно изобразить в виде схемы, изображенной на рис.2.

г-т^

tkl tln-l tka ts tv Wh ttN t

Рис.2.Схемавычислительногопотока. Здесь t5-точка сбоя, tv - точка восстановления, tki — t^N - точки архивирования, - время реконфигурации системы.

В рамках принятых обозначений состояниями кластерной ИВС S являются оценки типичных (на уровне классов) состояний - индекс классов

состояний). Класс - группировка в виде кластера значений показателей реакций системы полученная методами кластеризации на основе

критерия максимального сходства или компактности, согласно которому объекты внутри класса более «похожи» друг на друга, чем объекты из разных классов. Трактовка понятия сходства при этом должна наиболее полно учитывать природу параметров. Под типичными ситуациями (состояниями) будем понимать некоторым образом адекватно определенные оценки «эталонов» классов, наиболее полно учитывающие свойства статистических распределений значений параметров среды.

Исходной ситуацией Wt из множества W является множество значений {х'п} воздействий или их качественные интерпретации, вызывающие принятие решения (значимая ситуация) или его непринятие (пустая или ситуация).

Решением У* из множества являются интерпретации значений

реакций системы на входные воздействия в ситуации при их

отнесении к одному из элементов множества состояний £2^ системы или их качественная интерпретация; нераспознанным исходом является отображение множества на пустое множество

Пусть - множество исходных ситуаций в форме качественных

интерпретаций входных воздействий {х'„} (I - индекс ситуации, ] - индекс воздействия), {У^} - множество решений в форме качественных интерпретаций реакций системы {у*„} (к - индекс ситуационного исхода, 1 -индекс реакции). - Тогда для каждой ситуации из множества существует цепь отображений на решения

где Г- функции прямых отображений.

Для каждого исхода из множества {У^} возможна цепь обратных отображений на ситуации

где с - функции обратных отображений.

Задача, представленная отображением вида (1), — задача прогнозирования решений. Обратная задача, представленная отображением вида (2), - задача распознавания ситуаций. Решение указанных задач назовем определением ситуационных исходов - прямым и обратным.

Рассматривая исходы как характерные состояния, являющиеся отображениями непустых ситуаций, осуществим постановку задачи распознавания ситуаций и прогнозирования решений.

Имеется дискретный конечный набор исходных ситуаций Каждая

ситуация отображается в фиксированный набор входных воздействий (факторов внешней среды) так, что - индекс

фактора.

Пусть системообразующие отношения Б носят вероятностный характер. Тогда множество реакций системы (параметры) являются случайными функциями У(={у\}, где 1=1,/ - индекс параметра, причем Г(р): {х\} —> {у\},

где - функция отображения с вероятностной мерой р.

Если модели классов 0\ представлены множеством численных значений {irfk}, а параметры системы на момент распознавания Y={y',y2,...,y'}, то правомерен «геометрический» подход, при котором значения параметров моделей и параметров системы рассматриваются как созвездия в i-мерном гиперпространстве признаков. С помощью той или иной метрики, например евклидовой, определяются расстояния г^ от значений параметров системы {у1} до значений эталонных параметров {пЛ} моделей классов {(ü^} Vk:

Гк={ ^ (пЛ-у')2}"2 и осуществляется распознавание ситуаций и прогнозирование решений согласно правилу:

Yt = {у1,} —» Шк —>{х\} —>Х, -> W,. если Vk: гк = min г, гк < го, иначе Yt —> 0, (3)

где Го - некоторым образом заранее определенное значение «порога недоверия», 0 - пустая ситуация или нераспознанный исход.

Сделан вывод, что использование аппарата ситуационных исходов для обеспечения надежности обработки информации кластерными ИВС позволяет формализовать свойства интеллекта при определении оптимальности принимаемых управленческих решений.

В работе показано, что при идентификации нечетких исходных ситуаций, характерных для задач обеспечения, надежности обработки информации кластерными ИВС, очень часто приходится сталкиваться с многокритериальностью и многоальтернативностью, возникающими в процессе поиска оптимального решения. Поэтому решение практических задач обеспечения надежности работы кластерных ИВС должно осуществляться с использованием алгоритмов, позволяющих оптимизировать выбор и принятие решений при множестве критериев, характеризующих оптимальность принимаемого решения, и при множестве всех возможных альтернатив. Такие решения не должны иметь характер бинарных типа «ДА -НЕТ», а должны носить «размытый» характер с обоснованием степени предпочтительности их выбора, т.е. полностью имитировать поведение лица, принимающего решение в конечной ситуации.

Учитывая разнообразие ситуаций с отказами и сбоями ИВС, использование экспертных оценок не представляется возможным из-за отсутствия полной сравнимости по каждому критерию. В связи с этим разработан алгоритм поиска предпочтительных решений на множестве критериев (уровень загрузки узлов ИВС, важность обрабатываемой узлами информации, время реконфигурации ИВС), основанный на использовании моделей размытых

ситуаций неуверенности выбора решений и реализующий механизм сужения Парето-множеств рассматриваемых альтернатив.

В диссертации осуществлена постановка задачи оценки уверенности принятия наиболее предпочтительных решений с учетом многокритериальности. Она сводится к следующему.

Имеется множество альтернатив - возможных управленческих

решений по обеспечению надежности обработки информации кластерной ИВС. Каждая альтернатива представлена набором количественных значений критериев, характеризующих оптимальность решений, С(1,п) (1 = 1,1 - индекс критерия, - индекс альтернативы), образующих ряд дискретных

распределений на качественной шкале Е. Для данных распределений должен быть справедлив принцип монотонности: предпочтительность принятия альтернативы ап монотонно растет (убывает) по мере роста (убывания) соответствующих оценок С(ип) на шкале Е. Обозначим - степень

N

предпочтительности альтернативы an перед прочими, причем 1, а 5=1—

|Н

будем трактовать как степень тождественности альтернатив. При этом в

зависимости от распределения предпочтений рекомендации по принятию решений имеют следующий характер:

• строгий Спгтпзнячныи! тпчтйпп ятпугрпттятивы

Ик = 1, Яп = О, Б = 0 \/п = , п ^ к; (4)

тождественность выбора альтернатив

8 = 1,Уп=ЧЛГ; (5)

• ГфСДПОЧТ™"1^

Як + в = 1, ^ = Э \/п = йл?: = 0; (6)

• ВОЗМОЖНА™ ит,т5пп _

Кк>5,Кк>К„Уп=1,ЛГ,п^к; (7)

отказ от рьтбппя _

5Ж„Уп=1,М; (8)

• равнозначность альтернатив

Кк = Ка±сУп=й7, 12 (9)

где е - заранее заданная степень недоверия.

Алгоритм многокритериальной оптимизации принимаемых решений состоит из следующих шагов:

Шаг 1. Формирование критериев C(i,n) по каждой альтернативе, их нормализация к единой шкале как C(i,n)=C(i,n)/£C(i,n) и ранжирование

полученных значений в порядке убывания значимости.

Шаг 2. Задание априорных оценок предпочтительности Ro и тождественности S альтернатив.

Шаг 3. Проверка условия С (i,n) £ 0 Vn; если оно не выполняется, то браковка анализируемой альтернативы и переход к следующему переметру; если i < I Vn, то повторная проверка условия 3.

Шаг 4. Если условие 3 выполняется, то для фиксированных i определение Z = min C(i,n) и:

• если BceC(i,n) равны между собой при заданных i, то вычисление значения S = S + Z;

• если C(i,n) единственной альтернативы Эо меньше прочих, то вычисление значения Ro = Rn + Z;

• если C(i,n) нескольких «q» альтернативных распределений совпадают и меньше прочих, то вычисление соответствующих оценок R„ = R„ + Z/k;

Шаг 5. Для фиксированных i и Vn вычисление новых значений C(i,n)=C(i,n)-Z.

Шаг 6. Если Vn, то возврат к этапу 3, иначе - выход из процедуры.

Шаг 7. Процедура «Выбор единственной альтернативы».

Предложенный алгоритм инвариантен к практически неограниченной предметной области, в которой значения критериев представлены в численном виде, не требует привлечения экспертов, что делает его универсальным, а также повышает адаптационные свойства системы поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС. Этот алгоритм положен в основу предложенных в работе алгоритма контроля и методики оценки технического состояния узлов и всей кластерной ИВС в целом.

В процессе обеспечения надежности обработки информации кластерными ИВС, на стадии обучения системы поддержки принятия управленческих решений возникает необходимость определения количества классов эталонных состояний кластерной ИВС. Осуществлена постановка такой задачи в предположении, что в процессе автоматизированного контроля технического состояния получена выборка для множества всех узлов кластерной ИВС индекс узла кластера, -

индекс контрольного замера значений параметров ИВС), состоящая из численных значения параметров характеризующих текущее состояние узлов ИВС - индекс параметра).

Необходимо определить количество Т классов эталонных состояний кластерной ИВС. Под классом будем понимать объединение в множество ситуаций согласно гипотезе «компактности», т.е. утверждению о том, что ситуации внутри класса в признаковом пространстве расположены «компактно».

Рассмотрен одномерный случай - классификация по единственному параметру, принимающему значения Р = {pi,... , рп, ... , рщ}. Для этого случая разработан алгоритм распознавания количества классов, состоящий из следующих этапов:

Шаг 1. Ранжирование значения параметра Р в возрастающем или убывающем порядке.

Шаг 2. Формирование массива расстояний между соседними значениями параметра:

Шаг 3. Определение минимального и максимального расстояний между соседними значениями параметра: Vn: dm,„ = min ds; d^ = max

Шаг 4. Вычисление диапазона расстояний между соседними

значениями параметра

Шаг 5. Формирование гистограммы:

• Вычисление шага гистограммы: Д = d/N.

• Определение интервалов значений:

где к= 1,(ЛГ-1) - индекс интервала.

• Вычисление количества попаданиЩначений расстояний между соседними значениями параметра в каждый:

Шаг 6. Анализ гистограммы:

• Если Vk Пк=1, то принятие решения «отказ от классификации».

• Если Эк ПК = 0, то объединение смежных с П, интервалов и определение границ максимального интервала с нулевым П„: H^mrn и Н0„,„х и вычисление среднего значения H°=(H0ma,+H0ira„)/2.

Шаг 7. Определение количества реально существующих классов как: Т = ЕП.+ 1приНк>Но. (13)

Для одномерного случая данный алгоритм является простым и эффективным, однако классификация по единственному параметру при переходе на многомерный случай не может быть адекватной из-за эффекта «наложения» классов. Использование приведенного алгоритма при многомерной ситуации возможно при свертке множества параметров в

единственный метапараметр. Свертка может осуществляться на основе, например, аксиоматических методов построения линейных или нелинейных функций ценности параметров. В последнем случае путем решения соответствующих задач целевого программирования.

В третьей главе диссертации осуществлена формализация элементов интеллектуальной деятельности лиц, принимающих решения, при обеспечении надежности работы кластерных ИВС.

Контроль параметров надежности кластерной ИВС предлагается проводить методами аппарата распознавания дискретно-представленных сцен. Классы объектов контроля при этом рассматриваются как некоторые сцены из точечных объектов (каждый объект - точка) в пространстве признаков -параметров, характеризующих состояние узлов кластерной ИВС. Поскольку все узлы кластера равноправны между собой, то дальнейшее рассмотрение задачи будем проводить для одного из них; в процессе же функционирования подсистемы обеспечения надежности кластерных ИВС процедуры, описанные ниже, будем повторять для каждого узла кластерной ИВС.

Сценой W является некоторая совокупность дискретных точечных объектов - индекс объекта), расположенных в пространстве,

или в терминах предметной области - набор параметров, характеризующих состояние узлов кластерной ИВС. Каждый объект (точка) представлен значением своих координат (параметров) Уп: —» Р„ = {рвь ... , рщ, ... , р^}, где - индекс координаты, что для предметной области адекватно

индексам параметров, характеризующих состояние узла. Таким образом, описанием сцены является матрица размерностью

Это формальное определение является следствием геометрического подхода, при котором сцена дискретно представляется с помощью множества точек в 1-мерном пространстве. Пространственное расположение точек в совокупности несет информацию об образе сцены. В работе осуществлена общая постановка задачи распознавания сцен.

Имеется библиотека сцен - индекс сцены. Сцены из

библиотеки W являются эталонами, т.е. другими словами, некоторые численные значения параметров, характеризующих состояние узлов кластерной ИВС, выбраны в качестве эталонных. Каждая эталонная сцена описывается как матрица с координатами точечных объектов лупш размерности

где пга = 1,Мга - индекс точки из эталонной сцены \У„„ 1 = 1,/- индекс координатной оси.

Каждой эталонной сцене \\гставится в соответствие некоторое описание 1га е Ь (Wm —» 1т), идентифицирующее содержание сцены, т.е. для фиксированных численных значений параметров, характеризующих состояние узлов кластерной ИВС, существует взаимнооднозначное семантическое представление. Распознаванию подлежит предъявляемая неизвестная сцена X с координатами точек (набор тех же параметров, характеризующих состояние узлов кластерной ИВС, но с отличными численными значениями):

Алгоритм контроля надежности узлов кластерной информационно-вычислительной системы включает следующие этапы:

Шаг 1. Нахождение минимальных и максимальнх значений координат точек по всем координатным осям для эталонной и

неизвестной X сцен:

Шаг 2. Деление интервалов Рт = [р™°,р™]и£1 = [<^°'™,(1?1™'х]наТ

интервалов с размерами

Шаг 3. Установление границ интервалов: р'т = + 1*Д р^;

^ _ + где I = О,Г - индекс границы разделов интервалов, Т -

заранее заданная величина количества разбиений по осям.

Шаг 4. Определение количества попаданий £ 0,]) точек \Упт и

Ск в элементарные квадраты с индексами 1,и = 1,Г формируемых матриц

- индексы координатных осей), Шаг 5. Осуществляется заполнение интервалов по правилу:

Шаг 6. Определение степени близости для каждой пары <Wm, Х>

Шаг 7. Для полученных значений расстояний Ящ осуществляется определение коэффициента сходства 5т = 1 — представляемой сцены X с эталонной \Ут и задание порогового значения Бо-Шаг 8. Формирование описания 1к, идентифицирующего сцену X. Шаг 9. Отнесение для полученных значений Ищ И 5т неизвестной сцены X к эталонной по правилу:

< X, 1к> —> <\Ут, 1т> если Уш: Бщ = тах Зшл5ш ¡> Бо; если Бт < Бо

отнесение к пустому множеству <0,1о> и отказ от распознавания. Шаг 10. По численным значениям набора параметров, характеризующих состояние узлов кластерной ИВС, типичных для эталонной сцены определение качественного решения о техническом состоянии кластерной ИВС.

Выполненный неформальный анализ множества отображений технических состояний узлов ИВС на классы эталонных состояний кластерной ИВС позволил обосновать выбор класса алгоритмов, которые соответствуют решению задачам обеспечения надежности обработки информации. Этот класс алгоритмов определен в работе как самообучение и моделирование принятия наиболее предпочтительных решений в размытых ситуациях, обеспечивающий минимизацию роли экспертов. Сложность решения задач нелинейной классификации и распознавания ситуаций в рамках классических подходов, предполагающих определение Т ситуаций вт, максимально удаленных друг от друга, и отнесение в классы наиболее близких к

ситуаций с последующим уточнением состава классов, сопряжена с необходимостью полного перебора и проверки всех возможных комбинаций суммарных расстояний между ситуациями в пространстве параметров. А это при значительном количестве ситуаций приводит к сложной итерационной процедуре поиска и к «комбинаторному взрыву». Для исключения этого в предлагаемом алгоритме самообучения осуществляется пошаговое определение «центров классов».

Обучение автоматизированной системы поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС заключается в формализации знаний в заданной предметной области, обусловленной типом диагностируемых систем. Учитывая обширность номенклатуры структурных элементов узлов кластерных ИВС и тенденцию ее постоянного развития, а также множественность их характеристик (параметров), использование экспертных оценок на этапе обучения весьма затруднительно или не представляется возможным. Кроме того, процесс извлечения и формализации знаний экспертов является трудоемким и сложно осуществимым. Экспертные оценки, являясь по природе субъективными, не обеспечивают в необходимой мере качества заключений. В силу выше изложенного, наиболее эффективным следует считать способ обучения «без учителя», т.е. самообучение. При этом система должна решать следующие задачи: осуществлять определение оценки значимости факторов; проводить формирование знаний в рассматриваемой предметной области в виде эталонов типичных ситуаций путем анализа и обобщения известных фактов.

17

Для решения поставленных задач воспользуемся изложенными ранее теоретическими предпосылками. Предложена методика самообучения технологической системы поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС, содержащая 10 этапов:

Этап 1. Формирование выборки объектов-ситуаций Gn, заданных значениями параметров - индекс параметра; -

порядковый номер объекта; N заранее определено. Этап 2. Определение количества реально существующих классов эталонных ситуаций W = (Jwt, t = 1,7* - индекс класса, по выражениям (И)-(14). ^ _

Этап 3. Нормирование параметров {g } по правилу: Vi: р = g /(Ыg )~, gt - среднее значение.

Этап 4. Формирование матрицы D с элементами du взаимных метрических расстояний между классифицируемыми ситуациями:

Этап 5. Определение в матрице D индексов ni И Пг наиболее удаленных объектов G„i и G,^: ni = к, Пг = d = max dy.

Этап 6. Определение значений параметров Gni = Uр t И Gn2 = Uр г\ принятие их за первоначальные значения моделей классов Этап 7. Классификация выборки па классы надежности по правилу: Vn, Vt: Gk —) wt при d = min dm; dnt - расстояние между ситуацией G„ и моделью Gt.

Этап 8. Определение моделей классов усреднением значений параметров ситуаций каждого класса:

- значение параметров ситуаций, отнесенных

к классу wt; N[ - количество ситуаций в классе wt.

Этап 9. Определение максимально удаленной ситуации G„ от ранее

сформированных моделей классов по правилу:

£ dnt = max dnt, n # t.

Этап 10. Интерактивное сопоставление моделей классов Gt качественных описаний классов W, в форме значений лингвистических переменных

В наиболее общем случае полное априорное описание классов отсутствует, например, известно, что выборка узлов кластерной ИВС состоит из элементов типа «работоспособен», которых большинство, и прочих элементов, описание которых отсутствует. Тогда идентификация качественных особенностей

18

классов задается полуавтоматически. Вначале отыскивается класс, для которого справедливо ад^ —» «годен», если > N/2, где -

представительность к - го класса, N - объем выборки. Остальные описания классов задаются в интерактивном режиме.

Изложенные выше процедуры самообучения системы поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС позволяет организовать эффективную методику оценки оптимальности принимаемых управленческих решений в условиях многокритериальности и многоальтернативновти.

Основной задачей, решаемой при обеспечении надежности обработки информации кластерными ИВС, является осуществление диагностирующего контроля системы с целью идентификации значений параметров, характеризующих текущее состояние функциональных блоков и узлов ИВС. Диагностирующие заключения должны включать в себя сообщения об отнесении выявленной ситуаций к тому или иному классу типичных состояний системы с описанием качественных свойств установленного класса, утверждения о степени достоверности диагностирующего заключения в виде численных оценок и текстовых фрагментов, а также в случае явного рассогласования значений параметров объектов диагностики и моделей классов - вынесение решения об отказе от распознавания. Для обеспечения адекватности решений при выявлении в процессе диагностики неизвестных ранее классов типичных состояний систем должна быть предусмотрена возможность создания и описания их моделей.

Предложенная методика оценки технического состояния кластерной ИВС в условиях многокритериальности и многоальтернативности состоит из следующих этапов:

Этап 1. Самообучение системы. Формирование кластеров моделей М типичных состояний систем и лингвистических переменных Ь с качественными описаниями классов (М = {М, = ^т Уп = 1,Т - индекс

класса; 1 = 1,/— индекс параметра; т\ - значение ¡-го параметра в г-ом классе, {1|} - множество значений лингвистической переменной Ь, определяющих качественные свойства классов).

Этап 2. Отображение множества значений параметров М = ^т', VI во

множество значений параметров В = {В( = и VI, ранжированных в порядке возрастания информационной значимости, определяемой как БДт,)2, где Б, -среднеквадратичное отклонение ¡-го п а р а м е (т,)2 - квадрат среднего значения ¡-го параметра.

Этап 3. Формирование множества из Т (по количеству классов) альтернативных дискретных распределений

Этап 4. Нормирование значений параметров Р( = {р\} к единице

Этап 5. Определение оценки предпочтительности альтернатив отнесения объекта ^ к классам М( и значение 8 тождественности выбора альтернатив.

строгое распознавание: = 1; = Б = О VI = 1,Г | п ф (20)

вероятное распознавание: Ид > Б; 11п > VI = 1,Г | п ф 1; (21)

отказ от распознавания: где е - заранее некоторым образом определенная или заданная величина расс оглас ования.

Этап 6. Отнесение объекта лу к классу М„ (п Э {1 ,Т}) и вывод для пользователя системы значения 1„ лингвистической переменной Ь.

При строгом распознавании осуществляется отнесение исходной ситуации ^ к классу типичных состояний системы М„ (п Э {1,Т}) и для пользователя системы извлекается значение 1п лингвистической переменной Ь с описанием качественных свойств п-го класса типичных состояний.

При вероятностном распознавании осуществляется отнесение исходной ситуации ^ к классу типичных состояний системы М0 и для пользователя системы формируется сообщение, состоящее из лингвистической константы в виде текста «ВЕРОЯТНО» и значения 1п лингвистической переменной Ь с описанием качественных свойств п-го класса типичных состояний.

При ситуации отнесения, соответствующей выражению «Отказ от распознавания», пользователю системы выдается сообщение «СИТУАЦИЯ ПРИНАДЛЕЖИТ К НЕИЗВЕСТНОМУ КЛАССУ» и в следующей строке устанавливается запрос на ввод описания качественных свойств этого класса. Таким образом достигается адаптивность системы к индивидуальным особенностям объектов диагностики.

В четвертой главе диссертации выполнена оценка эффективности разработанных моделей, алгоритмов и методов обеспечения надежности кластерных информационно-вычислительных систем.

Для практической реализации предложенного в работе подхода был разработан прототип инструментального средства поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС, позволяющий экспериментально подтвердить правильность изложенных в работе положений. Технические средства, обеспечивающие ее работу, состоят из моделей датчиков, определяющих техническое состояние структурных компонентов узлов кластерной ИВС, и управляющего компьютера, подключенного к кластерной информационно-вычислительной

системе. Программные средства включают в себя операционную систему Linux с ядром версии 2.4.x или выше, компилятора языка С/С++, распространяемого совместно с дистрибутивом ОС Linux и набора коммуникационных библиотек для обеспечения с объектом управления.

Для определения эффекта от внедрения системы поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС проведем оценку разработанных моделей, алгоритмов и методов с помощью введения коэффициента эффективности функционирования кластерной ИВС.

Рассмотрим формальный пример кластерной ИВС, представлешюй в следующем виде: управляющее устройство (УУ) - выделенный узел кластера, осуществляющий связь и управление вычислительными узлами кластерной ИВС (реконфигурация вычислительных мощностей, распределение заданий по узлам и т.п. и т.д.) с интенсивностью отказа Хои два узла кластерной ИВС, осуществляющих обработку информации - УЕ^ и УК2 с интенсивностями отказов Xi и Яг- Производительность ИВС при работе УЕ^ и УК2 (bj выше, чем при подключении только УК2 (Ьц). При нормальной работе кластерной ИВС вычисления происходят как на УХ1 так и наУК2, но при отказе УЕ1 вся вычислительная нагрузка ложится на УК2. Обнаружение отказа УЕ1 и переключение на УК2 является задачей подсистемы обеспечения надежности функционирования кластерной ИВС или блока контроля БК. Возможны отказы и самого БК. При этом возникают как ложные переключения на УК2 (соответственно не используется полностью ресурс УЕ1 и снижается производительности системы), так и необнаружение отказа УK^н)• что приводит к прекращению обработки информации. Кроме того, предполагается участие обслуживающего персонала, который дополнительно контролирует работу кластерной информационно-вычислительной системы и восстанавливает (с интенсивностью или отказавшие узлы. Изменение состояний кластерной информационно-вычислительной системы представлено на рис. 3, где 1 состояние означает, что все узлы системы работоспособны; 2 - БК не обнаруживает неисправности основной системы; 3 - срабатывание БК; 4 - система неработоспособна.

Рис. 3. Изменение состояний кластерной ИВС.

В диссертации получено выражение для средней эффективности кластерной информационно-вычислительной системы с автоматизированным контролем и подключением резерва в условиях, типичных для функционирования ЭВМ:

где m - средний ущерб за счет одного отказа системы, если БК не сработал; п - средний ущерб за счет одного отказа системы, если предварительно сработал БК.

Из этого выражения как частный случай получим среднюю эффективность системы при идеальном блоке контроля (цл = |Х„ = 0) и для неконтролируемой кластерной ИВС (цл = 0; ^Ц, = «>). Сравнивая выражения для эффективности контролируемой и неконтролируемой кластерной ИВС, был определен выигрыш в эффективности за счет введения БК:

__М + /Ц(Л +Л +У)№о -"Я,-пХг)_+

4 [(Л +4 + А +Я. + Т'ХЛ+Л+^+АО'-ИКЛ. +Лг + Г)

[ ?тЯ,(Л +Л, +р„+у)(Ау +Д, -тЛХЛ + Я, + ^

[(4, +Д, +ЖЛ+Л ЖЛ

В численном выражении выигрыш от внедрения разработанных в работе алгоритмов, моделей и методов для типичных оценок значений параметров потоков отказов и восстановлений, характерных для кластерных

информационно-вычислительных систем (Яо = З*10"3„ Я( = Яг = 5*10"3, Ь, = 2*109, Ь0 = 10®, « 103, Ми - Ю"3, V = 10'2, у = 10"', ш = 0,083, п = 0,5)

рассчитан по формуле (24) составил около 12%.

В качестве экспериментального подтверждения достоверности предположений, принятых в работе и правильности разработанных на этой основе моделей, алгоритмов и методов оптимизации принимаемых решений при обеспечении надежности функционирования кластерных ИВС был проведен рад численных экспериментов по определению границ доверительного интервала для показателя потока отказов кластерной информационно-вычислительной системы. Испытанию подвергалась конфигурация кластерной ИВС с числом узлов N. Испытания проводились с заменой отказавших узлов (реконфигурацией системы) и до наступления г-го отказа..

Наиболее целесообразной формой оценивания параметра Я на основе результатов наблюдений является интервальное оценивание. Интервал (Ли, Я,), который с доверительной вероятностью, не меньшей чем ОС, накрывает значение параметра Я для планов с ограниченным числом отказов, представляется с помощью - распределения. Для оценки доверительного интервала значений были проведены два испытания над реальной кластерной ИВС: 1-ое без использования системы поддержки принятия решений при обеспечении надежности обработки информации и 2-ое - с использованием этой системы.

1. Кластерная информационная система в конфигурации из 120 вычислительных узлов с заменой отказавших узлов подвергалась тестированию до наступления 9 отказов. При этом она непрерывно работала в течение 540 часов. По результатам этого тестирования был определен доверительный интервал, в котором с достоверностью 0,95 может находиться параметр Я.

К = 1/(2*120*540) х\ „(18) = 0,73* Ю^ч1, Я,= 1/(2*120*540) Х2о.о5(18) = 2,2* 104 ч

Истинное значение параметра Я с вероятностью 0,95 лежит в интервале

(0,73.1а4; 2,2.10"4).

2. Кластерная информационная система в конфигурации из 120 вычислительных узлов с заменой отказавших узлов подвергалась тестированию до наступления 9 отказов. При этом она непрерывно работала в течение 720 часов. По результатам этого тестирования был определен

доверительный интервал, в котором с достоверностью 0,95 может находиться параметр X,.

К = (1/2*120*720) 95(18) = 0,55*10^ч*1, Яв = (1/2*120*720) ¿05(18) = 1,65*10"* ч1.

Истинное значение параметра X с вероятностью 0,95 лежит в интервале (0,55.10"*; 1,65.10").

Как видно, в случае 2-го испытания произошло сужение доверительного интервала параметра что с одной стороны означает снижение интенсивности потока отказов, а с другой - повышение вероятности безотказной работы системы. Именно такие результаты и ожидались от внедрения системы поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС. Полученные результаты показывают эффективность моделей, алгоритмов и методов, предложенных в данной диссертационной работе.

ЗАКЛЮЧЕНИЕ

В диссертационной работе представлено законченное теоретическое и практическое решение актуальной научной задачи разработки нового подхода к поддержке принятия оптимальных управленческих решений, позволяющих в реальном масштабе времени обеспечивать повышенную надежность обработки информации кластерными информационно-вычислительными системами.

Основные выводы и научные результаты работы:

• исследована специфика обеспечения надежности обработки информации кластерными информационно-вычислительными системами в условиях естественных и искусственных физических воздействий и определен набор важнейших параметров, характеризующих техническое состояние кластерных ИВС.

• разработан алгоритм формализованной оценки предпочтительности альтернативных управленческих решений на множестве критериев, характеризующих состояние кластерных ИВС.

• разработан алгоритм контроля и методика оценки технического состояния кластерной ИВС на основе анализа причинно-следственных связей и технологических параметров узлов системы с использованием аппарата теории распознавания дискретно представленных сцен.

• методика адаптивного самообучения системы поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС, включающая формализацию знаний в заданной предметной области. Она позволяет определять значимость факторов, проводить оптимизацию признакового пространства и строить модели

состояний кластерных ИВС в виде эталонов типичных состояний путем анализа и обобщения фактов. • разработан программный инструментарий для поддержки принятия оптимальных решений по обеспечению надежности работы кластерных информационно-вычислительных систем, позволяющий

экспериментально подтвердить правильность изложенных в работе положений.

Основные положения диссертации опубликованы в следующих работах:

1. Николов А.Г. Пути повышения надежности кластерных систем. М., 2001. -Зс. -Деп. В МГУ 10.12.2001, № 27/9-318.

2. Николов А.Г. Оценка прогнозирования надежности кластерных систем. М., 2002. -4с. -Деп. В МТУ 14.03.2002, № 27/9-319.

3. Николов А.Г. Многокритериальная оптимизация принимаемых решений при обеспечении надежности кластерных систем. М., 2002. -4с. -Деп. В МГТУ 03.10.2002, № 27/9-320.

4. Николов А.Г. Контроль надежности узлов кластера методами аппарата распознавания дискретно-представленных сцен. М., 2003. -4с. -Деп. В МТУ 22.04.2003, № 27/9-321.

5. Kupriyanov V.V., Nikolov A.G., Kupreev N.I. Algorithm Teaching Diagnostics of Electronic and Computer Equipment//Proceed of 50th Annual Reliability and Maintainability Symposium (RAMS'04), Los Angeles, CA USA, January 26-29,2004, p. 102-105.

6. Николов А.Г., Куприянов В.В. Прогнозирование надежности кластерных информационно-вычислительных систем на основе аппарата распознавания дискретно представленных сцен. М. Горный информационно-аналитический бюллетень. -2004, №9, с. 161-163.

Подписано в печать Объем 1 п.л.

Тираж 100 экз.

Формат 60x90/16 Заказ №6Vg

Типография Московского государственного горного университета, Ленинский проспект, д. 6

* - 9 1 21

Введение

1. Обзор исследований по теме диссертации.

1.1. Общие сведения о кластерных информационно-вычислительных системах

1.2. Особенности обеспечения надежности функционирования сложных информационно-вычислительных систем

1.3. Обзор существующих методик обеспечения надежности функционирования кластерных информационно-вычислительных систем

1.4. Перспективные способы повышения надежности работы кластерных информационно-вычислительных систем

1.5. Основные задачи исследований 42 Выводы к разделу

2. Теоретические основы поддержки принятия решений при обеспечении надежности функционирования кластерных информационно-вычислительных систем.

2.1. Формализация отображений типа «ситуация - решение» при обеспечении надежности функционирования кластерных информационно-вычислительных систем

2.2. Алгоритм многокритериальной оптимизации принимаемых решений при обеспечении надежности функционированиякластерных информационно-вычислительных систем

2.3. Алгоритм распознавания количества реально существующих типичных состояний узлов кластерной информационно-вычислительной системы при обеспечении надежности ее функционирования 57 Выводы к разделу

3. Формализация элементов интеллектуальной деятельности лиц, принимающих решения, при обеспечении надежности функционирования кластерных информационно-вычислительных систем.

3.1. Постановка задачи распознавания сцен для оценки технического состояния кластерных информационно-вычислительных систем

3.2. Алгоритм контроля технического состояния узлов кластерной информационно-вычислительной системы методами аппарата распознавания дискретно представленных сцен

3.3. Методика самообучения системы поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС

3.4. Методика оценки технического состояния кластерной информационно-вычислительных систем в условиях многокритериальности и многоальтернативности

Выводы к разделу

4. Реализация технологий автоматизированного обеспечения надежности функционирования кластерных информационно-вычислительных систем.

4.1. Выбор программных и технических средств, синтез информационного обеспечения при реализации системы под держки принятия решений при обеспечении надежности обработки информации кластерными ИВС

4.2. Оценка эффективности разработанных моделей, методов и алгоритмов обеспечения надежности работы кластерных информационно-вычислительных систем

Выводы к разделу

На сегодняшний день кластерные информационно-вычислительные системы (ИВС), благодаря своей чрезвычайно высокой востребованности, занимают значительное место в общем объеме мирового производства вычислительной техники. Область их применения простирается от типично деловых задач, связанных с обработкой огромных объемов информации, хранящейся в корпоративных базах данных, до сугубо научных приложений - моделирования планетарного климата или расчета ядерных реакций. Несомненно, эти задачи чрезвычайно важны как в фундаментальном, так и в прикладном плане и любые сбои, отключения или аварии, возникающие в процессе работы кластерных ИВС, могут носить катастрофический характер. Кроме того, по оценкам аналитиков, простой комплекса в течение одного рабочего дня обходится его владельцам в сотни тысяч или даже миллионы долларов. Таким образом, вопрос об обеспечения отказоустойчивости кластерных ИВС является одним из важнейших в рамках общей концепции применения подобных систем.

Основными параметрами, обеспечивающими отказоустойчивость таких изделий, являются качество и надежность структурных элементов (узлов), а также кластерных ИВС в целом. Эти параметры закладываются: о на этапе проектирования - правильным выбором комплектующих и материалов, а так же режимов работы, о на этапе подготовки производства - проектированием бездефектных технологий, исключающих или минимизирующих возникновение брака в процессе производства или возникновение отказов в процессе эксплуатации изделий, о в процессе производства - соблюдением технологий изготовления, проведением эффективного входного контроля комплектующих и материалов, выходным контролем качества и надежности готовых изделий.

На этапе эксплуатации в современных технологиях обеспечения надежности обработки информации кластерными ИВС широко применяются три концептуально различных подхода к принятию решений: экспертный, классический и неформальный.

Первый заключается в использовании эмпирических знаний и опыта практической работы одного или нескольких экспертов, досконально знающих предметную область. Решение принимается единолично или на основе согласованного мнения и критерием его оптимальности служит уверенность экспертов, подтвержденная их квалификацией. К недостаткам такого подхода относятся: субъективность оценок предпочтительности альтернативных решений; отсутствие формального аппарата для принятия на постоянной основе оптимальных управленческих решений в условиях многоальтернативности выбора и многокритериальности оценок предпочтительности альтернатив; невозможность создания единой целостной системы, обеспечивающей надежность обработки информации кластерными ИВС на всем протяжении срока их эксплуатации.

Суть классического подхода заключается в построении надежностной модели кластерной ИВС, позволяющей рассчитывать временные интервалы, в рамках которых обработка информации будет идти с надежностью не меньше заданных значений соответствующих параметров. Непрерывность и достоверность процесса обработки информации обеспечивается программными системами диагностики отказов и сбоев и аппаратным резервированием наиболее важных узлов ИВС. Таким образом, перечень возможных решений и их оптимальность определены рамками проектного решения кластерной ИВС и адекватностью выбранной для него надежностной модели. Недостатки подхода: чрезвычайная трудоемкость построения адекватной надежностной модели ИВС, невозможность ее переноса на другие ИВС; отсутствие возможности к восприятию новых знаний - самообучению; не учитывается или учитывается слабо, многокритериальность и многоальтернативность исходных ситуаций; стоимостные и массогабаритные ограничения по резервированию систем.

Неформальный подход заключается в использовании систем искусственного интеллекта построенных на базе нейронных сетей. Его суть - применение аппарата искусственных нейронных сетей (ИНС), основанного на модели 5 черного ящика» для анализа исходных ситуаций и принятия управленческих решений без участия экспертов и без построения надежностной модели ИВС. Оптимальность принимаемых решений зависит от правильности выбора структуры нейронной сети и качества ее обучения (самообучения). Недостатками подхода можно считать: необходимость наличия большого объема статистических данных по каждой конкретной ИВС для эффективного обучения ИНС; модель «черного ящика» не позволяет осуществлять обратный логический вывод - от решения к исходным ситуациям - т.е. определять причины сбоев и отказов и подтверждать правильность принятого решения; ИНС, построенная с учетом множества параметров, описывающих состояние кластерной ИВС и множества критериев, характеризующих оптимальность решения, весьма требовательна к вычислительным ресурсам.

При решении практических задач оптимального выбора и принятия решений, характерных для технологий автоматизированного обеспечения надежности обработки информации кластерными ИВС, приходится сталкиваться с многокритериальностью и многоальтернативностью. Кроме того, принимаемые решения не должны носить бинарный характер (типа «да -нет»). Напротив, они должны быть «размытыми», содержать обоснование степени уверенности, т.е. полностью имитировать поведение лица, принимающего решения (ЛИР) в конечной ситуации.

Помимо прочего, такие системы не «увязаны» в целостную единую систему или «увязаны» частично, в результате чего невозможно достоверно и в полной мере оценить текущее состояние кластерных ИВС и предпринять необходимые шаги, направленные на предотвращение возможных отказов, сбоев и неполадок. Интеграция подсистем в единую систему позволит значительно повысить оперативность и эффективность принимаемых управленческих решений при обеспечении надежности кластерных ИВС.

Дополнительным осложнением задачи обеспечения надежности работы кластерных ИВС является обширность номенклатуры элементов, их составляющих, тенденция ее постоянного развития, многочисленность характеристик объектов (параметров).

Еще одним фактором, приводящим к усложнению решаемой задачи, является процесс формирования множества альтернатив решений, требующий оценки, отбора в условиях различных предпочтений ЛИР. Кроме того, наличие нескольких ЛПР хотя бы с частично противоречивыми взглядами может приводить к еще большему росту числа критериев, используемых для сравнения принимаемых решений. Все это требует формализации построения модели рационального выбора с возможной размытостью в условиях многоальтернативности и многокритериальности.

Одним из направлений автоматизации процесса обеспечения надежности работы кластерных ИВС на этапе их эксплуатации является создание интегрированных систем управления на основе нового подхода, учитывающего условия многоальтернативности и многокритериальности. С помощью этой технологии представляется возможным формализовать качественную информацию об объектах контроля и управления. Это, прежде всего поведение обслуживающего персонала, их опыт, интуиция, словом, их интеллектуальная деятельность в процессе обеспечения отказоустойчивости кластерных ИВС. Включение в интегрированную систему средств интеллектуальной под держки, в частности средств адаптивного самообучения системы обеспечения надежности кластерных ИВС, минимизирует субъективизм при принятии решений, обеспечит их адекватность и надежность. Использование экспертных оценок на этапе обучения весьма затруднительно или не представляется возможным из-за объемной номенклатуры структурных элементов с достаточно большим числом характеристик и параметров, а также наличия разветвленной системы связей между ними.

Таким образом, для оценки надежности обработки информации кластерными ИВС и оптимизации принятия управленческих решений по обеспечению непрерывности и достоверности процесса обработки информации в условиях многоальтернативности необходимо решить многокритериальную оптимизационную задачу, позволяющую находить компромисс в предпочтениях операторов-технологов при отборе вариантов решений в условиях размытости, неопределенности выбора. Все выше сказанное дает 7 основание рассматривать вопросы разработки нового подхода к поддержке принятия решений при обеспечении надежности функционирования кластерных ИВС как актуальную научную и практическую задачу.

Цель исследования заключается в разработке моделей, методов и алгоритмов, позволяющих оптимизировать принимаемые управленческие решения при обеспечении надежности обработки информации кластерными информационно-вычислительными системами.

Идея работы заключается в анализе причинно-следственных связей между физическими воздействиями внешней среды и состояниями узлов кластерной ИВС и выработке оптимальных управляющих решений для обеспечения надежности обработки информации кластерными ИВС.

Предлагаемый подход позволяет формализовать основные элементы интеллектуальной деятельности ЛПР по обеспечению надежности кластерных систем на уровне моделей и алгоритмов. Вследствие этого, становится возможным осуществлять интеграцию технологий автоматизированного контроля в глобальную систему обеспечения надежности кластерных систем и повысить, таким образом, ее эффективность.

Основные научные положения, разработанные соискателем, и их новизна: о новый подход к оценке надежности работы кластерных ИВС, состоящий из этапов: исчисление ситуационных исходов, оценка предпочтительности принимаемых решений, идентификация количества и состава классов эталонных ситуаций, распознавание ситуаций-сцен, самообучение, который позволяет формализовать процесс принятия и оптимизации управленческих решений при обеспечении надежности обработки информации; о алгоритм распознавания количества классов эталонных состояний кластерной ИВС, основанный на методе классификации и гипотезе «компактности», который, в отличие от существующих, позволяет осуществлять разбиение пространства состояний ИВС на классы как в одномерных, так и многомерных ситуациях; о методика адаптивного самообучения системы поддержки принятия решений при обеспечении надежности обработки информации кластерными 8

ИБС, включающая формализацию знаний в заданной предметной области на основе теории кластерного анализа выборки значений параметров, которая, в отличие от существующих, позволяет определять оценки значимости факторов и проводить оптимизацию признакового пространства; о методика оценки технического состояния кластерной ИВС, основанная на теории распознавания дискретно представленных сцен, которая позволяет, в отличие от известных, оптимизировать процесс оценки сходства распознаваемой и эталонной сцен с учетом их «масштаба» и «освещенности». о алгоритм формализованной оценки предпочтительности альтернативных решений на множестве критериев, характеризующих надежность обработки информации, который отличается сочетанием принципа монотонности и процедур последовательного сужения множества рассматриваемых альтернатив при оптимизации принимаемых решений; Достоверность научных положений, выводов и рекомендаций, сформулированных в диссертации, подтверждается положительными результатами экспериментального моделирования процессов оценки надежности обработки информации кластерными ИВС и принятия эффективных решений в системах обеспечения надежности кластерных ИВС с помощью разработанных инструментальных средств, позволяющих уменьшить затраты на восстановление кластерных вычислительных комплексов после сбоев, повысить уровень их надежности на 15 - 25 % по сравнению с существующими подходами. При выводе научных положений использовались методы теории многокритериальной оптимизации и принятия решений, нечетких множеств, математической статистики, кластерного анализа, математического моделирования.

Научная значимость работы состоит в разработке нового подхода к принятию управленческих решений при обеспечении надежности обработки информации кластерными ИВС, который включает модели, методики и алгоритмы формализации интеллектуальной деятельности лиц, принимающих решения, и многокритериальной оптимизации принимаемых решений, что 9 позволяет осуществлять интеграцию технологических процессов контроля и обеспечения надежности обработки информации, уменьшая субъективизм принимаемых решений и обеспечивая их адекватность. Практическая значимость работы состоит:

• в разработке процедур для оценки текущего технического состояния кластерных ИВС, позволяющих определять его принадлежность к одному из классов типичных состояний системы;

• разработке процедур оптимизации принимаемых решений при обеспечении надежности обработки информации, позволяющих осуществлять выбор в условиях многоальтернативности решений и многокритериальное™ оценок их оптимальности;

• разработке структуры интегрированной системы поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС с определением информационных потоков взаимодействия подсистем;

• создании инструментальных средств поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС;

• внедрении основных результатов диссертационной работы по оптимизации принятия решений при обеспечении надежности обработки информации кластерными ИВС в разработки ЗАО «СК ПРЕСС» (г. Москва) и ФГУП «Главный информационно-вычислительный центр металлургии» (г. Москва), и в учебный процесс для подготовки бакалавров, специалистов и магистров по направлению 552800 «Информатика и вычислительная техника» на кафедре «Автоматизированные системы управления» МГТУ.

Выводы по четвертой главе

Реализация предложенного в работе подхода к автоматизированному обеспечению надежности функционирования кластерных информационно-вычислительных систем, позволяет сделать следующие выводы:

1. Разработана структура интегрированной системы поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС с определением информационных потоков взаимодействия подсистем.

2. Созданы инструментальные средства поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС.

3. Осуществлена оценка эффективности разработанных моделей, методов и алгоритмов обеспечения надежности работы кластерных информационно-вычислительных систем.

ЗАКЛЮЧЕНИЕ

В диссертационной работе представлено теоретическое и практическое решение актуальной научной задачи разработки нового подхода к поддержке принятия оптимальных управленческих решений, позволяющих в реальном масштабе времени обеспечивать повышенную надежность обработки информации кластерными информационно-вычислительными системами. Основные выводы и научные результаты работы:

• исследована специфика обеспечения надежности обработки информации кластерными информационно-вычислительными системами в условиях естественных и искусственных физических воздействий и определен набор важнейших параметров, характеризующих техническое состояние кластерных ИВС.

• разработан алгоритм формализованной оценки предпочтительности альтернативных управленческих решений на множестве критериев, характеризующих состояние кластерных ИВС.

• разработан алгоритм контроля и методика оценки технического состояния кластерной ИВС на основе анализа причинно-следственных связей и технологических параметров узлов системы с использованием аппарата теории распознавания дискретно представленных сцен.

• методика адаптивного самообучения системы поддержки принятия решений при обеспечении надежности обработки информации кластерными ИВС, включающая формализацию знаний в заданной предметной области. Она позволяет определять значимость факторов, проводить оптимизацию признакового пространства и строить модели состояний кластерных ИВС в виде эталонов типичных состояний путем анализа и обобщения фактов.

• разработан программный инструментарий для поддержки принятия оптимальных решений по обеспечению надежности работы кластерных информационно-вычислительных систем, позволяющий экспериментально подтвердить правильность изложенных в работе положений.

1. Нечипоренко В.И. Структурный анализ систем. -М.: Сов.радио, 1977.

2. Месарович М., Такахара Я. Общая теория систем: Математические основы. -М.: Мир, 1978.

3. Лагоша Б.А., Емельянов A.A. Основы системного анадиза. -М.: Изд-во МЭСИ, 1998.

4. Анфилатов B.C., Емельянов A.A., Кукушкин A.A. Системный анализ и управление. -М.: Финансы и статистика, 2002.

5. Анфилатов B.C. Вычислительные системы. -СПб. Изд-во ВУС, 1998.

6. Волкова В.Н., Денисов A.A. Основы теории систем и системного анализа. -СПб. Изд-во СПбГТУ.

7. Дегтярев Ю.И. Системный анализ и исследование операций. —М.: Высш. шк., 1996.

8. Певзнер Л.Д. Проектирование надежных систем. -М.: МГИ, 1982.

9. Гнеденко Б.В., Беляев Ю.К., Соловьев А.Д. Математические методы в теории надежности. -М.: Наука, 1965.

10. Ю.Козлов Б.А., Ушаков И.Л. Справочник по расчету надежности. -М.: Сов.радио, 1975.

11. Червонный A.A., Лукьяненко В.И., Котин Л.В. Надежность сложных систем. -М.: Машиностроение, 1976.

12. Капур К., Ламберсон Л. Надежность и проектирование систем. -М.: Мир, 1980.

13. Райке А.Л. Элементы теории надежности технических систем. -М.: Сов.радио, 1978.

14. Надежность автоматизированных систем управления/Под ред. Я.А. Хетагурова. -М.: Высшая школа, 1979.

15. Шор Я.Б. Статистические методы анализа и контроля качества и надежности. -М.: Сов.радио, 1962.

16. Кукушкин A.A. Теоретические основы автоматизированногоуправления. 4.1: Основы анализа и оценки сложных систем. -Орел.: Изд-во ВИПС, 1998.

17. П.Кукушкин A.A. Теоретические основы автоматизированного управления. 4.2: Основы управления и построения автоматизированных информационных систем. -Орел.: Изд-во ВИПС, 1999.

18. Голинкевич Г.А. Прикладная теория надежности. -М.: Высш. шк., 1985.

19. Круглов В.В., Дли М.И., Годунов Р.Ю. Нечеткая логика и искусственные нейронные сети. -М.: Физматлит, 2001.

20. Круглов В.В., Борисов В.В. Искусственные нейронные сети. -М.: Горячая линия — Телеком, 2001.21 .Афанасьев В.Н., Колмановский В.Б., Носов В.Р. Математическая теория конструирования систем управления. -М.: Высш. шк., 2003.

21. Прикладные нечеткие системы/Под ред. Т. Тэрано, К. Асаи, М. Сугэно. -М.: Мир, 1993.

22. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. -М.: Наука, 1982.

23. Ногин В.Д., Толстых И.В. Использование набора количественной информации об относительной важности критериев в процессе принятии решений // Журн. вычислит, математики и мат. физики. 2000. Т.40Ц1). С.1593-1601.

24. Алексеев A.B. Проблемы разработки математического обеспечения выполнения нечетких алгоритмов. -В сб.: Модели выбора альтернатив в нечеткой среде. -Рига, 1984.

25. Алексеев A.B. Применение нечеткой математики в задачах принятия решений. -В сб.: Методы и системы принятия решений. -Рига: РПИ, 1983.

26. Алтунин А.Е., Востров H.H. Оптимизация многоуровневых иерархических систем на основе теории размытых множеств и методовсамоорганизации. -В сб.: "Проблемы нефти и газа Тюмени", Тюмень, вып. 42,1979.

27. Гудмен И. Нечеткие множества как классы эквивалентности случайных множеств. В сб.: Нечеткие множества и теория возможностей. -М: Радио и связь, 1986.

28. Брайсон А., Хо Ю-Ши. Прикладная теория оптимального управления -М: Мир, 1972.

29. ЗО.Заде JI.A. Понятие лингвистической переменной и его применение к принятию приближенных решений. -М: Мир, 1976.

30. Дюбуа Д., Прад А. К анализу и синтезу нечетких отображений. В сб.: Нечеткие множества и теория возможностей. -М: Радио и связь, 1986.

31. Карповский Е.Я., Чижов С.А. Оценка показателей качества программных средств с использованием лингвистических переменных. Управляющие системы и машины, N 2, 1987, с. 17-19.

32. Кашьян P.JL, Pao А.Р. Построение динамических стохастических моделей по экспериментальным данным. -М: Наука, 1983.

33. Клыков Ю.И. Ситуационное управление большими системами. -М: Энергия, 1974.

34. Кини P.JL, Райфа X. Принятие решений при многих критериях: предпочтения и замещения. -М: Радио и связь, 1981.

35. Негойце К. Применение теории систем к проблемам управления. М: Мир, 1981.

36. Цыпкин Я.З. Адаптивные методы выбора решений в условиях неопределенности. -Автоматика и телемеханика, 1976, N 4.

37. Эйкофф П. Современные методы идентификации систем. М: Мир, 1983.

38. Лэсдон Л.С. Оптимизация больших систем. -М.: Наука, 1975.

39. Моисеев H.H. Методы оптимизации. -М. Наука, 1978.

40. Александров Л.В. и др. Системный анализ при создании и освоении объектов техники. -М.: НПО "поиск", 1992.

41. Еремеев А.П. Экспертные модели и методы принятия решений. -М.: МЭИ, 1995.

42. Поспелов Г.С. Системный анализ и искусственный интеллект. -М.: ВЦ АН СССР, 1980.

43. Поспелов Д.А. Ситуационное управление: теория и практика. -М.: Наука, 1980.

44. Жуковин В.Е. Многокритериальные модели принятия решений с неопределенностью. -Тбилиси, 1983.

45. Макаров И.М. и др. Теория выбора и принятия решений. -М.: Наука, 1987.

46. Орловский С.А. Проблемы принятия решений при расплывчатой информации. -М.: наука, 1981.

47. Машунин Ю.К. Методы и модели векторной оптимизации. -М.: Наука, 1986.

48. Орлов А.И. Задачи оптимизации и нечеткие переменные. -М.: Знание, 1980.

49. Лямец В.И., Тевяшев А.Д. Системный анализ. -Харьков: ХТУРЭ, 1998.

50. Литвак Б.Г. Управленческие решения. -М.: Тандем, 1998.

51. Байхельт Ф., Франкен П. Надежность и техническое обслуживание. Математический подход. -М.: Радио и связь, 1988.

52. БарлоуР., Прошан Ф. Математическая теория надежности. -М.: Сов.радио,1969.

53. Вопросы математической теории надежности /Е.Ю.Барзилович, Ю.К.Беляев и др. -М: Радио и связь,1983.

54. Райкин A.JI. Элементы теории надежности технических систем. -М.: Сов.радио,1978.

55. Козлов Б.,Ушаков И. Справочник по расчету надежности. -М.: Сов.радио,1975.

56. Ларичев О.И. Теория и методы принятия решений. —М.: Логос, 2000.

57. Новиков Д.А., Петраков С.Н. Курс теории активных систем. -М.: Синтег, 1999.

58. Васильев Ф.П. Методы оптимизации. -М.: Факториал Пресс, 2002.

59. Рыков A.C. Методы системного анализа: Оптимизация. -М.: Экономика, 1999.

60. Рыков A.C. Методы системного анализа: Многокритериальная и нечеткая оптимизация, моделирование и экспертные оценки. —М.: Экономика, 1999.

61. A.A. Ерофеев, А.О. Поляков. Интеллектуальные системы управления. -СПб: Издательство СПбГТУ, 1999.

62. В.И. Васильев. Распознающие системы. Справочник. -Киев, Наукова думка, 1983.64,Обработка нечеткой информации в системах принятия решений./ А.Н.Борисов, А.В.Алексеев, и др. -М.: Радио и связь, 1989.

63. Е.Ю. Кандрашина, A.B. Литвинцева, Д.А. Поспелов. Представление знаний о времени и пространстве в интеллектуальных системах. -М.: Наука, 1989.ъ

64. Васильев Ф.П. Численные методы решения экстремальных задач. -М.: Наука, 1980.

65. Поляк Б.Т. Введение в оптимизацию. -М.: Наука, 1983.

66. Сеа Ж. Оптимизация. Теория и алгоритмы. -М.: Мир, 1973.

67. Черноруцкий И. Методы оптимизации в теории управления. -Спб.:1. Питер, 2004.

68. Филамофитский М. Средства анализа производительности параллельных приложений, http://parallel.ru/

69. Основные классы современных параллельных компьютеров. http://parallel.ru/computers/classes.html

70. Вычислительный комплекс НИВЦ МГУ. http://parallel.ru/cluster/

71. Митрофанов В.В., Слуцкин А.И., Ларионов К.А., Эйсымонт JI.K. Направления развития отечественных высокопроизводительных систем. Открытые системы, №5,2003 г.

72. LAM/MPI Parallel Computing, http://www.lam-mpi.org/

73. MPI: The Message Passing Interface. http://www.parallel.ru/tech/tech dev/mpi.html

74. MOSIX. http://www.mosix.org/index.html

75. Тест производительности межпроцессорных обменов. http://www.parallel.ru/testmpi/transfer.html

76. Тест эффективности основных операций MPI. http://www.parallel.ru/testmpi/mpitest.html

77. В.В.Воеводин, Вл.В.Воеводин Параллельные вычисления. Спб.: БХВ-Петербург, 2002

78. Parallel Virtual Machine, http://www.csm.ornl.gov/pvm/

79. Лазарев В.Г. Распределенные системы передачи и обработки информации. -М.: Наука, 1985.

80. Лазарев В.Г., Черняев В.Г. Управление процессами и ресурсами в распределенных системах. -М.: Наука, 1989.

81. Пирс У. Построение надежных вычислительных машин. 1968.

82. High-Availability Linux Project, http://linux-ha.org/

83. Engineering a Beowulf-style Compute Cluster. http://www.phy.duke.edu/~rgb/Beowulf/beowulf book/beowulf book/index .html

84. David HM Spector. Building Linux Clusters. O'Reilly, July 2000.

85. Thomas Sterling, John Salmon, Donald J. Becker and Daniel F. Savarese. How to Build a Beowulf. The MIT Press, 2001/

86. Надежность персональных ЭВМ и производственная загрузка фирменной сети сервиса. "Микропроцессорные средства и системы." 1985.-№4.-С. 89.

87. Надежность и отказоустойчивость параллельных ЭВМ. http://www.wl.unn.ru/~ragozin/plan/nad.htm

88. ПРОБЛЕМА ОРГАНИЗАЦИИ НАДЕЖНЫХ ПРОЦЕССОВ УПРАВЛЕНИЯ С ПРИМЕНЕНИЕМ НЕНАДЕЖНЫХ ВЫЧИСЛИТЕЛЬНЫХ СРЕД, http://zvt.bv.ru/bezop 96.htm

89. Linux Virtual Server, http://www.linuxvirtualserver.org/