автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Модели и алгоритмы повышения живучести распределенных информационно-вычислительных систем АСУП

На правах рукописи

МИХАЙЛОВ АНДРЕЙ ВИТАЛЬЕВИЧ

МОДЕЛИ И АЛГОРИТМЫ ПОВЫШЕНИЯ ЖИВУЧЕСТИ РАСПРЕДЕЛЕННЫХ ИНФОРМАЦИОННО-ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ АСУП

Специальность 05 13 06 - Автоматизация и управление технологическими процессами и производствами (промышленность)

Автореферат диссертации на соискание ученой степени кандидата технических наук

□ОЗ159451

Владимир 2007

003159451

Работа выполнена на кафедре «Информатика и защита информации» ГОУ ВПО «Владимирский государственный университет»

Научный руководитель доктор технических наук, профессор

Монахов Михаил Юрьевич

Официальные оппоненты. доктор технических наук, профессор

Веселов Олег Вениаминович

кандидат технических наук, доцент Курысев Константин Николаевич

Ведущая организация ОАО "Завод "АВТОПРИБОР", г Владимир

Защита диссертации состоится «31» октября 2007 г в 14 00 на заседании диссертационного совета Д 212 025 01 в ауд 211 корп 1 Владимирского государственного университета по адресу 600000, г Владимир, ул Горького, д 87

С диссертацией можно ознакомиться в библиотеке Владимирского государственного университета

Автореферат разослан «28» сентября 2007 г

Отзывы на автореферат в двух экземплярах, заверенные печатью, просьба направлять по адресу 600000, г Владимир, ул Горького, д 87, ученому секретарю совета

Ученый секретарь диссертационного совета, / доктор технических наук, профессор 0 ^/ТМакаров Р И

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность задачи. Одной из ключевых особенностей современного бизнеса является скорость реакции предприятия на изменяющиеся потребности рынка Для получения конкурентного преимущества промышленное предприятие должно первым узнать о потребностях рынка и в кратчайшие сроки оптимизировать свои бизнес-процессы для производства товара с необходимыми потребительскими качествами Основным путем достижения указанных целей является внедрение автоматизированных систем управления производством (АСУП) С помощью подобных систем управляющий персонал предприятия может узнавать оперативную информацию об имеющихся ресурсах предприятия (запасах материалов, энергоносителей, сырья и т.д), планировать производство и отслеживать качество выполнения принятых решений Все это в совокупности позволяет минимизировать время адаптации производства под изменившуюся конъюнктуру рынка Однако применение АСУП несет в себе потенциальную опасность - отказы и сбои в работе АСУП могут повлечь существенные убытки для предприятия Данное обстоятельство делает задачу обеспечения живучести АСУП очень актуальной

Современные АСУП строятся, как правило, на базе распределенных информационно-вычислительных систем (РИВС) В качестве основных компонентов РИВС используются персональные компьютеры (ПК) и вычислительные сети (ВС), построенные на базе стандартных сетевых технологий Задача обеспечения живучести РИВС АСУП разделяется на две подзадачи

1) обеспечение структурной живучести,

2) обеспечение функциональной живучести

Обеспечение структурной живучести подразумевает установку дополнительной аппаратуры и линий связи либо модернизацию существующих компонентов более надежными и дорогими Обеспечение функциональной живучести может быть достигнуто за счет новых моделей и процедур организации вычислительного процесса Если минимизация стоимости РИВС превалирует (что характерно для средних и малых промышленных предприятий), го решение второй подзадачи является предпочтительным

В современной науке теория живучести сложных технических систем, в том числе и вычислительных, переживает этап становления в самостоятельную научную дисциплину Наблюдается явный недостаток моделей и алгоритмов синтеза живучих РИВС, особенно в задачах построения АСУП на базе ПК с применением стандартных сетевых технологий, функционирующих в условиях воздействия поражающих факторов (ПФ)

Объект исследования диссертационной работы - РИВС АСУП, построенные на базе ПК с применением стандартных сетевых технологий, функционирующие в условиях воздействия ПФ

Целью диссертационной работы является решение научно-технической задачи разработки новых моделей, алгоритмов и процедур

управления, направленных на повышение живучести РИВС АСУП

Исходя из целей работы, задачами исследования являются:

1) Сравнительный анализ существующих способов повышения живучести РИВС АСУП

2) Синтез новых моделей и алгоритмов функционирования РИВС с учетом требования обеспечения живучести

3) Разработка методик оценки живучести РИВС.

4) Экспериментальное исследование полученных результатов, и внедрение их на производстве

Методы исследования Исследование поставленных выше задач проведено с использованием методов теории систем массового обслуживания, теории графов, теории вероятностей Проводился анализ структур построения и процессов функционирования РИВС, моделирование и синтез на их основе оптимальных алгоритмов и моделей обработки информации

На защиту выносится совокупность новых научно обоснованных научных результатов и технических решений в рамках проблемы обеспечения высокой эффективности автоматизации и управления технологическими процессами и производствами, включающая в себя

1) Модели, алгоритмы и процедуры функционирования РИВС, реализующие механизмы обеспечения живучести

2) Методика оценки живучести РИВС АСУП, позволяющая приводить качественное сравнение различных вариантов построения РИВС АСУП

3) Модели и алгоритмы службы мониторинга РИВС АСУП, позволяющие описывать структуру и характеристики РИВС АСУП

Научная новизна работы состоит в обобщении известных и получении новых теоретических и практических результатов в области разработки и применения распределенных информационно-вычислительных систем в сфере автоматизации управления промышленным предприятием и сконцентрирована в следующем

1) Синтезированы новые модели и реализующие их алгоритмы обработки и представления информации, основанные на использовании структурных, аналитических и временных моделей и обеспечивающие оптимизацию управления в РИВС, что позволяет повысить живучесть АСУП в условиях воздействия поражающих факторов

2) Предложена методика оценки живучести РИВС АСУП, заключающаяся в анализе цикла работы системы в условиях воздействия ПФ и позволяющая исследовать влияние параметров РИВС на показатели живучести

Практическая ценность полученных результатов заключается

- в разработанном программном обеспечении, расширяющем штатные возможности РИВС АСУП и позволяющем повысить ее живучесть,

- в методике описания структуры РИВС и ее характеристик, позволяющей повысить качество работы персонала, ответственного за эксплуатацию

Реализация и внедрение результатов работы. Работа по теме диссертационной работы проводилась на кафедре ИЗИ ГОУ ВПО «Владимирский государственный университет» в рамках х/д НИР №№ 3161/04, 3165/05 Полученные результаты исследований внедрены на ОАО Владимирский завод «Электроприбор», ООО «МОКА», Телекомпании ТНТ-Владимир, а также использовались при разработке учебных курсов «Вычислительные сети», «Базы данных», «Защита информационных процессов в компьютерных системах» кафедры ИЗИ ВлГУ

Достоверность полученных результатов подтверждается полнотой и корректностью теоретических обоснований и результатами экспериментов, проведенных с помощью разработанных в диссертации программ

Апробация работы и публикации. Основные результаты, полученные в ходе работы над диссертацией, были представлены на

- XXII межведомственной научно-технической конференции (Серпухов, 2003),

- Международной научной конференции IMMD'2004 Informatics, Mathematical Modeling and Design m the Technics, Controlling and Education (Владимир 2004)

- III Всероссийской научно-практической конференции Образовательная среда сегодня и завтра (Москва 2006)

- XX Международной научной конференции «Математические методы в технике и технологиях» (Ярославль 2007)

В процессе исследований опубликовано 12 работ, из них 7 статей и 4 тезисов докладов в трудах Международных и Российских научно-технических конференций и семинаров, 1 учебное пособие Одна из статей опубликована в издании, рекомендованном ВАК РФ для публикации результатов диссертационных работ - «Известия Тульского государственного университета» (2004 г)

Структура работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, списка использованных сокращений и 3 приложений Общий объем диссертации - 145 страниц, список литературы содержит 135 наименований Диссертация содержит 39 рисунков и 5 таблиц

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертационной работы, формулируются основные цели и направления исследований, дается структура диссертации и основные положения, выносимые на защиту, показывается научная новизна и практическая значимость результатов работы

Первая глава посвящена анализу проблемы исследования

Показано, что РИВС является технологической основой построения

АСУП Определены понятия живучесть, как способность системы эффективно функционировать при получении повреждений (разрушений) или восстанавливать данную способность в течение заданного времени, и поражающий фактор (ПФ), как определенный вид внешнего воздействия, параметры которого превышают значения, на которые рассчитан элемент системы при его проектировании Представлены характеристики живучести неуязвимость (стойкость, структурная избыточность), адаптивность, восстанавливаемость (ремонтопригодность, временная избыточность) - и механизмы обеспечения живучести восстановление и адаптация

Задача обеспечения функциональной живучести РИВС формулируется следующим образом Имеется множество задач, решаемых в системе О-{1 у Я 2' Чт) В свою очередь, любая задача е(),1 = \,т характеризуется

набором элементарных функций Р =</ ,/ , ,/ >, 1<г <п, из кото' I '1 '2 'к} г

рых строится решение задачи Имеется множество компонентов системы {Б] 52, , Бр}, которые в дальнейшем будем называть функциональными модулями (ФМ) Множество элементарных функций системы, реализуемое ее ФМ, т

имеет вид Р = и И = {/р/^ /п Ь причем любой ФМ имеет возможность г =1

выполнять несколько функций <рн {1,2,. , р) —» Р{Р), где Р{Р) -множество

всех подмножеств F Если Р/у^Ьм/. >/ > /. к 1 <; < &, то ФМ 8к может

[12 } \ р

выполнять функции/ ,/ , / В каждый момент времени каждый ФМ на-12 1]

значается на выполнение некоторого набора элементарных функций, что определяется функцией {1,2,. ,р} /,(/г) В процессе работы РИВС ее ФМ могут находиться в одном из следующих состояний модуль работоспособен -

да (к)=\/ ,/ , / I и, следовательно, 8к назначен на выполнение тек ^ ^ ,2 ^ j

/,{, , и модуль не работоспособен - г/>ГП[с(А)= 0 Для живучих систем характерно наличие единой цели функционирования Цель функционирования РИВС определяется через количество задач, решение которых должно обеспечиваться Введем понятие множества состояния РИВС - IV Это множество определяется через отказы ФМ Тогда цели функционирования будут определяться следующим образом

а) Система должна решать все множество задач £? = {<7р<72> Я т\ с заданной эффективностью (производительностью, временем решения) в произволь-

ном состоянии н>е1У ,т е должно выполняться условие

/ \ , ( \ ("1, если задача выполнима в ВС,

П %Л=1> ХУ,Г\Л

( _ ^ 1 1 [0, впротивном случае

б) Система должна обеспечивать решение некоторого подмножества задач 0*с() в произвольном состоянии )»е(С Задачи из множества С>\()* могут решаться в системе в случае появления такой возможности в некотором состоянии м>'е Ж, те множество задач, выполняемых в системе, зависит от состояния, в котором находится ВС, и не является постоянным, тогда

х(<7,) = 1 Именно этот тип цели функционирования позволяет рассматри-Ч,60*

вать живучесть как способность сохранения заданного множества функций, сохранения некоторого веса системы (суммы реализуемых в ней функций) и т п

в) Система должна обеспечивать выполнение хотя бы одной задачи в

т

произвольном состоянии е ¡V, то есть ^ х(<?, )>1

1=1

Каждая функция е Р характеризуется некоторой эффективностью выполнения с, (например, временем выполнения, которое не должно превышаться) Эффективность системы определяется функцией ^эф ^ > Р)х Р(Р) -> С, где С — некоторое числовое множество,

"эф

(/гД,(»тек(А:))=с означает, что если ФМ назначен на выполнение функ-

•к

ции |/(i

! J~J2 5 fl ,)=1РтекМ> то эффективность при выполнении >У/2 > fi. , ) достигает с,к Требуется обеспечить работоспособное состояния РИВС, то есть состояние, при котором удовлетворяются нижеследующие условия или восстановить данное состояния в течение заданного времени Т

U 9-JÜ^F, (1)

к =1 тек _

^тек Ь)я<Рн{к)4к = \,р, (2) Р _

2>эф(/м*»Рт«(*))^ Vl = l,p, (3)

к=1

Условие (1) формализует требования выполнения необходимого множества элементарных функций ФМ системы (2) - требования корректного выбора ФМ Условие (3) формализует требование по поддержанию эффективности функционирования системы

Проведен анализ вычислительных систем, обладающих механизмами обеспечения живучести Результаты анализа в Таблице 1

Перспективность использования виртуального кластера (ВК) в качестве архитектуры построения РИВС АСУП обуславливается отсутствием необходимости аппаратной модернизации и изначальными свойствами самоадаптации, присущими данной архитектуре Предложена модернизация базовой архитектуры ВК с учетом требований живучести — Рисунок 1 Отличительной особенностью новой архитектуры является введение в структурную модель новых модулей, информационных связей и соответствующая им модернизация базовых алгоритмов функционирования

Таблица 1 - Сравнительная характеристика вычислительных систем

Критерии Статический кластер Динамические кластерные системы

Grid системы Виртуальный кластер

необходимость использования дополнительной аппаратуры да нет нет

реализация механизмов адаптации отсутствует реализовано реализовано

реализация механизмов восстановления реализовано частично частично

возможность функционирования в режиме реального времени возможно невозможно невозможно

всои 1

всои 2

ВСОИ N !

ТЕЛЕКОММУНИКАЦИОННАЯ СЕТЬ

1

Коммутатор

ПОТОК ЗАЯВОК ОТКЛИКОВ СИСТЕМЫ

Сегмент виртуального _ кластера

ТЕЛЕКОММУНИКАЦИОННАЯ СЕТЬ

Диспетчер ресурсов

п "п

I Клиент 1

Клиент 2

Клиент М I

Рисунок 1 - Модернизированная архитектура ВК

Вторая глава посвящена синтезу моделей и алгоритмов, обеспечивающих реализацию механизмов живучести в РИВС.

Алгоритм синхронизации и диагностики Таблица ресурсов кластера — динамически формируемая совокупность данных, описывающая состав кластера и характеристики его узлов Таблица формируется коммутатором и реплицируется на все ВСОИ Процедуры репликации (синхронизации) и диагностики отказов совмещены Условные обозначения I - номер первого полученного пакета, Л - минимальное время

доставки пакета по сети, -¿тах — максимальное время доставки пакета, Т^ -

время задержки отправки пакетов синхронизации и подтверждения, Т - вре-

мя задержки сеансов синхронизации

Алгоритм процедуры синхронизации и диагностики

Алгоритм коммутатора Алгоритм ВСОИ

1) К раз, через промежутки Т^ (время задержки отправки пакета), всем ВСОИ посылается пакет синхронизации, содержащий таблицу ресурсов кластера Пакеты отправляются по групповому адресу, где группа адресатов состоит из всех ВСОИ кластера Все пакеты синхронизации маркируются от 0 до 2) Устанавливается таймер ожидания на величину (время ожидания подтверждения коммутатором) ТШ^ =2(Ы + Атах) Время отправления первого пакета синхронизации назовем точкой синхронизации коммутатора 3) Если по истечению не пришло, по крайней мере, одного пакета-подтверждения от ВСОИ, то считается, что ВСОИ отказал 4) Ожидать время - (время задержки сеансов синхронизации), и переход к (1) 5) Конец алгоритма 1) Ожидать TW (время ожидания синхронизации ВСОИ) TW =3(N*T,+A )-Л +Г v а max' min z Если за это время поступили пакеты синхронизации, то переход к (2), иначе (5) 2) Игнорировать все остальные пакеты синхронизации в течение времени Т (время игнорирования ВСОИ) т ~(n- iYt. - Я +1 i v ' а min max 3) Получив первый пакет синхронизации с номером ! eO,N, ВСОИ оправляет коммутатору К пакетов-подтверждений через равные интервалы времени - Т^ Время отправления первого пакета подтверждения назовем точкой синхронизации ВСОИ 4) Переход к (1) 5) Считать что коммутатор неисправен 6) Конец алгоритма

Алгоритмы реконфигурации

Обобщенный алгоритм реконфигурации представлен на Рисунке 2 Сегментом кластера будем называть совокупность ВСОИ и коммутатора, выполняющую целевую задачу Кластер в произвольном состоянии состоит, по

крайней мере, из одного сегмента Однако из-за сбоев линий связи, кластер может распадаться на несколько независимых сегментов При описании алгоритмов реконфигурации условные обозначения такие же, как и при описании алгоритмов синхронизации и диагностики

всои-

повышение фоновой загрузки

Рисунок 2 - Обобщенный алгоритм реконфигурации ВК

Алгоритмы процедур реконфигурации ВК

Алгоритм процедуры 1 Добавление ВСОИ в ВК

1) Коммутатор инициирует запрос к службе мониторинга о доступных свободных вычислительных ресурсах РИВС

2) Диспетчер службы отсылает коммутатору ВК таблицу доступных компьютеров, отсортированную по убыванию свободных ресурсов

3) Коммутатор выбирает из таблицы наиболее подходящий компьютер Если нет ни одного подходящего компьютера, то спустя задержку Т - переход к пункту (1)

4) Коммутатор шлет пакет-приглашение выбранному компьютеру и, при получении положительного ответа, копирует на него файлы и данные, необходимые для функционирования процессов ВСОИ и коммутатора_

Алгоритм процедуры 2 Объединение сегментов кластера

1) Коммутатор кластера А, обнаруживший существование другого сегмента, посылает коммутатору кластера В пакет, содержащий таблицу ресурсов кластера А

2) Коммутатор В отвечает коммутатору А таким же пакетом

3) По размеру таблицы ресурсов определяется коммутатор объединенного сегмента

4) Победивший коммутатор объединяет таблицы ресурсов обоих сегментов, при этом проигравший коммутатор записывается в таблицу в качестве ВСОИ

5) Новая таблица рассылается всем ВСОИ входе процесса синхронизации

6) Новую таблицу рассылает коммутатор победитель для компьютеров своего

5) Коммутатор заносит информацию о выбранном ВСОИ в таблицу ресурсов кластера 6) Инициируется процесс ВСОИ на удаленном компьютере и запускается таймер ожидания синхронизации 7) Конец алгоритма сегмента, и проигравший коммутатор -д ля компьютеров своего сегмента 7) После чего синхронизацию выполняет только коммутатор победитель 8) Конец алгоритма

Алгоритм процедуры 3 Удаление ВСОИ (инициированное коммутатором) 1) Коммутатор передает ВСОИ команду завершить работу 2) ВСОИ, получив данное сообщение, останавливает процессы ВСОИ и коммутатора и удаляет временные файлы Алгоритм процедуры 4 Удаление ВСОИ (инициированное ВСОИ) 1) Компьютер ВСОИ останавливает процессы функционирования ВСОИ 2) ВСОИ перестает отсылать пакеты подтверждения синхронизации, и коммутатор удаляет запись о нем

Алгоритм процедуры 5 Выбор коммутатора 1) Обнаруживший отказ коммутатора ВСОИ переходит в режим ожидания начала выборов и ждет Т = N*T, + А -Л (время ожидания начала выборов) Если в к эе <1 шах шш* к ' течение времени !Г ВСОИ получит специальный широковещательный пакет (1А1Л УЕ) от другого ВСОИ, то переход к пункту 2 2) ВСОИ шлет К широковещательных пакетов в сеть через равные интервалы времени -тл 3) Принимать пакеты от других ВСОИ в течение интервала времени Т = N*Т, +2* Л (время ожидания окончания выборов) ее и шах 4) Зафиксировать в таблице ресурсов кластера информацию о ВСОИ, которые прислали пакеты Победителем считается тот, кто имеет наивысшую запись в таблице ресурсов кластера 5) ВСОИ, который стал победителем, становится коммутатором Все остальные ВСОИ запускают процедуру синхронизации и диагностики Гарантированное время окончания выборов Т , = 6Ш*Т,+А )-2Л +Т г V* а шах' пип г 6) Конец алгоритма

Служба мониторинга РИВС

Для построения модели данных предлагается использовать подход, принятый в геоинформационных системах РИВС описывается с привязкой к физическому местоположению Для этого используются масштабные планы, на которые наносятся идентифицированные условные обозначения объектов учета Детальная информация об объектах хранится в системной базе данных Регистрация информации об объектах РИВС К объектам учета относятся устройства и линии связи Устройствами называют телекоммуникационные и вычислительные устройства, способные к автономному функционированию Каждый объект учета описывается множеством характеристик, которое разделим на три подмножества общие характеристики, типовые характеристики и состав Общие характеристики отражают характеристики, свойст-

венные всем объектам Типовые характеристики отражают характеристики, свойственные некоторому типу объектов Типами объектов являются телекоммуникационные устройства, вычислительные устройства и линии связи Примерами типовых характеристик являются количество портов концентратора, тип линии связи и т д Подмножество состав отражает состав объекта, который регистрируется путем описания составных частей К составным частям объекта можно отнести периферию, комплектующие и программное обеспечение. Каждая составная часть описывается своим набором характеристик Набор характеристик содержит общие характеристики составных частей и типовые характеристики составной части Обобщенную схему организации учета состава и характеристик отдельных объектов можно увидеть на Рисунке 3

Объект 1

Объект 2

Объект к Общие характеристики Типовые характеристики

Состав

Составная часть 1

Составная часть 2

Составная часть М

Составная часть J Общие характеристики Типовые характеристики

Рисунок 3 - Схема учета состава и характеристик объектов РИВС

Регистрация информации о настройках программного обеспечения Введем понятие служба, которым будем называть одну из функций, выполняемых объектами РИВС. В общем случае, описание службы должно включать в себя описание множества настроек каждого сервера, описание множества настроек каждого клиента, описание алгоритма функционирования сервера, описание алгоритма функционирования клиента

В РИВС, независимо друг от друга, могут выполняться несколько однотипных служб Однотипными службами будем назвать службы, которые выполняют одну и туже задачу по одному и тому же алгоритму и имеют одинаковую структуру множества настроек Структуру данных, включающую алгоритм функционирования службы, структуру множества настроек будем называть профилем службы Взаимосвязь понятий профиль службы, служба и объект РИВС можно увидеть на Рисунке 4

Рисунок 4 - Описание служб объектов

В работе предложены алгоритмы и вариант построения службы мониторинга РИВС, учитывающий требования по живучести

Третья глава просвещенна исследованию живучести РИВС.

Живучесть РИВС можно оценивать, анализируя цикл работы системы в условиях однократного воздействия ПФ и оценивая автономность системы как способность противодействовать последовательным воздействиям ПФ Качественный график работы системы в условия ПФ представлен на Рисунке 5 В качестве параметра эффективности выступает производительность

Эффективность Е

Еном

эксплуатация

Этап функииониро

вания на восстановив ином ресурсе

Этап полного востановления

Время,Т

Рисунок 5 - Качественный график эффективности системы в при однократном воздействии ПФ

Этап 1 Штатная эксплуатация Система работает в штатном режиме с номинальной эффективностью Е В конце данного этапа на систему воздействует (мгновенно) поражающий, фактор Эффективность функционирования принимает значение Е^ Величина Б, показывающая разность Е^ и

Е;юм» определяет устойчивость системы

Этап 2 Этап диагностики В течение данного этапа должны быть выявлены все отказавшие элементы и связи Если /?пф - эффективность функционирования в начале этапа диагностики, а £вп_ эффективность функционирования в конце этапа, то Д£вп = Е^ - Едп представляет собой падение эффективности, вызванное вторичными разрушениями На данном этапе определяются такие параметры живучести как адаптивность - АБеп, один из параметров характеристики восстанавливаемость - Тдиаг, обозначающий время этапа диагностики

Этап 3 Этап оперативного восстановления (реконфигурации) После обнаружения отказа система выполняет оперативное восстановление (реконфигурацию). Эффективность системы повышается до определенного уровня £вос' котоРы® принимает значения £вос < £дом На данном этапе определяются параметры характеристики восстанавливаемость, Твое - время оперативного восстановления, Д£вос— максимальная величина восстановления

Этап 4 Этап функционирования на восстановленном ресурсе На данном этапе система функционирует с повреждениями, вызванными воздействиями ПФ Система работает с эффективностью, достигнутой на этапе (3)

Этап 5 Этап полного восстановления На данном этапе выполняются мероприятия по восстановлению системы с участием человека, определяется параметр характеристики восстанавливаемость Тп вое - время полного восстановления

Результаты анализа живучести статического кластера и ВК приведены в Таблице 2

Таблица 2 - результаты анализа живучести

Характеристика Статический кластер Виртуальный кластер

Адаптивность нет вторичных разрушений нет вторичных разрушений

Устойчивость системы линейная не линейная

Время диагностики детерминированное детерминированное

Время реконфигурирования детерминированное не детерминированное

Максимальная величина восстановления производительность не восстанавливается полностью восстанавливается производительность

Автономность определяется количеством компьютеров в кластере определяется общим количеством компьютеров РИВС

Четвертая глава просвещенна экспериментальному исследованию и апробации архитектуры ВК на предприятиях и организациях г Владимир

Экспериментальное исследование состояло из трех экспериментов Первый эксперимент предназначен для сравнения динамики роста средней задержки от количества одновременно работающих пользователей для централизованной архитектуры и ВК Результат эксперимента представлен на Рисунке 6

Рисунок 6

- Центр- арх-ра i — ВК

Количество пользователей

Рисунок 7

Второй и третий эксперимент (Рисунки 7, 8) предназначены для проверки свойств живучести ВК, В ходе данных экспериментов измерялась средняя производительность за период 5 сек. Через минуту во втором эксперименте отключался один из ВСОИ, в третьем отключался комму-га гор.

Опытное внедрение было произведено на трех объектах. Результаты внедрения подтверждены актами. Объектом №1 был ОАО «Владимирский завод «Электроприбор», на нем была внедрена система мониторинга РИВС, в результате чего среднее время устранения неисправностей в РИВС сократилось на 27%. Объект №2 ООО «MOKA». На данном предприятии была модернизирована

РИВС АСУП, внедрена архитектура ВК. В результате количество внеплановых простоев сервера ЛСУП сократилось па --34%, среднее время реакции сервера уменьшилось на 15%. Объект №3 Телекомпания "Радуга" — ТНТ-Владимир. В данной телекомпании ВК внедрен в систему мониторинга телевизионного эфира, в результате чего качество записываемого ТВ сигнала улучшилось на 61%.

В включении перечисляются основные результаты диссертационной работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ РАБОТЫ

1) Анализ стандартных средств и методов живучести вычислительных систем АСУП показал, что они обеспечивают, как правило, структурную живучесть, что становится явно недостаточным в условиях современных АСУП, построенных но распределенной архитектуре и использующих ПК и сети общего пользования для обмена информацией. Выявлено, что наиболее перспективным подходом в данном классе задач могу г стать методы функцио-

J3 50

с.

в ;

а.'

с

Рисунок 8

...... .

./Г "..Г

.. и

1 3 Ь 7 Ч II И 1S 11 т» Í1 » » ÍÍ я )• В и Время

нальной живучести, основанные на оптимизации процесса обработки информации, однако они на практике фактически не используются

2) Синтезирована новая архитектура РИВС АСУП, отличительной особенностью которой является введение в структурную модель новых модулей, информационных связей, и соответствующая им модернизация процедур синхронизации, диагностики и реконфигурирования Данный подход развивает идеи построения распределенных ВС по кластерной технологии и обеспечивает новый уровень функциональной живучести системы

3) Разработана методика оценки живучести РИВС, базирующаяся на анализе цикла работы системы в условиях воздействия ПФ и позволяющая исследовать влияние параметров РИВС на показатели живучести, проводить качественный анализ вариантов построения РИВС с учетом требований эксплуатации Проведенные в соответствии с данной методикой исследования показали, что наибольшая эффективность моделей и алгоритмов может быть получена в задачах с динамической вычислительной нагрузкой

4) Предложены алгоритмы и модели функционирования службы мониторинга РИВС, позволяющие вести в автоматическом режиме диспетчеризацию системных ресурсов, а также обеспечивающие живучесть самой службы

5) Разработано программное обеспечение, расширяющее функциональные возможности серверов РИВС и позволяющее обеспечить живучесть АСУП в практических задачах Основными результатами внедрения на промышленных предприятиях и в организациях стало снижение времени устранения неисправностей, уменьшение внеплановых простоев и повышение производительности вычислительной системы АСУП, что позволяет судить об общности идей, положенных в основу реализации предложенных механизмов обеспечения живучести АСУП

Материалы диссертации использованы в учебных курсах по дисциплинам «Вычислительные сети», «Базы данных», «Защита информационных процессов в компьютерных системах»

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ В изданиях рекомендованных ВАК РФ: 1) Михайлов А В, Илларионов Ю А Стратегия администрирования информационных систем в образовательных учреждениях // ИЗВЕСТИЯ ТУЛЬСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА Серия Экономика Управление Стандартизация Качество Выпуск 1 Избранные труды участников Первой междуна-родаой электронной научно-технической конференции Изд-во ТулГУ, Тула, 2004

В других изданиях:

1) Илларионов Ю А, Коломиец С А, Михайлов А В Компьютерные вирусы / Вла-дим гос ун-т - Владимир Редакционно-издательский комплекс ВлГТ, 2004 -68 с - (Комплексная защита объектов информатизации Кн 2 / Под ред. M Ю Монахова)

2) Михайлов А В, Монахов М Ю, Воронин А А Проблемы совершенствования распределенных телекоммуникационных систем // XXII Межведомственная НТК Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем СБОРНИК ТРУДОВ Серпухов, 2003

3) Михайлов А В, Монахов М Ю, Воронин А А, Гусаров АН Система контроля доступа к компьютерам в корпоративной сети // XXII Межведомственная НТК Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем СБОРНИК ТРУДОВ Серпухов, 2003

4) Михайлов А В Контроль доступа к компьютерам в корпоративной сети ВлГУ // Математические методы, информационные технологии и физический эксперимент в науке и производстве материалы НТК ФИПМ (25-26 ноября 2003 г) ВлГУ, 2003

5) Михайлов А В Организация безопасной работы офисного компьютера в Internet // Informatics, Mathematical Modeling and Design in the Technics, Controlling and Education (IMMD'2004) Proceeding of International Scientific Conference, Vladimir 24-29 May 2004 / Vladimir State University - Vladimir, 2004

6) Михайлов AB, Воронин А А, Илларионов ЮА, Казарин АЮ, Система управления паролями пользователей сети Интернет // Труды Российского научно-технического общества радиотехники, электроники и связи имени А С Попова Серия НАУЧНАЯ СЕССИЯ, ПОСВЕЩЕННАЯ ДНЮ РАДИО Выпуск LX-1, Типография ООО «Инсвязьиздат», 2005

7) Михайлов AB, Воронин А А, Илларионов Ю А, Казарин АЮ, Монахов М Ю. Виртуальный кластер и DDOS атаки // Труды Российского научно-технического общества радиотехники, электроники и связи имени А С Попова Серия НАУЧНАЯ СЕССИЯ, ПОСВЕЩЕННАЯ ДНЮ РАДИО Выпуск LX-1, Типография ООО «Инсвязьиздат», 2005

8) Михайлов А В, Илларионов Ю А, Казарин А Ю, Полянский Д А Опьгг составления документации для построения систем управления безопасностью информационно-вычислительных систем // Труды Российского научно-технического общества радиотехники, электроники и связи имени А С Попова Серия НАУЧНАЯ СЕССИЯ, ПОСВЕЩЕННАЯ ДНЮ РАДИО Выпуск LX-1, Типография ООО «Инсвязьиздат», 2005

9) Михайлов А В Бабурин В В Технический учет в телекоммуникационных сетях // Системы и методы обработки и анализа информации Сборник научных статей / Под ред С С Садыкова, Д Е Андрианова - М Горячая линия - Телеком, 2005

10)Михайлов А В Новый подход построения систем технического учета телекоммуникационных сетей // Автоматизированная подготовка машиностроительного производства, технология и надежность машин, приборов и оборудования Материалы Международной научно-технической конференции Т-2 - Вологда Во-ГТУ, 2005

11)Михайлов А В Технический учет информационной инфраструктуры АСУП // Образовательная среда сегодня и завтра Материалы Ш Всероссийской научно-практической конференции (Москва, 27 09-30 09 2006) / Редсовет, Отв Ред В И Солдатами -М Рособразование, 2006

12) Михайлов А В К вопросу оценки живучести вычислительных систем // Математические методы в технике и технологиях - ММТТ-20 [Текст] сб трудов XX Междунар науч конф В Ют Т6 Секция 12/подобщ ред ВС Балакирева -Ярославль Изд-во Яросл гос техн ун-та, 2007

Подписано в печать 25 09 07 Формат 60x84/16 Уел печ л 1,16 Тираж 100 экз

Заказ ¿55-^00-7?

Издательство Владимирского государственного университета 600000, Владимир, ул Горького, 87

ГЛАВА 1.АНАЛИЗ ПРОБЛЕМЫ ИССЛЕДОВАНИЯ.

1.1 Объект исследования.

1.2 Живучесть РИВС.

1.3 Характеристики живучести.

1.4 Постановка задачи обеспечения функциональной живучести РИВС

1.5 Механизмы обеспечения живучести.

1.5Л Восстановление.

1.5.2 Адаптация.

1.6 Сравнительный анализ вычислительных систем, обладающих свойством живучести.

1.6.1 Вычислительные системы с общим резервированием.

1.6.2 Вычислительные системы с поэлементным резервированием.

1.7 Анализ архитектур построения виртуального кластера.

1.7.1 Базовая архитектура виртуального кластера.

1.7.2 Кольцевая архитектура виртуального кластера.

1.7.3 Модернизированная архитектура виртуального кластера.

1.8 Уточнение задачи исследования.

1.9 Выводы.

ГЛАВА 2.РАЗРАБОТКА МОДЕЛЕЙ, АЛГОРИТМОВ И МЕХАНИЗМОВ ПОВЫШЕНИЯ ЖИВУЧЕСТИ РИВС.

2.1 Диаграмма взаимодействия параллельных процессов в ВК.

2.2 Алгоритмы синхронизации и диагностики.

2.3 Алгоритмы реконфигурации кластера.

2.4 Служба мониторинга РИВС.

2.5 Выводы.

ГЛАВА З.АНАЛИЗ ЖИВУЧЕСТИ РАСПРЕДЕЛЕННОЙ

ИНФОРМАЦИОННО-ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЫ.

3.1 Постановка задачи.

3.2 Методика анализа живучести.

3.3 Оценка показателей живучести виртуального кластера.

3.4 Оценка показателей живучести статического кластера.

3.5 Выводы.

ГЛАВА 4.РЕАЛИЗАЦИЯ, ЭКСПЕРЕМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ ПРЕДЛОЖЕННЫХ СРЕДСТВ ПОВЫШЕНИЯ ЖИВУЧЕСТИ РИВС.

4.1 Программное обеспечение организации ВК в РИВС.

4.1.1 Программа генератор нагрузки.

4.1.2 Программа обработчик запросов - рабочая функция.

4.1.3 Пакет программ организации ВК.

4.2 Результаты экспериментальных исследований.

4.3 Объект № 1. ОАО «Владимирский завод «Электроприбор».

4.4 Объект №2. ООО «МОКА».

4.5 Объект №3. Телекомпания "Радуга" - ТНТ - Владимир.

4.6 Выводы.

Актуальность задачи. Одной из ключевых особенностей современного бизнеса является скорость реакции предприятия на изменяющиеся потребности рынка. Для получения конкурентного преимущества промышленное предприятие должно первым узнать о потребностях рынка и в кратчайшие сроки оптимизировать свои бизнес-процессы для производства товара с необходимыми потребительскими качествами. Основным путем достижения указанных целей является внедрение автоматизированных систем управления производством (АСУП). С помощью подобных систем управляющий персонал предприятия может узнать оперативную информацию об имеющихся ресурсах предприятия (запасов материалов, энергоносителей, сырья и т.д.), планировать производство и отслеживать качество выполнения принятых решений. Все это в совокупности позволяет минимизировать время адаптации производства под изменившуюся конъюнктуру рынка. Однако применение АСУП несет в себе потенциальную опасность - отказы и сбои в работе АСУП могут повлечь за собой довольно существенные убытки для предприятия. Данное обстоятельство делает задачу обеспечения живучести АСУП очень актуальной.

Современные АСУП строятся, как правило, на базе распределенных информационно вычислительных систем (РИВС). В качестве основных компонентов РИВС используются персональные компьютеры (ПК) и вычислительные сети (ВС), построенные на базе стандартных сетевых технологий. Задача обеспечения живучести РИВС АСУП разделяется на две подзадачи:

1) обеспечение структурной живучести;

2) обеспечение функциональной живучести.

Обеспечение структурной живучести подразумевает установку дополнительной аппаратуры и линий связи, либо модернизацию существующих компонентов более надежными и дорогими. Обеспечение функциональной живучести может быть достигнуто за счет новых моделей и процедур организации вычислительного процесса. Если минимизация стоимости РИВС превалирует (что характерно для средних и малых промышленных предприятий), то решение второй подзадачи является предпочтительным.

В современной науке теория живучести сложных технических систем, в том числе и вычислительных, переживает этап становления в самостоятельную научную дисциплину. Наблюдается явный недостаток моделей и алгоритмов синтеза живучих РИВС, особенно в задачах построения АСУП на базе ПК с применением стандартных сетевых технологий, функционирующих в условиях воздействия поражающих факторов (ПФ).

Объект исследования диссертационной работы - РИВС АСУП, построенные на базе ПК с применением стандартных сетевых технологий, в которых необходимо обеспечить функционирование в условиях воздействия ПФ.

Целью диссертационной работы является решение научно-технической задачи разработки новых моделей, алгоритмов и процедур управления, направленных на повышение живучести РИВС АСУП.

Исходя из целей работы, задачами исследования являются:

1) сравнительный анализ существующих способов повышения живучести РИВС АСУП;

2) синтез новых моделей и алгоритмов функционирования РИВС с учетом требования обеспечения живучести;

3) разработка методик оценки живучести РИВС;

4) экспериментальное исследование полученных результатов и внедрение их на производстве.

Методы исследования. Исследования поставленных выше задач проведены с использованием методов теории систем массового обслуживания, теории графов, теории вероятностей. Проводился анализ структур построения и процессов функционирования РИВС, моделирование и синтез на их основе оптимальных алгоритмов и моделей обработки информации.

На защиту выносится совокупность новых научно обоснованных научных результатов и технических решений в рамках проблемы обеспечения высокой эффективности автоматизации и управления технологическими процессами и производствами, включающая в себя:

1) модели, алгоритмы и процедуры функционирования РИВС, реализующие механизмы обеспечения живучести;

2) методика оценки живучести РИВС АСУП, позволяющая приводить качественное сравнение различных вариантов построения РИВС АСУП;

3) модели и алгоритмы службы мониторинга РИВС АСУП, позволяющие описывать структуру и характеристики РИВС АСУП.

Научная новизна работы состоит в обобщении известных и получении новых теоретических и практических результатов в области разработки и применения распределенных информационно-вычислительных систем в сфере автоматизации управления промышленным предприятием и сконцентрирована в следующем:

1) синтезированы новые модели и реализующие их алгоритмы обработки и представления информации, основанные на использовании структурных, аналитических и временных моделей и обеспечивающие оптимизацию управления в РИВС, что позволяет повысить живучесть АСУП в условиях воздействия поражающих факторов;

2) предложена методика оценки живучести РИВС АСУП, заключающаяся в анализе цикла работы системы в условиях воздействия ПФ и позволяющая исследовать влияние параметров РИВС на показатели живучести.

Практическая ценность полученных результатов заключается:

- в разработанном программном обеспечении, расширяющем штатные возможности РИВС АСУП и позволяющем повысить ее живучесть;

- в методике описания структуры РИВС и ее характеристик, позволяющей повысить качество работы персонала, ответственного за эксплуатацию.

Реализация и внедрение результатов работы. Работа по теме диссертационной работы проводилась на кафедре ИЗИ ГОУ ВПО «Владимирский государственный университет» в рамках х/д НИР №№ 3161/04, 3165/05. Полученные результаты исследований внедрены на ОАО Владимирский завод «Электроприбор», ООО «МОКА», Телекомпании ТНТ-Владимир, а также использовались при разработке учебных курсов «Вычислительные сети», «Базы данных», «Защита информационных процессов в компьютерных системах» кафедры ИЗИ ВлГУ.

Достоверность полученных результатов подтверждается полнотой и корректностью теоретических обоснований и результатами экспериментов, проведенных с помощью разработанных в диссертации программ.

Апробация работы и публикации. Основные результаты, полученные в ходе работы над диссертацией, были представлены на:

- XXII межведомственной научно-технической конференции (Серпухов, 2003);

- Международной научной конференции IMMD'2004 Informatics, Mathematical Modeling and Design in the Technics, Controlling and Education (Владимир 2004);

- Ill Всероссийской научно-практической конференции: Образовательная среда сегодня и завтра (Москва 2006);

- XX Международной научной конференции «Математические методы в технике и технологиях» (Ярославль 2007).

В процессе исследований опубликовано 12 работ, из них 7 статей и 4 тезиса докладов в трудах Международных и Российских научно-технических конференций и семинаров, 1 учебное пособие. Одна из статей опубликована в издании, рекомендованном ВАК РФ для публикации результатов диссертационных работ - «Известия Тульского государственного университета» (2004 г.)

Структура работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, списка использованных сокращений и 3 приложений. Общий объем диссертации - 145 страниц, список литературы содержит 135 наименований. Диссертация содержит 39 рисунков и 5 таблиц.

4.6 Выводы

1) Экспериментальное исследование подтвердило адекватность разработанных в главе 2 моделей и алгоритмов организации ВК.

2) Архитектура ВК реализует механизмы адаптации и восстановления. Адаптация заключается в добавлении в ВК новых серверов обработки при повышении вычислительной нагрузки. Восстановление реализуется путем диагностики и оперативного реконфигурирования кластера.

3) Результаты внедрения на промышленных предприятиях и телекомпании показали общность идей, лежащих в основе предложенной архитектуры ВК и позволяющих повысить живучесть РИВС АСУП.

ЗАКЛЮЧЕНИЕ

1) Анализ стандартных средств и методов живучести вычислительных систем АСУП показал, что они обеспечивают, как правило, структурную живучесть, что становится явно недостаточным в условиях современных АСУП, построенных по распределенной архитектуре и использующих ПК и сети общего пользования для обмена информацией. Выявлено, что наиболее перспективным подходом в данном классе задач могут стать методы функциональной живучести, основанные на оптимизации процесса обработки информации, однако они на практике фактически не используются.

2) Синтезирована новая архитектура РИВС АСУП, отличительной особенностью которой является введение в структурную модель новых модулей, информационных связей и соответствующая им модернизация процедур синхронизации, диагностики и реконфигурирования. Данный подход развивает идеи построения распределенных ВС по кластерной технологии и обеспечивает новый уровень функциональной живучести системы.

3) Разработана методика оценки живучести РИВС, базирующаяся на анализе цикла работы системы в условиях воздействия ПФ и позволяющая исследовать влияние параметров РИВС на показатели живучести, проводить качественный анализ вариантов построения РИВС с учетом требований эксплуатации. Проведенные в соответствии с данной методикой исследования показали, что наибольшая эффективность моделей и алгоритмов может быть получена в задачах с динамической вычислительной нагрузкой.

4) Предложены алгоритмы и модели функционирования службы мониторинга РИВС, позволяющие вести в автоматическом режиме диспетчеризацию системных ресурсов, а также обеспечивающие живучесть самой службы.

5) Разработано программное обеспечение, расширяющее функциональные возможности серверов РИВС и позволяющее обеспечить живучесть АСУП в практических задачах. Основными результатами внедрения на промышленных предприятиях и в организациях стало снижение времени устранения неисправностей, уменьшение внеплановых простоев и повышение производительности вычислительной системы АСУП, что позволяет судить об общности идей, положенных в основу реализации предложенных механизмов обеспечения живучести АСУП.

Материалы диссертации использованы в учебных курсах по дисциплинам «Вычислительные сети», «Базы данных», «Защита информационных процессов в компьютерных системах».

СПИСОК ПРИНЯТЫХ СОКРАЩЕНИЙ

АСУП - автоматизированная система управления предприятием

АСУТП - автоматизированная система управления технологическим процессом

БД - база данных

ВК - виртуальный кластер

ВС - вычислительная система

ВСОИ - сервер обработки информации

ИС - информационная система

КПК - карманный персональный компьютер

МОИ - модуль обработки информации (он же СОИ)

ОС - операционная система

ПК - персональный компьютер

ПФ - поражающий фактор

ПФ - поражающий фактор

РИВС - распределенная информационно-вычислительная система

СВТ - средства вычислительной техники

ТМ - терминальный модуль

ФМ - функциональный модуль

CS - cluster systems, кластерные системы

1. Авен О.И., Гурин Н.Н., Коган Я.А. Оценка качества и оптимизация вычислительных систем. М.: Наука, 1982.

2. Авиженис А. А. Отказоустойчивость — свойство, обеспечивающее постоянную работоспособность цифровых систем // Тр. Ин-та инж. электрон, радиоаппаратуры.—1978

3. Аншина М. Предприятие как единый объект автоматизации. Размышления на тему Электронный ресурс. Режим доступа: www.topsbi.ru, www.asutp.ru?p=600261 .html

4. Анцелиович Л. Л. Надежность, безопасность и живучесть самолета. Учеб. для вузов по спец. "Самолетостроение" М. : Машиностроение, 1985

5. Аппаратно-программные платформы корпоративных информационных систем / В.З.Шнитман, С.Д.Кузнецов, информационно-аналитические материалы Центра Информационных Технологий Электронный ресурс. Режим доступа: http://www.citforum.ru

6. Артамонов Г.Т. Анализ производительности ЦВМ методами теории массового обслуживания. -М.: Энергия, 1972.

7. Архитектуры и топологии многопроцессорных вычислительных систем

8. Электронный ресурс. Режим доступа:http://www.informika.ru/text/teach/topolog/content.htm

9. Балдин Н. Н., Богачко Ю. Н., Бритвин О. В. и др. Живучестьстареющих тепловых электростанций. Монография / Под ред. Дьякова

10. А. Ф., Израилева Ю. Л.; Рос. АО "Единые энергосистемы России" идр.- М.: Изд-во НЦ ЭНАС, 2000

11. Баронов В.В., Калянов Г.Н., Попов Ю.И. Рыбников А.И., Титовский И.Н. Автоматизация управления предприятием // М.: ИНФРА-М, 2000. Березюк Н. Т., Гапунин А. Я., Подлесный Н. И. Живучесть микропроцессорных систем управления Киев: Тэхника, 1989

12. Бертсекас Д., Галлагер Р. Сети передачи данных. М.: Мир. - 1989.

13. Бесслер Р., Дойч А. Проектирование сетей связи. М.: Радио и связь, 1988.

14. Бойченко А.И. Модельные представления информационной инфраструктуры Электронный ресурс. Режим доступа: (http://www.cplire.ru)

15. Буч Г. Объектно-ориентированный анализ и проектирование с примерами на С++. М.: БИНОМ, 1998.

16. В поисках новых высот производительности / Керниган Б., Пайк Р. // Открытые системы. СУБД. 2000, - №5/6.

17. Вентцель Е.С. Теория вероятностей. -М.: Высшая школа, 1999.

18. Вентцель Е.С., Овчаров JI.A. Теория вероятностей и ее инженерные приложения. М.: Высшая школа, 2000.

19. Воеводин В.В., Капитонова А.П. «Методы описания и классификации вычислительных систем». Издательство МГУ, 1994.

20. Волчков А. Возможности вычислений на базе сервера. Журнал «Откры-тые системы», Июнь 2002 Электронный ресурс. // Издательство «Открытые системы» Режим доступа: http://www.osp.ru

21. Воронин А. А. Модели и алгоритмы повышения производительности распределенных систем обработки информации АСУП // Дис на соис. зван, к.т.н, ВлГУ 2005

22. ГОСТ 34.003-90. Государственный стандарт союза СССР. Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения.

23. Григ Т. Сети Интранет. М.: Издательский торговый дом «Русская Редакция», 2000.

24. Додонов А. Г., Кузнецова М. Г., Горбачик Е. С. Введение в теорию живучести вычислительных систем. Киев: Наук, думка, 1990.

25. Додонов А. Г., Кузнецова М. Г., Горбачик Е. С. Об организации параллельно-последовательных вычислительных структур повышенной живучести Электрон, моделирование, 1988

26. Дудник Б. Я., Овчаренко В. Ф., Орлов В. К. и др. Надежность и живучесть систем связи / Под ред. Дудника Б. Я. М. : Радио и связь, 1984

27. Залещанский Б. Д., Чернихов Д. Я. Кластерная технология и живучесть глобальных автоматизированных систем М. : Финансы и статистика, 2005

28. Жучков А.В., Ильин В.А., Кореньков В.В., «Некоторые аспекты создания глобальной системы распределенных вычислений в России», труды Всероссийской научной конференции «Высокопроизводительные вычисления и их приложения», сс. 227-231, Черноголовка, 2000

29. Захаров Н.А. Очередные задачи промышленного Ethernet. Ежемесячный научно-технический и производственный журнал «Автоматизация в промышленности» №8,2004.

30. Знакомство с возможностями масштабирования Windows 2000. // Материалы с сайта Электронный ресурс. Режим доступа: http://www.microsoft.com

31. Иванов А.Н., Золотарев С.В. Построение АСУ ТП на базе концепции открытых систем / Журнал "Мир ПК", #01, 1998 год // Издательство "Открытые системы" Электронный ресурс. Режим доступа: (http://www.osp.ru)

32. Информационная образовательная сеть г.Владимира Электронный ресурс. Режим доступа: http://ien.izivlgu.vladimir.ru.

33. Информационно-управляющие системы и сети: Структуры, моделирование, алгоритмы / Под общ. ред. М.Б.Сергеева. СПб: Политехника, 1999.

34. Использование методов имитационного моделирования экспертных систем реального времени / Рыбина Г.В. // Изв. АН. Теория и системы упр. 2000, №5

35. Калядин А. Методы повышения надежности систем SCADA Электронный ресурс. Режим доступа: www.rtsoft.ru, www.asutp.ru?p=600058.html

36. Карлин С. Основы теории случайных процессов: Пер. с англ. М.: Мир, 1971.

37. Клименко С., Уразметов В. Internet: среда обитания информационного общества. Протвино, РЦФТИ, 1995.

38. Кудрявцев Е.М., Ефимов В.Г. Моделирование сетей технического обслуживания на ЭВМ. Учеб.пособие. МИНВУЗ. МИСИ. 1987 Кузнецов С.Д. Доступ к базам данных с использованием технологий WWW // СУБД. 1996. №5-6.

39. Кульгин М. Технологии корпоративных сетей. Энциклопедия. СПб.: Питер, 1999.

40. Лаборатория параллельных информационных технологий, НИВЦ МГУ Электронный ресурс. Режим доступа: http://www.parallel.ru Лазарев В.Г., Лазарев Ю.В. Динамическое управление потоками информации в сетях связи. - М.: Радио и связь, 1983.

41. Лебедев А.Н., Чернявский Е.А. Вероятностные методы в вычислительной технике. М.:Высшая школа, 1986.

42. Леньшин В.Н. Интеграция предприятия / Журнал «ComputerWorld», 36/2001.

43. Липаев В.В. Распределение ресурсов в вычислительных системах. М.: Статистика, 1979.

44. Лонгботтом Р. Надежность вычислительных систем / Пер. с англ.; Под ред. П.П.Пархоменко. М.: Энергоатомиздат, 1985.

45. Лукацкий А. Обнаружение атак. СПб: БХВ-Петербург, 2001.

46. Макаров Р.И., Тарбеев В.В., Хорошева Е.Р. и др. Управление качеством листового стекла (флоат-способ): Учебное пособие для вузов М.: АСВ, 2004

47. Максименков А.В. Основы проектирования информационно-вычислительных систем и сетей ЭВМ / Максименков А.В., Селезнев М.Л. -М.: Радио и связь, 1991.

48. Мамиконов А.Г. Проектирование АСУ. М.: Высшая школа, 1987.

49. Малашенко Ю. Е, Рогожин В. С, Ферапонтов Е. В. Живучесть сетевых систем -М.: ВЦ АН СССР, 1989

50. Медведовский И.Д., Семьянов П.В., Платонов В.В. Атака через Internet. Под ред. П.Д. Зегжды СПб.: Мир и семья - 95, 1997.

51. Мельников В.В. Безопасность информации в автоматизированных системах. М.: Финансы и статистика, 2003.

52. Михайлов А.В. Контроль доступа к компьютерам в корпоративной сети ВлГУ // Математические методы, информационные технологии и физический эксперимент в науке и производстве. Материалы НТК ФИПМ (25-26 ноября 2003 г.). ВлГУ 2003

53. Михайлов А.В., Воронин А.А., Илларионов Ю.А., Казарин А.Ю., Монахов М.Ю. Виртуальный кластер и DDOS атаки Труды

54. Российского научно-технического общества радиотехники, электроники и связи имени А.С. Попова Серия: НАУЧНАЯ СЕССИЯ, ПОСВЕЩЕННАЯ ДНЮ РАДИО Выпуск: LX-1, Типография ООО «Инсвязьиздат», 2005

55. Монахов М.Ю. Информационные образовательные сети. Основы теории и методика применения: Монография / Владим. гос. ун-т; Владимир, 2001

56. Мультипроцессорные системы и параллельные вычисления / Под ред Ф. Г. Энслоу.—М.: Мир, 1976.— 384 с.

57. Наставление по борьбе за живучесть судов Минречфлота РСФСР: (НБЖС РФ-86) / . Гл. инспекция по безопасности судоходства Д.: Транспорт: Ленингр. отд-ние, 1987

58. Ноутон П., Шилдт Г. Java 2 / Пер. с англ. СПб.: БХВ Санкт-Петербург, 2000.

59. Обзор средств кластеризации Windows. Для Windows NT Server 4.0, Enterprise Edition, Windows 2000 Advanced Server и Windows 2000 Datacenter Server. Материалы с сайта Электронный ресурс. Режим доступа: http://www.microsoft.com

60. Одинцов И.О. Профессиональное программирование. Системный подход. СПб. :БХВ-Петербург, 2002

61. Организация вычислений в научных отраслях // Владимир Кореньков, Елена Тихоненко Журнал Открытые системы, #02/2001

62. Основные классы современных параллельных компьютеров. Материалы с сайта Электронный ресурс. Режим доступа: http://www.parallel.ru

63. Основные тенденции в развитии суперкомпьютеров. Материалы с сайта Электронный ресурс. Режим доступа: http://www.CNews.ru

64. Основы построения больших информационно-вычислительных систем / Под ред. Д.Г.Жимерина и В.И.Максименко. М.: Статистика, 1976.

65. Подлесный Н. И. и д.р. Специальные методы идентификации, проектирования и живучесть систем управления. Учеб. пособие для спец. "Автоматика и управление в техн. системах" Киев: Выща шк., 1990

66. Попков В.К. Математические модели живучести сетей связи. Изд. СО АН СССР, Новосибирск, 1990

67. Протоколы информационно-вычислительных сетей: Справочник / С.А. Аначкин, С.А. Белов, А.В. Берштейн и др.; Под ред. И.А. Мизина, А.П. Кулешова. М.: Радио и связь, 1990

68. Распределенные информационные системы на базе СУБД ORACLE. -М., 1993.

69. Рябинин И.А. Надежность и безопасность сложных систем. // СПб.: Политехника, 2000.

70. Сербант А.Д., Моисеева Н.В. Введение в систему компьютерных телекоммуникаций М., КУДИЦ, 1994.

71. Сети ЭВМ: протоколы стандарты, интерфейсы. Ю. Блэк; перев. с англ. -М.: Мир, 1990.

72. Синенко О., Куцевич Н., Леньшин В. Современные технологии и информационное обеспечение в задачах интеграции промышленных предприятий Электронный ресурс. Режим доступа: www.asutp.ru?p=600112.html

73. Синенко О.В., Куцевич Н.А. Подход к анализу производственных процессов и созданию комплексных систем управления ресурсами Электронный ресурс. Режим доступа: www.asutp.ru?p=600445.html

74. Системы высокой готовности и отказоустойчивые системы. Сервер центра информационных технологий Электронный ресурс. Режим доступа: http://www.citforum.ru

75. Скриптунова Е.А. Основные показатели эффективности предприятия, которые необходимо знать руководителю, чтобы эффективно управлять и видеть истинное положение дел на своем предприятии. / Журнал "Менеджмент сегодня", №2, 2003.

76. Современные высокопроизводительные компьютеры / В. Шнитман, информационно-аналитические материалы Центра Информационных

77. Технологий, 1996 Электронный ресурс. Режим доступа: http://www.citforum.ru

78. Соколов Н.А. Телекоммуникационные сети. Монография в 4-х главах. Часть 1 (глава 1) М.: Альварес Паблишинг, 2003

79. Соколов Н.А. Телекоммуникационные сети. Монография в 4-х главах. Часть 2 (глава 2) М.: Альварес Паблишинг, 2003

80. Стекольников Ю.И. Живучесть систем. Теоретические основы. -Спб.:Политехника, 2002

81. Столингс В. Операционные системы, 4-е издание.: Пер. с англ. М. : Издательский дом «Вильяме», 2002

82. Рыбников А. И. Система управления предприятием типа ERP -М.:Аэроконсалт, 1999-214с

83. Рыбников А. И. Система управления предприятием типа MRPII -М.:Аэроконсалт, 1999- 134с

84. Теория сетей связи: Учебник для вузов связи / Рогинский В.Н., Харкевич А.Д., Шнепс М.А. и др.; Под ред. В.Н. Рогинского. М.: Радио и связь, 1981.

85. Тербер К.Д. Архитектура высокопроизводительных вычислительных систем. М.: Наука, 1985.

86. Технологии создания распределенных систем. Для профессионалов / А.А.Цимбал, M.JI. Аншина. СПб.: Питер, 2003

87. Тимербаев А., Лангманн Р. Веб-базированный доступ к технологической информации Электронный ресурс. Режим доступа: www.asutp.ru?p=600477.html

88. Труб И. Алгоритмическое обеспечение распределенных Web-серверов. Журнал «Открытые системы», #05, 2003 // Издательство «Открытые системы» Электронный ресурс. Режим доступа: http://www.osp.ru

89. Турчин С. Сколько стоит АСУП, или основы инвестиционного анализа для IT-менеджера / Компьютерное Обозрение #44, 14-20 ноября 2001.

90. Турута Е. Н. Организация распределения задач в вычислительных системах, обеспечивающая их отказоустойчивость // Автоматика и вычисл. техника.—1985

91. Тютюннинк М.Н., Юрчак А.В. Web-технологии в промышленной автоматизации. «Корпоративные Системы». №4 1999.

92. Феррари Д. Оценка производительности вычислительных систем. М.:Мир,1981.

93. Финаев В.И. Моделирование систем. Учебное пособие. Изд-во ТРТУ, 1994

94. Харари Ф. Теория графов М.:КомКнига, 2006

95. Харитонов В. А. Основы теории живучести функционально-избыточных систем. Под ред. Тимофеева А. В. СПб.: Б. И., 1993

96. Харольд Д. О прошлом и будущем систем управления // Материалы семинара по промышленным шинам, проведенным компанией Control Dynamics (Мидлотиан, Вирджиния), май 1999 Электронный ресурс. -Режим доступа: www.asutp.ru?p=600089.html

97. Хлытчиев С.М. и др. Теоретические основы почтовой связи /Хлытчиев С.М., Лившиц В.М., Чесалов Н.В.: Учеб. пособие для вузов связи. М.: Радио и связь, 1983

98. Хокни Р., Джессхоуп К. Параллельные ЭВМ: Архитектура, программирование и алгоритмы / Пер. с англ. Д.И. Абашкина; Под ред. Е.П.Курочкина. -М.: Радио и связь, 1985.

99. Хорошевский В. Г. Живучесть вычислительных систем с программируемой структурой // Многопроцессор. вычисл. структуры.— 1986

100. Хоффман Пол Е. Internet. Краткий справочник. М., Изд. "ЛОРИ", 1995.

101. Храмцов П.Б. Лабиринт Интернет. Практическое руководство. М., "Электронинформ", 1996.

102. Эффективные кластерные решения // Материалы с сайта iXBT. Электронный ресурс. Режим доступа: http://www.ixbt.ru

103. Якимов И.М. Моделирование систем. Казань: КАИ, 1980

104. Ястребнецкий М.А. Надежность технических средств в АСУ технологическими процессами. М.: ЭНЕРГОИЗДАТ, 1982.

105. David Friedlander «Market Overview: Server-Based Computing», Giga Information Group, Cambridge, Mass., 2002, 11 Feb.

106. David Friedlander «Market Overview: Thin-client Server-Based Computing», Giga Information Group, Cambridge, Mass., 2001, 25 Jan.

107. Digital Equipment Corporation. Материалы сайта. Электронный ресурс. Режим доступа: http://www.dec.com

108. Distributed.net. Материалы сайта. Электронный ресурс. Режим доступа: http://distributed.net/

109. Feitelson D., Rudolph L. Mapping and Scheduling in a Shared Parallel Environment Using Distributed Hierarchical Control. Proceedings, 1990, International Conference on Parallel Processing, August 1990

110. Flynn M. Very high-speed computing system // Proc. IEEE. 1966. N 54.

111. Foster I., Kesselman С., J. Nick, Tuecke S. The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration. Электронный ресурс. Режим доступа: http://www.globus.org/research/papers/ogsa.pdf

112. Greg Pfister, Sizing Up Parallel Architectures // DataBase Programming & Design OnLine, May 1998 Электронный ресурс. Режим доступа: http://www.dbpd.com/9805feat.htm

113. HP Integrity NonStop computing. Материалы сайта Электронный ресурс. Режим доступа:http://h20223.www2.hp.eom/nonstopcomputing/cache/76385-0-0-0-121 .aspx?iumpid=go/integritynonstop

114. Hwang К., Briggs F.A. Computer Architecture and Parallel Processing. 1984.

115. Majumdar S., Eager D., Bunt R. Scheduling in Multiprogrammed Parallel Systems. Proceeding, Conference on Measurement and Modeling of Computer Sys-tems, May 1988.

116. OGSA: где Grid встречается с Web / Доменико Талиа. Открытые системы, #01/2003

117. Ramamritham К., Stankovic J. Scheduling Algorithms and Operating Systems Support for Real-Time Systems. Proceedings of the IEEE, January 1994

118. SETI@home. Материалы сайта Электронный ресурс. Режим доступа: http://setiathome.ssl.berkeley.edu/

119. Sauer С., Chandy К. Computer System Performance Modeling Englewood Cliffs, NJ: Prentice Hall, 1981.

120. Scada-система Citect что внутри? (Калядин А.Ю., ЗАО "РТСофт", PCWeek, 48/1999

121. Zahorjan J., McCann С. Processor Scheduling in Shared Memory Microprocessors. Proceeding, Conference on Measurement and Modeling of Computer Systems, May 1990.