автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Модели и алгоритмы повышения производительности распределенных систем обработки информации АСУП

На правах рукописи

ВОРОНИН АЛЕКСЕЙ АЛЕКСАНДРОВИЧ ^^^

МОДЕЛИ И АЛГОРИТМЫ ПОВЫШЕНИЯ ПРОИЗВОДИТЕЛЬНОСТИ РАСПРЕДЕЛЕННЫХ СИСТЕМ ОБРАБОТКИ ИНФОРМАЦИИ АСУП

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (промышленность)

Автореферат диссертации на соискание ученой степени кандидата технических наук

Владимир 2005

Работа выполнена на кафедре «Информатика и защита информации» ГОУ ВПО «Владимирский государственный университет»

Научный руководитель: кандидат технических наук,

доцент Монахов Михаил Юрьевич

Официальные оппоненты: доктор технических наук,

профессор Кобзев Александр Архипович

доктор технических наук, профессор Федосеев Вадим Николаевич

Ведущая организация: ООО «Инфоком», г. Владимир

Защита диссертации состоится «_»_ 2005 г. в 15зи на

заседании диссертационного совета Д.212.025.01 в ауд. 211 корп. 1 Владимирского государственного университета по адресу: 600000, г. Владимир, ул. Горького, д.87.

С диссертацией можно ознакомиться в библиотеке Владимирского государственного университета.

Автореферат разослан «_»_2005 г.

Отзывы на автореферат в двух экземплярах, заверенные печатью, просьба направлять по адресу: 600000, г. Владимир, ул. Горького, д.87, ученому секретарю совета.

Ученый секретарь диссертационного совета, доктор технических наук, профессор

Макаров Р.И.

Ко >1 т р о л ь!! ьт'' эгз::.:п.7.гр1

2ЛХ-Ч

МЗЧ 3

^ I ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность задачи. Одной из важнейших задач в современном промышленном предприятии становится интеграция между автоматизированными системами управления производством (АСУТТ) и автоматизированными системами управления технологическими процессами (АСУ 111). Эта тенденция определяется переходом к универсальным стандартам и отказом от применяемых фирменных (разработанных «под заказ») технологий, что определяется их доступностью, открытостью и довольно высоким качеством. Построение АСУП (АСУ111) при использовании данных технологий делает доступ к производственной информации прозрачным и функциональным, обеспечивая простоту установки и администрирования.

Процесс функционирования АСУП, как сложной человеко-машинной системы, сопряжен с обработкой больших объемов данных в условиях трудоемкости применяемых методов обработки и недостаточной своевременности получаемой персоналом управленческой информации. Все это накладывает жесткие требования на характеристики ее информационно-вычислительной подсистемы. При этом наблюдается тенденция все более частого использования распределенных вычислений при автоматизации производства и интеллектуальной поддержки процессов управления. Распределенная обработка данных, используя разделение функций АСУП, обладает такими достоинствами, как малое время отклика, высокая доступность, возможность совместного использования ресурсов, инкрементального наращивания мощности как системы в целом, так и ее компонентов. Современная наука определяет распределенную ИВС в качестве технологической основы АСУП, часто делая данные понятия синонимами.

Одной из принципиальных задач распределенных ИВС в настоящее время становится обеспечение минимального времени доступа к ресурсам и подсистемами множества одновременно работающих пользователей (процессов). Современная наука определяет два пути решения выделенной задачи. Первый ориентирован на улучшение характеристик оборудования, второй связан с оптимизацией и разработкой новых моделей и процедур управления. Если минимизация стоимости распределенной ИВС превалирует (что характерно для средних и малых предприятий), то второй подход становится явно предпочтительным.

В современной науке накоплен значительный потенциал в области построения, модернизации, оптимизации и оценки качества функционирования распределенных ИВС. Тем не менее, явно не достает эффективных алгоритмов и процедур управления, методов анализа и синтеза распределенных ИВС, особенно в задачах построения АСУП на базе ПК и использующих в качестве коммуникационной среды между подсистемами сеть общего пользования (Интернет).

Объект исследования диссертационной работы - управляющие распределенные ИВС АСУП реального времени, в которых в процессе обработки

информации наблюдается нехватка вычи

длительных ресурсов. РОС. НАЦИОНАЛ БИБЛИОТЕКА С.Петерj

•а

лли I С.«\<"

Целью диссертационной работы является решение научно-технической задачи разработки новых моделей, алгоритмов и процедур управления, направленных на повышение производительности и качества обработки информации в АСУП.

Исходя из целей работы, задачами исследования являются:

1) Сравнительный анализ методов повышения производительности и качества функционирования распределенных ИВС АСУП.

2) Синтез новых моделей и алгоритмов функционирования распределенной ИВС.

3) Разработка методик оценки эффективности функционирования распределенной ИВС.

4) Экспериментальное исследование полученных результатов и внедрение их на производстве.

Методы исследования. Исследования поставленных выше задач проведены с использованием методов теории систем массового обслуживания, теории графов, теории вероятностей. Проводился анализ структур построения и процессов функционирования распределенной ИВС, моделирование и синтез на их основе оптимальных алгоритмов и моделей обработки информации.

Основные научные результаты, выносимые на защиту:

1) Модели, алгоритмы и процедуры функционирования распределенной ИВС с перестраиваемой архитектурой.

2) Методика оценки системных характеристик распределенной ИВС с перестраиваемой архитектурой: среднее время отклика, доля необработанных запросов, эффективность использования.

3) Программное обеспечение разработанных компонентов распределенной ИВС и результаты экспериментальных исследований.

Научная новизна работы:

1) Предложен подход к построению распределенной ИВС АСУП, основанный на динамически меняющейся архитектуре распределенной ИВС в зависимости от условий функционирования и обеспечивающий повышение производительности системы в целом.

2) Разработаны новые модели, алгоритмы и процедуры обработки информации в распределенной ИВС с перестраиваемой архитектурой, основанные на системном походе, обеспечивающие эффективное функционирование АСУП на базе ПК и использующих в качестве коммуникационной среды между подсистемами сеть общего пользования (Интернет).

3) Предложена методика приближенной оценки качества функционирования распределенной ИВС, основанная на комплексе математических моделей исследования зависимостей показателей эффективности от системных характеристик.

Практическая ценность полученных результатов заключается в разработанном программном обеспечении, позволяющем определить/протестировать характеристики распределенной ИВС, а также осуществить расширение ее функциональных возможностей, как в штатном режиме работы системы, так и в случаях нехватки вычислительных ресурсов и при низком уровне надежности системы. Их применение позволяет более эффек-

тивно использовать имеющиеся вычислительные ресурсы распределенной ИВС АСУП, а также избежать необоснованных затрат при модернизации АСУП.

Реализация и внедрение результатов работы. Работа по теме диссертационной работы проводилась на кафедре ИЗИ ГОУ ВПО «Владимирский государственный университет» в рамках г/б НИР №№ 381/01,396/03, х/д НИР №№ 3162/04, 3181/05, 3197/05. Полученные результаты исследований внедрены на ЗАО «Завод специального оборудования», ООО «MOKA», а также использовались при разработке трех учебных курсов кафедры ИЗИ ВлГУ.

Апробация работы и публикации. Материалы диссертационной работы докладывались и обсуждались на XXII межведомственной научно-технической конференции (Серпухов, 2003), международной научно-практической конференции (Шуя, 2004), 4-й международной научно-технической конференции (Владимир, 2000), межрегиональной выставке «Информационные технологии» (Владимир, 2004, 2005), ярмарке-выставке «Современная образовательная среда» (Москва, 2001, 2003). В процессе исследований опубликовано 13 работ, из них 7 статей и 6 тезисов докладов в трудах Международных и Российских научно-технических конференций и семинаров.

Структура работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы. Общий объем диссертации - 156 страницы, в том числе - 139 страниц основного текста, 11 страниц списка литературы (119 наименований). Диссертация содержит 79 рисунков и 6 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертационной работы, формулируются основные цели и направления исследований, дается структура диссертации и основные положения, выносимые на защиту, показывается научная новизна и практическая значимость результатов работы.

Первая глава посвящена анализу проблемы исследования. Выделяется класс распределенных ИВС обработки информации, исследуемый в работе, определяются основные понятия, используемые для описания систем. Подчеркивая информационный характер услуг, предоставляемых распределенными ИВС, к ним относят не только вычислительные сети, но и АСУ, по структуре и характеру функционирования подобные распределенным ИВС. К числу особенностей АСУ, позволяющих установить их общность с распределенными ИВС, можно отнести следующие:

- наличие аналогичных с распределенной ИВС подсистем обработки, хранения и обновления информации, построенных на основе средств вычислительной техники и обеспечивающих функциональность системы, а также терминальных средств, обеспечивающих взаимодействие АСУ с пользователями;

- наличие взаимодействия между подсистемами обработки управленческой информации разных уровней иерархии;

-необходимость обеспечения удаленного доступа пользователей к ресурсам и подсистемам обработки информации;

- постоянное обновление информации, как в результате воздействия на объекты управления, так и при обмене данными между объектами управления АСУ;

- проблемная ориентация ПО и данных подсистем обработки информации различных уровней иерархии;

- обязательный обмен данными, обеспечивающий информационное взаимодействие между территориально распределенными компонентами и подсистемами АСУ;

-использование в качестве ядра АСУ и распределенной ИВС базовых сетей обмена данными, которые обеспечивают информационное взаимодействие компонентов и подсистем, объединяя их в единое целое, как в структурном, так и в функциональном отношении.

Основной технической задачей в распределенных ИВС является обеспечение минимального времени доступа к ресурсам для множества одновременно работающих пользователей, т.е. повышение производительности системы. Рассматривая основные пути ее повышения, выполнен аналитический обзор существующих подходов. На основе требований, предъявляемых к распределенным ИВС и основных структурных решений, выявлены особенности реализации подходов к масштабированию распределенных ИВС. На практике повышение производительности распределенных ИВС осуществляется, в основном, смещением клиент-серверных систем в сторону толстого клиента или аппаратной модернизацией. Однако наибольшим потенциалом обладают системы, использующие кластеризацию (таблица 1, выделены классы систем, обеспечивающие наиболее благоприятное/эффективное значение параметра).

Таблица 1 - Сравнительная характеристика вычислительных систем

№ п/п Класс системы Параметры системы

Использование различных ОС Масштабирование Ограничение на кол-во элементов системы Возможность не аппаратного масштабирования Наличие специального оборудования

1 МРР * +/- - +

2 SMP - - + -

3 NUMA - +

4 PVP + - +

5 CS , -

6 Grid ? ? % - +

На основании анализа дальнейшие исследования предлагается проводить на базе кластерной структуры с использованием модели взаимодействия «активный-активный» и «псевдо активный-активный».

Во второй главе исследуются и разрабатываются алгоритмы и процедуры формирования распределенной ИВС с перестраиваемой архитектурой

* Возможные знамения параметров "+" - есть/присутствует; "+/_" _ частично присутствует,

"-" - нет/отсутствует;"++" - хорошее;"%" - норма;"—" - плохое " Определяете» операционной системой "* Определяется типом кластера

(виртуальный кластер). Пусть распределенная ИВС содержит множество серверов обработки 5 = {5,,52,...,5„}, причем каждый сервер характеризуется определенным уровнем доступных ресурсов Я, (процессорное время, объем оперативной памяти, объем дисковой памяти и т.п.). Множество ресурсов обозначим как Я = {Д,,/?^...,/?„}, где Я, е. Предполагается, что все линии связи абсолютно надежны и помехоустойчивы, узлы коммутации имеют бесконечную память.

Трафик, поступающий на коммутатор распределенной ИВС (главный сервер системы), состоит из сообщений одинакового приоритета и образует пуассоновский поток со средним значением Л1 для сообщений, поступающих

к

с узла /. Обозначим Яу = , где к - количество пользовательских входных потоков. Каждая линия связи состоит из единственного дуплексного канала (между всеми 5, существует физическая или виртуальная линия связи). Каждый Я, характеризуется системой команд С,, выполнение которой возможно над определенными объектами. В целом, распределенная информационно-вычислительная система обладает системой команд С = {С,,С2,...,С„}, где С, е 5',, V/. Следует отметить, что некоторые команды могут выполняться только на отдельных 5,, что определяется особенностями используемого аппаратного и программного обеспечения на данном узле Длительность выполнения запросов зависит от типа и множества выполняемых операций и действий. Предполагается, что в системе выполняется множество типовых задач обработки, длительность которых существенно не отличается, и моменты времени между ними подчиняются экспоненциальному закону распределения.

При анализе результатов будем использовать среднее значение для времени отклика для всех запросов 7, поступивших в систему за выбранный период времени т = £А' где '< ~ вРемя отклика для /-го запроса; к - количе-(-1 /

ство запросов, поступивших в распределенную ИВС за выбранный период.

Будем считать, что выполнение запроса - процесс неделимый, а получение результата возможно только после завершения процесса обработки.

Определим через р - долю необработанных, по каким либо причинам (потеря запросов, сбой при обслуживании, отказ в обслуживании и т.п), запросов за выбранный интервал времени р = N/к , где - количество необработанных запросов, к - количество запросов, поступивших в распределенную ИВС. Также в дальнейшем для обозначения данной характеристики будет применяться параметр, определяющий отношение необработанных и обработанных запросов находившихся в обработке.

Обозначим через <р- эффективность использования, которую определим как огношение времени работы и времени простоя ресурсов сервера. Характеристика определяет средний процент времени (или долю), в течение кото-

poro серверы осуществляли выполнение запросов (р = fbusy , где: ТЬшу -время, в течение которого ресурсы использовались для выполнения запросов (среднее по всем серверам), Тм - длительность выбранного периода времени.

Данная характеристика определяет уровень готовности распределенной ИВС, а также время ожидания запроса в очередях, и, в конечном счете, влияет на время отклика.

Диспетчеризация запросов осуществляется при использовании стратегии «первым поступил - первым обслужился» (FCFS).

Приведенные выше характеристики и предположения затрагивают как системные, так и пользовательские параметры системы. Рассматривая прикладной уровень распределенной ИВС, определим систему как группу серверов, объединенных для решения типовой задачи, где под типовой задачей понимается выполнение запросов, направленные на обработку массивов данных. Тогда функционирование распределенной ИВС может быть представлено в виде:

F = f{M,P,V,n,m,C), (1)

где: М - характеристика входного потока запросов на обработку; Р - характеристика типового сервера обработки, выполняющего запросы; V - характеристика телекоммуникационной среды; л - количество каналов связи, по которым поступают запросы; m - количество используемых серверов обработки; С - характеристика службы планирования или распределения запросов по серверам обработки.

Следовательно, распределенную ИВС можно рассматривать как систему с одним входным потоком (п=1) и одним обрабатывающим узлом (т=1). При такой организации модель распределенной ИВС будет соответствовать типу архитектуры SISD по известной классификации Флинна.

Решается задача поиска такой архитектуры распределенной ИВС (назначенных каналов связи между серверами и персональными пользовательскими компьютерами (топологии виртуального кластера)), которая обеспечивает минимизацию значений р (и/или <р), что, в свою очередь, приведет к неувеличению 7.

Исходные данные: топологическая структура связей в распределенной ИВС, вектор входных потоков запросов от г-го ПК к серверу распределенной ИВС - ||, вектор пропускных способностей каналов связи между узлом i и сервером-коммутатором - ||г/,||, средняя длина сообщений-запросов - у, объемы ресурсов ПК и серверов.

Ограничения:

- обязательная регистрация входящих запросов на сервере-коммутаторе

du > ¿(Я, -г)П„ > где !„ - время передачи;

i=i /

- необходимость передачи переадресованных запросов на ПК

(1, > • у) ¡1„; V/ = 1 ...т, где А" - интенсивность переадресованных запро-

м /

сов с узла

Обобщенный алгоритм обработки запроса

Этап 1. Инициирование запроса. Пользователь (пользовательский компьютер) инициирует запрос.

Этап 2. Передача запроса от ПК на коммутатор кластера. Если связь с коммутатором отсутствует, инициируется процесс выбора нового коммутатора.

Этап 3. Выбор сервера. В соответствии со стратегией планирования и алгоритмом маршрутизации коммутатор осуществляет выбор сервера обработки.

Этап 4. Передача запроса от коммутатора на сервер обработки.

Этап 5. Обработка запроса на сервер обработки и оформление ответа пользователю. Если обнаруживается сбой сервера обработки, то инициируются выборы нового сервера обработки.

Этап 6. Передача ответа (результатов) от сервера обработки коммутатоРУ-

Этап 7. Фиксирование результатов выполнения запроса на коммутаторе и подготовка ответа пользователю. Результаты выполнения заявки представляются в форме, воспринимаемой либо пользовательским приложением, либо пользователем непосредственно. Если результат от сервера обработки не поступил, то инициируются выборы нового сервера обработки, осуществляется реконфигурирование кластера.

Этап 8. Передача сообщения-ответа от коммутатора до ПК. Расшифровка (в случае необходимости) и представление ответа пользователю. Конец алгоритма.

Определим 6 типовых последовательностей (процедур) обработки запроса:

1) процедура выполнения пользовательского запроса на сервере

Т = Р ■

1 >

. р» г' Р"

^ 1 К

■*р.

2) процедура обработке объекта на одном из серверов распределенной

иве

грППК _ р

3) процедура обработки на группе серверов, которая расширена по сравнению с 2) с целью повышения надежности и скорости обработки

(тГ1

. п( /-ткн <т>5 ¡-пен ре

Л.

Р'-^Р'С'К-

р•_/я > Р" С" Р'_> Р'

1к тх т т

4) обобщенная процедура переноса нагрузки с коммутатора на сервер обработки

(т!шк)=.

Л

/Г'

_. Р* /-"» ркр С" р»

'] к »' к ><~«>г*

>р,

5) процедура переноса нагрузки с коммутатора на группу серверов обработки, ориентированная на быстродействие процесса обработки

Р // . р« рир р» //'

^J '* к >

р;р р*, с*, р" я' > р;р р;р —я,', с2', я2" >

Р"Р _/Я ) Р' Г* О" _/»"' > Р"Р

->л

6) процедура переноса нагрузки с коммутатора на группу серверов обработки, ориентированная на надежность процесса обработки

р* г* р*

^ * М > » 1 III

Л-

>(С I

В приведенных схемах обозначены: Р - объект (процесс, пользовательский запрос); ] - номер запроса, / - функция переноса запроса на сервер обработки; /'1 - функция переноса результатов с сервера обработки; С* - команды «внутрикластерных» вычислений; С' - команды «внеишекластер-ных» вычислений ^соответственно Я, = {л*,/?*}); С*" - команды, выполнение которых возможно на сервере обработки (С™ в противном случае).

Третья глава посвящена исследованию качества функционирования виртуального кластера.

Виртуальный кластер предлагается рассматривать как двухуровневая модель, каждый уровень которой работает по принципам системы массового обслуживания, а взаимодействие между уровнями осуществляется и контролируется коммутатором. На первом уровне модели осуществляется взаимодействие между ПК и сервером (коммутатором). Данное взаимодействие описывается в терминах СМО М/М/1 с ожиданием и ограниченной очередью. На втором уровне модели осуществляется взаимодействие между коммутатором и серверами обработки (модель СМО М/М/п). Особенностью данного уровня является отсутствие очереди запросов у серверов обработки. Данное предположение определяется, во-первых, учетом очереди запросов в модели на первом уровне представления, а во-вторых, частой сменой ПК.

Аналитические соотношения для расчета параметров и комментарии по их расчету для конкретных моделей сведены в таблица 2, 3.

- л*

Таблица 2 - Аналитические соотношения расчет параметров модели

Пр. Структурная схема Среднее время ожидания обслуживания Доля необработанных запросов

1 6 ^oжl А=(Я-Л)/Я,гдеЛ = Я(1-0> » (лГ-О-л) отк" 1-кГ

—» СЕРВЕР (•ЫПОЛНЯвТ)

Л я <Рс = — Не

2 /}2=(Л-А)/Л, „ (^Г-О-^) Р _ (Фппк У , / V (Рппк У л! 1 и к\ •

@гг * СЕРВЕР и (Р«МС1РНРУ«Т) А 1 (ппк) (ппк) Г 1 ] я ; Фа ~ Мс2

3 СЕРВЕР {СОМСТЙФУТ) г 1 || ¡ГТжУгТг»»^*- Аналогично Тож1, вместо Рс2 использовать п/т . . 1=1 Аналогично, вместо и использовать п/т.

5 ► СЕРВЕР (рик«пмт 1- „1 1 (ппк) ^ПК^ 1-я подмодель: аналогично , вместо цс ИСПОЛЬЗОВаТЬ РсЬре, = Мс " Кре, 2-я подмодель: аналогично 7вя.г, вместо цс2 использовать = цс • (1 - К^,), Л = Л~ Апи] ; 1аж4 = + )/2 1-я подмодель: аналогично , вместо цс использовать Цс1рг, 2-я подмодель: аналогично /?2 > вместо /лс1 использовать , Я = Я - А^ А-КЯ-О-^КА-О

6 СЕРВЕР (РПА*ЛМТ Нвфужу) + 1 Для 1-й подмодели - аналогично, для 2-Й -расчет аналогичный 7^ Для 1-й подмодели - аналогично, для 2-й-расчет аналогичный /?3

1аблица 3 - Аналитические соотношения расчет параметров модели

Процедура 1 2 3 4 5

Эффективность системы II £ Аналогично, вместо //с использовать цсг. Аналогично Мс* . V- ^пм 1 + лр« • №с4реэ Аналогично

Здесь: Л - интенсивность входного потока; интенсивность обслуживания сервера; С - длина очереди к серверу; цс1 - интенсивность обслуживания коммутатора; <рппк- среднее значение коэффициента обслуживания сервера обработки; п, к - максимальное и текущее количество серверов обработки соответственно; Рс2 - вероятность отказа при выполнении запроса на сервере обработки; т - количество групп серверов обработки; - интенсивность обслуживания коммутатора, идущая на непосредственное выполнение пользовательских запросов; //с4 - интенсивность обслуживания коммутатора, идущая на планирование; К- коэффициент, определяющий долю ресурсов, идущую на выполнение запросов на коммутаторе; гш - время планирования запроса.

При использовании указанных аналитических соотношений средствами Ма1:САЕ> было проведено моделирование виртуального .кластера. В результате выявлены следующие особенности:

1) с увеличением длины очереди входящих запросов для моделей процедур 2 и 3 наблюдается резкое уменьшение относительного времени ожидания обслуживания, для моделей процедур 5 и 6 падение значений данной характеристики предваряет всплеск, который очевидно определяется интенсивным накоплением заявок в очереди (рисунок 1);

ска количества необработанных запросов относительно точки отсчета. В дальнейшем, при приближении интенсивности входного потока запросов к

интенсивности обслуживания коммутатора, наблюдается резкое падение значения данной характеристики;

Рисунок 2

3) эффективность системы для моделей 2, 3, 5, 6 слабо зависит от длины очереди входящих запросов (рисунок 3). На графиках наблюдается переизбыток ресурсов системы при данной интенсивности входного потока запросов.

Рисунок 3

Графики демонстрируют ухудшение значений характеристик для данных моделей при крайне больших интенсивностях входного потока запросов, что вероятнее всего определяется уменьшением количества доступных ресурсов и увеличением доли необработанных запросов.

Четвертая глава посвящена экспериментальным исследованиям и вариантам практического использования виртуального кластера в распределенной ИВС АСУП предприятий г. Владимира. В результате внедрения на предприятиях были оценены предельные характеристики существующей АСУП, были определены пути ее оптимизации. Практически были сокращены сроки выполения проектов, увеличена оперативность получения информации в подсистеме управления качеством, снижена загрузка серверов в среднем на 14%. Экспериментальные исследования проводились с целью проверки возможности организации виртуального кластера на базе существующей распределенной ИВС АСУП, получения реальных характеристик существующих линий связи, использованных при проведении модельных экспериментов, а также для проверки адекватности полученных математических зависимостей, ис-

пользуемых для расчета характеристик распределенной ИВС и виртуального кластера в распределенной ИВС АСУП. В результате было установлено, что проведение интерактивных процессов сильно затруднено, если используется вариант ИС с централизованной архитектурой и доступ через коммутируемые телефонные линии. Также было установлено, что зависимость времени отклика системы для пользователя, подключенного к дочернему узлу (при использовании распределенной ИВС АСУП), сначала достаточно велика, но резко падает то приемлемого уровня при дальнейшей работе. Таким образом, была экспериментально подтверждена возможность сосздания систем на базе виртуального кластера в распределенной ИВС АСУП и продемонстрирована адекватность предложенных аналитических соотношений и результатов экспериментов. Приведены особенности применения виртуального кластера в распределенной ИВС АСУП для различного рода задач, как сильносвязанных по данным, так и слабосвязанных, приводится описание технологии применения виртуального кластера в распределенной ИВС АСУП с точки зрения ООоБ-атак (организации и защиты).

В заключении перечисляются основные результаты диссертационной работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ РАБОТЫ

1. Анализ стандартных средств повышения производительности распределенной ИВС показал, что они реализуется либо смещением клиент-серверных систем в сторону толстого клиента, либо аппаратной модернизацией сервера и требуют предварительного планирования. В условиях поставленной задачи целесообразнее использовать смешанную кластерную структуру без разделения ресурсов, в которой взаимодействие серверов осуществляется по одной из двух моделей: «Активный-Активный» или «псевдо Активный-Активный» .

2. Предложена типовая последовательность этапов обработки пользовательского запроса в кластерной структуре распределенной ИВС, на основе которой разработано семейство алгоритмов управления системы с изменяемой степенью распределенности. Разработано формальное описание виртуальной кластерной структуры, на основании которого синтезированы математические модели типовых процедур обработки информации.

3. Предложена методика приближенной оценки качества функционирования распределенной ИВС с перестраиваемой архитектурой, основанная на комплексе математических моделей исследования зависимостей показателей эффективности от системных характеристик, на основе которой разработан комплекс программно-алгоритмических средств для расчета характеристик распределенной ИВС на базе МаШСАБ 2001.

4. Разработан комплекс программного обеспечения и конфигурационные файлы для расширения функциональных возможностей сервера распределенной ИВС, моделирования обращений пользователей. Моделирование и реализация в практических задачах АСУП, показало, что наибольшая эффектив-

ность достигается для слабосвязанных по данным

задачам, требующих больших вычислительных ресурсов. Предложены подходы использования для анализа защищенности систем и выявления потенциальных уязвимостей АСУП.

Таким образом, результаты теоретических и экспериментальных исследований дают основание заключить, что применение предложенных средств позволит улучшить характеристики распределенной ИВС АСУП: среднее время отклика, доля необработанных запросов, эффективность использования. Разработаны новые модели и алгоритмы, позволяющие перестраивать ИВС, обеспечивающие для системы свойства самоадаптации и восстановления в процессе функционирования. Полученные результаты использованы при построении и модернизации АСУП ряда производственных предприятий Владимирской области и в целом подтвердили эффективность предложенного подхода.

Материалы диссертации использованы при постановке учебных курсов по дисциплинам: Информатика, Методы программирования и прикладные алгоритмы, Структуры данных и объектно-ориентированное программирование.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Воронин A.A. Актуальность использования распределенных вычислений в современных АСУП // Социально-экономические системы и процессы: методы изучения и проблемы развития. Материалы международной научно-практической конференции, Владимир, 2005. сс. 328-330.

2. Воронин A.A. Интенсификация использования вычислительных ресурсов на предприятиях // Социально-экономические системы и процессы: методы изучения и проблемы развития. Материалы международной научно-практической конференции, Владимир, 2005. сс. 330-333.

3. Воронин A.A., Илларионов Ю.А. и др. Виртуальный кластер и DDoS-атаки / Труды Российского научно-технического общества радиотехники, электроники и связи имени A.C. Попова. Серия: Научная сессия, посвященная Дню радио. Выпуск: LX-1. М.: «Инсвязьиздат», 2005.

4. Воронин A.A. Виртуальные кластерные решения. / Юбилейное издание ВлГУ. Владим. гос. ун-т. Владимир, 2003.

5. Воронин A.A. Распределенная телекоммуникационная система с адаптируемой производительностью / Современные информационные технологии в образовательном процессе и научных исследованиях. Материалы Международной научно-практической конференции / Под.ред. В.Н. Федосеева. - Шуя: Изд-во «Весть» ГОУ ВПО «ШГПУ», 2004. - 235 с.

6. Воронин A.A., Калмыков М.С., Монахов М.Ю. Основные проблемы защиты от коллективных распределенных атак на вычислительные ресурсы информационных систем / Труды Российского научно-технического общества радиотехники, электроники и связи имени A.C. Попова. Серия: Научная сессия, посвященная Дню радио. Выпуск: LX-1. М.: «Инсвязьиздат», 2005.

7. Монахов М.Ю., Воронин A.A. Универсальная тестирующая оболочка для системы автоматизированного обучения // Современные информационные технологии в образовательном процессе и научных исследованиях : Сб.статей к междунар. конф. - Шуя: «Весть», 2000, с.48-56.

8. Монахов М.Ю., Воронин A.A., Михайлов A.B. Проблемы совершенствования распределенных телекоммуникационных систем // Проблемы обеспечения эффективности и устойчивости сложных технических систем: Сборник трудов XXII межведомственной научно-технической конференции. Серпухов. 2003. - С. 48-50.

9. Монахов М.Ю., Воронин A.A. и др. Система контроля доступа к компьютерам в корпоративной сети // Проблемы обеспечения эффективности и устойчивости сложных технических систем: Сборник трудов XXII межведомственной научно-технической конференции. Серпухов. 2003. - С. 41-44.

10. Монахов М.Ю., Воронин A.A., Александров A.A. Система автоматизированного контроля успеваемости // Физика и радиоэлектроника в медицине и экологии: Труды 4-й международной научно-технической конференции.-Издательство Института оценки природных ресурсов: Владимир, 2000, с.367-372.

11. Александров A.A., Воронин A.A., Монахов М.Ю. Администрирование в информационной образовательной сети / Информационные технологии и электроника: Материалы Четвертой Всероссийской НТК, Екатеринбург: УГТУ-УПИ, 2000, с. 108.

12. Воронин A.A., Илларионов Ю.А., Михайлов A.B., Монахов М.Ю. Противодействие DDOS-атакам с помощью виртуального кластера // Комплексная защита объектов информатизации. Материалы научно-технического семинара межрегиональной выставки «Информационные технологии - 2005», Владимир, Владим. гос. ун-т., 2005. сс. 51-53.

13. Воронин A.A., Калмыков М.С., Монахов М.Ю. Проблема защиты от коллективных распределенных атак на вычислительные ресурсы телекоммуникационных систем // Комплексная защита объектов информатизации. Материалы научно-технического семинара межрегиональной выставки «Информационные технологии - 2005», Владимир, Владим. гос. ун-т., 2005. сс. 55-58.

ЛР № 020275. Подписано в печать 23 09 05. Формат 60x84/16. Бумага для множит, техники. Гарнитура Тайме Печать на ризографе. Уел печ. л. 0,93. Уч.-изд. л. 0,98. Тираж 100 экз.

Заказ Издательство Владимирского государственного университета 600000, Владимир, ул. Горького, 87.

t

í I

i

»194 2!

РНБ Русский фонд

2006-4 21734

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИЗ ПРОБЛЕМЫ ИССЛЕДОВАНИЯ.

1.1. Объект исследования.

1.2. Методы повышения производительности информационно-вычислительной подсистемы АСУП.

1.3. Архитектура распределенной информационно-вычислительной системы.

1.4. Сравнительный анализ современных распределенных информационно-вычислительных систем.

1.5. Классификация кластерных структур распределенных информационно-вычислительных систем.

1.6. Уточнение задач исследования. Выбор кластерной структуры.

1.7. Выводы.

ГЛАВА 2. ИССЛЕДОВАНИЕ И РАЗРАБОТКА АЛГОРИТМОВ И ПРОЦЕДУР ФОРМИРОВАНИЯ ВИРТУАЛЬНОГО КЛАСТЕРА В РАСПРЕДЕЛЕННОЙ ИНФОРМАЦИОННО-ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЕ.

2.1. Постановка задачи.

2.2. Обработка типового запроса в кластерной структуре.

2.3. Стратегия планирования коммутатора.

2.4. Формальное определение виртуального кластера.•.

2.5. Разработка алгоритмов изменения степени распределенности системы.

2.6. Выводы.

ГЛАВА 3. ИССЛЕДОВАНИЕ КАЧЕСТВА ФУНКЦИОНИРОВАНИЯ РАСПРЕДЕЛЕННОЙ ИНФОРМАЦИОННО-ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЫ С ПЕРЕСТРАИВАЕМОЙ СТРУКТУРОЙ.

3.1. Обобщенная модель кластерной вычислительной структуры распределенной информационно-вычислительной системы.

3.2. Разработка моделей функционирования виртуального кластера в распределенной информационно-вычислительной системе. 3.3. Влияние сети передачи данных на средние задержки.

3.4. Исследование системных характеристик виртуального кластера в распределенной информационно-вычислительной системе.

3.5. Выводы.

ГЛАВА 4. РЕАЛИЗАЦИЯ, ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ И ф АППРОБИРОВАНИЕ СРЕДСТВ РАСПРЕДЕЛЕННОЙ ИНФОРМАЦИОННО-ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЫ С ПЕРЕСТРАИВАЕМОЙ

СТРУКТУРОЙ.

4.1. Пакет программ организации виртуального кластера в распределенной информационно-вычислительной системе. ф 4.2. Результаты экспериментальных исследований распределенной информационно-вычислительной системы.

4.3. Модернизации системы обработки информации

АСУП ООО «MOKA».

4.4. Кластерная вычислительная структура в распределенной

10 информационной образовательной системе Г.Владимира.

4.5. Использование виртуального кластера для защиты распределенной информационно-вычислительной системы.

4.6. Выводы.

Актуальность задачи. Одной из важнейших задач в современном промышленном предприятии становится интеграция автоматизированных системам управления производством (АСУП) и автоматизированных системам управления технологическими процессами (АСУТП). Эта тенденция определяется переходом к универсальным стандартам и отказом от применяемых фирменных (разработанных «под заказ») технологий, что определяется их доступностью, открытостью и довольно высоким качеством. Построение АСУП (АСУТП) при использовании данных технологий делает доступ к производственной информации прозрачным и функциональным, обеспечивая простоту установки и администрирования.

Процесс функционирования АСУП, как сложной человеко-машинной системы, сопряжен с обработкой больших объемов данных в условиях трудоемкости применяемых методов обработки и недостаточной своевременности получаемой персоналом управленческой информации. Все это накладывает жесткие требова-ния на характеристики ее информационно-вычислительной подсистемы. При этом наблюдается тенденция все более частого использования распределенных вычис-лений при автоматизации производства и интеллектуальной поддержки процессов управления. Распределенная обработка данных, используя разделение функций АСУП, обладает такими достоинствами, как малое время отклика, высокая доступность, возможность совместного использования ресурсов, инкрементального наращивания мощности как системы в целом, так и ее компонентов. Современная наука определяет распределенную ИВС в качестве технологической основы АСУП, часто делая данные понятия синонимами.

Одной из принципиальных задач распределенных ИВС в настоящее время становится обеспечение минимального времени доступа к ресурсам и подсистема-ми множества одновременно работающих пользователей (процессов). Со-времен-ная наука определяет два пути решения выделенной задачи. Первый ориентирован на улучшение характеристик оборудования, второй связан с оптимизацией и раз-работкой новых моделей и процедур управления. Если минимизация стоимости распределенной ИБС превалирует (что характерно для средних и малых предприятий), то второй подход становится явно предпочтительным.

В современной науке накоплен значительный потенциал в области по-строе-ния, модернизации, оптимизации и оценки качества функционирования распределенных ИБС. Тем не менее, явно не достает эффективных алгоритмов и процедур управления, методов анализа и синтеза распределенных ИВС, особенно в задачах построения АСУП на базе ПК и использующих в качестве коммуникационной среды между подсистемами сеть общего пользования (Интернет).

Объект исследования диссертационной работы - управляющие распределенные ИВС АСУП реального времени, в которых в процессе обработки информации наблюдается нехватка вычислительных ресурсов.

Целыо диссертационном работы является решение научно-технической за-дачи разработки новых моделей, алгоритмов и процедур управления, на-правлен-ных на повышение производительности и качества обработки информации в АСУП.

Исходя из целей работы, задачами исследования являются:

1) Сравнительный анализ методов повышения производительности и качества функционирования распределенных ИВС АСУП.

2) Синтез новых моделей и алгоритмов функционирования распределенной ИВС.

3) Разработка методик оценки эффективности функционирования распределенной ИВС.

4) Экспериментальное исследование полученных результатов и внедрение их на производстве.

Методы исследования. Исследования поставленных выше задач проведены с использованием методов теории систем массового обслуживания, теории графов, теории вероятностей. Проводился анализ структур построения и процессов функционирования распределенной ИВС, моделирование и синтез на их основе оптимальных алгоритмов и моделей обработки информации.

Основные научные результаты, выносимые на защиту:

1) Модели, алгоритмы и процедуры функционирования распределенной ИВС с перестраиваемой архитектурой.

2) Методика оценки системных характеристик распределенной ИВС с пе-ре-страиваемой архитектурой: среднее время отклика, доля необработанных запросов, эффективность использования.

3) Программное обеспечение разработанных компонентов распределенной ИВС и результаты экспериментальных исследований.

Научная новизна работы:

1) Предложен подход к построению распределенной ИВС АСУП, основанный на динамически меняющейся архитектуре распределенной ИВС в зависимости от условий функционирования и обеспечивающий повышение производительности системы в целом.

2) Разработаны новые модели, алгоритмы и процедуры обработки информации в распределенной ИВС с перестраиваемой архитектурой, основанные па системном походе, обеспечивающие эффективное функционирование АСУП на базе персональных компьютеров и использующих в качестве коммуникационной среды между подсистемами сеть общего пользования (Интернет).

3) Предложена методика приближенной оценки качества функционирования распределенной ИВС, основанная на комплексе математических моделей исследования зависимостей показателей эффективности от системных характеристик.

Практическая ценность полученных результатов заключается в разработанном программном обеспечении, позволяющем определить/протестировать характеристики распределенной ИВС, а также осуществить расширение ее функциональных возможностей, как в штатном режиме работы системы, так и в случаях нехватки вычислительных ресурсов и при низком уровне надежности системы. Их применение позволяет более эффективно использовать имеющиеся вычислительные ресурсы распределенной ИВС ЛСУП, а также избежать необоснованных затрат при модернизации АСУП.

Реализация и внедрение результатов работы. Работа по теме диссерта-ци-онной работы проводилась на кафедре ИЗИ ГОУ ВПО «Владимирский госу-дарст-венный университет» в рамках г/б НИР №№ 381/01, 396/03, х/д НИР №№ 3162/04, 3181/05, 3197/05. Полученные результаты исследований внедрены на ЗАО «Завод специального оборудования», ООО «MOKA», а также использовались при разработке трех учебных курсов кафедры ИЗИ ГОУ ВПО «ВлГУ».

Апробация работы и публикации. Материалы диссертационной работы докладывались и обсуждались на XXII межведомственной научно-технической конференции (Серпухов, 2003), международной научно-практической конференции (Шуя, 2004), 4-й международной научно-технической конференции (Владимир, 2000), межрегиональной выставке «Информационные технологии» (Владимир, 2004, 2005), ярмарке-выставке «Современная образовательная среда» (Моск-ва, 2001, 2003). В процессе исследований опубликовано 13 работ, из них 7 статей и 6 тезисов докладов в трудах Международных и Российских научно-технических конференций и семинаров.

Структура работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы. Общий объем диссертации - 156 страницы, в том числе - 139 страниц основного текста, 11 страниц списка литературы (119 наименований). Диссертация содержит 79 рисунков и 6 таблиц.

4.6. Выводы

4) Моделирование и реализация ВК в практических задачах АСУП, показало, что наибольшая эффективность достигается для слабосвязанных по данным задачам, требующих больших вычислительных ресурсов. В тоже время для сильносвязапных по данным задач,-эффект достигается за счет опережающего использования ВК.

5) Экспериментальные исследования подтвердили адекватность предложенных математических моделей полученным экспериментальным данным.

6) Предложены подходы использования ВК для анализа защищенности систем и выявления потенциальных уязвимостей АСУП. Важным фактором является возможность, проведения тестирования до пуска системы на базе локальной сети предприятия.

7) Разработан комплекс программного обеспечения и конфигурационные файлы для расширения функциональных возможностей сервера РИВС, моделирования обращений пользователей.

ЗАКЛЮЧЕНИЕ

1. Анализ стандартных средств повышения производительности РИВС показал, что они реализуется либо смещением клиент-серверных систем в сторону толстого клиента, либо аппаратной модернизацией сервера и требуют предварительного планирования.

2. Предложена классификация кластерных структур РИВС, на основе которой проведен их анализ. Доказана целесообразность использования смешанной кластерной структуры без разделения ресурсов, в которой взаимодействие серверов осуществляется по одной из двух моделей: «Активный-Активный» или «псевдо Активный-Активный».

3. Предложена типовая последовательность этапов обработки пользовательского запроса в кластерной структуре РИВС, на основе которой разработано семейство алгоритмов управления системы с изменяемой степенью распределенности.

4. Разработано формальное описание виртуальной кластерной структуры, на основании которого синтезированы математические модели типовых процедур обработки информации.

5. Предложена методика приближенной оценки качества функционирования РИВС с перестраиваемой архитектурой, основанная на комплексе математических моделей исследования зависимостей показателей эффективности от системных характеристик.

6. Разработан комплекс программно-алгоритмических средств для расчета характеристик РИВС на базе МаШСАЭ 2001.

7. Разработан комплекс программного обеспечения и конфигурационные файлы для расширения функциональных возможностей сервера РИВС, моделирования обращений пользователей.

8. Моделирование и реализация ВК в практических задачах АСУП, показало, что наибольшая эффективность достигается для слабосвязанных по данным задачам, требующих больших вычислительных ресурсов. В тоже время для сильносвязанных по данным задач, эффект достигается за счет опережающего использования ВК.

9. Предложены подходы использования ВК для анализа защищенности систем и выявления потенциальных'уязвимостей АСУП.

Таким образом, результаты теоретических и экспериментальных исследований дают основание заключить, что применение предложенных средств позволит повысить системные характеристики АСУП. Разработаны новые модели и алгоритмы, позволяющие перестраивать информационно-вычислительную подсистему, обеспечивающие системные свойства самоадаптации и восстановления в процессе функционирования. Полученные результаты использованы при построении и модернизации АСУП ряда производственных предприятий Владимирской области и в целом подтвердили эффективность предложенного подхода.

Материалы диссертации использованы при постановке учебных курсов по дисциплинам: Информатика, Методы программирования и прикладные алгоритмы, Структуры данных и объектно-ориентированное программирование, Аппаратные средства вычислительной техники.

1. Авен О.И., Гурнн H.H., Коган Я.А. Оценка качества и оптимизация вычислительных систем. М.: Наука, 1982.

2. Аншина М. Предприятие как единый объект автоматизации. Размышленияна тему (URL: www.topsbi.nl. www.asutp.ru?p=600261.html)

3. Архитектуры и топологии многопроцессорных вычислительных систем. http://www.informika.ni/text/teach/topo1og/content.htm

4. Баронов В.В., Калянов Г.Н., Попов Ю.И. Рыбников А.И., Титовский И.Н. Автоматизация управления предприятием // М.: ИНФРА-М, 2000.

5. Бертсекас Д., Галлагер Р. Сети передачи данных. М.: Мир. - 1989.

6. Бесслер Р., Дойч А. Проектирование сетей связи. М.: Радио и связь, 1988.

7. Бойченко А.И. Модельные представления информационной инфраструктуры. (http://vvvwv.cplire.ni)

8. Буч Г. Объектно-ориентированный анализ и проектирование с примерами на С++.-М.: БИНОМ, 1998.1.. В поисках новых высот производительности / Керниган Б., Пайк Р. // Открытые системы. СУБД. 2000, - №5/6.

9. Вентцель Е.С. Теория вероятностей. М.: Высшая школа, 1999.

10. Вентцель Е.С., Овчаров J1.A. Теория вероятностей и ее инженерные приложения. М.: Высшая школа, 2000.

11. Воеводин В.В., Капитонова А.П. «Методы описания и классификации вычислительных систем». Издательство МГУ, 1994.

12. Волчков А. Возможности вычислений на базе сервера. Журнал «Открытые системы», Июнь 2002 // Издательство «Открытые системы» (http://www.osp.ru)

13. Воронин A.A. Виртуальные кластерные решения. / Юбилейное издание ВлГУ. Владим. гос. ун-т. Владимир, 2003.

14. Воронин A.A. Методы программирования и прикладные алгоритмы: пособие. Ч. 1 / Владим. гос. ун-т. Владимир: Редакционно-издательский комплекс ВлГУ, 2004. - 68 с. - (Комплексная защита объектов информатизации. Кн. 5 / Под ред. М.Ю. Монахова).

15. Воронин A.A. Интенсификация использования вычислительных ресурсов па предприятиях // Социально-экономические системы и процессы: методы изучения и проблемы развития. Материалы международной научно-практической конференции, Владимир, 2005. сс. 330-333.

16. Воронин A.A., Калмыков М.С., Монахов М.Ю. Проблема защиты от коллективных распределенных атак на вычислительные ресурсы телекоммуникационных систем // Комплексная защита объектов информатизации.

17. Материалы научно-технического семинара межрегиональной выставки «Информационные технологии 2005», Владимир, Владим. гос. ун-т., 2005. сс. 55-58.

18. Григ Т. Сети Интранет. М.: Издательский торговый дом «Русская Редакция», 2000.

19. Жучков A.B., Ильин В.А., Кореньков В.В., «Некоторые аспекты создания глобальной системы распределенных вычислений в России», труды Всероссийской научной конференции «Высокопроизводительные вычисления и их приложения», сс. 227-231, Черноголовка, 2000

20. Захаров H.A. Очередные задачи промышленного Ethernet. Ежемесячный научно-технический и производственный журнал «Автоматизация в промышленности» №8, 2004.

21. Знакомство с возможностями масштабирования Windows 2000. // Материалы с сайта http://www.microsoft.com

22. Иванов А.Н., Золотарев C.B. Построение АСУ ТП на базе концепции открытых систем / Журнал "Мир ПК", #01, 1998 год // Издательство "Открытые системы" (littp://\vww.osp.rn)

23. Информационная образовательная сеть г.Владимира // http://ien.izivlpu.vladimir.nl.

24. Информационно-управляющие системы и сети: Структуры, моделирование, алгоритмы / Под общ. ред. М.Б.Сергеева. СПб: Политехника, 1999.

25. Использование методов имитационного моделирования экспертных систем реального времени / Рыбина Г.В. // Изв. АН. Теория и системы упр. -2000, №5

26. Калядин А. Методы повышения надежности систем SCADA (ЗАО РТСофт) (URL: www.rtsoft.ru. www.asutp.ni?p=600058.htmD

27. Карлин С. Основы теории случайных процессов: Пер. с англ. М.: Мир, 1971.

28. Клименко С., Уразметов В. Internet: среда обитания информационного общества. Протвино, РЦФТИ, 1995.

29. Климов Г.П. Теория массового обслуживания. М.: Наука, 1986.

30. Компьютерные сети. Принципы, технологии, протоколы / В.Г. Олифер, Н.А.Олифер. СПб: Издательство "Питер", 2000.

31. Кудрявцев Е.М., Ефимов В.Г. Моделирование сетей технического обслуживания на ЭВМ. Учеб.пособие. МИНВУЗ. МИСИ. 1987

32. Кузнецов С.Д. Доступ к базам данных с использованием технологий WWW // СУБД. 1996. №5-6.

33. Кульгин М. Технологии корпоративных сетей. Энциклопедия. СПб.: Питер, 1999.

34. Лаборатория Параллельных Информационных Технологий, НИВЦ МГУ, http://www.paralle1.rii

35. Лазарев В.Г., Лазарев Ю.В. Динамическое управление потоками информации в сетях связи. М.: Радио и связь, 1983.

36. Лебедев А.Н.,Чернявский Е.А. Вероятностные методы в вычислительной технике. М.:Высшая школа,1986.

37. Леньшин В.Н. Интеграция предприятия / Журнал «ComputerWorld», 36/2001.

38. Липаев В.В. Распределение ресурсов в вычислительных системах. М.: Статистика," 1979.

39. Лонгботтом Р. Надежность вычислительных систем / Пер. с англ.; Под ред. П.П.Пархоменко. М.: Энергоатомиздат, 1985.

40. Лукацкий А. Обнаружение атак. СПб:, БХВ-Петербург, 2001.

41. Максименков A.B. Основы проектирования информационно-вычислительных систем и сетей ЭВМ / Максименков A.B., Селезнев М.Л. -М.: Радио и связь, 1991.

42. Мамиконов А.Г. Проектирование АСУ. М.: Высшая школа, 1987.

43. Медведовский И.Д., Семьянов П.В., Платонов В.В. Атака через Internet. Под ред. П.Д. Зегжды СПб.: Мир и семья - 95, 1997.

44. Мельников В.В. Безопасность информации в автоматизированных системах. М.: Финансы и статистика, 2003.

45. Монахов М.Ю., Александров A.A. Выбор операционной системы для узла информационной образовательной сети // Проблемы дистанционного обучения. Тез. докл. Регио-нальиой научно-методической конференции, Иваново, 2000.

46. Монахов М.Ю., Александров A.A., Воронин A.A. Информационная обращу зовательная сеть // Математика. Компьютер. Образование. Тезисы докл.

47. VII Междунар. конференции. М.: 1999.

48. Монахов М.Ю., Александров A.A., Воронин A.A. Оптимальное распределение учебных материалов в информационной образовательной сети // Информационные технологии и электроника: Материалы IV Всеросх сийской НТК. Екатеринбург: УГТУ-УПИ, 2000.;

49. Монахов М.Ю., Воронин A.A. и др. К вопросу автоматизации контроля успеваемости в информационной образовательной сети. // Математика. Компьютер. Образование, ОИЯИ (г. Дубна), 2000.

50. Монахов М.Ю., Воронин A.A. Оптимальное распределение учебной информации в образовательной сети. Информационные образовательные сеJ