автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Интеллектуальная система поддержки принятия решения на основе нечеткой логики для диагностики состояния сети передачи данных

кандидата технических наук
Кучер, Алексей Викторович
город
Краснодар
год
2007
специальность ВАК РФ
05.13.01
цена
450 рублей
Диссертация по информатике, вычислительной технике и управлению на тему «Интеллектуальная система поддержки принятия решения на основе нечеткой логики для диагностики состояния сети передачи данных»

Автореферат диссертации по теме "Интеллектуальная система поддержки принятия решения на основе нечеткой логики для диагностики состояния сети передачи данных"

На правах рукописи

КУЧЕР Алексей Викторович

ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЯ НА ОСНОВЕ НЕЧЕТКОЙ ЛОГИКИ ДЛЯ ДИАГНОСТИКИ СОСТОЯНИЯ СЕТИ ПЕРЕДАЧИ ДАННЫХ

Специальность 05 13 01 - Системный анализ, управление и обработка информации (информационные и технические системы)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

ООЗ174627

Краснодар - 2007

003174627

Работа выполнена в Кубанском государственном технологическом

университете

Научный руководитель.

кандидат технических наук, профессор Частиков Аркадий Петрович

Официальные доктор технических наук, профессор

оппоненты Хисамов Франгиз Гильфанетдинович,

кандидат технических наук, профессор Хализев Вячеслав Николаевич,

Ведущая организация

Краснодарский филиал Федерального государственного унитарного предприятия научно-технический центр «Атлас»

Защита диссертации состоится 7 ноября 2007 г в 14 часов на заседании диссертационного совета Д212 10004 в Кубанском государственном технологическом университете по адресу 350072, г Краснодар, ул Московская, 2А, конференц-зал

С диссертацией можно ознакомиться в библиотеке Кубанского государственного технологического университета по адресу 350072, г Краснодар, ул Московская, 2А

Автореферат разослан 4 октября 2007 г

Ученый секретарь

диссертационного совета Д 212 100 04

канд. техн наук, доцент

Власенко А В

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы В настоящее время нет ни одной области человеческой деятельности, которая не использовала бы возможности современных информационных технологий (ИТ) на базе телекоммуникаций Сегодня мы являемся свидетелями стремительного развития мультисер-висных сетей передачи данных (СПД), выполняющих обработку и передачу всех типов данных и информации, доступ к которым можно получить в любой точке мира

Сеть передачи данных, являясь сложной организационно-технической системой, должна обеспечить бесперебойное и полноценное функционирование всех компонентов и гарантировать предоставление пользователям услуг связи и информатизации в соответствии с принятыми оператором связи на себя обязательствами

С ростом размеров, сложности оборудования и функциональных возможностей в значительной степени повышается ответственность должностных лиц за правильность и обоснованность принимаемых решений для эффективного управления СПД Кроме того, должностным лицам приходится принимать решения в условиях неполной информации о состоянии элементов сети, ограниченного времени на анализ проблемных ситуаций Все это приводит к несоответствию возможностей человека сложности задач, которые необходимо решать для поддержания сети в работоспособном состоянии, в том числе за счет использования современных методов ее диагностики В связи с этим разработка и внедрение интеллектуальной системы поддержки принятия решения (ИСППР) для диагностики состояния современной СПД является актуальной научно-технической задачей

Цель работы Разработка ИСППР на базе комплексного подхода к проблеме диагностики СПД, включающего использование методов сигнатурного и статистического анализа сетевого трафика для обнаружения се-/ тевых аномалий (СА) и нечеткой интеллектуальной системы (НИС) реаги-

рования на нештатные ситуации, а также создание моделей, алгоритмов и программного обеспечения (ПО) поддержки профессиональной деятельности специалистов в области управления сетями передачи данных Задачи исследования

- проведение анализа основных видов деятельности системных администраторов СПД регионального оператора связи по управлению программно-аппаратным комплексом и сетевыми службами,

- проведение анализа методов диагностики СА, являющихся причинами нарушения нормального режима функционирования СПД,

- проведение анализа существующих методов и приемов поддержки принятия решения (ППР) для задач управления СПД (в том числе задач диагностики и контроля состояния элементов сети),

- разработка моделей сигнатурного и статистического анализаторов сетевого трафика и НИС реагирования на нештатные ситуации в СПД,

- разработка метода компьютерной диагностики СПД;

- разработка комплекса алгоритмов и программ мониторинга состояния элементов СПД, статистического анализа и детектирования СЛ, НИС;

- создание ИСППР на основе нечеткой логики для диагностики СПД,

- разработка системы показателей эффективности ИСППР,

- проведение экспериментальной проверки работоспособности и эффективности использования ИСППР для диагностики СПД

Научная новизна

- исследованы существующие методы диагностики СА;

- теоретически обоснован комплексный подход к решению задач мониторинга и диагностики СПД,

- исследовано содержание основных видов деятельности должностных лиц, методов и приемов ППР для задач мониторинга и диагностики СПД,

- обоснован выбор нечеткой модели для построения интеллектуальной системы реагирования на нештатные сетевые ситуации;

- разработано математическое обеспечение для построения комплексной ИСППР на базе нечеткой логики для диагностики СПД,

- разработан метод решения задачи компьютерной диагностики СПД с использованием процедур детектирования и идентификации СА на каждом уровне сети,

- на основе разработанного метода диагностики СПД создана НИС реагирования на нештатные сетевые ситуации;

ч

- разработана ИСППР, созданы алгоритмы и программы, обеспечивающие ее функционирование;

- проведены экспериментальные исследования по проверке эффективности использования разработанной системы

Практическая ценность Впервые комплексная ИСППР применена в такой области, как диагностика СПД На основе разработанного метода диагностики первая версия программного обеспечения для ППР после тестирования, испытания и оценки специалистов в 2006 г. была передана для опытной эксплуатации в Центр новых технологий (филиал «Южной телекоммуникационной компании»), что подтверждается соответствующим актом. Комплексный подход при разработке ИСППР, методика построения и оптимизации нечеткой базы знаний НИС использованы в учебном процессе КубГТУ (на кафедре ВТиАСУ, в дисциплине «Системы искусственного интеллекта»), что также подтверждается актом

Апробация работы Основные положения работы докладывались и обсуждались на семи Всероссийских научных и научно-технических конференциях, в том числе на П, III и IV всероссийских научных конференциях молодых ученых и студентов «Современное состояние и приоритеты развития фундаментальных наук в регионах» (Краснодар, 2005 - 2007 гг.), на II, III, IV и V межведомственных научно-технических конференциях

«Проблемы комплексного обеспечения защиты информации и подготовки специалистов в области защиты информации» (Краснодар, 2001 - 2003, 2005)

Публикации. По теме диссертации опубликовано 16 печатных работ, их них три - в периодических изданиях, рекомендованных ВАК России для публикации научных работ, получено одно свидетельство об официальной регистрации программы для ЭВМ

Основные положения, выносимые па защиту- принципы построения и структура ИСППР на основе нечеткой логики для диагностики состояния СПД,

— алгоритмическая реализация основных методов и этапов поддержки принятия решения для диагностики СПД,

— математические модели статистического анализатора сетевого трафика и НИС реагирования на нештатные сетевые ситуации,

— механизм применения метода компьютерной диагностики СПД на основе структурной декомпозиции диагностики отдельных уровней СПД,

— программное обеспечение ИСППР для диагностики СПД

Структура и объем диссертации Диссертационная работа состоит из введения, четырех глав, заключения, изложенных на 191 странице, четырех приложений и списка использованной литературы (109 наименований)

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ Во введении обоснована актуальность темы исследования, сформулирована цель работы, изложены полученные автором основные результаты проведенных исследований, показана их научная новизна, практическая значимость, отражены основные положения, выносимые на защиту

В первой главе проведен анализ современных систем управления телекоммуникационных сетей, в том числе задач мониторинга, анализа и диагностики сетевых процессов На примерах из практики работы системно-

\

го администратора СПД регионального оператора связи показано, что эти задачи входят в критическое множество задач по управлению сетевыми ресурсами и для их решения требуется активное участие специалиста и использование различных (в том числе и компьютерных) систем обеспечения его деятельности Проведен анализ методов диагностики СЛ (сигнатурный, статистический, использование интеллектуальных (экспертных) систем, генетических алгоритмов, нейросетей и др) На основании сравнительного анализа моделей диагностики СА сделан вывод о целесообразности применения комплексного подхода к решению задач диагностики СПД, включающего статистические методы, в дополнении к применяющимся на практике сигнатурным системам, а в качестве советующей системы использовать интеллектуальную (экспертную) систему. Проведенный анализ существующих методов ППР для задач диагностики СПД позволил выбрать схему принятия решений в стандарте ЮЕРО

Практика показывает, что у должностных лиц, от которых напрямую зависит качество и надежность функционирования СПД, крайне мало времени на аналитическую работу, позволяющую избежать ошибок при принятии решений Лучшим вариантом организации поддержки деятельности лиц, принимающих решения (ЛПР), является создание вокруг них среды человеко-машинной поддержки, в которой главная роль отводилась бы ИСППР

На основании проведенного анализа направлений деятельности должностных лиц, управляющих функционированием СПД оператора связи, сделан вывод, что интеллектуальная составляющая занимает ведущее место в обеспечении принятия решений Это позволило выбрать интеллектуальную систему в качестве базы, а экспертную систему - как ядро ИСППР. Из всех моделей представления знаний при использовании в ИСППР для диагностики СПД была выбрана нечеткая продукционная модель. В заключении главы сформулированы цели и задачи исследования.

Во второй главе диссертации решены вопросы разработки математического обеспечения ИСППР на основе нечеткой логики для диагностики СПД Для реализации выбранного метода определения и идентификации СА разработаны модели сигнатурного и статистического анализаторов сетевого трафика, а для определения источников СА и выбора вариантов по их устранению - нечеткая интеллектуальная система Структура универсального сигнатурного анализатора потока пакетов сетевого трафика представлена на рисунке 1. Механизм функционирования сигнатурного анализатора включает два этапа: фильтрация и сборка фрагментов пакетов, распознавание СА по сигнатурам. Работа анализатора описывается следующей моделью Обозначим сетевой трафик, поступающий из модуля захвата пакетов, как поток в виде множества 5 = {5,}", где и — общее количество пакетов. Базу сигнатур представим в виде множества В, объединяющего кластеры типов сигнатур В, -- {Ь^}^, ] — 1, т

В = Вх и В2 и и Вт = и™!»;, (1)

где т — количество кластеров сигнатур, В1 — у-й кластер, являющийся множеством однотипных сигнатур; К - общее количество сигнатур в у-м кластере На вход модуля реагирования поступает сигнал только в том случае, если 51 £ В.

При разработке статистического анализатора была выбрана модель на основе анализа среднего значения и среднеквадратичного отклонения параметров сетевого трафика Данный метод основан на сравнении локальных (текущих) характеристик У^ потока пакетов с усредненными за некоторый промежуток времени (глобальными характеристиками) уь В качестве статистических характеристик потока пакетов используются выборочное среднее значение выборочная дисперсия (1г и критерий согласия X2 Если локальные характеристики значительно отличаются от глобальных, то делается вывод об аномальном поведении потока пакетов, и вполне

вероятны сбои в работе оборудования, ПО или нарушения политики безопасности. Структура статистического анализатора, реализующего данный метод диагностики СА, приведена на рисунке 2

Работа статистического анализатора описывается следующей моделью. Числовая величина Х4{лст{п < Х( < хтах} представляет собой некоторое событие (например поступление нового пакета) из потока событий, произошедшее в СПД в момент времени 1 = 1, ДО. Множество значений характеризуется средним значением х и дисперсией ах величины X Для определения локальных характеристик среднее значение X будем вычислять не для всего потока из N событий, а только для последних л событий С этой целью используется весовая функция Р(г), и значения локальных характеристик можно вычислять по следующей формуле

ЩЮ = р(г„ - О • /(*<) (2)

В качестве весовой функции F(zJ для нахождения была выбрана функция вида

ад = т^и ^г е*р(- (з)

где I - временной интервал, на котором вычисляются локальные характеристики, к3 - нормировочный коэффициент

Для определения локальных характеристик область возможных значений X разбивается на В интервалов [*„„„, Хтах) —> [л:0,д:1)...[д:д_11 хв), и подсчитываются частоты попадания в соответствующие интервалы не для всего потока, а только для п последних событий Локальные характеристики вычисляются по формулам (2) и (3)

Для выявления СА в потоке пакетов в качестве статистических характеристик используются

- выборочное среднее числовой величины £ = £?=1 хь • Уь, где хь = хь_х + хь/2 - середина интервала \хь_1^хь), Уь - локальная характеристика,

- выборочная дисперсия й2 = Т,ь=г(хь ~ Юг

- статистика х2 = п • 2ь=1 (Уь ~ Уь)2/Уь.

где уь - глобальная характеристика, определяемая на этапе настройки и обучения системы Сетевые

Рисунок 1 — Структура универсального сигнатурного анализатора

Сетевое

Сетевые адаптеры

Рисунок 2 — Структура статистического анализатора Признаком появления СА в потоке пакетов считается значительное отклонение локальных характеристик от глобальных Критериями присутствия СА считается превышение локальных характеристик установленных

пороговых значений. Для выборочного среднего таким критерием будет — £| > к • ах, где £ — математическое ожидание величины определяемое как $=Т,ь=1 'Уь> параметр к задает границы интервала, выход за пределы которого считается как СА Для выборочной дисперсии критерием аномальности в потоке пакетов считается А2 < 5д, где — задает нижнюю границу, выход за пределы которой воспринимается как СА Аналогично для статистики хг ^ Xо, где Х\ - установленное пороговое значение.

При разработке интеллектуальной системы, основанной на знаниях, была выбрана нечеткая модель Это связано с тем, что значительная часть информации о причинах и источниках СА может быть получена только экспертным путем или в виде эвристических описаний процессов Для определения источников СА СПД была представлена семиуровневой эталонной моделью 081 Эталонная модель делит задачу перемещения информации между компьютерами через среду сети на семь менее крупных и более легко разрешимых подзадач, каждая из которых решается с помощью одного уровня сети (физического, канального, транспортного и т д.). Поэтому первоначальная задача по диагностике СПД может быть представлена декомпозицией семи задач по диагностике отдельных уровней сети

Представим отдельный уровень СПД в виде нелинейного объекта с множеством входных переменных {*(}, 1 = 1, п и одной выходной переменной у.

У = /у(*1.*2- , *п) (4)

В качестве входных переменных {*(} выберем признаки источников СА. Выходная переменная у представляет собой показатель степени возможности состояния уровня сети.

В модели используются следующие допущения и ограничения - входные переменные {*[} в пределах одного уровня независимы,

- на каждом из уровней сети изолируются отдельные сетевые функции;

- модель не применима для сетей, не использующих идеологию OSI

Для установления зависимости между {*(} и у в соответствии с (4) будем использовать качественные термы из следующих терм-множеств, заданных на универсальном множестве

At = ja',..., aJ'J - терм-множество переменной {xj, i — 1 ,п;

D = {d1(. , dm} — терм-множество переменной у. Нечеткая база знаний (НБЗ) представлена базой знаний Мамдани с MISO-структурой

Up=1[n"=i(x, = af) с весом а>]Р] -»у = d,,j = 1 ,т, (5) где а(р- нечеткий терм, которым оценивается значение входа Xf, выход у оценивается нечетким термом dj, т — количество термов, используемых для лингвистической оценки выходных данных, й)]р £ [0,1] - весовой коэффициент правил в НБЗ с номером /р.

Логический вывод основывается на алгоритме нечеткого вывода Мамдани, формализованное обобщение которого представляется как.

- пусть (х^) — функция принадлежности входа хг ЕЕ [л^,^] нечеткому терму а[р, т е a'(p — f*' /ia'iP (xl)/xl (фаззификация переменной х{),

- 1*-а,(у) - функция принадлежности выхода у е [у»у] нечеткому терму-решению dj, те dj = ца1 (у) /у (фаззификация переменной у),

- степень принадлежности входа {*,} нечеткому терму dj из базы знаний (5) определяется следующей системой нечетких логических уравнений

/*"'(*.) = vj'=1 [лг=1/х^ (xt)] ,j = 1^

- нечеткое подмножество У, соответствующее входному вектору {*,}, определяется как у = \J™ifyTnin (jid> (ж,), fid' (у)) /у,

- четкое значение выхода у, соответствующее входу fo}, определяется в результате дефаззификации нечеткого у методом «центра тяжести» функции принадлежности1

у = fy Уfly (у) dy/ fyfiy dy-в случае количественных переменных xt и у,

у = 5л=1 Уь Py(y)/Y,i=1 jUyÖO - в случае качественных переменных xt и у, где к - число элементов в дискретизированной области D

Для улучшения НБЗ применяется метод оптимизации с использованием обучающей выборки Настраиваемыми параметрами являются веса правил и формы функций принадлежности Оптимизация проводится в два этапа первый этап - структурная идентификация, второй этап — параметрическая идентификация На этапе структурной идентификации осуществляется грубая настройка НБЗ по доступной экспертной информации (используются методы попарного сравнения) На этапе параметрической идентификации проводится тонкая настройка НБЗ с использованием обучающей выборки Согласно методу наименьших квадратов, настройка НБЗ Мамдани сводится к решению следующей задачи математического программирования необходимо найти такой вектор (Р, П), чтобы минимизировать целевую функцию CF (среднеквадратичную невязку) вида

CF = SQRT [¿2"i(yr - F(P, (l, Xr))2] min, (6)

где Xr - входной вектор в r-й паре обучающей выборки и уг - соответствующий выход, М — количество пар экспериментальных данных обучающей выборки, Р — вектор параметров функций принадлежности термов входных и выходной переменных, il — вектор весовых коэффициентов правил НБЗ

Задача (6) может быть решена различными технологиями нелинейной оптимизации, среди которых наиболее часто применяются градиентные методы, квазиныотоновские методы, методы квадратичного программирования и генетические алгоритмы

Третья глава посвящена разработке структуры, алгоритмической и программной реализации ИСППР для диагностики СПД При разработке структуры ИСППР были использованы методы объектно-ориентированного проектирования, включающего два вида деятельности проектирование структуры системы и проектирование элементов системы.

Комплексная ИСППР для диагностики СПД содержит набор функциональных компонент, позволяющих максимально автоматизировать и ускорить выработку управляющих воздействий при изменении ситуации в СПД В состав ИСППР (рисунок 3) входят- подсистема мониторинга, выполняющая процедуру сбора первичной информации о работе сетевого оборудования и ПО, источниками информации являются журналы событий, базы данных управляющей информации (базы М1В) маршрутизаторов, коммутаторов, межсетевых экранов и другого телекоммуникационного оборудования;

Рисунок 3 — Структура ИСППР для диагностики СПД

- блоки статистического и сигнатурного анализа, в основу статистического анализа положено вычисление локальных статистических характеристик потока пакетов по укороченной выборке, выборочного среднего выборочной дисперсии Лг, статистики X2, при нормальной работе СПД эти статистики не превышают глобальных значений, полученных на этапе

настройки и обучения системы, при возникновении СА их значения выходят за пределы установившего диапазона на величину Д„ определяющую степень серьезности 1-й СА; при проведении сигнатурного анализа осуществляется выявление СА в поступающих данных с помощью поиска соответствующих правил аномального поведения, содержащихся в периодически обновляемой базе сигнатур,

- нечеткая интеллектуальная система, принимающая информацию об обнаруженных СА, здесь происходит анализ источников СА и выработка предложений и управляющих воздействий по их устранению; структура НИС представлена на рисунке 4

В состав НИС входят 12 программных блоков, 7 из которых составляют собственно интеллектуальную систему, а остальные - среду разработки НИС Поясним назначение тех блоков, которые не упоминались ранее при описании модели НИС.

Блок модифицирования нечеткой базы знаний осуществляет задание функций принадлежности лингвистических термов методом Саати и заполнение НБЗ

Блок моделирования используется для получения графиков и поверхностей, отражающих зависимость выходной переменной от одной или двух входных переменных при фиксированных значениях остальных переменных Цель подобного моделирования состоит в исследовании поведения объекта в различных областях факторного пространства.

Блок настройки предназначен для решения задач оптимизации НБЗ в целях повышения качества идентификации нелинейных объектов Блок выполняет функции запроса обучающей выборки и решения задачи нелинейной оптимизации НБЗ

Блок тестирования осуществляет запрос тестирующей выборки и оценку качества идентификации в точках тестирующей выборки

Архив функций принадлежности содержит описание и набор

стандартных функций принадлежности

Процесс построения НИС выполняется по следующему алгоритму

- определение характеристик системы - задаются входные и выходные лингвистические переменные и их термы,

- определение функций принадлежности лингвистических термов,

- формирование НБЗ, описывающей поведение объекта,

- настройка НИС путем решения задач оптимизации с использованием обучающей выборки

! Среда разработки НИС I

Рисунок 4 - Структура нечеткой интеллектуальной системы

В результате нечеткого логического вывода получаются функции принадлежности выходной переменной каждому из классов решений В процессе моделирования инженер по знаниям и эксперт могут наблюдать за поведением моделируемого объекта в разных областях входных переменных Настройка модели по экспериментальным данным позволяет повысить адекватность НИС.

В данной главе представлена также алгоритмическая реализация

подсистемы мониторинга состояния СПД, статистического и сигнатурного анализаторов сетевого трафика Показаны структура и состав входных данных, используемых для контроля состояния сетевого оборудования и ПО, обоснован выбор инструментальных средств (Java и Fuzzy Logic Toolbox) для разработки ИСППР

В заключении главы изложены особенности программной реализации элементов ИСППР При разработке подсистемы мониторинга, статистического анализатора использован язык Java Для выполнения сигнатурного анализа сетевого трафика использован блок, реализующий эти функции в системе Snort Для его подключения к ИСППР разработан специализированный модуль вывода, встроенный в Snort В качестве среды разработки НИС выбран пакет Fuzzy Logic Toolbox среды MatLab

Четвертая глава диссертации посвящена экспериментальному исследованию разработанной ИСППР для диагностики СПД Для оценки эффективности функционирования ИСППР разработана система показателей эффективности (таблица 1)

Таблица 1 - Перечень показателей эффективности ИСППР

№ п/п Показатели эффективности Объекты оценки

А Ф ткциональная пригодность

1 Число одновременных источников, с которыми осуществляется работа Подсистема мониторинга

2 Тип выявляемых аномалий Сигнатурный анализатор Статистический анализатор

3 Коэффициент выявления сетевых аномалий ИСППР в целом

4 Коэффициент ложных срабатываний ИСППР в целом

В Оперативность

5 Продолжительность обработки поступающих в систему данных о состоянии элементов сети Подсистема мониторинга Сигнатурный анализатор Статистический анализатор

6 Время идентификации сетевых аномалий Сигнатурный анализатор Статистический анализатор

7 Время выработки управляющих действий для устранения аномалий Нечеткая интеллектуальная система

С Надежность

8 | Длительность работоспособного состояния | ИСППР в целом

О Экономичность

9 Стоимость разработки ИСППР в целом

10 Стоимость эксплуатации ИСППР в целом

11 Экономическая выгода от внедрения системы ИСППР в целом

Проверка работоспособности системы проводилась в ходе эксперимента в два этапа, первый этап - испытания системы на модели СПД, второй этап - проверка в реальных условиях на действующей сети

Модель сети построена на трех компьютерах: генератора трафика, генератора 8№ИР-информации телекоммуникационных устройств и генератора журналов событий, а также компьютера с установленньм на нем ПО ИСППР Работу сети обеспечивает специализированное ПО, предназначенное для эмуляции работы указанных генераторов

Таблица 2 - Результаты испытаний программных средств ИСППР

Показатели эффективности Значения показателей эффективности ИСППР

Модель сети | Реальная сеть

Число одновременных источников, с которыми осуществляется работа Не ограничено

Типы выявляемых С А Неисправности и сбои аппаратуры Блокировки и сбои ПО Ошибки конфигурирования Нарушения производительности оборудования

Продолжительность обработки поступающих в систему данных Подсистема мониторинга < 1 мс Сигнатурный апализатор < 1 мс Статистический анализатор < 1 мс

Время идентификации СА Сигнатурный анализатор < 1 мс Статистический анализатор - 1/10/15 мин

Время выработки управляющих действий для устранения СА <2 с

Длительность работоспособного состояния системы 240 часов (в период тестирования сбоев в работе ПО не было) 1440 часов (в период тестирования сбоев в работе ПО не было)

При испытании ИСППР в реальных условиях система была включена в действующую СПД В качестве источников информации о состоянии элементов СПД использовались следующие данные: поток пакетов сетевого трафика, журналы событий в формате Був^, базы данных управляю-

щей информации (MIB-I, MIB-II, а также MIB фирмы Cisco). Результаты испытаний ИСППР на модели и в реальных условиях представлены в таблице 2 и на графиках (рисунки 5, 6).

В работе приведены результаты эксперимента по настройке НБЗ НИС. Для настройки использовался пакет расширений Optimization Toolbox. Нелинейная оптимизация НБЗ Мамдани проводилась методом квадратичного программирования. Использовались две обучающие выборки. В качестве функций принадлежности были выбраны гауссовы кривые. Объем исследовательского прототипа НБЗ содержал 312 правил.

Коэффициент выявления СА Коэффициент ложных срабатываний

■ Модель сети * Реальная сеть Рисунок 5 - Диаграммы эффективности работы ИСППР по выявлению СА

100%

80% -■——-------------'."Г-______

60% ------------------ ""

40% 20%

0% -----

1 мин 10 15

мин мин

—Модель сети---Реальная сеть

Рисунок 6 - Зависимость коэффициента выявления СА от временных интервалов срабатывания статистического анализатора

Экономическая эффективность внедрения ИСППР для диагностики СПД оценивается соотношением затрат на ее разработку и эксплуатацию

и экономической прибыли, которую может принести система, своевременно обнаруживая и предотвращая нарушения работоспособности сети или ее отдельных узлов. Проведенные расчеты показали, что прямые затраты составят: на разработку ПО ИСППР - 387 200 рублей, на эксплуатацию системы в течение года — 247 200 рублей Экономическая выгода от внедрения системы только для одного узла СПД в год составляет 2 884 600 рублей

В заключении приводится обобщение основных результатов диссертационной работы

В приложениях приводятся листинг программы мониторинга СПД, акты внедрения результатов диссертации и свидетельство об официальной регистрации программы для ЭВМ

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

В диссертации разработана, апробирована на практике методика, математическое и программное обеспечение интеллектуальной СППР для задач диагностики СПД в условиях неполной информации Получены следующие научные и практические результаты

1. Проведен анализ существующих методов и приемов поддержки принятия решений для задач управления СПД оператора связи. Результатом данного исследования является вывод о необходимости создания человеко-машинной СППР, обеспечивающей информационную, вычислительную и интеллектуальную поддержку профессиональной деятельности должностных лиц

2. Исследованы современные методы диагностики СА (сигнатурный, статистический анализ, использование интеллектуальных систем, основанных на знаниях, нейросетей и генетических алгоритмов), определены их достоинства и недостатки Сделан вывод о необходимости применения комплексного подхода к решению задач диагностики СПД

3 Проведен анализ основных видов деятельности системных администраторов СПД оператора связи в виде множества задач. Проведено ранжирование задач по степени их важности Методами математической статистики проведено исследование наличия корреляционных связей между группами задач Определены критические задачи, связанные с обнаружением и устранением СА в работе ПО, оборудования и сетевых служб

4 Осуществлен сравнительный анализ моделей СППР, основанных на знаниях Сделан вывод о целесообразности выбора нечеткой интеллектуальной системы, как наиболее подходящей для решения нештатных задач, возникающих в процессе эксплуатации СПД

5. Разработаны математические модели сигнатурного и статистического анализаторов сетевого трафика Проведена оценка вычислительной сложности сигнатурного метода Разработана методика определения текущих статистических характеристик потока пакетов Определены критерии аномального поведения сетевого трафика

6 Обоснован выбор нечеткой модели представления знаний об источниках СА и НИС, способной обрабатывать нечеткую информацию о нештатных ситуациях в СПД Определены состав и характеристики входных и выходных лингвистических переменных. Разработана математическая модель НБЗ Мамдани отдельного уровня сети. Построена система логических уравнений, позволяющая вычислять значения функций принадлежности различных решений

7 Разработан метод диагностики СПД, основанный на детектировании и идентификации СА на каждом уровне сети

8 Разработана структура ИСППР для диагностики состояния СПД, реализующая проведение сигнатурного и статистического анализа сетевого трафика и работу НИС реагирования на нештатные сетевые ситуации.

9 Решена задача оптимизации нечеткой базы знаний методами структурной и параметрической идентификации С использованием средств Ор-

timization Toolbox среды MatLab построены таблицы весовых коэффициентов правил НБЗ на двух обучающих выборках и графики функций принадлежности нечетких термов входных и выходных переменных Тестирование нечеткой системы Мамдани после настройки свидетельствует о том, что база знаний хорошо описывает взаимосвязь признаков источников СА соответствующего уровня модели сети с выходным показателем.

10 Разработаны показатели эффективности функционирования созданной ИСППР. Проведен эксперимент по проверке работоспособности и эффективности использования ИСППР. Полученные оценки позволяют утверждать, что разработанная система обладает хорошими возможностями по обнаружению и идентификации СА.

11. Приведена экономическая оценка эффективности внедрения разработанной СППР по следующим частным показателям стоимость разработки, стоимость эксплуатации и экономическая выгода от внедрения системы Расчеты показали, что внедрение системы позволит сохранить оператору связи только на одном узле СПД более 2 800 ООО рублей в год

Основное содержание диссертации опубликовано в следующих работах:

1. Кучер А. В , Фещенко Д А, Луценко И Н. Об одном подходе к формализации процесса принятия решений по управлению системой защиты информации в АСУ И Межвуз сб науч тр № 3 — Краснодар: КВИ, 2002 -С 32-35

2 Данилюк С. 3., Кучер В А , Кучер А В Моделирование процессов ситуационного управления резервированием и восстановлением информации в АСУ // Тр Кубан. гос технол. ун-та. Сер «Информатика и управление^ XVIII Вып 2 -Краснодар:2003 -С.9-14

3 Кучер А. В., Частиков А П Использование интеллектуальных систем для управления сложными объектами // Научная мысль Кавказа Прил 7 -

Ростов-на-Дону. Изд-во Северо-Кавказского научного центра высшей школы,2005 - С.140-144.

4 Частиков А П, Кучер А В Управление вычислительными сетями с использованием интеллектуальных программных агентов // Тр Кубан гос. технол ун-та. Сер. «Информатика и управление». T. XXV. Вып. 3 - Краснодар 2005 -С. 107-112.

5 Частиков А П , Кучер А. В Применение экспертных систем для управления сложными объектами // Тр Кубан. гос. технол. ун-та. Сер. «Информатика и управление». Т XXV Вып.3 -Краснодар 2005 -С 165-168

6 Частиков А П, Кучер А В Интеллектуальные технологии в управлении сложными системами // Тр. П Всерос. конф. молодых ученых и студентов - Краснодар: Просвещение-Юг, 2005. - С 108-109

7 Частиков А П, Кучер А В Контроль работы вычислительной сети с использованием технологии глобального тестирования // Тр II Всерос конф молодых ученых и студентов. - Краснодар" Просвещение-Юг, 2005 -С 110-111

8 Частиков А П, Кучер А В Моделирование процессов управления вычислительными сетями // Научная мысль Кавказа Прил 6. - Ростов-на-Дону Изд-во Северо-Кавказского научного центра высшей школы, 2005 — С. 85-90.

9 Частиков А. П, Кучер А В. Управление безопасностью в критических информационных системах с использованием технологии экспертных систем // Тр V межведомственной науч -техн конф - Краснодар КВВУ (ВИ), 2005 -С 37-40

10 Частиков А П, Кучер А В Представление знаний и алгоритм функционирования машины вывода экспертной системы администратора безопасности вычислительной сети // Тр. V межведомственной науч-техн конф - Краснодар КВВУ (ВИ), 2005 -С. 185-188.

11 Кучер В А., Кучер А. В Обнаружение сетевых аномалий с использованием эталонных характеристик сети // Научная мысль Кавказа Прил 4. -Ростов-на-Дону Изд—во Северо-Кавказского научного центра высшей школы, 2006. - С. 149-152

12 Кучер А В. Система аудита сетевой активности на базе журналов событий межсетевого экрана CISCO PIX FIREWALL // Тр. III Всерос конф молодых ученых и студентов. - Краснодар Просвещение-Юг, 2006.—

С.194-196

13 Кучер А В Экспертная система поддержки принятия решений по управлению сетевой безопасностью // Тр Ш Всерос конф молодых ученых и студентов - Краснодар: Просвещение-Юг, 2006 - С 196-198

14 Кучер А В. К вопросу обнаружения сетевых девиаций с использованием эталонных характеристик вычислительной сети // Межвуз сб науч тр № 6. - Краснодар- КВВУ (ВИ), 2006. - С. 162-165

15. Частиков А П., Кучер А. В. Метод выявления сетевых аномалий с использованием модели OSI // Тр. IV Всерос конф молодых ученых и студентов — Краснодар Просвещение-Юг, 2007 — С. 152—154

16 Частиков А П, Кучер А В Интеллектуальная система диагностики состояния сети передачи данных // Тр. IV Всерос конф молодых ученых и студентов - Краснодар- Просвещение-Юг, 2007. - С 154-156

17 Свидетельство об официальной регистрации программы для ЭВМ № 2007611300. Система мониторинга состояния сети передачи данных / А В Кучер, А П. Частиков Заявл. 29 01 2007 Опубл. 27 03 2007

Оглавление автор диссертации — кандидата технических наук Кучер, Алексей Викторович

ВВЕДЕНИЕ

1 Обзор существующих решений и сущность проблемы мониторинга и диагностики сетей передачи данных регионального оператора связи

1.1 Анализ существующих систем управления сетями и место в них задач мониторинга и диагностики сетевых процессов

1.2 Анализ основных видов деятельности администратора сети передачи данных и экспертная оценка критического множества задач по управлению сетевыми ресурсами

1.3 Анализ существующих методов мониторинга и диагностики сетевых аномалий

1.3.1 Сигнатурный анализ

1.3.2 Статистические методы

1.3.3 Интеллектуальные системы

1.4 Анализ существующих методов и приемов поддержки принятия решений для задач мониторинга и диагностики состояния сети передачи данных

1.4.1 Обобщенная схема принятия решения

1.4.2 Типы управленческих решений и формы их поддержки

1.4.3 Требования к СППР должностных лиц предприятия связи по управлению сетью передачи данных

1.5 Характеристики и сравнительный анализ СППР, основанных на знаниях

1.5.1 Структура СППР, основанных на знаниях

1-.5.2 Классификация функциональных применений СППР, основанных на знаниях, в исследуемой предметной области

1.5.3 Организация знаний в базе знаний интеллектуальной системы

1.6 Цели и задачи исследования

1.7 Выводы

2 Теоретические основы и математическое обеспечение интеллектуальной СППР для диагностики состояния сети передачи данных

2.1 Математическая модель сигнатурного анализатора сетевого трафика

2.2 Математическая модель статистического анализатора сетевого трафика

2.3 Математическая модель нечеткой интеллектуальной системы для диагностики состояния сети передачи данных

2.3.1 Определение состава и характеристики входных и выходных переменных нечеткой интеллектуальной системы

2.3.2 Математическая модель нечеткой базы знаний

2.3.3 Модели функций принадлежности лингвистических переменных

2.3.4 Математическая модель системы нечеткого логического вывода и дефаззификация выходного показателя

2.3.5 Задача оптимизации нечеткой базы знаний и методы её решения

2.4 Выводы

Структура, состав, алгоритмическая и программная реализация интеллектуальной СППР для диагностики состояния сети передачи данных

3.1 Общие принципы построения и структурная схема интеллектуальной СППР для диагностики состояния сети передачи данных

3.2 Операционная схема методики разработки интеллектуальной СППР для диагностики состояния сети передачи данных

3.3 Выбор инструментальных средств разработки интеллектуальной СППР для диагностики состояния сети передачи данных

3.4 Алгоритмическая реализация интеллектуальной СППР для диагностики состояния сети передачи данных

3.4.1 Структура входных данных для мониторинга состояния сети передачи данных

3.4.2 Алгоритм мониторинга состояния сети передачи данных

3.4.3 Алгоритмическая реализация статистического анализатора

3.4.4 Алгоритмическая реализация сигнатурного анализатора

3.5 Разработка нечеткой интеллектуальной системы

3.5.1 Структурная схема нечеткой интеллектуальной системы

3.5.2 Процедура разработки нечеткой интеллектуальной системы

3.6 Особенности программной реализации СППР

3.7 Выводы

Экспериментальные исследования работоспособности и эффективности интеллектуальной СППР для диагностики состояния сети передачи данных

4.1 Методика тестирования и оценки эффективности программных средств интеллектуальной СППР

4.2 Результаты тестирования программных средств системы

4.3 Оценка работоспособности и эффективности программных средств системы

4.4 Оценка экономической эффективности внедрения интеллектуальной СППР

4.5 Настройка нечеткой базы знаний интеллектуальной системы

4.6 Выводы

Введение 2007 год, диссертация по информатике, вычислительной технике и управлению, Кучер, Алексей Викторович

Актуальность проблемы. Телекоммуникация и сетевые технологии являются в настоящее время той движущей силой, которая обеспечивает поступательное движение вперед всей мировой цивилизации. Сегодня практически нет ни одной области человеческой деятельности, которая не использовала бы возможности современных информационных технологий на базе телекоммуникаций.

В 1980-х годах произошло слияние отраслей компьютерных наук и передачи данных, коренным образом изменившее индустрию компьютерной передачи информации. В результате таких революционных объединений в области компьютерной передачи данных произошло следующее:

• практически отсутствуют значительные отличия между обработкой информации (которая выполняется на компьютере) и передачей данных (которая выполняется аппаратурой передачи и коммуникации);

• сгладились различия между многопроцессорными и однопроцессорными компьютерами, локальной, региональной и глобальной сетями;

• отсутствуют значительные отличия в передаче данных, голоса и изображения.

В настоящее время мы являемся свидетелями развития интегрированных мультисервисных сетей передачи данных (СПД), выполняющих обработку и передачу всех типов данных и информации, что позволяет легко получить доступ к этим ресурсам практически в любой точке мира. Поэтому справедливо рассматривать современную СПД как сеть телекоммуникационных услуг, которая обеспечивает предоставление таких услуг, как высокоскоростной и широкополосный доступ в Интернет (по выделенным и коммутируемым каналам связи), доступ к специализированным информационным системам (ИС), организация корпоративных сетей передачи данных, виртуальных частных сетей (VPN), предоставление сетевых сервисов виртуальных соединений, передача голоса с использованием технологии VoIP, Web-хостинг и др.

СПД, являясь сложной организационно-технической системой, должна обеспечить бесперебойную полноценную функциональность всех компонентов и гарантировать предоставление услуг пользователям независимо от времени суток.

Функционирование такой сложной системы обеспечивает система управления сетью, которая выполняет полный и непрерывный контроль за всеми элементами сети, своевременное обнаружение ошибок, неисправностей, сбоев и отказов оборудования, программного обеспечения, управление конфигурациями сетевых узлов, резервное копирование и восстановление всех элементов сети, управление сетевым трафиком и политикой безопасности.

С ростом размеров и топологии сети усложняется задача управления всеми процессами. Традиционный подход, который реализован в более простых СПД, основан на наблюдении за сетью и сборе информации (этот процесс называется мониторингом сети). В случае сложной сети трактовка результатов наблюдения - это задача для специалиста-эксперта по сетевому управлению. Эксперт, во-первых, должен отлично знать все используемое оборудование и программное обеспечение, чтобы быстро интерпретировать изменения каких-либо параметров. Во-вторых, он должен держать в уме всю топологию сети, чтобы быстро определить причину и источники таких изменений. В-третьих, при нарушении нормального режима функционирования сети, обычно, генерируется лавина сообщений и он должен уметь выделить из них существенные и отбросить те, которые являются следствием первых. Наконец, на нем лежит административный груз ответственности за эффективное использование огромных ресурсов (дорогостоящего оборудования, каналов связи, обслуживающего персонала). От его работы зависит экономическая эффективность предприятия.

Таким образом, сложное оборудование СПД, большой объем поступающей информации, трудность решения плохо формализуемых и слабо структурированных задач при отсутствии полной и достоверной информации о состоянии элементов сети, короткое время на анализ проблемных ситуаций и принятие решения приводят к несоответствию возможностей человека требованиям эффективно управлять сетью. Выход из данного положения заключается в создании систем поддержки принятия решений (СППР), которые помогали бы лицу, принимающему решения (ЛПР), вырабатывать и принимать рациональные решения. Все это касается и задач, связанных с поддержанием СПД в работоспособном состоянии, обеспечивающем предоставление пользователям сети услуг связи и информатизации в полном объеме.

В связи с этим, разработка и внедрение интеллектуальной СППР для диагностики состояния современной СПД является актуальной научно-технической задачей.

Кроме того, высокий уровень автоматизации и интеллектуализации системы позволит снизить нагрузку на специалистов по управлению СПД (сетевых администраторов), повысит эффективность их действий, увеличит надежность функционирования сети и снизит экономические риски для предприятия связи.

Объект исследования: сети передачи данных, управление которыми осуществляется в условиях неполной и нечеткой информации о сетевых процессах.

Предмет исследования: математическое и программное обеспечение системы поддержки принятия решений для управления диагностикой СПД в условиях отсутствия полной, четкой и достоверной информации о состоянии элементов сети и сетевых процессов.

Исходя из вышеизложенного, настоящая диссертационная работа посвящена разработке принципов функционирования и технологии создания комплексных интеллектуальных систем поддержки принятия решения, основанных на экспертных знаниях, предназначенных для мониторинга, анализа и диагностики состояния элементов мультисервисной сети передачи данных регионального оператора связи.

Целью диссертационной работы является разработка интеллектуальной СППР на базе комплексного подхода к проблеме диагностики состояния сети передачи данных, включающего использование методов сигнатурного и статистического анализа сетевого трафика для детектирования и идентификации сетевых аномалий, интеллектуальных (экспертных) систем реагирования на нештатные сетевые ситуации, а также создание моделей, алгоритмов и программ поддержки профессиональной деятельности специалистов-руководителей в области сетевого управления.

Для достижения этой цели в диссертационной работе решены следующие основные задачи:

• проведен анализ основных видов деятельности администраторов СПД регионального оператора связи по управлению программно-аппаратным комплексом и сетевыми службами;

• проведен анализ существующих методов диагностики сетевых аномалий, являющихся причинами нарушения нормального функционирования сети;

• исследованы существующие методы и приемы поддержки принятия решений для задач управления СПД (в том числе задачи анализа и диагностики элементов сети) регионального оператора связи;

• разработаны математические модели сигнатурного и статистического анализаторов потока пакетов сетевого трафика, нечеткой интеллектуальной (экспертной) системы анализа и реагирования на нештатные ситуации в СПД;

• разработан метод диагностики состояния СПД с использованием процедуры детектирования и идентификации сетевых аномалий на каждом уровне сети;

• разработан комплекс алгоритмов и программ: мониторинга состояния СПД, статистического анализа и детектирования сетевых аномалий;

• разработана интеллектуальная СППР на основе нечеткой логики для диагностики состояния элементов СПД;

• исследована эффективность разработанной интеллектуальной СППР с использованием следующих групп показателей: функциональная пригодность, оперативность, надежность, экономичность системы;

• разработана и внедрена в опытную эксплуатацию первая версия программного обеспечения интеллектуальной СППР для диагностики состояния элементов СПД.

Методы исследования. Теоретические исследования проведены с использованием методов теории управления, системного анализа, исследования операций, принятия решений, алгоритмизации, моделирования, оптимизации, инженерии знаний, нечетких множеств и нечеткой логики, математической статистики. Экспериментальная часть работы основана на методах машинного моделирования и вычислительного эксперимента с использованием языков программирования высокого уровня и системы математического моделирования MatLab.

Достоверность научных положений, выводов и рекомендаций диссертационной работы подтверждается полнотой и корректностью исходных посылок, теоретическим обоснованием, основанном на использовании проверенного математического аппарата, результатами экспериментальных исследований и внедрением полученных результатов в практическую деятельность.

Научная новизна проделанной работы заключается в том, что разработан новый подход к построению интеллектуальной СППР для мониторинга, анализа и диагностики состояния СПД, базирующийся на комплексном использовании методов статистического и сигнатурного анализа сетевых аномалий и нечеткой интеллектуальной (экспертной) системы реагирования на нештатные ситуации в сети. Разработаны модели, алгоритмы, доведенные до программной реализации, для решения профессиональных задач по управлению СПД регионального оператора связи.

Практическая ценность работы. Первая версия программного обеспечения для поддержки принятия решений по диагностике СПД после проведения тестирования, испытания и оценки специалистов передана в 2006 году в опытную эксплуатацию в Центр новых технологий (филиал «Южной телекоммуникационной компании»). Комплексный подход при разработке интеллектуальной

СППР, методики построения и оптимизации нечеткой базы знаний интеллектуальной системы используются в учебном процессе КубГТУ (на кафедре ВТиА-СУ, по дисциплине «Системы искусственного интеллекта»). По результатам проделанной работы получены два акта внедрения и свидетельство об официальной регистрации программ для ЭВМ.

Апробация работы. Основные положения работы апробированы на II, III и IV Всероссийский научных конференциях молодых ученых и студентов «Современное состояние и приоритеты развития фундаментальных наук в регионах» (Краснодар, 2005, 2006, 2007), II, III, IV и V Межведомственных научно-практических конференциях «Проблемы комплексного обеспечения защиты информации» (Краснодар, 2001,2002, 2003, 2005).

По теме диссертации опубликовано 16 работ, из них 10 статей (в том числе 3 - в изданиях, рекомендованных ВАК) и 6 тезисов докладов на вышеперечисленных конференциях.

Основные положения, выносимые на защиту:

• принципы построения и структура интеллектуальной системы поддержки принятия решений на основе нечеткой логики для диагностики состояния сети передачи данных;

• алгоритмы основных методов и этапов поддержки принятия решения для диагностики состояния сети передачи данных;

• модели статистического анализатора сетевого трафика и нечеткой интеллектуальной (экспертной) системы реагирования на нештатные сетевые ситуации;

• механизм применения метода структурной декомпозиции для диагностики компьютерных сетей передачи данных;

• программное обеспечение системы поддержки принятия решений для мониторинга и диагностики состояния сети передачи данных.

Личный вклад автора. Все основные научные результаты, структура и методика разработки интеллектуальной СППР, алгоритмы основных методов и этапов поддержки принятия решения для диагностики состояния СПД, модель нечеткой интеллектуальной (экспертной) системы, разработанные на их основе программные средства, экспериментальные исследования, приведенные в диссертации, получены автором лично.

Объем и структура работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованных источников из 109 наименований и 4 приложения на 26 страницах. Объем основного текста составляет 191 страницы машинописного текста, в том числе 58 рисунков и графиков, 22 таблицы.

Заключение диссертация на тему "Интеллектуальная система поддержки принятия решения на основе нечеткой логики для диагностики состояния сети передачи данных"

4.6 Выводы

В заключительной главе приведены результаты экспериментальных исследований работоспособности и эффективности интеллектуальной СППР для диагностики состояния СПД. Получены следующие результаты.

1. Определены показатели оценки эффективности функционирования разработанной СППР. Для оценки основных аспектов функционирования разработанной СППР были использованы четыре группы показателей эффективности: функциональная пригодность, оперативность, надежность, экономичность системы.

2. Проведен эксперимент по проверке работоспособности разработанной СППР, который состоял из двух этапов: на первом этапе проводились тестовые испытания системы на модели СПД, на втором этапе - на реально действующей сети оператора связи.

3. В качестве источников информации о состоянии сети при проведении испытаний использовались:

• сетевой трафик;

• журналы событий: журналы событий генерируемых программным обеспечением Cisco IOS, а также любые другие журналы событий в формате Syslog;

• базы данных управляющей информации телекоммуникационного оборудования (М1Вы): MIB-I, MIB-II, а также группа MIB фирмы Cisco.

4. Проведена оценка эффективности разработанной СППР. Полученные данные позволяют утверждать, что разработанная система обладает достаточно высоким коэффициентом обнаружения и идентификации сетевых аномалий (при испытании на модели сети процент выявления СА составлял около 90%, на реально действующей сети - 82%), приемлемым коэффициентом ложных срабатываний (на модели сети 14%, на реально действующей сети - 20%), может выявлять СА на всех уровнях СПД за достаточно короткое время.

5. Проведено испытание надежности программного обеспечения разработанной СППР. В течение установленного планом эксперимента времени (два месяца для реально действующей сети и 10 дней - на модели) сбоев и отказов в работе программного обеспечения не было.

6. Проведена экономическая оценка эффективности внедрения разработанной интеллектуальной СППР по следующим частным критериям: стоимость разработки, стоимость эксплуатации и экономическая выгода от внедрения системы. Расчеты показали, что расходы на создание и поддержку системы окупаются за первый год её эксплуатации, а предотвращение выхода из строя в течение года одного узла 5-ти раз (при времени простоя 10 часов - 2 часа на поиск причин СА и 8 часов на восстановление работоспособности узла) дает экономический эффект более 2 млн. 800 тыс. руб.

7. С использованием пакета расширения Optimization Toolbox системы математического моделирования MatLab, проведена оптимизация нечеткой базы знаний интеллектуальной системы, построены таблица весовых коэффициентов правил нечеткой базы знаний на двух обучающих выборках и графики функций принадлежности нечетких термов входных и выходных переменных.

8. Тестирование нечеткой системы Мамдани, после настройки, свидетельствует о том, что база знаний хорошо описывает взаимосвязь признаков источников сетевых аномалий, соответствующего уровня сети, с выходным показателем степени возможности состояния соответствующего уровня СПД.

ЗАКЛЮЧЕНИЕ

Основным научным результатом диссертационной работы является теоретическое обоснование, исследование методов построения и разработка интеллектуальной системы поддержки принятия решения на основе нечеткой логики для мониторинга, анализа и диагностики состояния программно-аппаратного комплекса мультисервисной сети передачи данных регионального оператора связи.

Основные теоретические и практические результаты работы заключаются в следующем.

1. Исследованы современные системы управления компьютерными сетями и место в них задач мониторинга, анализа и диагностики сетевых процессов. Проведен анализ существующих методов и приемов поддержки принятия решений для задач управления СПД регионального оператора связи. Результатом данного исследования является вывод о необходимости создания человеко-машинной системы поддержки принятия решений, обеспечивающей информационную, вычислительную и интеллектуальную поддержку профессиональной деятельности должностных лиц.

2. Исследованы современные методы диагностики сетевых аномалий (сигнатурный анализ, статистические методы, использование интеллектуальных (экспертных) систем, нейросетей и генетических алгоритмов), выявлены их достоинства и недостатки. Сделан вывод о необходимости использования комплексного подхода к решению задач анализа и диагностики состояния элементов сети передачи данных.

3. Проведен анализ основных видов деятельности администраторов СПД регионального оператора связи по управлению программно-аппаратным комплексом и сетевыми службами в виде множества задач. Проведено ранжирование задач по степени их важности. Методами математической статистики проведено исследование наличия корреляционных связей между группами задач.

Определены критические задачи, которые оказались связанные с обнаружением и устранением аномалий в работе программного обеспечения, оборудования и сетевых служб.

4. Проведен сравнительный анализ моделей СППР, основанных на знаниях. Сделан вывод о целесообразности из всех видов моделей выбрать нечеткую интеллектуальную систему, как наиболее подходящую в качестве советующей системы для решения нештатных нечетких задач, возникающих в процессе эксплуатации СПД.

5. Разработана математическая модель сигнатурного анализатора аномалий сетевого трафика. Проведена оценка вычислительной сложности сигнатурного метода и доказана возможность его использования в составе СППР для диагностики состояния СПД.

6. Разработана математическая модель статистического анализатора сетевого трафика на основе метода подбора параметров весовых функций для вычисления текущих статистических характеристик потока пакетов. Проведено обоснование выбора вида весовой функции и исследована её взаимосвязь с длиной выборки, достаточной для получения усредненных характеристик потока пакетов СПД.

7. Разработана методика определения текущих статистических характеристик потока сетевых пакетов: выборочное среднее выборочная дисперсия d2 и статистика/2. Определены критерии аномального поведения сетевого трафика.

8. Проведено обоснование выбора нечеткой модели представления знаний об источниках сетевых аномалий и нечеткой интеллектуальной (экспертной) системы, способной обрабатывать нечеткую информацию о нештатных ситуациях в рамках нечетких алгоритмов функционирования СПД. Определен состав и дана характеристика входных и выходных лингвистических переменных и их термов для построения нечеткой базы знаний с MISO-структурой.

9. Разработана математическая модель нечеткой базы знаний отдельного уровня модели сети как системы логических высказываний, связывающей значения входных переменных с одним из возможных состояний уровня СПД. Построена система логических уравнений, позволяющая вычислять значения функций принадлежности различных решений при фиксированных значениях выходных переменных.

10. Разработана математическая модель системы нечеткого логического вывода, основанная на использовании композиционного правила вывода Л.Заде. Обосновано использование нечеткого логического вывода Мамдани при нечетком значении входных переменных и метода дефаззификации (по методу «центра тяжести») выходного показателя.

11. Сформулирована задача оптимизации нечеткой базы знаний исследуемой предметной области и показаны пути её решения на основе структурной и параметрической идентификации.

12. Разработан метод диагностики состояния СПД, основанный на детектировании и идентификации аномалий на всех уровнях сети. Экспертным путем определены источники сетевых аномалий на каждом уровне сети.

13. Разработана структура интеллектуальной СППР для диагностики состояния СПД, реализующая проведение сигнатурного и статистического анализа сетевого трафика и работу нечеткой интеллектуальной системы в случае появления нештатной сетевой ситуации.

14. Проведен анализ и обоснован выбор объектно-ориентированного языка Java в качестве основного средства программирования СППР, позволяющего объединить разнородные элементы СППР между собой. Проанализированы современные средства разработки нечетких систем и сделан выбор в пользу пакета Fuzzy Logic Toolbox вычислительной среды MatLab, который позволяет осуществить эффективную разработку нечеткой интеллектуальной системы для диагностики состояния СПД.

15. Определены показатели эффективности функционирования разработанной СППР. Проведен эксперимент по проверке работоспособности и эффективности разработанной СППР. Полученные оценки позволяют утверждать, что разработанная система обладает надежным программным обеспечением, хорошими возможностями по обнаружению и идентификации сетевых аномалий, может выявлять и идентифицировать их на всех уровнях сети за приемлемое время.

16. Проведена экономическая оценка эффективности внедрения разработанной СППР по следующим показателям: стоимость разработки, стоимость эксплуатации и экономическая выгода от внедрения системы. Расчеты показали, что расходы на создание и поддержку системы окупаются за первый год её эксплуатации. Внедрение системы позволит сохранить региональному оператору связи только на одном узле или сегменте СПД более 2 млн. 800 тыс. руб. в год.

17. Проведена настройка нечеткой базы знаний интеллектуальной системы средствами Optimization Toolbox системы Matlab, построены таблицы весовых коэффициентов правил нечеткой базы знаний на двух обучающих выборках и графики функций принадлежности нечетких термов входных и выходных переменных. Тестирование нечеткой системы Мамдани, после настройки, свидетельствует о том, что база знаний хорошо описывает взаимосвязь признаков источников сетевых аномалий, соответствующего уровня модели сети, с выходным показателем степени возможности состояния соответствующего уровня модели СПД.

По теме диссертации опубликовано 16 печатных работ. Из них 10 статей (в том числе 3 в изданиях, рекомендованных ВАК) и 6 тезисов докладов на Всероссийских конференциях. На программные продукты, используемые в СППР, получено свидетельство об официальной регистрации программ для ЭВМ в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам.

Библиография Кучер, Алексей Викторович, диссертация по теме Системный анализ, управление и обработка информации (по отраслям)

1. Абрамовиц М., Стиган И. Справочник по специальным функциям. М.: Наука, 1979.-С.754.

2. Алиев Р.А., Абдикеев Н.М., Шахназаров М.М. Производственные системы с искусственным интеллектом. М.: Радио и связь, 1990. -264с.

3. Амато, Вито. Основы организации сетей Cisco, том 1.: Пер. с англ.- М.: Издательский дом «Вильяме», 2002. 512с.

4. Анфилатов B.C. Вычислительные системы. СПб.: Издательство ВУС, 1998.-278с.

5. Анфилатов B.C., Емельянов А.А., Кукушкин А.А. Системный анализ в управлении. М.: Финансы и статистика, 2003. - 368с.

6. Антамошин А.Н., Близнова О.В., Бобов А.В., Большаков А.А. и др. Интеллектуальные системы управления организационно-техническими системами.- М.: Горячая линия Телеком, 2006. - 160с.

7. Аттетков А.В., Галкин С.В., Зарубин B.C. Методы оптимизации: Учеб. для вузов/Под ред. Зарубина B.C., Крищенко А.П. М.: Издательство МГТУ имени Н.Э.Баумана, 2001. - 440с.

8. Афонин В.Л., Макушкин В.А. Интеллектуальные робототехнические системы. Курс лекций: Учеб пособие для студентов вузов. М.: Интернет-Университет Информационных Технологий, 2005. - 208с.

9. Баев Н.Н., Гордиенко С.А., Курицын С.А. Многоканальные системы передачи: Учеб. для вузов. М.: Радио и связь, 1997. - 560с.

10. Балдин К.В., Воробьев С.Н., Уткин В.Б. Управленческие решения. М.: Издательстко-торговая корпорация «Дашков и К», 2006. - 496с.

11. Банди Б. Методы оптимизации. Вводный курс: Пер. с англ. М.: Радио и связь, 1988,- 128с.

12. Беллман Р., Заде JI. Принятие решений в расплывчатых условиях. В кн. Вопросы анализа и процедуры принятия решений. М.: Мир, 1976. - С. 172215.

13. Борисов А.Н., Крумберг О.А., Федоров И.П. Принятие решений на основе нечетких моделей: примеры использования. Рига: Зинатне, 1990. - 184с.

14. Борисов В.В., Круглов В.В., Федулов А.С. Нечеткие модели и сети. М.: Горячая линия - Телеком, 2007. - 284с.

15. Борисов В.В., Бычков И.А., Дементьев А.В., Соловьев А.П., Федулов А.С. Компьютерная поддержка сложных организационно-технических систем. М.: Горячая линия - Телеком , 2002. - 154с.

16. Боровиков В. STATISTICA: искусство анализа данных на компьютере. Для профессионалов. СПб.: Питер, 2001. - 656с.

17. Брайдо B.JI. Вычислительные системы, сети и телекоммуникации. СПб.: Питер, 2002. - 688с.

18. Бугорский В.Н., Соколов Р.В. Экономика и проектирование информационных систем. СПб.: РИО «Роза мира», 1998. - 340с.

19. Варламов О.О. Эволюционные базы данных и знаний для адаптивного синтеза интеллектуальных систем. Миварное информационное пространство. -М.: Радио и связь, 2002. 288с.

20. Вентцель Е.С. Исследование операций. Задачи, принципы, методология: Учеб пособие для студ. втузов. М.: Высшая школа, 2001,- 208с.

21. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. СПб.: Питер, 2000. - 382с.

22. Галкин В.А., Григорьев Ю.А. Телекоммуникации и сети. М.: Издательство МГТУ имени Н.Э.Баумана, 2003. - 608с.

23. Гаранин М.В., Журавлев В.И., Кунегин С.В. Системы и сети передачи информации: Учеб. пособие для вузов. М.: Радио и связь, 2001. - 336с.

24. Геловани В.А., Башлыков А.А., Бритков В.Б., Вязилов Е.Д. Интеллектуальные системы поддержки принятия решений в нештатных ситуациях с использованием информации о состоянии природной среды. М.: Эдиториал УРСС, 2001.-304с.

25. Горяинов В.Б., Павлов И.В., Цветкова Г.М. и др. Математическая статистика: Учеб. для вузов / Под ред. Зарубина B.C., Крищенко А.П. М.: Издательство МГТУ имени Н.Э.Баумана, - 2001. - 424с.

26. Гроднев И.И., Верник С.М., Кочановский JI.H. Линии связи: Учеб. пособие для вузов. М.: Радио и связь, 1995. - 489с.

27. Дегтярев Ю.И. Методы оптимизации: Учеб. пособие для вузов. М.: Сов. радио, 1980.-272с.

28. Дегтярев Ю.И. Системный анализ и исследование операций. М.: Высшая школа, 1996. - 335с.

29. Демидова Л.А., Кираковский В.В., Пылькин А.Н. Алгоритмы и системы нечеткого вывода при решении задач диагностики городских инженерных коммуникаций в среде MATLAB. М.: Радио и связь, Горячая линия - Телеком, 2005.-365с.

30. Дж. Скотт Хогдал. Анализ и диагностика компьютерных сетей: пер. с англ. М.: Издательство «Лори», 2001. - 351с.

31. Гук М. Аппаратные средства IBM PC. Энциклопедия. СПб.: Питер 2000. -816с.

32. Гук М. Аппаратные средства локальных сетей. Энциклопедия. -СПб.: Питер,2002.-576с.

33. Ерофеев А.А., Поляков А.О. Интеллектуальные системы управленияю -СПб.: Издательство СПбГТУ, 1999. 265с.

34. Заде Л. Понятие лингвистической переменной и её применение к принятию приближенных решений. М.: Мир, 1976. - 167 с.

35. Керов Л.А., Частиков А.П., Юдин Ю.В., Юхтенко В.А. Экспертные системы: Инструментальные средства разработки: Учебное пособие. СПб.: Политехника, 1996.-220с.

36. Комашинский В.И., Смирнов Д.А. Нейронные сети и их применение в системах управления и связи. М.: Горячая линия - Телеком, 2003. - 94с.

37. Кофман А. Введение в теорию нечетких множеств: Пер. с франц. М.: Радио и связь, 1982. - 432с.

38. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. И.: Горячая линия -Телеком, 2002. - 382с.

39. Крухмалев В.В., Гордиенко В.Н., Иванов В.И. Проектирование и техническая эксплуатация систем передачи: Учеб. пособие для студентов вузов. М.: Радио и связь, 1996. - 344с.

40. Кукушкин А.А. Теоретические основы автоматизированного управления. 4.1: Основы анализа и оценки сложных систем. Орел: Издательство ВИПС, 1998.-254с.

41. Кукушкин А.А. Теоретические основы автоматизированного управления. 4.2: Основы управления и построения автоматизированных информационных систем. Орел: Издательство ВИПС, 1999. - 209с.

42. Кульгин М. Технологии корпоративных сетей. Энциклопедия. СПб.: Питер, 1999.-704с.

43. Кучер А.В., Фещенко Д.А., Луценко И.Н. Об одном подходе к формализации процесса принятия решений по управлению системой защиты информации в АСУ //межвузовский сборник научных трудов № 3. Краснодар: Издание КВИ, 2002. - С.32-35.

44. Кучер А.В., Частиков А.П. Использование интеллектуальных систем для управления сложными объектами // Научная мысль Кавказа. Приложение 7. -Ростов-на-Дону: Издательство Северо-Кавказского научного центра высшей школы, 2005.-С.140-144.

45. Кучер В.А., Кучер А.В. Обнаружение сетевых аномалий с использованием эталонных характеристик сети // Научная мысль Кавказа. Приложение 4. -Ростов-на-Дону: Издательство Северо-Кавказского научного центра высшей школы, 2006.-С.149-152.

46. Кучер А.В. К вопросу обнаружения сетевых девиаций с использованием эталонных характеристик вычислительной сети //Межвузовский сборник научных трудов № 6. Краснодар: Издательство КВВУ (ВИ), 2006. - С.162-165.

47. Лагоша Б.А., Емельянов А.А. Основы системного анализа. М.: Издательство МЭСИ, 1998.- 106с.

48. Лукацкий А.В. Обнаружение атак. СПб.: БХВ-Петербург, 2003. - 608 с.

49. Microsoft Corporation. Компьютерные сети. Учебный кур: Пер. с англ. -М.: Издательский отдел «Русская редакция» ТОО «Chanell Trading Ltd.». -1997.-696с.

50. Минаев Ю.Н., Филимонова О.Ю., Бенамеур Лиес. Методы и алгоритмы решения задач идентификации и прогнозирования в условиях неопределенности в нейросетевом логическом базисе. М.: Горячая линия - Телеком, 2003. -205с.

51. Михалин И.С., Шарыпова Т.Н. Принципы построения IP-сети и требования к качеству ее работы // Известия высших учебных заведений. Северо

52. Кавказский регион. Технические науки. Приложение №9. Ростов-на-Дону: Издательство РГУ, 2004. - С.8-15.

53. Нестеренко В.А. Статистические методы обнаружения нарушений безопасности в сети // Информационные процессы, Том 6, №3. Ростов-на-Дону: РГУ, 2006. - С.208-217.

54. Олифер В.Г., Олифер Н.А. Компьютерные сети. Принципы, технологии, протоколы, 0- СПб.: Питер, 2002. 672с.

55. Олифер В.Г., Олифер Н.А. Основы Сетей передачи данных. М.: ИНТУ-ИТ.РУ «Интернет-Университет Информационных Технологий», 2003. - 248с.

56. Прикладные нечеткие системы / Под ред. Т.Тэрано, К.Асаи, М.Сугэно. -М.: Мир, 1993.-368с.

57. Платонов В.А. Программно-аппаратные средства обеспечения информационной безопасности вычислительных сетей: Учеб. пособие. М.: Издательский центр «Академия», 2006. - 240с.

58. Попов Э.В., Фоминых И.Б., Кисель Е.Б., Шапот М.Д. Статические и динамические экспертные системы. М.: Финансы и статистика, 1996. - 320с.

59. Пятибратов А.П., Гудыно Л.П., Кириченко А.А. Вычислительные системы, сети и телекоммуникации. М.: Финансы и статистика, 2001. - 512с.

60. Ротштейн А.П. Интеллектуальные технологии идентификации: нечеткая логика, генетические алгоритмы, нейронные сети. Винница: УН1ВЕРСУМ-Вшниця, 1999.-320с.

61. Ротштейн А.П. Кательников Д.И. Идентификация нелинейных зависимостей нечеткими базами знаний // Кибернетика и системный анализ. 1998. -№5. - С.53-61.

62. Ротштейн А.П., Штовба С.Д. Влияние методов дефаззификации на скорость настройки нечеткой модели // Кибернетика и системный анализ. -2002. -№5.-С. 169-176.

63. Рутковская Д., Пилиньский М., Рутковский JI. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польск. М.: Горячая линия - Телеком, 2004.-452с.

64. Симанков B.C., Луценко Е.В. Адаптивное управление сложными системами на основе теории распознавания образов. Краснодар: Издательство КубГТУ, 1999.-318с.

65. Скиба В.Ю., Ухлинов Л.М. Базовые модели СППР по управлению безопасностью (сохранностью) информации // Известия Академии Наук. Теория и системы управления, 1995., №1. С.139-148.

66. Скотт К. Унифицированный процесс. Основные концепции: Пер. с англ. -М.: Издательский дом «Вильяме», 2002. 160с.

67. Столлингс, Вильям. Компьютерные системы передачи данных, 6-е издание: Пер. с англ. М.: Издательский дом «Вильяме», 2002. - 928с.

68. Тарков М.С. Нейрокомпьютерные системы: учебное пособие. М.: Интернет-Университет Информационных Технологий; БИНОМ. Лаборатория знаний, 2006. - 142с.

69. Тельнов Ю.Ф. Интеллектуальные информационные системы в экономике. -М.: СИНТЕГ, 2002.-316с.

70. Трахтенгерц Э.А. Компьютерная поддержка принятия решений: Научно-практическое издание. Серия «Информатизация России на пороге XXI века». -М.: СИНТЕГ, 1998,-376с.

71. Трахтенгерц Э.А. Компьютерная поддержка переговоров при согласовании управленческих решений. Серия «Системы и проблемы управления». М.: СИНТЕГ, 2003.-284с.

72. Трахтенгерц Э.А. Компьютерная поддержка формирования целей и стратегий. Серия «Системы и проблемы управления». М.: СИНТЕГ, 2005. - 224с.

73. Трахтенгерц Э.А., Шершаков В.М., Камаев Д.А. Компьютерная поддержка управления ликвидацией последствий радиационного воздействия. Серия «Системы и проблемы управления». М.: СИНТЕГ, 2004. - 460с.

74. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления: Учебное пособие для вузов. М.: Высшая школа, 2002. - 183с.

75. Усков А.А., Кузьмин А.В.Интеллектуальные технологии управления, искусственные нейронные сети и нечеткая логика. М.: Горячая линия - Телеком, 2004. - 143с.

76. Частиков А.П., Алешин А.В., Дедкова Т.Г. Системы искусственного интеллекта. От теории к практике: Учебное пособие. Краснодар: Издательство КубГТУ, 1998.- 166с.

77. Частиков А.П., Волков С.С. Интеллектуальные поисковые системы: Учебное пособие. Краснодар: Просвещение-Юг, 2001. - 316с.

78. Частиков А.П., Костенко К.И., Леднева И.Ю., Частикова В.А., Никонов В.О. Интеллектуальные информационные системы: Учебное пособие. Краснодар: Просвещение-Юг, 2005. - 327с.

79. Частиков А.П., Кучер А.В. Управление вычислительными сетями с использованием интеллектуальных программных агентов // Научный журнал «Труды КубГТУ», Серия: Информатика и управление. Том XXV, вып. 3. -Краснодар: Издательство КубГТУ, 2005. С. 107-112.

80. Частиков А.П., Кучер А.В. Применение экспертных систем для управления сложными объектами // Научный журнал «Труды КубГТУ», Серия: Информатика и управление. Том XXV, вып. 3. Краснодар: Издательство КубГТУ, 2005. - С.165-168.

81. Частиков А.П., Кучер А.В. Моделирование процессов управления вычислительными сетями // Научная мысль Кавказа. Приложение 6. Ростов-на-Дону: Издательство Северо-Кавказского научного центра высшей школы, 2005. -С.85-90.

82. Чубукова И.А. Data Mining: Учеб. Пособие. М.: Интернет-Университет Информационных Технологий; БИНОМ. Лаборатория знаний, 2006,- 382с.

83. Халсалл Ф. Передача данных, сети компьютеров и взаимосвязь открытых систем. М.: Радио и связь, 1995. - 408с.

84. Штовба С.Д. Проектирование нечетких систем средствами MATLAB. -М.: Горячая линия Телеком, 2007. - 288с.

85. Штовба С.Д. Идентификация нелинейных зависимостей с помощью нечеткого логического вывода в системе MATLAB // Exponenta Pro: Математика в приложениях. -2003. №2. -С.9-15.

86. Штовба С.Д. Классификация объектов на основе нечеткого вывода // Exponenta Pro: Математика в приложениях. 2004. - №1. - С.68-69.

87. Якубайтис Э.А. Информационные сети и системы. Справочная книга. -М.: Финансы и статистика. 1996. 386с.

88. Ярмоленко A.M. Принципы построения экспертной системы администратора вычислительной сети // Моделирование и управление в распределенных вычислительных сетях. Киев: Наукова думка, 1989. - С.33-36.

89. Яхъяева Г.Э. Нечеткие множества и нейронные сети: Учеб. пособие. М.: Интернет-Университет Информационных Технологий; БИНОМ. Лаборатория знаний, 2006. - 316с.

90. Fuzzy Logic Toolbox. User's Guide, Version 2.1 The Math Work, Inc., 2001.

91. Kosko B. Fuzzy Systems as Universal Approximator // IEEE Trans, on Computers. 1994.-Vol.43. - № 11.-PP. 1329-1333.

92. Kwitt R. A Statistical Anomaly Detection Approach for Detection Network Attacks. 14th December, 2004.

93. Mamdani E.H., Assilian S. An Experiment in Linguistic Synthesis with Fuzzy Logic Controller// Int. J. Man-Machine Studies. 1975. - Vol. 7. - № 1. - PP. 1-13.

94. Mamdani E.H. Aplication of Fuzzy Logic to Approximate Reasoning Using Linguistic Systems //Fuzzy Sets and Systems. 1977. - Vol. 26. - PP.1182-1191.

95. Optimization Toolbox. User's Guide, Version 2. Math Works, Inc. 1999.

96. Takagi Т., Sugeno M. Fuzzy Identification of Systems and Its Application to Modeling and Control // IEEE Trans. Of Systems, Man, and Cybernetics. 1985. — Vol. 15. - №1. - PP.116-132.

97. Thottan M., Ji C. Anomaly Detection in IP Networks // IEEE Transactions on singnal processing. -2003. Vol. 51. - №8. -PP.2191-2204.

98. Zhang L., White G. Analysis of Payload Based Application Level Networkth

99. Anomaly Detection // 40 Hawaii International Conference on System Science. -2007.

100. Huang L., Nguyen X., Garofalakis M., Jordan M., Joseph A., Taft N. Distributed PC A and Network Anomaly Detection // EECS Department, University of California, Technical Report No. UCB/EECS-2006-99.

101. Mahoney M., Chan P. Learning Rules for Anomaly Detection of Hostile Network Traffic // ICDM 2003. PP.601-604.

102. Ли К. Java обгоняет по производительности С++. http ://kano .net/j avabench/.