автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка математического и программного обеспечения активного мониторинга корпоративных компьютерных сетей

На правах рукописи

ЕРЕМЕЕВ Валерий Борисович

2 0 АВ Г 2009

РАЗРАБОТКА МАТЕМАТИЧЕСКОГО И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ АКТИВНОГО МОНИТОРИНГА КОРПОРАТИВНЫХ КОМПЬЮТЕРНЫХ СЕТЕЙ

Специальность: 05.13.11 - Математическое и программное

обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Воронеж - 2009

003475238

Работа выполнена в НОУ ВПО "Международный институт компьютерных технологий"

Научный руководитель доктор физико-математических наук,

профессор

Блюмин Семен Львович

Официальные оппоненты:

доктор технических наук, профессор

Кравед Олег Яковлевич;

кандидат технических наук Матвеенко Иван Михайлович

Ведущая организация ГОУ ВПО "Рязанский государственный

радиотехнический университет"

Защита состоится 24 сентября 2009 г. в Ю00 часов в конференц-зале на заседании диссертационного совета Д212.037.01 ГОУ ВПО "Воронежский государственный технический университет" по адресу: 394026, г.Воронеж, Московский просп., 14.

С диссертацией можно ознакомиться в научно-технической библиотеке ГОУ ВПО "Воронежский государственный технический университет".

Автореферат разослан «3/» июля 2009 г.

Ученый секретарь диссертационного совета

Питолин В.М.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Высокоскоростные корпоративные компьютерные сети играют в настоящее время все более важную роль. Они стали неотъемлемой частью инфраструктуры большинства предприятий. Сбои и отказы в компьютерных сетях приводят к нарушению технологических процессов, процессов управления предприятием, значительным финансовым потерям.

Современные компьютерные сети отличаются сложностью физической и логической топологии и организации. Ключевой составляющей обеспечения их эффективного функционирования является наличие систем мониторинга и управления.

В свою очередь, одной из основных целей мониторинга является оперативное обнаружение аномалий в работе сети, влияющих на потоки трафика, таких как отказы, изменения конфигурации, перегрузки и запрещенные воздействия.

Распознавание и идентификация аномалий зачастую базируются на методах, представляющих собой практический опыт, полученный специалистом при администрировании сети (так называемых методах ad hoc). Существуют различные коммерческие и свободно распространяемые инструменты, однако они требуют задания самим пользователем правил или пороговых значений для срабатывания предупреждающих сигналов. Можно сказать, что подавляющее число современных систем не могут гарантировать обнаружение и, тем более, прогнозирование аномалий, что обусловлено несовершенством заложенных в них методов и алгоритмов. Следовательно, любой сбой, отказ, перегрузка для таких сетей всегда является неожиданным и непредсказуемым, что существенно усложняет задачу ликвидации последствий этих сбоев и делает невозможной задачу предотвращения критических ситуаций.

Таким образом, разработка эффективных методов и средств прогнозирования состояний компьютерной сети, разработка специального программного обеспечения мониторинга корпоративной сети для выявления аномалий является весьма актуальной задачей.

Диссертационная работа выполнена в рамках научного направления НОУ ВПО «Международный институт компьютерных технологий» «Математический анализ сложных систем».

Цель работы. Целью диссертационной работы является разработка прикладного математического и программного обеспечения мониторинга и прогнозирования состояния корпоративной компьютерной сети для выявления аномалий в ее поведении на основе теоретического и экспериментального исследования в области программных средств организации и управления обработкой данных мониторинга компьютерных сетей.

Для достижения указанной цели были поставлены и решены следующие задачи исследования:

1. Анализ существующих методов и средств мониторинга компьютерных сетей.

2. Разработка математической модели прогнозирования состояния корпоративной компьютерной сети, позволяющей учесть оптимальную глубину памяти и нестационарность наблюдаемого процесса.

3. Создание на основе этой модели алгоритма детектирования потенциально опасных отклонений поведения наблюдаемых сетевых показателей от типового профиля их поведения.

4. Создание структуры специального программного обеспечения мониторинга ■ компьютерной сети, обеспечивающего задание типового профиля поведения.

5. Экспериментальная проверка разработанных средств на данных мониторинга корпоративной сети и проведение сравнительного анализа с другими моделями.

Методы исследования. В работе использованы методы теории вероятностей, математической статистики, анализа временных рядов, теории марковских процессов, объектно-ориентированного программирования.

Научная новизна. В диссертационной работе получены следующие результаты, характеризующиеся научной новизной:

-метод активного мониторинга корпоративной компьютерной сети, отличающийся представлением наблюдаемых сетевых показателей как совокупностей реализаций случайных процессов и позволяющий применить аппарат теории вероятностей, математической статистики и анализа временных рядов для их прогнозирования;

-алгоритм оценки наличия памяти и старения данных о наблюдаемом процессе, позволяющий определить оптимальную значимую глубину обращения в прошлое;

-вероятностная модель прогнозирования состояния компьютерной сегги, позволяющая учесть оптимальную глубину памяти и нестационарность наблюдаемого процесса и отличающаяся использованием массивов исходных автокоррелированных данных и методов решения задач классификации и снижения размерности;

-алгоритм детектирования потенциально опасных отклонений от типового профиля поведения наблюдаемых переменных, отличающийся использованием разработанной вероятностной модели прогнозирования и позволяющий охватить все возможные состояния наблюдаемых переменных;

-структура специального программного обеспечения мониторинга компьютерной сети, обеспечивающего задание профиля типового поведения, отличающаяся возможностью периодизации любой наблюдаемой сетевой переменной.

Практическая значимость заключается в повышении эффективности математического и программного обеспечения мониторинга компьютерных сетей предприятий. В рамках диссертационного исследования разработано программное обеспечение мониторинга и построения типового профиля поведения

компьютерной сети, позволяющее осуществлять наблюдение показателей информационных управляющих баз (МЮ) управляемых сетевых устройств и производить гибкую, интересующую сетевого специалиста периодизацию собранных данных, которая позволяет получить основу типового профиля поведения сети.

Реализация и внедрение результатов работы. Разработанное программное обеспечение внедрено в Дирекции по информационным технологиям ОАО «Новолипецкий металлургический комбинат». Данное программное обеспечение, предназначенное для наблюдения М1В-переменных и построения профиля их типового поведения при штатном функционировании корпоративной компьютерной сети, используется в качестве средства мониторинга.

Результаты диссертационной работы используются в учебном процессе Липецкого филиала Международного института компьютерных технологий при подготовке инженеров по специальности 230101 «Вычислительные машины, комплексы, системы и сети».

Апробация работы. Материалы работы, ее основные теоретические и практические результаты докладывались и обсуждались на Международных, Всероссийских и региональных конференциях, в том числе XI Международной открытой научной конференции «Современные проблемы информатизации в информационных системах и телекоммуникациях» (Воронеж, 2006), Международной научной конференции «Компьютерные технологии в технике и экономике» (Воронеж, 2007), Всероссийской молодежной конференции по проблемам управления (Москва, 2008), Международной научной конференции «Информационные технологии и системы» (Геленджик, 2008), V Всероссийской школе-семинаре молодых ученых «Управление большими системами» (Липецк, 2008).

Публикации. По материалам диссертации опубликовано 11 научных работ, в том числе 1 - в издании, рекомендованном ВАК РФ. В работах, опубликованных в соавторстве и приведенных в конце автореферата, лично соискателю принадлежат: [1] - метод активного мониторинга вычислительной сети и вероятностная модель прогнозирования, [11] - алгоритм периодизации данных мониторинга.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 121 наименования, 7 приложений. Основная часть работы изложена на 147 страницах, содержит 38 рисунков и 20 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность работы, определены цель и задачи диссертационного исследования, раскрывается его научная новизна и практическая значимость.

В первой главе диссертации рассмотрены и проанализированы существующие методы и средства мониторинга компьютерных сетей.

В зависимости от подходов, лежащих в их основе, все методы мониторинга и диагностирования вычислительных сетей можно разделить на две категории:

-методы ad hoc;

-методы, основанные на математическом моделировании процессов поведения трафика или иных сетевых показателей.

Первые опираются на опыт сетевого инженера (администратора). При этом характерно использование субъективных критериев оценки функционирования компьютерной сети.

Основным подходом для вторых является использование теории случайных процессов.

Все методы обнаружения сетевых аномалий и системы на их основе могут быть также разделены на две группы: -сигнатурные; -детектирования аномалий.

Сигнатурные методы выявляют аномалии по известным признакам (сигнатурам). Очевидным недостатком сигнатурного метода обнаружения является способность выявлять только известные типы аномалий. Таким образом, новые типы аномалий будут оставаться незамеченными.

Методы детектирования аномалий направлены на выявление в работе сети признаков, не свойственных ее "нормальному" функционированию. При этом под аномалией понимается отклонение от типового поведения компьютерной сети.

Основной идеей методов детектирования аномалий является задание типового профиля поведения - множества некоторых параметров вычислительной сети, характеризующих ее поведение при "нормальном" функционировании. Отклонение от этих параметров является указанием на наличие аномалии. При этом идентификации самой аномалии не производится.

В основу разрабатываемого математического и программного обеспечения положен именно подход детектирования, так как он потенциально способен обнаруживать неизвестные типы аномальных состояний.

Общий алгоритм детектирования аномалий может быть декомпозирован на три основные части:

1) алгоритм прогнозирования значений наблюдаемых сетевых показателей на один шаг;

2) измерение отклонений между прогнозными значениями и наблюдаемыми;

3) механизм (набор решающих правил), определяющий, является ли наблюдаемое значение (или последовательность значений) "слишком" отклоняющимся от прогнозного (соответствующего типовому профилю поведения сети).

Таким образом, одной из основных задач в алгоритме детектирования аномалий является прогнозирование. Недостатки применяемых моделей прогнозирования обусловлены: -старением данных; -нестационарностыо процесса; -наличием памяти (автокорелляции) процесса.

Повысить точность прогнозирования может определение глубины памяти наблюдаемого процесса (порядка модели), как свободной от устаревших данных, так и не теряющей актуальных данных. Более того, для учета нестационарности процесса может быть использован переменный порядок модели.

Во второй главе разрабатывается математическое обеспечение активного мониторинга компьютерной сети, устраняющее недостатки применяющихся моделей прогнозирования, в частности, построена вероятностная модель прогнозирования, позволяющая учесть оптимальную глубину памяти и нестационарность наблюдаемого процесса. Предложен метод активного мониторинга корпоративной компьютерной сети, основанный на проведении гибкой периодизации исходных статистических данных. Основанием возможности применения периодизации является идея рандомизированного моделирования, а также определенные ограничения области применения разработанного инструментария активного мониторинга компьютерной сети - наблюдение "ключевых" элементов сети: интерфейсов магистральных маршрутизаторов, портов "Up-link" корневых коммутаторов, каналов серверных ферм и т.п., - элементов сети, через которые проходят агрегированные, достаточно устойчивые потоки трафика.

Основные положения предложенного метода заключаются в следующем. Для анализа состояния сети предлагается использовать наблюдение и прогнозирование значений MIB-переменных сетевых устройств на основе считанных значений, получаемых в ответ на запросы по протоколу SNMP. Вводятся адреса наблюдаемых сетевых устройств и OID-идентификаторы переменных. Для переменных задается общее время мониторинга Тмон и шаг накопления At - временной интервал, через который происходит считывание значении MIB-переменных Var,{t) и преобразование к виду Кдг,*(Дг¡) (усредненные значения на шаге) на протяжении ТЛЮИ (рис.1).

Периодизация данных с интересующим сетевого специалиста временным интервалом Т,:аб_, дает возможность представить наблюдаемый нестационарный случайный процесс ансамблем из К реализаций, каждая из которых состоит из N шагов на Тш6л (рис.1).

В разрабатываемом методе наблюдаемая сетевая переменная Var * характеризуется конечным числом M возможных состояний (соответствующих состояниям марковских моделей, сравнение с которыми проводится в данной работе; связь состояний разрабатываемой модели со значениями переменной представлена ниже). Так как переменная шаг за шагом случайным образом меняет свое состояние, то имеют место переходы smi(1) —> sm2(2)—> sm3( —► SmN^ здесь smjü> - состояние smj на j-ом шаге.

При переходе с некоторого шага на следующий наблюдаемая переменная может перейти из некоторого состояния .у„ в любое другое, в том числе, и остаться в состоянии sm.

to f/v to tN to

«Atvl« AtJ ...... Тнаб! L.% Tfiponl «AtJ«AfrJ ...... THa62 LA Tnpon2 «At,J ....... « ТиабЗ время

TMOH

Рис.1. Разбиение времени мониторинга Тмт на шаги и непримыкающие периоды наблюдения Т„аг1,

Учитывая это, исходя из определения условной вероятности, если процесс является (с/+/)-связным, то есть если на состояние системы sm(j+1)(/+,) на шаге Дtj.4 основное влияние оказывают результаты (d+1) предыдущих испытаний, то можно записать:

M-sH^pisH^)- П(i)

i=n-d+1

Формула (1) позволяет осуществить статистическое прогнозирование состояния сети (состояний наблюдаемых сетевых переменных) в случае, если построение типового профиля поведения данной сети принципиально возможно, то есть в случае получения устойчивой совокупности реализаций, что определяется после выполнения периодизации. Для данного соотношения необходимо нахождение оптимальной глубины обращения в прошлое d, а также необходимо задаться состояниями наблюдаемых переменных.

Задание состояний наблюдаемой величины может быть рассмотрено как задача неравномерного оптимального квантования.

Для этого необходимо выбрать такой набор пороговых уровней гп, что если < x<rm, то исходный отсчет х заменяется натуральным числом, равным уровню квантования; данное число и рассматривается как состояние переменной.

Уровни квантования и пороговые уровни выбираются так, чтобы уменьшить до минимума среднеквадратическую ошибку квантования.

Для решения проблемы оценки наличия памяти наблюдаемого процесса и старения данных был использован метод финальной ошибки прогнозирования, который в данном случае формулировался следующим образом.

Пусть имеется массив данных U, представляемый в виде: U = {T-X} = {(t,x()},Ut<j.

В качестве проверочного подмассива F выделяется последнее (финальное) значение данного временного ряда F- (/', Xj). В качестве совокупности текущих подмассивов PaU\F используются подряды:

P = {(t,x,)}, j-\-d!p<t<j-\, 1 <dzdv, d^j-\-t!p. (2)

Для каждого подряда определяются параметры:

(¿>,(йГ),62(аг)>63(аг))= агёшт £(61+62/ + 63Г2-*,)2 • (3)

По найденным в (3) параметрам определяется глубина обращения в прошлое:

сГ + (4)

которая минимизирует критерий финальной ошибки прогнозирования.

Переход от массива исходных данных к массиву и осуществляется усреднением на шагах по ансамблю реализаций К\

хср(^У= = ЦУ; (5)

х,(Аф - значение элемента массива исходных данных для /-ой реализации нау-ом шаге. Массив {(А/,-, л-ср(Д/;))} рассматривается в качестве массива {/.

Приведенная формулировка критерия финальной ошибки прогнозирования, выражения (2)-(5) лежат в основе созданного алгоритма нахождения оптимальной значимой глубины обращения в прошлое, позволяющего оценить наличие памяти наблюдаемого процесса и устаревание данных.

Построение вероятностной модели прогнозирования заключается в следующем.

Зафиксированные значения наблюдаемой переменной можно представить в виде массива состояний на шагах для различных реализаций X.

Для каждого из шагов _/></, где а - оптимальная глубина обращения к значениям прошлых шагов, предшествующих шагу у, может быть составлена матрица зарегистрированных состояний размером (с! +2)*К. Элементы матрицы представляют собой состояния наблюдаемой случайной величины на шагах (/-с/), (/-</+/),..., (/'+1) для всех полученных реализаций 1,..., К.

Для шагов j<d матрица имеет размеры (¡+1)хК.

Массив А может содержать равные векторы предшествующих состояний для разных реализаций:

= = \К/п = \К. (6)

Составим массив В неповторяющихся сочетаний состояний, предшествующих шагу (/'+/), размерностью 2хс, где с - общее число таких сочетаний. Таким образом, построение массива В^+у представляет собой решение задачи снижения размерности массива на основе соотношения (6), то есть на основе дублирования информации. Первый столбец содержит векторы предшествующих состояний из массива А* без повторов ' (/ = 1,..,с), а второй - число повторов конкретного состояния [5^]'_соип1: в массиве А*;

¿№"]' __соиЫ = К.

<=1

Для вероятностного прогнозирования состояния случайной величины на шаге (¡+1) по данным массивов А* и В составим массив С, содержащий с строк, соответствующих предшествующим сочетаниям массива В, и переменное число

столбцов. Первый столбец массива С содержит число уникальных состояний $кп на шаге (/'+/) для соответствующего сочетания массива В. Остальные столбцы содержат состояния наблюдаемой переменной на шаге (/+-0 при уникальном сочетании в массиве В, число повторов данных состояний Кгм]' __соиМ и вероятность их появления КК!,»]') при уникальном сочетании.

Следует заметить, что

^соиш^г^соиш- д = (7)

'=1

Вероятность появления на шаге {¡+1) состояния [¿о»,^1']7 при условии того, что на предыдущих <1 шагах система находилась в состояниях, дающих сочетание может быть определена как

(8)

Массивы А, А*, В, С представляют собой вероятностную модель прогнозирования состояния случайной величины на шаге Ц+1), позволяющую учесть оптимальную глубину памяти и нестационарность наблюдаемого процесса и отличающуюся использованием массивов исходных автокоррелированных данных и методов решения задач классификации и снижения размерности.

Определение степени отклонения от типового профиля наблюдаемой переменной основано на рассмотрении областей возможного попадания значений переменной, определяемых взаимным расположением граничных значений доверительного интервала и интервала квантования.

Таблица 1

Условия принадлежности значений наблюдаемой величины_

Вариант Область Условие принадлежности

1 ХтекО'^ДОв.верхО) ПЛИ Хтек(])<-ХдовНижО)

1 2 ^верхн^ХтекО^ЕХдов.верхО) ИЛИ Хнижн^>Хтск(])^ХдОВнижСО

3 ^верхн^Хтек(])^Хн11жн

1 ХтекО)'>^дов верхО) ИЛИ Хтек(3)<Хдов.нижО)

2 2 ^нижн^ХгекС!)—ХдОВ ииж(|)

3 Хдов. верхО )—^текО )—^нижн

1 ХтекО)*>^дов.верхО) ИЛИ Хте|с(])<ХД0ВНиж(|)

3 2 ХВерхн<"^текС1)^ХдОВ .верхО)

3 ^вепхн^^текО)—^дов нижи)

1 ХтекО^^дов.верхО) ИЛИ Хтек(])<Хдов.нижО)

4 2 Отсутствует

3 Хдов.верхО)^текО)^Хдоз.нижО)

Всего возможно четыре варианта взаимного расположения данных граничных значений на каждом из шагов:

1) доверительный интервал включает в себя интервал [хтм„; хвер1„]ш,

"2-)хверхи выходит за соответствующую границу доверительного интервала;

3)х„ижи выходит за соответствующую границу доверительного интервала;

4) доверительный интервал оказывается включенным в [х„ижн\ хверх„].

Всего рассматриваемых областей - три. Условия нахождения в каждой из областей приведены в табл. 1.

Рассмотрение областей возможного попадания значений наблюдаемой переменной используется в алгоритме детектирования, представленном в главе 3.

В третьей главе представлена программная реализация разработанного математического обеспечения активного мониторинга компьютерной сети, представлена взаимосвязь массивов, ассоциированных с наблюдаемой сетевой переменной. Особое внимание уделено реализации инструментария автоматизированной периодизации, алгоритмам детектирования и прогнозирования с использованием созданной модели.

Для успешного выполнения автоматизированной периодизации решены следующие задачи:

1) определение реального начального и конечного времени периода наблюдения;

2) формирование массива выбранных дат 5е1ес1ес1_<1а1е5;

3) построение обучающего ансамбля реализаций.

Первая задача обусловлена тем, что при задании временных установок пользователем программного обеспечения может быть задано время, точно не совпадающее с временными штампами собранных исходных данных, поэтому необходимо определить максимально близкие к заданным временные отсчеты. Именно они и будут реальным начальным и конечным временем периода наблюдения.

Формирование массива выбранных дат Бе1ес1е<1с1а1е5 может быть рассмотрено для двух случаев:

- формирование массива выбранных дат по выбранным дням недели;

- формирование массива выбранных дат с корректировкой по датам.

Данный подход позволяет гибко задать интересующие сетевого специалиста реализации и исключить нежелательные. Построение обучающего ансамбля реализаций происходит по датам массива 5е1ес1е(1_с1а1ез.

Использование вероятностной модели и рассмотрение областей возможного попадания значений наблюдаемой переменной применяется в созданном алгоритме детектирования потенциально опасных отклонений от типового профиля поведения, характеризующегося охватом всех возможных состояний наблюдаемых переменных (рис.2).

Результат работы алгоритма - вывод имеющегося события и соответствующего ему уровня аномальности по шкале от 1 ("низкий") до 5 ("очень высокий").

Рис.2. Алгоритм детектирования для сформированного шага наблюдения

Алгоритм детектирования использует результаты выполнения алгоритма: прогнозирования, которое всегда предшествует детектированию. Прогнозирование состояния наблюдаемой сетевой переменной основано на использовании разработанной во второй главе вероятностной модели и подразумевает решение двух задач:

1) идентификация текущего сочетания состояний Х^аь

2) вероятностное прогнозирование для текущего сочетания.

Рис.3. Алгоритм прогнозирования

Идентификация текущего сочетания состояний может дать следующие результаты:

- все элементы массива Х$тек совпадают с соответствующими элементами одной из уникальных строк массива

- ни в одной из строк массива 5/0+;; нет совпадения элементов с соответствующими элементами массива Хяте*',

- в одной или более строк массива есть совпадения с соответствующими элементами массива Х3тек-

Алгоритм прогнозирования с идентификацией текущего сочетания состояний представлен на рис.3. При идентификации приоритет отдается последним совпавшим состояниям, в случае отсутствия совпавших элементов используется массив безусловных вероятностей.

Программное обеспечение размещается на станции сетевого управления (ЫМ8). Все его компоненты могут быть разделены на четыре функциональные группы (рис.4):

- обучающий мониторинг;

- периодизация;

- построение типового профиля;

- активный мониторинг.

Рис.4. Схема программного обеспечения активного мониторинга

Для создания программного обеспечения, отвечающего представленной функциональной схеме, было решено использовать язык Java, предоставляющий широкие возможности для:

- реализации графического интерфейса пользователя (GUI);

- взаимодействия с базами данных;

- параллельного выполнения задач за счет использования многопоточности (multithreading);

- взаимодействия с MIB сетевых устройств по протоколу SNMP.

Для сохранения результатов измерений и вычислений, получаемых при наблюдении сетевых переменных, построении профилей их "нормального" поведения, прогнозировании значении и состояний, обнаружении аномалий на каждую наблюдаемую переменную задействованы две базы данных: основная БД (main DB) и БД типового профиля наблюдаемой переменной (Profile DB).

Подключение к базам данных осуществляется через API-интерфейс JDBC (Java Database Connectivity). Java обеспечивает пересылку инструкций структурированного языка запросов SQL и получение результатов запросов. Для доступа к базе данных используется мост ODBC-JDBC.

Разработанное программное обеспечение представляет собой инструмент сетевого инженера, дополняющий функциональность систем, используемых в настоящее время в компьютерных сетях для решения вопросов диагностики и мониторинга (рис.4), и позволяет повысить эффективность решения этих вопросов.

После фиксации наличия аномалии в работе конкретного сетевого устройства определение причины аномального поведения может быть осуществлено посредством анализа журнала наблюдаемого сетевого устройства, событий сетевого приемника trap-сообщений, данных систем обнаружения вторжений и пр. (рис.4); в случае необходимости, при наличии аномалии на каком-либо интерфейсе, следует произвести захват и анализ трафика с данного интерфейса.

В четвертой главе сформулированы обобщенные правила использования разработанного программного обеспечения, представлена схема организации магистрали корпоративной вычислительной сети ОАО "HJIMK", проведена проверка разработанных средств на данных по интенсивности трафика серверной фермы ОАО "НЛМК", выполнен сравнительный анализ разработанных средств с методом обнаружения, основанном на использовании марковской модели, показана большая чувствительность и адекватность созданного обеспечения.

В ходе наблюдения за сетью (с шагом At = 5 мин) были собраны исходные данные, к которым была применена суточная периодизация с выбором будничных дней недели. Спериодизированные исходные данные составили ансамбль из 25 реализаций наблюдаемой сетевой переменной, представленный на рис. 5.

Для спериодизированных данных были рассчитаны статистические характеристики, в том числе границы доверительных интервалов для каждого шага наблюдения с доверительной вероятностью, равной 0,95 {р^0,95). Границы доверительных интервалов рассчитывались с использованием процентных точек t-распределения Стьюдента.

Было осуществлено задание состояний наблюдаемых переменных с использованием неравномерного оптимального квантования.

Число уровней квантования было задано равным 12 {М= 12). Следует заметить, что, так как примененный алгоритм неравномерного оптимального

квантования учитывает плотность распределения значений по интервалам, число уровней квантования может быть автоматически скорректировано. Скорректированное число уровней квантования М' получаем при достижении очередным пороговым уровнем гт значения, равного верхней границе квантуемого интервала:

М' = т\гт=хкрхн-,М'<М.

25 С--—--•—---:-1

if 200 ----Ы-Н-ь----!-^-!

I ,

э 150--Й %---*-:-Н

I W#f: i V, ■ Ф-J_&

I ™ -щзк шЫ—г*

50

о

0:00 2:00 4:00 6:00 8:00 10:00 12:00 14:00 16:00 18:00 20:00 22:00 0:00

Время

Рис.5. Совокупность реализаций интенсивности исходящего трафика

В нашем случае скорректированное число уровней квантования получилось равным восьми (М- 8 < М=12).

Данный подход обладает преимуществами по сравнению с равномерным квантованием, в котором субъективно заданное число уровней квантования является жестким, а полученные интервалы равнозначны, что влечет за собой две проблемы:

- высокую частоту ложных срабатываний (при больших значениях М)\

- низкую чувствительность (при малых значениях М).

Реакция разработанного алгоритма обнаружения на данные тестовой последовательности, не входящей в обучающий набор, приведена на рис.6, где для большей наглядности рассмотрена часть шагов периода наблюдения (шаги 23-41). Характерно, что резкое изменение значения наблюдаемой переменной при переходе с шага 38 на шаг 39 является типовым, укладывающимся в профиль нормального поведения (уровень аномальности "1"). На рис. 6 также показано изменение доверительного интервала, вычисленного для полученной совокупности реализаций со значением доверительной вероятности 0,95, форма которого совпадает с характером изменения наблюдаемой интенсивности трафика - это также подтверждает соответствие типовому профилю.

СИИЗСтепень аномальности • Интенсивность трафика

—Верхняя граница доверительного интервала —«—Нижняя граница доверительного интервала

....... / /

■«—..— Данный всплеск интенсивности трафика не является аномальным, т.к. соответствует профилю типового поведения

1 V

/ *1 \ к N ✓

23 24 25 26 27 28 29 30 3! 32 33 34 35 36 37 38 39 40 .41 Шаг наблюдения

Рис.6. Реакция механизма обнаружения

Таблица 2

Прогнозирование состояний по марковской модели_

Шаг Набл. сост. Вероятности появления состояний по Марковской модели

1 2 3 4 5 6 7 8

41 5 0,000 0,004 0,05 0,229 0,628 0,075 0,011 0,000

40 5 0,000 0,000 0,006 0,028 0,245 0,644 0,092 0,000

39 6 0,903 0,071 0,016 0,006 0,003 0,002 0,000 0,000

38 1 0,903 0,071 0,016 0,006 0,003 0,002 0,000 0,000

37 1 0,903 0,071 0,016 0,006 0,003 0,002 0,000 0,000

36 1 0,903 0,071 0,016 0,006 0,003 0,002 0,000 0,000

35 1 0,903 0,071 0,016 0,006 0,003 0,002 0,000 0,000

34 1 0,903 0,071 0,016 0,006 0,003 0,002 0,000 0,000

33 ] 0,903 0,071 0,016 0,006 0,003 0,002 0,000 0,000

32 1 0,903 0,071 0,016 0,006 0,003 0,002 0,000 0,000

31 1 0,903 0,071 0,016 0,006 0,003 0,002 0,000 0,000

30 I 0,056 0,794 0,13 0,016 0,002 0,006 0,000 0,000

29 2 0,903 0,071 0,016 0,006 0,003 0,002 0,000 0,000

28 1 0,903 0,071 0,016 0,006 |_ 0,003 0,002 0,000 0,000

27 I 0,903 0,071 0,016 0,006 0,003 0,002 0,000 0,000

26 1 0,903 0,071 0,016 0,006 0,003 0,002 0,000 0,000

25 1 0,903 0,071 0,016 0,006 0,003 0,002 0,000 0,000

24 1 0,903 0,071 0,016 0,006 0,003 0,002 0,000 0,000

23 1 0,903 | 0,071 0,016 0,006 0,003 0,002 0,000 0,000

Прогнозирование состояний по разработанной модели для шагов 23 - 41 1ыглядит следующим образом: на шагах 23 - 28, 30 - 38 ожидалось состояние

"1" с единичной вероятностью; соответственно, иные состояния не ожидались, на шаге 29 ожидалось состояние "2" с единичной вероятностью, на шаге 39 равновероятно ожидались состояния "5" и "6" с вероятностями 0,5, на шагах 40 -41 ожидалось состояние "5" с единичной вероятностью. Прогнозирование учитывает шаг наблюдения и предшествующие состояния на оптимальной глубине обращения в прошлое для данного шага.

Марковская модель, используемая в некоторых средствах обнаружения аномалий, сводится к заданию матрицы вероятностей начальных состояний и матрицы переходных вероятностей.

Сравнение моделей представлено на рис. 7, на котором видно, например, что состояние "6", зафиксированное на шаге 39, согласно разработанной модели, ожидалось с вероятностью 0,5, согласно марковской - с вероятностью всего 0,0024 (табл. 2).

[ЁЕЬИзменения состояний —р_разр -*-р__марк}

Шаг наблюдения

Рис.7. Сравнение моделей

Аналогичная ситуация при переходах на шагах 28-29 и 29-30. Зафиксированные состояния интенсивности трафика ожидались, согласно разработанной модели, с единичными вероятностями, в то время как по марковской модели вероятность перехода в состояние "2" на шаге 29 при условии нахождения в состоянии "1" на шаге 28 составила всего 0,071, а вероятность последующего перехода в состояние "1" на шаге 30 - 0,056, следовательно, прогноз по разработанной модели оказывается намного точнее.

Анализируя графики, приведенные на рис. 6, 7, можно сделать вывод о том, что созданное математическое и программное обеспечение полностью реализует все разработанные алгоритмы, то есть для каждого шага наблюдения

с определенными вероятностями прогнозируются все изученные состояния с учетом самого шага (нестационарности процесса), предшествующих данному шагу состояний на значимой глубине памяти, а также происходит обнаружение отклонений от типового профиля посредством использования прогнозируемых состояний и их вероятностей.

Также можно сделать вывод о том, что на шагах 29, 30, 39 (а также и на других) возможны ложные срабатывания марковской модели при заданной пороговой вероятности рпор~0,1 (рис.7). В целом, марковская модель, не учитывающая нестационарность и наличие памяти наблюдаемого процесса большей одного шага, будет склонна к ошибкам как первого, так и второго рода, то есть к ложным срабатываниям в случаях, когда значения наблюдаемых переменных в действительности соответствуют нормальному поведению и пропуску потенциально опасных отклонений в случаях, когда высокая вероятность зафиксированного состояния не соответствует наблюдаемому шагу.

Предлагаемая модель и разработанный алгоритм детектирования, в отличие от марковской модели, не ограничиваются сравнением вероятности текущего состояния только с пороговой вероятностью - происходит отслеживание постепенного уменьшения вероятностей наблюдаемых состояний и их отклонение от наиболее ожидаемых. Предложенные метод мониторинга и алгоритмы свободны от задания жестких пороговых значений срабатывания предупреждающих сигналов, выраженных в абсолютных величинах наблюдаемых сетевых показателей, о которых говорилось в начале работы.

В заключении подведены итоги проделанной работы. Предложены направления дальнейших исследований в области теоретических разработок и применения разработанных алгоритмов и модели вероятностного прогнозирования.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Предложен метод активного мониторинга корпоративной компьютерной сети, отличающийся представлением наблюдаемых сетевых показателей как совокупностей реализаций случайных процессов и позволяющий применить аппарат теории вероятностей, математической статистики и анализа временных рядов для их прогнозирования.

2. Разработан и реализован алгоритм оценки наличия памяти и старения данных о наблюдаемом процессе, позволяющий определить оптимальную значимую глубину обращения в прошлое.

3. Построена вероятностная модель прогнозирования состояния компьютерной сети, позволяющая учесть оптимальную глубину памяти и нестационарность наблюдаемого процесса и отличающаяся использованием массивов исходных автокоррелированных данных и методов решения задач классификации и снижения размерности.

4. Разработан и реализован алгоритм детектирования потенциально опасных отклонений от типового профиля поведения наблюдаемых переменных, отличающийся использованием разработанной вероятностной модели прогнозирования и позволяющий охватить все возможные состояния наблюдаемых переменных.

5. Разработана структура специального программного обеспечения мониторинга компьютерной сети, обеспечивающего задание профиля типового поведения, отличающаяся возможностью периодизации любой наблюдаемой сетевой переменной.

6. Произведена апробация предложенных методов на данных реально действующей корпоративной сети ОАО «Новолипецкий металлургический комбинат», выполнен сравнительный анализ с методом обнаружения, основанном на использовании марковской модели, и получены экспериментальные результаты, позволяющие сделать вывод о большей адекватности созданного обеспечения и целесообразности его применения для выявления потенциальных сетевых аномалий.

7. Результаты диссертационной работы внедрены в деятельность Отдела сетевого обеспечения Дирекции по информационным технологиям ОАО «Новолипецкий металлургический комбинат» и используются в учебном процессе Липецкого филиала МИКТ при подготовке инженеров специальности 230101 «Вычислительные машины, комплексы, системы и сети».

Основные результаты диссертации опубликованы в следующих работах

Публикации в изданиях, рекомендованных ВАК РФ

1.Блюмин С.Л., Еремеев В.Б. Создание средств активного мониторинга вычислительных сетей на основе стохастической модели прогнозирования// Системы управления и информационные технологии: научно-технический журнал. М. 2008. - № 3.3(33).-С. 337-341.

Статьи и материалы конференций

2. Еремеев В.Б. О проблеме консолидации серверов // Современные проблемы информатизации в информационных системах и телекоммуникациях: сб. тр. Воронеж: Научная книга, 2006. - С. 431.

3.Еремеев В.Б. Влияние консолидации серверов на потоки данных СПД ОАО «НЛМК» // Сборник тезисов инженерных проектов лучших молодых специалистов ОАО НЛМК 2006г. - Липецк: НЛМК, 2007. - С.64-68.

4. Еремеев В.Б. Подход к мониторингу сети как рассмотрению совокупностей реализаций случайных величин // Компьютерные технологии в технике и экономике: сб. докл. Междунар. науч. конф. Воронеж: МИКТ, 2007. - С. 23-26.

5. Еремеев В.Б. Мониторинг и статистическое прогнозирование состояния компьютерной сети // Информационные технологии моделирования и управления: науч.-техн. журнал. 2007. - №5(39). - С.566-574.

6. Еремеев В.Б. Вероятностное прогнозирование состояния компьютерной сети на основе данных мониторинга И Информационные технологии моделирования и управления: науч.-техн. журнал. 2007. - №8(42). - С.937-944.

7. Еремеев В.Б. Разработка требований к программному обеспечению мониторинга компьютерной сети // Современные проблемы информатизации в проектировании и информационных системах: сб. тр. Воронеж: Научная книга, 2008. - С. 468-470.

8. Еремеев В.Б. Создание методики активного мониторинга вычислительной сети // Всероссийская молодежная конференция по проблемам управления (ВМКПУ'2008): труды. - М.: ИПУ РАН, 2008. - С.240-242.

9. Еремеев В.Б. Построение стохастической модели прогнозирования состояния вычислительной сети как решение задачи классификации и снижения размерности // Информационные технологии и системы (ИТиС'08): сб. тр. - М.: ИППИ РАН, 2008. - С.121-125.

10. Еремеев В.Б. Разработка математического и программного обеспечения активного мониторинга вычислительной сети // Управление большими системами: V Всерос. школа-семинар молодых ученых Липецкого НОЦ ИПУ РАН. Липецк: ЛГТУ, 2008. Т.2.- С.33-39.

П.Блюмин С.Л., Еремеев В.Б. Программа «Построение основы типового профиля поведения вычислительной сети». - М.: ФАП ВНТИЦ, 2009. Per. №50200900411 от 08.04.09.

Подписано в печать 03.07.2009. Формат 60x84/16. Бумага для множительных аппаратов. Усл. печ. л. 1,0. Тираж 100 экз. Заказ

ГОУ ВПО «Воронежский государственный технический университет» 394026 Воронеж, Московский просп., 14

Введение.

1. Обзор и анализ средств и методов мониторинга и диагностирования компьютерных сетей.

1.1 Принципы построения компьютерных сетей масштаба предприятия.

1.2 Мониторинг и управление современными сетями. Выбор сетевых показателей.

1.3 Обзор и классификация средств наблюдения за сетью и ее диагностики.

1.4 Анализ существующих методов диагностирования сетей и моделирования трафика.

1.5 Постановка цели и задач исследования.

2. Разработка математической модели прогнозирования состояния корпоративной компьютерной сети.

2.1 Предлагаемая схема активного мониторинга сети.

2.2 Описание наблюдаемых переменных на основе теории случайных процессов.

2.3 Решение задачи квантования по уровню наблюдаемых переменных.

2.4 Нахождение значимой глубины памяти наблюдаемого процесса.

2.5 Построение вероятностной модели прогнозирования.

2.6 Рассмотрение возможных областей значений наблюдаемых переменных.

2.7 Выводы.

3. Создание программного обеспечения мониторинга и прогнозирования состояния компьютерной сети.

3.1 Взаимосвязь массивов, ассоциированных с наблюдаемой переменной.

3.2 Разработка структуры реализуемого программного обеспечения на основе модели прогнозирования состояния вычислительной сети.

3.3 Реализация произвольной периодизации.

3.4 Реализация адаптивного прогнозирования.

3.5 Детектирование потенциально опасных отклонений.

3.6 Выводы.

4. Мониторинг и прогнозирование сети на основе разработанной модели.

4.1 Возможное применение разработанного обеспечения.

4.2 Описание корпоративной сети ОАО «НЛМК».

4.3 Применение разработанных методов и средств для мониторинга и прогнозирования состояния корпоративной сети.

4.4 Сравнительный анализ результатов вероятностного прогнозирования с использованием разработанной и марковской моделей.

4.5 Выводы.

Актуальность работы. Высокоскоростные корпоративные компьютерные сети играют в настоящее время все более важную роль. Они стали важной и неотъемлемой частью инфраструктуры и технологических процессов большинства предприятий и организаций. Сбои и отказы в компьютерных сетях приводят к искажению, необратимым потерям или временным задержкам информации, приводящим, в свою очередь, к нарушению технологических процессов, процессов управления предприятием, значительным финансовым потерям.

Современные компьютерные сети отличаются сложностью физической и логической топологии и организации. Кардинальные изменения в компьютерных сетях имеют место в связи с увеличением требований, предъявляемых к ним, способностью обеспечить выполнение новых, более емких приложений и компонентов. Концепция взаимодействия открытых систем (OSI) позволяет различным сетевым компонентам и приложениям разных производителей взаимодействовать друг с другом. С одной стороны, гетерогенность дает гибкость в удовлетворении разнообразных запросов пользователей, с другой, — она увеличивает риск возникновения сбоев и ошибок.

Ключевой составляющей обеспечения эффективного функционирования компьютерных сетей, сохранения постоянной сетевой готовности и высокой надежности является наличие систем мониторинга и управления.

В свою очередь, одной из основных целей мониторинга является оперативное обнаружение аномалий в работе сети, влияющих на потоки трафика, таких как: отказы, изменения конфигурации, перегрузки и запрещенные воздействия.

Распознавание и идентификация аномалий зачастую базируются на методах, представляющих собой практический опыт, полученный специалистом при администрировании сети (так называемых методах ad hoc). Существуют различные коммерческие и свободно распространяемые инструменты, однако они требуют задания самим пользователем правил или пороговых значений для срабатывания предупреждающих сигналов. Можно сказать, что подавляющее число# современных систем не могут гарантировать обнаружение и, тем более, прогнозирование аномалий, что обусловлено несовершенством заложенных в них методов и алгоритмов. Следовательно, любой сбой, отказ, перегрузка для таких сетей всегда является неожиданным и непредсказуемым, что существенно усложняет задачу ликвидации последствий этих сбоев и делает невозможной задачу предотвращения критических ситуаций.

Таким образом, разработка эффективных методов и средств прогнозирования состояний компьютерной сети, разработка специального программного обеспечения мониторинга корпоративной сети для выявления аномалий является весьма актуальной задачей.

Сетевые аномалии и свойства сетевого трафика стали интенсивно изучаться с начала 1990-х гг. Примеры анализа типовых режимов трафика могут быть найдены в работах [78], [101]. Более детальные характеристики и модели сетевого трафика включают исследование свойств самоподобия [23], [102], [120]. Различные методы анализа были использованы в этих и других исследованиях, включая временные ряды и Вейвлет-анализ [70].

Примерами работ в направлении обнаружения аномалий могут быть следующие труды: [90] — данная работа сфокусирована на изоляции сбоев в сетях, [85] - показывает, что сбои могут быть обнаружены по статистическим отклонениям от регулярно наблюдаемого состояния сети (профиля, шаблона), [75] - пороговые значения применяются к моделям временных рядов для определения отклоняющегося поведения сети. Эти исследования сосредоточены на том, как наиболее точно определить отклонение от нормального режима работы сети.

Аналогичный подход применен и в данной работе. Эффективность системы обнаружения аномалий зависит от точности и соответствия выбранного математического аппарата и методов, определяющего нормальный профиль состояния сети и детектирующего отклонения от него.

Цель работы: Целью диссертационной работы является разработка прикладного математического и программного обеспечения мониторинга и прогнозирования состояния корпоративной компьютерной сети для выявления аномалий в ее поведении на основе теоретического и экспериментального исследования в области программных средств организации и управления обработкой данных мониторинга компьютерных сетей.

Для достижения указанной цели были поставлены и решены следующие задачи:

1. Анализ существующих методов и средств мониторинга компьютерных сетей.

2. Разработка математической модели прогнозирования состояния корпоративной компьютерной сети, позволяющей учесть оптимальную глубину памяти и нестационарность наблюдаемого процесса.

3. Создание, на основе этой модели, алгоритма детектирования потенциально опасных отклонений поведения наблюдаемых сетевых показателей от типового профиля их поведения.

4. Создание структуры специального программного обеспечения мониторинга компьютерной сети, обеспечивающего задание типового профиля поведения.

5. Экспериментальная проверка разработанных средств на данных мониторинга корпоративной сети и проведение сравнительного анализа с другими моделями.

Методы исследования. В работе использованы методы теории вероятностей, математической статистики, анализа временных рядов, теории марковских процессов, объектно-ориентированного программирования.

Научная новизна. В диссертационной работе получены следующие результаты, характеризующиеся научной новизной:

- метод активного мониторинга корпоративной компьютерной сети, отличающийся представлением наблюдаемых сетевых показателей как совокупностей реализаций случайных процессов и позволяющий применить аппарат теории вероятностей, математической статистики и анализа временных рядов для их прогнозирования;

- алгоритм оценки наличия памяти и старения данных о наблюдаемом процессе, позволяющий определить оптимальную значимую глубину обращения в прошлое;

- вероятностная модель прогнозирования состояния компьютерной сети, позволяющая учесть оптимальную глубину памяти и нестационарность наблюдаемого процесса и отличающаяся использованием массивов исходных автокоррелированных данных и методов решения задач классификации и снижения размерности;

- алгоритм детектирования потенциально опасных отклонений от типового профиля поведения наблюдаемых переменных, отличающийся использованием разработанной вероятностной модели прогнозирования и позволяющий охватить все возможные состояния наблюдаемых переменных;

- структура специального программного обеспечения мониторинга компьютерной сети, обеспечивающего задание профиля типового поведения, отличающаяся возможностью периодизации любой наблюдаемой сетевой переменной.

Практическая значимость заключается в повышении эффективности математического и программного обеспечения мониторинга компьютерных сетей предприятий. В рамках диссертационного исследования разработано программное обеспечение мониторинга и построения типового профиля поведения компьютерной сети, позволяющее осуществлять наблюдение показателей информационных управляющих баз (MIB) управляемых сетевых устройств и производить гибкую, интересующую сетевого специалиста периодизацию собранных данных, которая позволяет получить основу типового профиля поведения сети.

Реализация и внедрение результатов работы. Разработанное программное обеспечение внедрено в Дирекции по информационным технологиям ОАО «Новолипецкий металлургический комбинат». Данное программное обеспечение, предназначенное для наблюдения MIB-переменных и построения профиля их типового поведения при штатном функционировании корпоративной корпоративной сети, используется в качестве средства мониторинга.

Результаты диссертационной работы используются в учебном процессе Липецкого филиала Международного института компьютерных технологий при подготовке инженеров по специальности 230101 «Вычислительные машины, комплексы, системы и сети».

Апробация работы. Материалы работы, ее основные теоретические и практические результаты докладывались и обсуждались на международных, всероссийских и региональных конференциях, в том числе на XI-ой Международной открытой научной конференции «Современные проблемы информатизации в информационных системах и телекоммуникациях» (Воронеж, 2006), на Международной научной конференции «Компьютерные технологии в технике и экономике» (Воронеж, 2007), на Всероссийской молодежной конфеI ренции по проблемам управления (Москва, 2008), на Международной научной конференции «Информационные технологии и системы» (Геленджик, 2008), на V-ой Всероссийской школе-семинаре молодых ученых «Управление большими системами» (Липецк, 2008).

Публикации. По материалам диссертации опубликовано 11 научных работ, в том числе 1 — в издании, рекомендованном ВАК РФ. В работах, опубликованных в соавторстве и приведенных в конце автореферата, лично соискателю принадлежат: [42] - алгоритм периодизации данных мониторинга, [43] — метод активного мониторинга вычислительной сети и вероятностная модель прогнозирования.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 121 наименования, 7 приложений. Основная часть работы изложена на 147 страницах, содержит 38 рисунков и 20 таблиц.

4.5 Выводы

В главе приведены результаты практической реализации разработанных средств. В качестве тестовых последовательностей были использованы данные действующей корпоративной компьютерной сети Новолипецкого металлургического комбината. В главе проведён сравнительный анализ разработанного обеспечения с методом, основанным на использовании марковской модели, используемым в некоторых средствах мониторинга вычислительных сетей. Показана большая чувствительность и адекватность разработанного обеспечения.

Практическая ценность работы заключается в повышении эффективности мониторинга компьютерной сети предприятия за счёт разработанного инструментария построения профиля "нормального" поведения сети, прогнозирования её состояния, основанного на данном профиле, и обнаружения отклонений от него, посредством использования результатов прогноза.

Разработанные методы и средства могут быть применены и в других областях хозяйственной деятельности, связанных с контролем наблюдаемых процессов, имеющих периодичный характер.

Заключение

В ходе работы созданы алгоритмы и инструменты, позволяющие повысить эффективность мониторинга компьютерной сети предприятия с помощью разработанной модели стохастического прогнозирования.

Повышение эффективности мониторинга сети осуществляется за счет учета разработанной моделью нестационарности, наличия памяти и устаревания данных наблюдаемого процесса.

Разработанные средства построения типового профиля поведения вычислительной сети, прогнозирования ее состояния и обнаружения отклонений от полученного профиля реализованы в виде программного обеспечения и могут быть использованы для активного мониторинга компьютерной сети.

В работе получены следующие основные теоретические и практические результаты:

1. Предложен метод активного мониторинга корпоративной компьютерной сети, отличающийся представлением наблюдаемых сетевых показателей как совокупностей реализаций случайных процессов и позволяющий применить аппарат теории вероятностей, математической статистики и анализа временных рядов для их прогнозирования.

2. Разработан и реализован алгоритм оценки наличия памяти и старения данных о наблюдаемом процессе, позволяющий определить оптимальную значимую глубину обращения в прошлое.

3. Построена вероятностная модель прогнозирования состояния компьютерной сети, позволяющая учесть оптимальную глубину памяти и нестационарность наблюдаемого процесса и отличающаяся использованием массивов исходных автокоррелированных данных и методов решения задач классификации и снижения размерности.

4. Разработан и реализован алгоритм детектирования потенциально опасных отклонений от типового профиля поведения наблюдаемых переменных, отличающийся использованием разработанной вероятностной модели прогнозирования и позволяющий охватить все возможные состояния наблюдаемых переменных.

5. Разработана структура специального программного обеспечения мониторинга компьютерной сети, обеспечивающего задание профиля типового поведения, отличающаяся возможностью периодизации любой наблюдаемой сетевой переменной.

6. Произведена апробация предложенных методов на данных реально действующей корпоративной сети ОАО «Новолипецкий металлургический комбинат», выполнен сравнительный анализ с методом обнаружения, основанном ' на использовании марковской модели, и получены экспериментальные результаты, позволяющие сделать вывод о большей адекватности созданного обеспечения и целесообразности его применения для выявления потенциальных сетевых аномалий.

7. Результаты диссертационной работы внедрены в деятельность Отдела сетевого обеспечения Дирекции по информационным технологиям ОАО «Новолипецкий металлургический комбинат» и используются в учебном процессе Липецкого филиала МИКТ при подготовке инженеров специальности 230101 «Вычислительные машины, комплексы, системы и сети».

В качестве перспективных направлений дальнейшей научной работы можно указать следующие: проведение исследований по совершенствованию моделей прогнозирования состояния компьютерной сети; применение полученных методов и алгоритмов в других отраслях хозяйственной деятельности, связанных с контролем наблюдаемых процессов, имеющих периодичный характер.

1. Адлер Ю.П., Гедолина М.Н. Бутстреп-моделирование при построении доверительных интервалов по цензурированным выборкам // Заводская лаборатория, №10. 1987.-С. 90-94.

2. Азов М.С. САПР Вычислительных сетей с прогнозированием трафика и вычислительной загрузки каналов / Научная сессия МИФИ-2002. Интеллектуальные системы и технологии. http://Hbrary.mephi.ru/online/.

3. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М.: Финансы и статистика, 1989.-607 с.

4. Акаике X. Развитие статистических методов // В кн. "Современные методы идентификации систем" — М.: Мир, 1983 С. 148-176.

5. Альянах И.Н. Моделирование вычислительных систем / Л.: Машиностроение, 1988.

6. Андерсон Т. Статистический анализ временных рядов / М.: Мир, 1976. -756 с.

7. Арнольд К., Гослинг Дж. Язык программирования Java. СПб.: Питер, 2002.

8. Афонцев Э.В. Статистические свойства интернет-трафика. http://www.nag.ru.

9. Баранов Л.А. Квантование по уровню и временная дискретизация в цифровых системах управления. М.: Энергоатомиздат, 1990. - 304с.

10. Бараш Л. Архитектура коммутаторов. Основные принципы // Компьютерное обозрение. — 2000. №28. http://www.itconline.ru.

11. Бараш Л. Коммутируемые сети альтернатива отсутствует // Компьютерное обозрение. -2000. - №15. http://www.itconline.ru.

12. Беляев А., Петренко С. Системы обнаружения аномалий: новые идеи в защите информации // Экспресс-Электроника №2, 2004 г. С. 86 - 96.

13. Бендат Дж., Пирсол А. Прикладной анализ случайных данных / М.: Мир, 1989. 540 с.

14. Бишоп Дж. Эффективная работа: Java 2. СПб.: Питер, 2002. - 592 с.

15. Блюмин С.Л., Самордин П.В. Рандомизация процедур обработки данных при моделировании технологических зависимостей // Известия вузов. Чёрная металлургия, №8. 1992. С. 1-4.

16. Блюмин С.Л., Самордин П.В. Рандомизированное моделирование технологических зависимостей: Учебное пособие. Липецк: Липецкий государственный технический университет, 1995. - 67 с.

17. Бокс Дж., Г. Дженкинс Анализ временных рядов. Прогноз и управление. Вып. 1.-М.: Мир, 1974.-401 с.

18. Бриллинджер Д. Временные ряды. Обработка данных и теория. М.: Мир, 1980.-268с.

19. Вентцель Е.С., Овчаров Л.А. Теория случайных процессов и ее инженерные приложения. М.: Высш. шк., 2000. - 383 с.

20. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания. М.: КомКнига, 2005. - 400 с.

21. Городецкий А.Я., Заборовский B.C. Информатика. Фрактальные процессы в компьютерных сетях: Учебное пособие. СПб.: СПбГПУ, 2000.

22. Городецкий А.Я. Информационные системы. Вероятностные модели и статистические решения: Учебное пособие. СПб.: СПбГПУ, 2003. - 326 с.

23. Гренандер У. Случайные процессы и статистические выводы. — М.: ИЛ, 1961.-168 с.

24. Демиденко Е.З. Линейная и нелинейная регрессии. — М.: Финансы и статистика, 1981.-519 с.

25. Дрейпер Н. Прикладной регрессионный анализ / Н. Дрейпер, Г. Смит М.: Финансы и статистика, 1986. - 514 с.

26. Дружинин Е.Л., Гребенников B.C., Жинкин Д.В., Самохин A.M., Чернышев Ю.А. Исследование возможностей статистических методов для обнаружения аномалий в работе сети. Научная сессия МИФИ-2004. Сб. науч. тр. Т. 10. С. 6162.

27. Дружинин Е.Л., Жданова М.С., Самохин A.M., Чернышев Ю.А. Поиск методов выявления аномалий в поведении сетевых устройств на основе анализа сетевого трафика. Научная сессия МИФИ-2004. Сб. науч. тр. Т. 10. С. 33-34.

28. Дружинин Е.Л., Родин А.В., Самохин A.M., Чернышев Ю.А. Выявление статистических закономерностей поведения сетевых устройств. Научная сессия МИФИ-2004. Сб. науч. тр. Т. 10. С. 46-47.

29. Дынкин Е.Б. Марковские процессы. М.: Физматгиз, 1963 - 860 с.

30. Дынкин Е.Б., Юшкевич А.А. Теория вероятности и марковские процессы. -М.: Физматгиз, 1966 237 с.

31. Еремеев В.Б. Вероятностное прогнозирование состояния компьютерной сети на основе данных мониторинга // Информационные технологии моделирования и управления, №8(42), Воронеж: Научная книга. 2007. - С.937-944.

32. Еремеев В.Б. Влияние консолидации серверов на потоки данных СПД ОАО "НЛМК" // Сборник тезисов инженерных проектов Лучших молодых специалистов ОАО "НЛМК" 2006г. Липецк: Новолипецкий металлургический комбинат. - 2007. - С.64-68.

33. Еремеев В.Б. Мониторинг и статистическое прогнозирование состояния компьютерной сети // Информационные технологии моделирования и управления, №5(39), Воронеж: Научная книга. 2007. - С.566-574.f

34. Еремеев В.Б. О проблеме консолидации серверов // Современные проблемы информатизации в информационных системах и телекоммуникациях. — Воронеж: Научная книга. 2006. — С. 431.

35. Еремеев В.Б. Подход к мониторингу сети как рассмотрению совокупностей реализаций случайных величин // Компьютерные технологии в технике и экономике. — Воронеж: Международный институт компьютерных технологий. -2007. С. 23-26.

36. Еремеев В.Б. Построение стохастической модели прогнозирования состояния вычислительной сети как решение задачи классификации и снижения размерности // Информационные технологии и системы (ИТиС'08): Сборник трудов. Москва: ИППИ РАН, 2008. - С. 121-125.

37. Еремеев В.Б. Разработка математического и программного обеспечения активного мониторинга вычислительной сети // V Всероссийская школа-семинар молодых ученых «Управление большими системами»: Сборник трудов. — Т2. — Липецк, ЛГТУ, 2008. С.33-39.

38. Еремеев В.Б. Разработка требований к программному обеспечению мониторинга компьютерной сети // Современные проблемы информатизации в проектировании и информационных системах. — Воронеж: Научная книга. 2008. — С. 468-470.

39. Еремеев В.Б. Создание методики активного мониторинга вычислительной сети // Всероссийская молодежная конференция по проблемам управления (ВМКПУ'2008): Труды. Москва: ИПУ РАН, 2008. - С.240-242.

40. Еремеев В.Б., Блюмин C.JI. Программа «Построение основы типового профиля поведения вычислительной сети». М.: ФАП ВНТИЦ, 2009. Per. №50200900411 от 08.04.09.

41. Еремеев В.Б., Блюмин C.JI. Создание средств активного мониторинга вычислительных сетей на основе стохастической модели прогнозирования// Системы управления и информационные технологии. 2008. - № 3.3(33). - С. 337-341.

42. Иваненко С. Введение в SNMP. Информационно-аналитические материалы / Центр Информационных Технологий CITFORUM. http://www.citforum.ru.

43. Казаков В.А. Введение в теорию марковских процессов и некоторые радиотехнические задачи. — М.: Советское радио, 1973. 232 с.

44. Кендалл М., Стьюарт А. Многомерный статистический анализ и временные ряды. М.: Наука, 1976. - 575 с.

45. Кильдишев Г.С. Анализ временных рядов и прогнозирование / Г.С. Киль-дишев, А.А. Френкель М.: Статистика, 1973. — 116с.

46. Клейнрок Л. Теория массового обслуживания. — М.: Машиностроение, 1979. 432с.

47. Коваленко И.Н., Кузнецов Н.Ю., Шуренков В.М. Случайные процессы: Справочник. Киев: Наукова думка, 1983. — 369 с.

48. Кравец О .Я. Оптимизация управления распределёнными информационно-вычислительными сетями на основе мультиагентных технологий: монография / О.Я. Кравец, Т. Н. Моисеев Воронеж: Научная книга, 2007. - 187 с.

49. Кульгин М. Технологии корпоративных сетей. Энциклопедия. СПб.: Питер, 1999.

50. Олифер В.Г., Олифер Н.А. Компьютерные сети. Принципы, технологии, протоколы / СПб.: Издательство «Питер», 2004.

51. Олифер В.Г., Олифер Н.А. Локальные сети на основе коммутаторов. Информационно-аналитические материалы / Центр Информационных Технологий CITFORUM. http://www.citforum.ru.

52. Олифер В.Г., Олифер Н.А. Средства анализа и оптимизации локальных сетей. Информационно-аналитические материалы / Центр Информационных Технологий CITFORUM, http://www.citforum.ru.

53. Песаран М. Динамическая регрессия: теория и алгоритмы / М. Песаран, Л. Слейтер М.: Финансы и статистика, 1984.-188с.

54. Понизовкин А.С. Моделирование и алгоритмы прогнозирования в компьютерных сетях // IX Всероссийская научно-методическая конференция "Телема-тика'2002". http://www.ict.edu.ru/vconf/.

55. Протасов К.В., Статистический анализ экспериментальных данных. — М.: Мир, 2005.

56. Прохоренков A.M., Качала Н.М. Классификация случайных процессов //

57. Информационные технологии моделирования и управления №1(26). Воронеж:i

58. Научная книга. — 2006. С. 71-78.

59. Прэтт У.К. Цифровая обработка изображений. М.: Мир, 1982 - 480 с.

60. Пугачев B.C., Теория вероятностей и математическая статистика М.: Наука, 1979.-496 с.

61. Райская Н.Н., Френкель А.А. Опыт применения метода джекнайф в регрессионном анализе // Экономика и математические методы, №10. 1991. С. 86-90.

62. Семёнов Ю.А. Телекоммуникационные технологии. 2004. http://book.itep.ru

63. Симонина О.А., Яновский Г.Г. Характеристики трафика в сетях IP // Труды учебных заведений связи. — СПб: Санкт-Петербургский государственный университет телекоммуникаций. 2004. - С. 8-13.

64. Спеллман Э., Эриксон К., Рейнолдс Дж. Консолидация серверов // Открытые системы. 2004. - №5. - С.27-35.

65. Таненбаум Э. Компьютерные сети. 4-е издание. СПб.: Питер, 2003 - 992 с.

66. Тихонов В.И., Миронов М.А. Марковские процессы. М.: Советское радио,1977-488с.

67. Хеннан Э. Многомерные временные ряды. М.: Мир, 1974. - 448 с.

68. Чашков Ю. Поддержка протокола SNMP в JAVA-приложениях // Сети и системы связи. — 2002. №5. http://www.ccc.ru.

69. Abry P., Veitch D. Wavelet analysis of long range dependent traffic / IEEE Transactions on Information Theory, vol. 44, no. 1, 1998.

70. Agilent WireScope 350 Specification, http://www.home.agilent.com.

71. Akaike H. Fitting Autoregressions for Predictions // Ann. Inst. Statist. Math. 1969. №21. pp.243-247.

72. Barford P., Kline J., Plonka D., Ron A. A Signal Analysis of Network Traffic Anomalies / Proceedings of ACM SIGCOMM Internet Measurement Workshop, 2002.

73. Barford P., Plonka D. Characteristics of Network Traffic Flow Anomalies / Proceedings of ACM SIGCOMM Internet Measurement Workshop, San Francisco, CA, November 2001.

74. Brutlag J. Aberrant behavior detection in time series for network monitoring /

75. Proceedings of the USENIX Fourteenth System Administration Conference LISA *

76. XIV, New Orleans, LA, December 2000.

77. Bykova M. Statistical analysis of malformed packets and their origins in the modern Internet. School of Electrical Engineering & Computer Science Ohio University, 2002.

78. Caceres R. Measurements of wide-area Internet traffic / Tech. Rep. UCB/CSD 89/550, Computer Science Department, University of California, Berkeley, 1989.

79. Case J., Fedor M., Schoffstall M., Davin J. A Simple Network Management Protocol (SNMP), Request for Comments 1157, SNMP Research Inc., May 1990.

80. Cisco IDS 4200 Series Sensors, http://www.cisco.com.

81. Claffy K. Internet Traffic Characterization. / Ph.D. thesis. University of California, San Diego, 1994.

82. Cooperative Association for Internet Data Analysis (CAIDA). Cflowd: traffic flow analysis tool / Technical documentation, 1998.

83. Ethereal User's Guide, http://www.ethereal.com.

84. FAQ: Network Intrusion Detection Systems, http://www.robertgraham.com/pubs.

85. Feather F., Siewiorek D., Maxion R. Fault detection in an Ethernet network using anomaly signature matching / Proceedings of ACM SIGCOMM '93, San Francisco, CA, September 2000.

86. Hlavacs H., Kotsis G., Steinkellner C. Traffic Source Modeling / Institute of Applied Computer Science and Information Systems, University of Vienna, 1999.

87. Hood C., Ji C. Proactive network fault detection / Proceedings of IEEE INFO-COM '97, Kobe, Japan, April 1997, INFOCOM, pp.342-351.

88. Iris Network Traffic Analyzer, http://www.eeye.com.

89. Jagerman D.L., Melamed В., Willinger W. Stochastic modeling of traffic processes / Frontiers in Queueing: Models, Methods and Problems. 1996.

90. Katzela I., Schwartz M. Schemes for fault identification in communications networks / IEEE/ACM Transactions on Networking, vol. 3(6), pp. 753—764, December 1995.

91. Keys K. et. al. The Architecture of CoralReef: An Internet traffic monitoring software suite / Cooperative Association for Internet Data Analysis (CAIDA).

92. Lakhina A., Crovella M., Diot C. Diagnosing Network-Wide Traffic Anomalies / ACM SIGCOMM, Portland, August 2004.

93. Lee. W., Xiang D. Information-Theoretic Measures for Anomaly Detection // Proc. of the 2001 IEEE Symposium on Security and Privacy, pp. 130-143, May 2001.

94. Man tcpdump, http://www.tcpdump.org/tcpdump man.html.

95. McCloghrie K. Management Information Base for Network Management of TCP/IP-based internets, Request for Comments 1156, May 1990.

96. McCloghrie K., Rose M. Management information base for network management of ТСРЛР-based internets: MIB-II, Request for Comments 1213, March 1991.

97. MicroScanner Pro User's Manual, http://www.flikenetworks.com.

98. Multi Router Traffic Grapher MRTG. http://www.mrtg.org.

99. Network traffic probe NTOP. http://www.ntop.org.

100. Observer product family, http://www.networkinstruments.com.

101. Paxson V. Measurements and Analysis of End-to-End Internet traffic, Ph.D. thesis.

102. Paxson V., Floyd S. Wide-Area Traffic: the Failure of Poisson Modeling // IEEE/ACM Transaction on Networking, pp.226-244, 1995.

103. Plonka D. Flowscan: A network traffic flow reporting and visualization tool / Proceedings of the USENIX Fourteenth System Administration Conference LISA XIV, New Orleans, LA, 2000.

104. Portnoy L., Eskin E., Stolfo S. Intrusion Detection with Unlabeled Data Using Clustering, Department of Computer Science Columbia University, New York, 2001.

105. PRTG Traffic Grapher Manual, http://www.paessler.com.

106. RealSecure Guard User Guide, http://www.iss.net/support/documentation/index.php.

107. Rose M. Bulk A Convention for Defining Traps for use with the SNMP, Request for Comments 1215, March 1991.

108. Rose M., McCloghrie K., Davin J. Bulk Table Retrieval with the SNMP, Request for Comments 1187, October 1990.

109. Salvador P., Nogueira A., Valadas R. Modeling local area network traffic with Markovian traffic models / Institute of Telecommunications, University of Aveiro, Portugal, 2001.

110. Sang A., Li S. Q. A Predictability Analysis of Network Traffic // Proceedings of IEEE

111. Schoffstall M., Davin J., Fedor M., Case J. SNMP over Ethernet, Request for Comments 1089, February 1989.

112. Shah H., Undercoffer J., Joshi A. Fuzzy Clustering for Intrusion Detection // Proceedings of the 12th IEEE International Conference on Fuzzy Systems, 2003.

113. Snort User's Manual, http://www.snort.org/docs/snortmanual/.

114. Solar Winds Toolset Administrator Guide, http://www.solarwinds.net

115. Stamford S., Hogland J.A., McAlemey J M. Practical automated detection of Stealthy Portscans // In Proceedings of the IDS Workshop of the 7th Computer and Communication Security Conference, Athens, 2000.

116. Thottan M., Ji С. Adaptive Thresholding for Proactive Network Problem Detection / Third IEEE International Workshop on Systems Management, pp. 108-116, Newport, Rhode Island, April, 1998.

117. Thottan M., Ji С Anomaly detection in IP Networks // IEEE Transactions on signal processings, vol.51, no.8, 2003, University of California Berkeley, 1997.

118. Waldbusser S. Remote network monitoring management information base, Request for Comments 1271, November 1991.

119. Warrier U., Besaw L. The Common Management Information Services and Protocol over TCP/IP (CMOT), Request for Comments 1095, April 1989.

120. Willinger W., Taqqu M., Sherman R., Wilson D. Self-similarity through high-variability: Statistical analysis of Ethernet LAN traffic at the source level // IEEE/ACM Transactions on Networking, vol. 5, no.l, pp.71-86, February 1997.

121. Ye N. A markov chain model of temporal behavior for anomaly detection / Workshop on Information Assurance and Security, West Point, NY, June 2000.

122. Спериодизированные исходные данные