автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.13, диссертация на тему:Методы и алгоритмы для систем мониторинга локальных сетей

На правах рукописи

СТОРОЖУК ДМИТРИЙ ОЛЕГОВИЧ

МЕТОДЫ И АЛГОРИТМЫ ДЛЯ СИСТЕМ МОНИТОРИНГА ЛОКАЛЬНЫХ СЕТЕЙ

05 13 13 - телекоммуникационные системы и компьютерные сети

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Автор'

Москва 2008 г

003169086

Работа выполнена в Московском (государственном университете)

Научный руководитель

инженерно - физическом институте

доктор технических наук, профессор,

Гусева Анна Ивановна

Официальные оппоненты доктор технических наук,

профессор,

Пятибратов Александр

Петрович,

МЭСИ

кандидат технических наук, Шапкин Александр Владимирович, ВИНИТИ РАН

Ведущая организация Московский государственный индустриальный университет (МГИУ)

Защита состоится «04» июня 2008г в 14 ч 00 м на заседании диссертационного совета Д 212 130 03 в МИФИ по адресу 115409, Москва, Каширское шоссе, д 31,ауд 408 (главный корпус), тел (495) 323-95-26, 324-84-98

Автореферат разослан «30» апреля 2008г

Просим принять участие в работе совета или прислать отзыв в одном экземпляре, заверенный печатью организации

Ученый секретарь

диссертационного совета // Шумилов Ю Ю

Подписано в печать__заказ №_ тираж_экз

Типография МИФИ, 115409, Москва, Каширское шоссе, д 31

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования

Актуальность темы диссертационного исследования обусловлена необходимостью повышения вероятности достоверного предоставления данных Эти задачи являются одними из ключевых при разработке современных систем мониторинга локальных сетей

Проведенный критический анализ существующих методов обработки данных, позволил структурировать область применения таких технологий и выявить ряд ограничений В связи с этим возникла необходимость в разработке перспективного, однако еще недостаточно исследованного теоретически и апробированного на практике, динамического многопоточно1 о метода обработки данных и программного обеспечения для реализации этого подхода

Цель работы

Целью диссертационного исследования является повышение вероятности достоверного предоставления данных системой мониторинга о состоянии локальной сети за счет применения динамического многопоточного метода обработки данных

Основными задачами диссертационной работы являются

1 Исследовать современные подходы к построению систем сетевого мониторинга и разработать метод, дающий максимальную вероятность сохранения актуальности данных о состоянии сети

2 Исследовать зависимость скорости работы системы от объема использованных ресурсов

3 Исследовать математические модели для систем мониторинга и их связь с механизмами распределения в современных операционных системах

4 Разработать базовые модели системы опроса рабочих станций, направленные на максимально быстрый сбор и обработку данных

5 Разработать математическое обеспечение, реализующее базовые модели мониторинга рабочих станций в сети, определить области наиболее производительного функционирования

6 Осуществить программную реализацию разработанного математического обеспечения и проверить ее на реальных данных

Область диссертационного исследования

Областью диссертационного исследования является разработка ^

методов, алгоритмов и программ, обеспечивающих контроль и диагностику |

функционирования компьютерных сетей, а так же теоретический анализ и экспериментальное исследование функционирования компьютерных сетей для специальных

Научная новизна основных результатов

Автором получены следующие новые научные результаты, которые выносятся на защиту

1 Предложен новый подход проведения мониторинга в локальной сети, позволяющий использовать время ожидания ответа от оконечного или сетевого устройства для обработки ранее полученной информации

2 Предложены методы «быстрого отсева» рабочих станций, предотвращения «зависания», а также метод определения оптимального числа потоков в каждый момент времени для системы мониторинга, позволяющие сократить время опроса сети

3 Предложен метод динамического многопоточного сбора и обработки информации

4 Разработаны алгоритмы для многопоточной реализации мониторинга в локальной сети, позволяющие уменьшить время опроса рабочих станций по отношению к «классической реализации»

Практическая ценность работы

Использование полученных в диссертации моделей, методов и алгоритмов для систем мониторинга позволяет ускорить опрос рабочих станций, а, следовательно, увеличить вероятность достоверного предоставления данных системой о сети Они легли в основу модуля мониторинга, входящую в состав программного комплекса «ИнфраМенеджер», разработанного компанией «СофтИнтегро» и зарегистрированного Российским агентством по патентам и товарным знакам, что подтверждается соответствующим актом о внедрении Эксплуатация программного комплекса в крупной локальной сети заполярного филиала ОАО «Норильский Никель» выявила выигрыш во времени опроса и обработки полученных данных более чем на 20% по отношению к «классической» реализации, использовавшейся в системе ранее Это привело к увеличению вероятности актуальности хранимых в системе данных о сети с 92% до 95,5%

Также разработанный алгоритм опроса сети был использован для оптимизации работы Call-Center при одновременном приеме звонков и обзвоне клиентов

Результаты работы, выносимые на защиту

1 Предложенные методы «быстрого отсева» рабочих станций, предотвращения «зависания», а также метод определения

оптимального числа потоков в каждый момент времени для системы мониторинга, позволяющие сократить время сбора и обработки информации сети

2 Математическое обеспечение для динамического многопоточного сбора и обработки информации Разработанный набор алгоритмов для систем мониторинга локальной сети

3 Предложенные и реализованные в системе «ИнфраИнформер» методы сбора информации с оконечного оборудования в локальной сети

4 Разработанная и внедренная в систему «ИнфраМенеджер» подсистема мониторинга, основанная на динамическом многопоточном алгоритме сбора и обработки информации, о чем имеется соответствующий акт о внедрении

5 Разработанный и внедренный модуль управления входящими и исходящими звонками в Call-Center, основанный на методе определения оптимального числа потоков в каждый момент времени, о чем имеется соответствующий акт о внедрении

Реализация результатов работы

1 Подсистема мониторинга, встроенная в систему «ИнфраМенеджер», о чем имеется соответствующий акт о внедрении На настоящий момент на территории России и стран СНГ внедрено и используется более 150 копий системы «ИнфраМенеджер»

2 Модуль управления входящими и исходящими звонками в Call-Center, основанный на методе определения оптимального числа потоков в каждый момент времени, о чем имеется соответствующий акт о внедрении Данный модуль входит в состав пакета доработок для CRM SalesLogix, используемого в ОАО «Комстар - Объединенные ТелеСистемы»

Апробация работы

Основные результаты диссертации докладывались и обсуждались на следующих научных конференциях и семинарах

1) Российская конференция-выставка информационных технологий «SofTool», г Москва, 2004

2) Международный научно-технический семинар «Современные технологии в задачах управления, автоматики и обработки информации», г Алушта, 2005, 2006

3) Научная сессия МИФИ 2003, 2005, 2006, 2007

Публикации

Всего по теме диссертации опубликовано 10 печатных трудов, в том числе две статьи в журналах, рекомендованных ВАК РФ для опубликования основных результатов диссертационных исследований

Структура и объем работы

Диссертация состоит из введения, четырех глав, заключения, списка литературы и 4 приложений Общий объем 121 с , из них основного текста 91 с, список литературы из 88 наименований, 29 рисунков, 7 таблицы

СОДЕРЖАНИЕ РАБОТЫ

Постоянный контроль функционирования локальной сети необходим для поддержания ее в работоспособном состоянии, а также предотвращения несанкционированных изменений в составе кабельной системы и конфигурации рабочих станций

Контроль —■ это необходимый первый этап, который должен выполняться при управлении сетью Ввиду важности этой функции ее часто отделяют от других функций систем управления и реализуют специальными средствами Такое разделение функций контроля и собственно управления полезно для крупных и средних сетей, для которых установка интегрированной системы управления экономически нецелесообразна Использование автономных средств контроля помогает администратору сети выявить проблемные участки и устройства сети, а их отключение или реконфигурацию он может выполнять в этом случае вручную

Процесс контроля работы сети обычно делят на два этапа — опрос параметров и анализ

На первом этапе выполняется более простая процедура — процедура сбора первичных данных о работе сети и устройствах, подключенных к ней программных и аппаратных характеристик рабочих станций, работоспособность сетевых устройств, оконечного оборудования, сетевой трафик и т п

Далее выполняется этап анализа, под которым понимается более сложный и интеллектуальный процесс осмысления собранной на этапе опроса параметров информации, сопоставления ее с данными, полученными ранее, и выработки предположений о возможных причинах замедленной или ненадежной работы сети

Задачи опроса параметров решаются программными и аппаратными измерителями, тестерами, сетевыми анализаторами, встроенными средствами опроса коммуникационных устройств, а также агентами систем управления Задача анализа требует более активного участия человека и использования таких сложных средств, как экспертные

системы, аккумулирующие практический опыт многих сетевых специалистов

Одной из основных проблем, стоящих сейчас перед разработчиками систем управления компьютерными сетями является проблема достоверного предоставления данных о их состоянии Потребность в надежно работающих крупных компьютерных сетях все выше с каждым днем Поэтому при проектировании современных систем управления очень важную роль отводят разработкам оптимизированных по времени алгоритмам сбора и обработки данных

Вероятность сохранения актуальности информации на момент ее

использования численно равна с2

р =---, где

(с+ЬХс + ч)

с - среднее время значимого изменения реальной информации относительно информации, хранимой в БД

Ь - среднее время подготовки, передачи и ввода информации для обновления БД

q - среднее время между двумя последовательными опросами одного и того же устройства

Идеальным случаем является ситуация, когда информация о любом изменении состояния достигает БД в момент изменения С использованием механизма мнот опоточности можно «сократить» время ожидания информации от источника, использовав его для обработки информации от другого источника

На представленном ниже графике (рис 1) видна зависимость вероятности сохранения актуальности данных от отношения времени ожидания ответа к времени обработки данных

Из графика видно, что даже незначительное сокращение времени ожидания данных может привести к существенному увеличению вероятности сохранения актуальности данных, если время ожидания примерно равно времени обработки Можно сделать вывод, что для сетей, у которых при работе системы мониторинга время обработки информации примерно равно времени ожидания после запроса, есть возможность существенно повысить актуальность информации при использовании алгоритмов, позволяющих использовать время простоя для обработки информации

Современные операционные системы позволяют использовать многопоточную схему работы приложений Это достигается за счет распределения рабочего времени процессора между разными приложениями, что позволяет нескольким программам работать «одновременно»

Все процессорное время персонального компьютера (сервера) можно разделить на периоды В один такой период все приложения получают по «кусочку» процессорного времени для своих нужд Их размеры зависят от приоритетов приложений в операционной системе Чем выше приоритет - тем длительней временной интервал, в котором приложение использует процессор В рамках данного интервала приложение такя е может и не использовать процессор (находится в состоянии ожидания) Чем больше потоков «внутри» у приложения, тем больше приложение целом получает этого процессорного времени

Для сложных математических задач введения механизма параллельного расчета бесполезно, т.к время работы приложения примерно равно времени процессора для расчета задачи Для задач мониторинга данная схема напротив является довольно выгодной Она позволяет получить выигрыш по времени за счет того, что в процессе опроса рабочей

станции имеются временные интервалы, в которых не используются ресурсы процессора, памяти, сети Это интервалы ожидания ответа от удаленного устройства Тем самым, если использовать эти интервалы для работы других потоков, то можно будет уменьшить время «простоя» процессора А за счет этого происходит оптимизация по времени. Очевидно, что если заставить процессор работать без «простоя» в рамках отведенного для приложения процессорного времени и при этом не допускать переполнения памяти или избыточного сетевого трафика, такая система будет максимально эффективна

Как уже было определено ранее, увеличение количества параллельно опрашиваемых рабочих станций сначала увеличивает производительность системы, а после создания п+1 потока, наоборот, замедляют ее Это связано с конечностью вычислительных ресурсов

На производительность системы влияют три основных фактора загруженность центрального микропроцессора, оперативной памяти, а также сетевой трафик

Очевидно, что пока все три ресурса будут использованы не полностью, добавление нового потока в систему будет увеличивать ее производительность Но как только один из ресурсов будет полностью исчерпан, производительность системы или упадет, или потеряет динамику роста К примеру, если при неполной загрузке центрального процессора будет полностью занята доступная оперативная память, при добавлении нового потока в систему, часть процессорного времени будет тратиться на управление задачами по перегрузке данных из оперативной памяти на жесткий диск Таким образом, одна из основных задач, которую необходимо решить при создании систем мониторинга формулируется следующим образом необходимо определить максимальное число потоков, при котором система опроса рабочих станций будет работать с максимальной эффективностью

Чтобы формально описать данную задачу необходимо определить, как зависит производительность системы от значения вышеописанных факторов

При запуске опроса сети происходит формирование запроса и его отправка удаленному устройству После этого поток переходит в состояние ожидания и до ответа рабочий станции почти не занимает ресурсов процессора, памяти и ие создает сетевого трафика Естественно, что в момент ожидания ответа одним потоком, использовать ресурсы процессора может другой поток

Исходя из всего вышесказанного и при условии неограниченных ресурсов оперативной памяти и сетевого трафика, были определены следующее соотношение для определения оптимального количества добавляемых в систему мониторинга потоков

N=^71р ^де

^ - длительность потока (от запроса данных до окончания их обработки)

1Р- длительность использования

потоком ресурсов центральною процессора

Данное соотношение справедливо для идеального случая В реальной ситуации процессор не может предоставить все свои ресурсы для системы мониторинга Часть его ресурсов идет на управление операционной системой и другими, а также используется другими приложениями

В связи с этим на протяжении времени, за которое работает поток, к ресурсам процессора обращаются не только потоки системы мониторинга, но и другие приложения

Таким образом вышеприведенное соотношение можно ограничить этим условием

(1 - Р)Ар ,где

длительность потока 1р - длительность использования потоком ресурсов

центрального процессора Р - коэффициент загруженности процессора другими приложениями (0 < Р < 1) Такое уточнение соотношения позволяет в любой момент времени определить стоит или нет в данный момент времени добавить дополнительный поток в систему

Но существуют и другие факторы, влияющие на производительность системы мониторинга Вторым по значимости является загруженность оперативной памяти Все ранее приведенные рассуждения действительны при условии, что оперативная память не полна, т е система не использует файл подкачки В случае же его использования существуют дополнительные временные затраты по времени на перегрузку данных из файла в память и обратно

При этом стоит помнить, что перегрузка данных происходит только в том случае, когда поток готов к выполнению А это происходит не на каждом цикле итерации в управляющем потоке

Поэтому для случая, когда все потоки не будут помещаться в оперативной памяти, предыдущее соотношение не может быть использована В случае нехватки оперативной памяти необходимо использовать следующую формулу

N=(1 *(1-Р)/ар + М*и) ,где ^-длительность потока

1Р- длительность использования потоком ресурсов

центрального процессора Р - текущая загруженность процессора (0 < Р < 1)

I, - время перезагрузки данных из оперативной памяти в файл

М - число таких перезагрузок

Определение значения коэффициента М не представляет особого труда Перегрузка произойдет только тогда, когда поток находится в состоянии работы, а не ожидания В связи с этим значение М можно определить по формуле

М = 1Р / ^, где

1р - длительность использования потоком ресурсов

центрального процессора I,-время, на которое предоставляется доступ к ресурсу процессора потоку, при передаче ему управления в одной итерации

Немаловажным фактором является загруженность сети Очевидно, что при полной загрузке сети о параллельности также бессмысленно говорить Потоки будут формироваться в последовательные очереди, и при этом сеть будет практически неработоспособна для других приложений и пользователей В двух предыдущих случаях, перегрузка параметра вела лишь к существенному замедлению работы одного компьютера, а для сетевого трафика может парализовать работу всей сети Из-за этого для каждой конкретной сети устанавливается предельно допустимый сетевой трафик, который может создавать система мониторинга Его расчет ведется из расчета размеров сети, ее скорости, количества сетевых приложений, времени суток и т д

Объединяя все вышесказанное в единую задачу получаем, что

N=11 * (1 - Р) / 1р если оперативная память не

переполнена

N=11 * (1 - Р) / (Чр + / у * (,) ,если оперативная память

переполнена

Оба соотношения ограничены условием, что не превышен установленный предел сетевого трафика, создаваемого системой мониторинга

Выполнение этого условия, а также определение переполнения оперативной памяти происходит в соответствии с ранее определенными соотношениями

Все параметры, необходимые для расчета оптимального количества потоков предоставляются операционной системой

Определив оптимальное количество потоков в любой момент времени, была решена только половина поставленной задачи В классической многопоточной схеме опроса сети, нам нужно распределить

весь диапазон ГР-адресов на N групп, и провести опрос Но классическая схема не учитывает того, что в современной жизни под одно приложение в сети не выделяется сервер Загруженность сервера, на котором установлена система мониторинга, постоянно меняется из-за использования других приложений, расположенных на нем А с изменением загруженности сервера меняется оптимальное количество потоков, в рамках которых проходит опрос оконечного или сетевого оборудования Вторая проблема классической схемы состоит в том, что время опроса одного устройства зависит от его типа, объема собираемой информации, времени, необходимого на ее обработку, а также скорости канала связи При «классическом» распределении 1Р-адресов на группы все эти моменты не учитываются, а это приводит к тому, что в некоторый момент времени одна группа полностью обработана, а другая нет

С учетом этих двух причин для решения поставленной задачи данная модель была доработана следующим образом

1 Определяем оптимальное число потоков в данный момент

2 Запускаем п потоков в которых происходит опрос первых п адресов диапазона

3 Как только в каком-либо потоке опрос закончится (или будет установлена его невозможность) происходит определение оптимального числа потоков в данный момент

4 Если оптимальное число потоков меньше текущего, то поток (в котором закончилась работа) уничтожается Если больше, то создается еще к потоков (к = оптимальное число потоков - существующее число потоков)

Такая схема позволяет отслеживать изменение состояния системы во времени и позволяет равномерно распределять устройства между потоками На рисунке 2 представлен описанный выше алгоритм в графической форме

Для того чтобы оценить предложный выше алгоритм системы мониторинга, было проведено его моделирование, а также моделирование классических алгоритмов, в системе GPSS WORLD Все необходимые для такого моделирования параметры были определены на сети заполярного филиала ОАО «Норильский никель» На их основании были выведены следующие базовые значения

• Среднее число потоков для опроса сети равно 4

• Среднее время опроса 1 устройства составляет 80 секунд

• Количество перегрузок процессора или памяти серверов, на которых установлены средства управления сетью равнялось в среднем 6 раз за час

На основании этих данных было произведено моделирование опроса крупной локальной сети (более 250 компьютеров) для трех реализаций мониторинга (однопоточный, многопоточный и динамический многопоточный) По полученным данным были построены графики производительности разных реализаций мониторинга (рисунок 3)

- - Однопогочмая реализация

— "Многопоточная

реашзация 1 Динамическая _многопоточная реашзация

1у мин

Рис 3

Результаты моделирования подтвердили ранее выдвинутые предположения

Модернизированный многопоточный алгоритм был реализован в системе мониторинга, вошедшей в состав программного комплекса управления сетевой инфраструктуры ИнфраМенеджер, созданный Московской компанией ЗАО «СофтИнтегро». Данная компания известна в России своими разработками в области бюджетных систем автоматизированного управления и электронного документооборота

После проведения тестовых испытаний системы на сети заполярного филиала ОАО «Норильский никель» полученные данные подтвердили результаты моделирования Сравнение результатов полученных при моделировании и испытании системы мониторинга, построенной на модернизированном многопоточном алгоритме, представлены на рисунке 4

2 600

— ■ Многопоточная

—Динамовская многоготочная

- - Рвзугътаты

испытаний

0 ■-<"*.-1-,-1-,-,-1-,-1-.-

о <£> ^ 1? л? -г? # ч# ^

1,МИЦ

Рис 4

По результатам испытаний системы мониторинга можно сделать вывод, что система адекватно себя ведет по отношению к результатам полученных при моделировании Отклонения же графиков друг от друга можно объяснить наличием неучтенных, но мало значимых для проведения мониторинга факторов

На основании анализа приведенных выше данных установлено, что время сбора и обработки информации для сетевых или оконечных устройств было сокращено более чем на 20% Это означает, что время между повторными опросами одной и той же рабочей станции при круговом непрерывном опросе изменилось, и стало составлять 80% от того, которое обеспечивает система мониторинга, построенная по классической модели Таким образом, вероятность сохранения актуальности данных для системы мониторинга, построенной на алгоритмах разработанных в данной работе для сетей ОАО «Норильский Никель» увеличился с 92% до 95,5%

Данный результат превосходит 95%, который в данный момент считаются минимальным уровнем для требований по актуальности данных

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В диссертационном исследовании были успешно решены следующие задачи

1 Разработан новый подход проведения мониторинга в локальной сети, который позволяет использовать время ожидания ответа от оконечного или сетевого устройства для обработки ранее полученной информации

2 Разработаны методы «быстрого отсева» рабочих станций, предотвращения «зависания», а также метод определения оптимального числа потоков в каждый момент времени для системы мониторинга, позволяющие сократить время опроса и увеличить вероятность актуальности данных о сети

3 Разработан метод динамического многопоточного сбора и обработки информации

4 Разработаны алгоритмы для многопоточиой реализации мониторинга в локальной сети, позволяющие уменьшить время опроса рабочих станций по отношению к «классической реализации»

5 Определена область наиболее производительного функционирования разработанных моделей

6 На основании разработанных алгоритмов реализована система мониторинга, вошедшая в состав программного комплекса «ИнфраМенеджер», а также модуль управления потоком звонков в Call-Center

Результаты диссертационного исследования легли в основу системы мониторинга, входящую в состав программного комплекса «ИнфраМенеджер», разработанного компанией «СофтИнтегро» (распространено более 150 копий) Использование данной системы на предприятиях России и ближнего зарубежья подтвердило правильность предложенных алгоритмов и моделей Для локальных сетей ОАО «Норильский Никель» была увеличена вероятность актуальности

хранимых в системе данных о сети с 92% до 95,5% по отношению к системам, в основу которых положен классический многопоточный алгоритм При этом удалось избежать использования дополнительных ресурсов рабочих станций и сетевого трафика

Модуль управления входящими и исходящими звонками в Call-Center, основанный на методе определения оптимального числа потоков в каждый момент времени, вошел в состав пакета доработок для CRM SalesLogix, используемого в настоящее время в ОАО «Комстар -Объединенные ТелеСистемы»

Основные работы, опубликованные по теме диссертации

1 Сторожук Д О Увеличение безопасности работы в локальной сети при использовании систем мониторинга / Гусева А, И, Сторожук ДО// Безопасность информационных технологий - 2007, № 1 -с 46-50

2 Сторожук Д О Оптимизация по времени многопоточной модели опроса компьютерной сети / Гусева А И, Сторожук ДО// Информационные технологии - 2007, № 8 - с 30-33

3 Сторожук Д О Оптимизация по времени мцогопоточной модели опроса сети / Гусева А И, Сторожук Д // XIY международный научно-технический семинар современные технологии в задачах управления, автоматики и обработки информации сб научных трудов - Алушта, 2005 - с 49

4 Сторожук Д О Оптимальное количество потоков в сети при мониторинге сети / Сторожук ДО// XY международный научно-технический семинар современные технологии в задачах управления, автоматики и обработки информации сб научных трудов - Алушта, 2006 - с 52

5 Сторожук Д О Анализ аппаратного и программного обеспечения компьютера / Гусева А И, Сторожук Д О, Четвериков В Н // Научная сессия МИФИ- 2003 сб научных трудов - М МИФИ , 2003 - Том 2 - с 99-100

6 Сторожук Д О Применение информационных технологий для инвентаризации сетевого имущества на примере программного комплекса «ИнфраМенеджер»/ Гусева А И, Сторожук Д О, Четвериков В Н // Научная конференция МИФИ, М МИФИ, 2005 - Том 2-е 131-132

7 Сторожук Д О Использование системы моделирования GPSS World для сравнения различных реализаций системы мониторинга / Сторожук ДО// Научная сессия МИФИ-2007 сб научных трудов -М МИФИ, 2007 Том 2, стр 106-107

8 Сторожук Д О Оптимизация по времени многопоточной модели опроса сети/ Сторожук Д // Научная сессия МИФИ-2005 сб научных трудов - М МИФИ, 2005 - Том 2 - с 133-134

9 Сторожук Д О Основные задачи управления корпоративных сетей / Сторожук ДО// Научная сессия МИФИ-2007 сб научных трудов - М МИФИ , 2007 - Том 2 - с 104-105

10 Сторожук Д О Системные средства ос для управления элементами сети и ресурсами / Сторожук ДО// Научная конференция МИФИ сб научных трудов - М МИФИ, 2006 - Том 2 - с 28-29

В работах, выполненных в соавторстве [1-3, 5, 6], личный вклад автора состоит в описании информационных и математических моделей для разрабатываемого программно-информационного обеспечения систем мониторинга

ВВЕДЕНИЕ.

1. ПРОБЛЕМЫ МОНИТОРИНГА ЛОКАЛЬНЫХ СЕТЕЙ.

1.1. Системы мониторинга параметров и конфигурации локальной сети.

1.1.1. Необходимость мониторинга.

1.1.2. Способы проведения опроса рабочих станций в локальной сети.

1.1.3. Способы анализа информации, собранной при опросе рабочих станций.

1.1.4.Методы проведения мониторинга в локальной сети.

1.1.5. Эффективность функционирования систем мониторинга.

1.2. Функциональные схемы систем мониторш ¡га.

1.2.1. Схема менеджер - агент.

1.2.2. Схемы распределенных систем мониторинга.

1.2.3. Платформенный подход.

1.3. Программная реализация систем мониторинга в локальной сети.

1.3.1. Однопоточные реализации.

1.3.2. Многопоточные реализации.

1.3.3. Сравнение реализаций по основным параметрам.

1.4. Постановка задачи диссертационного исследования.

1.5. Выводы.

2. МАТЕМАТИЧЕСКИЕ МОДЕЛИ И АЛГОРИТМЫ МОНИТОРИНГА

КОНФИГУРАЦИИ РАБОЧИХ СТАНЦИЙ.

2.1. Разработка математической модели системы мониторинга.

2.1.1 .Основные математические модели для анализа и оптимизации распределённых компьютерных систем.

2.1.2. Модель сбора информации при минимизации времени ожидания ответа от источника и оценка эффективности её применения в системах мониторинга.

2.1.3. Способы реализации многопоточной модели на современных однопроцессорных серверах

2.1.4. Математическая модель использукщегося в системах мониторинга метода пакетной обработки.

2.1.5. Математическая модель метода кругового опроса.

2.2. Разработка основных соотношений для опроса рабочих станций в сети при мониторинге параметров.

2.2.1. Разработка соотношения для определения оптимального числа потоков.

2.2.2. Разработка оптимизированной по времени схемы проведения опроса сети.

2.3. алгоритм i доведения мониторинга рабочих станций.

2.3.1. Разработка оптимизированного по времени алгоритма для опроса рабочих станций

2.3.2. Разработка алгоритма отсева рабочих станций, опрос которых невозможен при проведения мониторинга в локальной сети.

2.3.3. Разработка многопоточного алгоритма опроса рабочих станций для мониторинга в локальной сети.

2.4. моделирование различных реализаций системы мониторинга и их сравнение между собой

2.4.1. Исходные данные.

2.4.2. Анализ результатов моделирования для различных сетей.

2.5. выводы.

3. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СИСТЕМЫ МОНИТОРИНГА

КОНФИГУРАЦИЙ РАБОЧИХ СТАНЦИЙ В ЛОКАЛЬНОЙ СЕТИ.

3.1. Система управления сетевой инфраструктурой ИнфраМенеджер 4.0.

3.1.1. Описание системы.

3.1.2. Структура модулей системы.

3.1.3. Структура базы данных системы.

3.1.4. Программные интерфейсы системы.

3.2. Разработка архитектуры системы мониторинга в рамках системы ИнфраМенеджер.

3.3. Программная реализация системы мониторинга рабочих станций в среде Microsoft Visual Studio .Net.

3.3.1. Реализация алгоритма мониторинга рабочих станций.

3.3.2. Реализация пользовательского интерфейса.

3.3.3. Реализация справочной системы мониторинга.

3.4. Альтернативное применение алгоритма опроса сети для Call-центров крупных компаний.

3.5. Выводы.

4. АНАЛИЗ ПОЛУЧЕННЫХ РЕЗУЛЬТАТОВ.

4.1. Результаты опроса малой сети (36 uim) (УЗСМ).

4.2. Результаты опроса крупной сети (453 шт)(Медный Завод).

4.3. Оценка вероятности сохранения актуальности данных для систем мониторинга построенных на классическом и разработанном алгоритмах.

4.4. Выводы.

Актуальность. Бурный рост компьютерных сетей приводит к частым сбоям в их работоспособности. Поэтому необходимо улучшать существующие способы контроля за функционированием локальных вычислительных сетей.

Особо остро стоит эта задача, когда первоначально при проектировании сети были заложены меньшие размеры и нагрузки. Данная ситуация приводит к невозможности пользователей получить своевременный доступ к необходимой информации.

Помимо этого необходимость мониторинга возникает, когда в рамках одной сети объединяется несколько подсетей, изначально спроектированных для решения различных задач. В этом случае в сети увеличивается объём трафика, а также возрастает нагрузка на серверы приложений и особенно сильно - на серверы доменов.

Всё вышесказанное подчёркивает особую актуальность решения задачи постоянного контроля за функционированием сети для гарантированной (предсказуемой) работы сети в целом и доступности для пользователей её компонент. Подобный контроль обеспечивает сохранение целостности и доступности данных, помогает предотвратить несанкционированный доступ к ним.

Несмотря на актуальность создания систем контроля за функционированием сети, проведённый анализ [7,12,27,35,51,72] показывает следующее недостатки современных программных средств:

• Быстрый рост сети приводит к тому, что контроль над сетью уменьшается и выходит за рамки изначально заложенных параметров, в том числе и по максимальному времени обнаружения ошибки. Это вызвано увеличением интервалов между опросами сетевого или оконечного оборудования.

• Предлагаемые пользователям стандартные решения, как правило, плохо адаптируются к различным сетям и не оптимально используют свободные ресурсы. Помимо этого, существующие системы мониторинга очень часто задействуют именно те ресурсы, которые уже задействованы в данный момент времени другими приложениями.

Научная новизна работы. Автором получены следующие новые научные результаты, которые выносятся на защиту.

1) Предложен новый подход к проведению мониторинга в локальной сети, позволяющий использовать время ожидания ответа от оконечного или сетевого устройства для обработки ранее полученной информации.

2) Предложены методы «быстрого отсева» рабочих станций, предотвращения «зависания», а также метод определения оптимального числа потоков в каждый момент времени для системы мониторинга, позволяющие сократить время опроса сети.

3) Предложен метод динамического многопоточного сбора и обработки информации.

4) Разработаны алгоритмы для многопоточной реализации мониторинга в локальной сети, позволяющие уменьшить время опроса рабочих станций по отношению к «классической реализации».

Практическая ценность работы. Использование полученных в диссертации моделей, методов и алгоритмов для систем мониторинга позволяет ускорить опрос рабочих станций, и, следовательно, увеличить вероятность достоверного предоставления данных системой о сети. Они легли в основу модуля мониторинга, входящую в состав программного комплекса «ИнфраМенеджер», разработанного компанией «СофтИнтегро» и зарегистрированного Российским агентством по патентам и товарным знакам, что подтверждается соответствующим актом о внедрении. Эксплуатация программного комплекса в крупной локальной сети заполярного филиала ОАО «Норильский Никель» выявила выигрыш во времени опроса и обработки полученных данных более чем на 20% по отношению к «классической» реализации, использовавшейся в системе ранее. Это привело к увеличению вероятности актуальности хранимых в системе данных о сети с 92% до 95,5%.

Также разработанный алгоритм опроса сети был использован для оптимизации работы Call-Center при одновременном приеме звонков и обзвоне клиентов.

Достоверность результатов. Достоверность полученных в работе результатов обуславливается используемыми моделями массового обслуживания, а также совпадением результатов моделирования предложенных алгоритмов в системе GPSS WORLD и полученных данных в результате испытания системы мониторинга.

Апробация работы. По теме диссертации опубликовано 10 научных работ, в том числе 2 в реферируемых журналах, рекомендуемых ВАК для публикаций результатов диссертаций. Результаты диссертационного исследования докладывались на научной конференции МИФИ и в Алуште.

7. Проблемы мониторинга локальных сетей

4.4. Выводы

На основании анализа приведённых выше данных установлено, что время сбора и обработки информации для сетевых или оконечных устройств было сокращено более чем на 20%. Это означает, что время между повторными опросами одной и той же рабочей станции при круговом непрерывном опросе изменилось, и стало составлять 80% от того, которое обеспечивает система мониторинга, построенная по классической модели. Таким образом, вероятность сохранения актуальности данных для системы мониторинга, построенной на алгоритмах разработанных в данной работе для сетей ОАО «Норильский Никель» увеличился с 92% до 95,5%.

Данный результат превосходит 95%, который в данный момент считаются минимальным уровнем для требований по актуальности данных.

Заключение

В диссертационном исследовании были успешно решены следующие

Разработан новый подход проведения мониторинга в локальной сети, который позволяет использовать время ожидания ответа от оконечного или сетевого устройства для обработки ранее полученной информации.

Разработаны методы «быстрого отсева» рабочих станций, предотвращения «зависания», а также метод определения оптимального числа потоков в каждый момент времени для системы мониторинга, позволяющие сократить время опроса и увеличить вероятность актуальности данных о сети. Разработан метод динамического многопоточного сбора и обработки информации.

Разработаны алгоритмы для многопоточной реализации мониторинга в локальной сети, позволяющие уменьшить время опроса рабочих станций по отношению к «классической реализации».

Определена область наиболее производительного функционирования разработанных моделей.

На основании разработанных алгоритмов реализована система мониторинга, вошедшая в состав программного комплекса «ИнфраМенеджер», а также модуль управления потоком звонков в Call-Center.

Результаты диссертационного исследования легли в основу системы мониторинга, входящую в состав программного комплекса «ИнфраМенеджер», разработанного компанией «СофтИнтегро». Использование данной системы на предприятиях России и ближнего зарубежья подтвердило правильность предложенных алгоритмов и моделей и привело к увеличению вероятности актуальности хранимых в системе данных о сети с 92% до 95,5% по отношению к системам, в основу которых положен классический многопоточный алгоритм. При этом удалось избежать использования дополнительных ресурсов рабочих станций и сетевого трафика.

1. Аллен Э. Типичные ошибки проектирования. Санкт-Петербург: Питер, 2003

2. Андреев А., Беззубов Е., Емельянов М. и др. Microsoft Windows 2000 Professional: Русская версия. Санкт-Петербург: БХВ-Петербург, 2003

3. Басс Л. Архитектура программного обеспечения на практике. Санкт-Петербург: Питер,2005

4. Бей И. Взаимодействие разноязыковых программ. Руководство программиста. Москва: Вильяме,2005

5. Бенькевич Е. Практическое моделирование динамических систем. Санкт-Петербург: БХВ-Петербург,2002

6. Боев В. Моделирование систем. Инструментальное средство GPSS Word. Санкт-Петербург: БХВ-Петербург,2004

7. Бройдо В. Вычислительные системы, сети и телекоммуникации. Санкт-Петербург: Питер, 2003

8. Буч Г. UML Руководство пользователя. Москва: ДМК, 2000

9. Бычков С., Храмов А. Разработка моделей в системе моделирования GPSS. Москва: МИФИ, 1997

10. Ю.Бэбб Р. Программирование на параллельных вычислительных системах. Москва: Мир, 1991

11. Васильев А. Научные вычисления в Microsoft Excel. Москва: Вильяме, 2004

12. Водяхо А., Горнец Н., Пузанков Д. Высокопроизводительные системы обработки данных. Москва: Высшая школа, 1997

13. Гарнаев A. Visual Basic .NET Разработка приложений. Санкт-Петербург: БХВ-Петербург, 2002

14. Гнеденко Б. В., Коваленко И. Н. Введение в теорию массового обслуживания. Москва: URSS, 2005

15. Гребенюк Е., Гребенюк Н. Технические средства информатизации. Москва: Академия, 2005

16. Гук М. Аппаратные средства локальных сетей. Энциклопедия. Санкт-Петербург: Питер, 2000

17. Гук М. Аппаратные средства 1ВМ РС: Энциклопедия. Санкт-Петербург: Питер, 2004

18. Гусева А. И., Сторожук Д. О. Журнал «Безопасность информационных технологий». Статья «Увеличение безопасности работы в локальной сети при использовании систем мониторинга», стр. 46-50, январь 2007

19. Гусева А. И., Сторожук Д. О. Журнал «Информационные технологии». Статья «Оптимизация по времени многопоточной модели опроса компьютерной сети», стр. 30-33, август 2007

20. Гусева А. И., Сторожук Д. О. Оптимизация по времени многопоточной модели опроса сети. 14 международный научно-технический семинар современные технологии в задачах управления, автоматики и обработки информации в Алуште, 2005. стр. 49

21. Гусева А. И., Сторожук Д. О., Четвериков В. Н. Анализ аппаратного и программного обеспечения компьютера. Научная конференция МИФИ, 2003. Том 2 стр. 99-100

22. Гусева А. И., Сторожук Д. О., Четвериков В. Н. Применение информационных технологий для инвентаризации сетевого имущества на примере программного комплекса «ИнфраМенеджер». Научная конференция МИФИ, 2005. Том 2 стр. 131-132

23. Давыдов В.Г. Программирование и основы алгоритмизации. Москва: Высшая Школа, 2003

24. Дейтел Г. Введение в операционные системы. Москва: Мир. 1987

25. Дольф Р., Бишоп Р. Современные системы управления. Москва: Лаборатория базовых знаний, 2002

26. Иртегов Д. Введение в сетевые технологии. Санкт-Петербург: БХВ-Петербург, 2004

27. Казаков С. Основы сетевых технологий. Москва, ДМК, 1998

28. Кармайкл Э. Быстрая и качественная разработка программного обеспечения. Москва: Вильяме, 2003

29. Кларк Д. Объектно-ориентированное программирование в Visual Basic. NET.: Перевод с английского. Санкт-Петербург: Питер, 2003

30. Клейнрок Л. Вычислительные системы с очередями. Москва: Мир, 1979

31. Коберн А.Современные методы описания функциональных требований к системам. Москва: Лори, 2002

32. Константайн Л. Разработка программного обеспечения. Санкт-Петербург: Питер, 2003

33. Костогрызов А.И. Методическое руководство по оценке качества функционирования информационных систем

34. Кровчик Э. NET. Сетевое программирование для профессионалов. Москва: ЛОРИ, 2005

35. Кучерявый Е. Управление трафиком и качество обслуживания в сети Интернет. Москва: Наука, 2004

36. Липаев В. Анализ и сокращение рисков проектов сложных программных средств. Москва: СИНТЕГ, 2005

37. Магда Ю. Разработка и оптимизация Windows-приложений. Санкт-Петербург: БХВ-Петербург,2003

38. Майнази М. Windows 2000 Professional. Москва: Лори, 2001

39. ЗЭ.Макконнелл С. Совершенный код. Мастер-класс. Санкт-Петербург: Питер,2005

40. Максимей И. Имитационное моделирование на ЭВМ. Москва: Радио и связь, 1988.

41. Максимов Н., Попов И. Компьютерные сети. Москва: Форум, 2005

42. Мамаев Е. Microsoft SQL Server 2000. Санкт-Петербург: Питер, 2001

43. Мандел Т. Разработка пользовательского интерфейса. Москва: ДМК, 2001

44. Мартин М. Введение в сетевые технологии. Москва: Лори, 2002

45. Меженный О. Microsoft Windows 98: Краткое руководство. Москва: Диалектика. 2003

46. Назаров С. Локальные вычислительные сети. Организация, функционирование, эффективность, оптимизация. Москва: Финансы и статистика, 1994г.

47. Назаров С. Администрирование локальных сетей Windows NT/2000/ .NET. Москва: Финансы и Статистика, 2003

48. Нанс. Б. Компьютерные сети. Москва; Бином, 1996

49. Нортон П., Гудман Дж. Персональный компьютер: аппаратно-программная организация. В подлиннике. Книга 1. Санкт-Петербург: BHV-Санкт-Петербург, 1999

50. Партыка Т., Попов И. Операционные системы, среды и оболочки. Москва: Форум. 2001

51. Плат Д. Знакомство с MICROSOFT .NET. Москва: Русская редакция, 2001

52. Поляк-Брагинский А. Сеть под Microsoft Windows. Санкт-Петербург: БХВ-Петербург, 2003

53. Попов А., Шикин Е. Администрирование Windows с помощью WMI и WMIC. Санкт-Петербург: БХВ-Петербург, 2003

54. Портянкин И. Эффектные пользовательские интерфейсы. Библиотека программиста. Санкт-Петербург: Питер, 2005

55. Роббинс Д. Отладка Windows приложений. Москва: ДМК.2001

56. Роман С. Visual Basic. Библиотека Win32 API. Москва: ДМК Пресс, 2005

57. Рыжиков Ю.И. Имитационное моделирование. Теория и технологии. Санкт-Петербург: Корона принт, 2004

58. Саймон P. Windows 2000 API. Киев: ДиаСофт, 2001

59. Сергеев А. Офисные локальные сети: Самоучитель. Москва: Диалектика, 2004

60. Советов Б., Яковлев С. Моделирование систем. Москва: Высшая Школа, 1995

61. Спортак М. Компьютерные сети. Энциклопедия пользователя. Книга 1. Киев: ДиаСофт, 1998

62. Спортак М. Компьютерные сети. Энциклопедия пользователя. Книга 2. Киев: ДиаСофт, 1998

63. Сторожук Д.О. Использование системы моделирования gpss world для сравнения различных реализаций системы мониторинга. Научная конференция МИФИ, 2007. Том 2

64. Сторожук Д. О. Оптимальное количество потоков в сети при мониторинге. 15 международный научно-технический семинар современные технологии в задачах управления, автоматики и обработки информации в Алуште, 2006

65. Сторожук Д.О. Оптимизация по времени многопоточной модели опроса сети. Научная конференция МИФИ, 2005. Том 2, стр. 133-134бЭ.Сторожук Д.О. Основные задачи управления корпоративных сетей. Научная конференция МИФИ, 2007. Том 2,

66. Сторожук Д.О. Системные средства ос для управления элементами сети и ресурсами. Научная конференция МИФИ, 2006. Том 2, стр. 28-29

67. Таненбаум Э. Современные операционные системы: Перевод с английского. Санкт-Петербург: Питер, 2005

68. Уилсон М. Мониторинг и анализ сетей. Москва: Лори, 2002

69. Фаулер М. Архитектура корпоративных программных приложений. Москва: Вильяме, 2004

70. Хинчин А. Я. Работы по математической теории массового обслуживания, М., 1963

71. Хогдал Дж. Анализ и диагностика компьютерных сетей. Москва: Лори, 2001

72. Хоор А. Взаимодействующие последовательные процессы Москва: Мир, 1986

73. Чакраборти A. Microsoft .NET Framework: разработка профессиональных проектов. Санкт-Петербург: БХВ-Петербург, 2003

74. ШаттС. Мир компьютерных сетей. Москва: Высшая школа, 1996

75. Шеннон Р. Имитационное моделирование систем искусство и наука. Москва: Мир, 1978

76. Шоу А. Логическое проектирование операционных систем. Москва: Мир,1981

77. Шрайбер Т. Моделирование на GPSS. Москва: Машиностроение, 1980.

78. Штайр М. Системы параллельной обработки. Москва: Мир, 1985

79. Шураков В. Надежность программного обеспечения систем обработки данных. Москва: Статистика, 1981

80. Кровчик Э. .NET Сетевое программирование для профессионалов. : Лори, 2005

81. Эпплман Д. Переход на VB.NET. Санкт-Петербург: Питер, 2002

82. Юдин. А. Концепции и руководство по планированию Microsoft Windows 2000 Server. Санкт-Петербург: Питер, 2003

83. Якубайтис Я. Информационные сети и системы. Москва: Финансы и статистика, 1996г.

84. MSDN Library for Visual Studio .NET 2003