автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.15, диссертация на тему:Математические модели, методы анализа и управления в корпоративных сетях

Московский Государственный Технический Университет имени Н. Э. Баумана

904610085

На правах рукописи

Иванов Игорь Потапович

МАТЕМАТИЧЕСКИЕ МОДЕЛИ, МЕТОДЫ АНАЛИЗА И УПРАВЛЕНИЯ В КОРПОРАТИВНЫХ СЕТЯХ

Специальность 05.13.15 - Вычислительные машины, комплексы и компьютерные сети

Автореферат диссертации на соискание ученой степени доктора технических наук

- 7 ОНI

?П10

Москва 2010

004610085

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Московский Государственный Технический Университет имени Н. Э. Баумана»

ОФИЦИАЛЬНЫЕ ОППОНЕНТЫ:

заслуженный деятель науки РФ, доктор технических наук, профессор Олейников Александр Яковлевич

доктор технических наук, профессор Ретинская Ирина Владимировна

доктор технических наук, профессор Саксонов Евгений Александрович

ВЕДУЩАЯ ОРГАНИЗАЦИЯ:

Федеральное государственное учреждение Российский научный центр «Курчатовский институт»

Защита состоится « 19 » октября 2010 года в 11-00 часов на заседании диссертационного совета Д 212.133.03 Московского государственного института электроники и математики (технического университета) по адресу: 109028 Москва, Б. Трехсвятительский пер., д.З МИЭМ.

С диссертацией можно ознакомиться в библиотеке университета Автореферат разослан « 17 » сентября 2010 года

Ученый секретарь диссертационного совета, д.т.н., доцент

__ Ю.Л. Леохин

Общая характеристика работы

Актуальность проблемы

Развитие и широкое внедрение информационно-коммуникационных технологий во все сферы человеческой деятельности проявляется в локальных и глобальных компьютерных сетях. Изменение характера передаваемой информации, ее объемов и интенсивности может привести к возникновению блокировок и перегрузок в компьютерных сетях, несмотря на тенденцию к повышению их пропускной способности, следовательно, совершенствование методов анализа и управления в корпоративных сетях, направленных на повышение их производительности, остается актуальной проблемой и в настоящее время. Разнообразие передаваемой информации, со интенсивность и объем приводят ко все большему отличию существующих математических моделей источников информации, коммуникационных узлов сетей и самого трафика, разработанных для сетей первых поколений, от реально наблюдаемых результатов их функционирования на современном этапе. Серьезным препятствием для исследования трафика в корпоративных сетях является также закрытость и ограниченность методик анализа процессов в узлах сетей, используемых в дорогостоящих зарубежных разработках. Поэтому разработка научных методов и алгоритмов создания структур и топологий транспортных подсистем корпоративных сетей, методов анализа функционирования коммутационных и оконечных узлов этих подсистем и их отдельных сегментов, развитие и совершенствование технологий управления трафиком передаваемой информации, реализуемых на штатном сетевом оборудовании и с помощью типового аппаратно-программного обеспечения, доступного сетевым администраторам и интеграторам, является актуальной задачей для повышения уровня автоматизации всех информационных процессов в многоплановой деятельности предприятий и организаций любых масштабов.

Решением ряда задач, относящихся к данной проблеме занимаются научно-исследовательские подразделения многих российских и зарубежных университетов и НИИ: Государственный научно-исследовательский институт информационных технологий и телекоммуникаций "Информика", Санкт-Петербургский государственный институт информационных технологий, точной механики и оптики (технический университет), Российский НИИ развития общественных сетей, Московский государственный технический университет им. Н.Э. Баумана, Санкт-Петербургский государственный университет телекоммуникаций им. проф. М. А. Бонч-Бруевича, Московский государственный университет им М. В Ломоносова, Московский институт электроники и математики (технический университет), Тамбовский государственный технический университет, Центральный научно-исследовательский институт робототехники и технической

кибернетики, Уфимский государственный авиационный технический университет, Новгородский государственный университет, Самарский государственный аэрокосмический университет, Санкт-Петербургский государственный университет, Global Information Grid, Cisco Systems Inc, Factiva (совместное предприятие Dow Jones и Reuters), General Dynamics, HP, Honeywell, ШМ, Microsoft, Northrop Grumman, Oracle, Raytheon, Sun и др. Несмотря на это, в открытой печати и ресурсах Internet практически отсутствуют методы анализа и синтеза транспортных подсистем корпоративных сетей предприятий, что негативно влияет на внедрение и освоение новых информационных технологий для решения важных народнохозяйственных задач во всех отраслях.

Цели и задачи исследований

Целью диссертации является создание научных основ для проектирования, разработки и создания высокопроизводительных транспортных подсистем корпоративных сетей, их сопровождения и модернизации в процессе эксплуатации. Для этого необходима разработка математических моделей источников информации, нагружающих транспортную подсистему (т.е. математических моделей трафика на уровне доступа), математических моделей трафика в сегментах уровней распределения и ядра (т.е. после прохождения кадров через каскады коммутаторов, что в свою очередь требует разработки их математических моделей), методов регулирования интенсивностью трафика на интерфейсах источников и учет доступности ресурсов при проектировании топологии транспортной подсистемы.

Для достижения поставленной цели на базе анализа современного состояния стека протоколов TCP/IP проведена ее декомпозиция, в результате чего достижение этой цели обеспечивается решением следующих задач:

1. Анализ структур транспортных подсистем современных корпоративных сетей, технологий взаимодействия их оконечных и транзитных узлов.

2. Разработка математических моделей источников и стоков информации для характеризации нагрузки на транспортную подсистему.

3. Развитие методов статистического анализа и мониторинга трафика в сегментах корпоративных сетей.

4. Разработка математических моделей транзитных узлов (коммутаторов) корпоративных сетей с учетом их влияния на трафик в различных иерархических уровнях сети.

5. Анализ и развитие методов и технологий управления объемами и интенсивностью трафика, переносимого транспортной подсистемой.

6. Разработка методов анализа доступности общих ресурсов корпоративных сетей с целью снижения вероятности блокировок в транспортных подсистемах и повышения производительности корпоративных сетей.

Методы исследования

Для решения поставленных задач используются современные методы теории информации и теоретической информатики, математические методы теории вероятностей, теории очередей и массового обслуживания, планирования эксперимента и статистической обработки результатов экспериментальных данных.

Научная новизна результатов

1. Разработана новая математическая модель трафика в сегментах транспортной подсистемы с длительностью кадров, распределенной по закону Бернулли для технологии Ethernet, интенсивность поступления которых соответствует мультиплексированным и демультиплексированным регулярным потокам, позиционированным по Пуассону в отсутствие блокировок.

2. Предложена новая математическая модель коммутаторов в корпоративных сетях, как основных транзитных узлов транспортных подсистем в их различных иерархических уровнях.

3. Разработан новый метод регулирования интенсивности трафика в сегментах транспортной подсистемы путем пролонгации процессов в источниках информации, опирающийся на логику алгоритма случайного раннего обнаружения.

4. Выведено правило доступности ресурсов для анализа типовых информационных процессов в разных уровнях иерархии транспортной подсистемы корпоративной сети.

5. Разработаны принципы построения структур транспортных подсистем корпоративных сетей, обеспечивающих повышение их производительности при снижении процента информационных потерь из-за блокировки кадров в общих ресурсах.

6. Разработаны методики, алгоритмы и программы для экспериментальных исследований транспортных подсистем корпоративных сетей предприятия.

Достоверность полученных результатов диссертации подтверждается:

- применением фундаментальных положений теории автоматов, теории алгоритмов и теории связи;

- использованием известных методов теории систем массового обслуживания, теории очередей и процессов восстановления;

- сопоставлением полученных решений с общеизвестными достоверными результатами, опубликованными в литературе;

- экспериментальными подтверждениями для процессов в транспортной подсистеме реальной корпоративной сети МГТУ им. Н. Э. Баумана.

Практическая значимость работы состоит в:

1. Разработанных алгоритмах и программах, дополняющих известные типовые процедуры статистических исследований сетевых характеристик.

2. Разработанном программном комплексе 1ГОРРШО для генерации нагрузки на транспортные подсистемы любых сетей и анализа пропускных способностей их сегментов.

3. Разработанных методиках определения характеристик коммутаторов корпоративных сетей без остановки их функционирования в транспортных подсистемах.

4. Полученных математических моделях ряда промышленных коммутаторов конкретных фирм производителей, предлагаемых на рынке сетевого оборудования.

5. Конкретных рекомендациях по организации транспортных подсистем корпоративных сетей для снижения доли потерь информации.

Результаты работы реализованы под научным руководством автора в корпоративной сети МГТУ им. Н. Э. Баумана и используются при ее эксплуатации, модернизации и развитии. Отдельные разработки диссертации используются в корпоративных сетях Российского НИИ Развития Общественных Сетей и Российском научном центре «Курчатовский институт».

Основанием для выполнения работы явились исследования, проводимые автором лично и под его научным руководством с 1993 года по настоящее время в МГТУ им. Н. Э. Баумана в рамках следующих Федеральных программ: ФЦП «Интеграция науки и высшего образования России» (2002 - 2006 гг, направление 3.13 «Совместная разработка и адаптация вузами и исследовательскими организациями программ научно-методического обеспечения подготовки кадров в области суперкомпьютерных, информационных и наукоемких технологий», направление 4.16 «Развитие интегрированной сети с высокоскоростными телекоммуникационными каналами»), «Электронная Россия» (2002 - 2005 гг), «Развитие единой образовательной информационной среды» (2002 - 2005 гг), а также ряда госбюджетных и хоздоговорных НИР.

Апробация работы и публикации

Основные положения, представленные в диссертации докладывались и обсуждались на следующих научных мероприятиях: Телематика-2000: Международная НМК - Санкт-

Петербург 2000 г, Создание телекоммуникационной среды высокопроизводительных технологий в регионах России: состояние, проблемы ВНТС - Уфа 2000 г, Relarn - 2001: VIII конференция представителей региональных научно-образовательных сетей -Петрозаводск 2001 г, Телематика-2001: Международная НМК - Санкт-Петербург 2001 г, Relarn - 2002: IX конференция представителей региональных научно-образовательных сетей - Нижний Новгород 2002 г, «Информационные технологии в образовании»: Международная конференция - Болгария 2002 г, Телематика-2003: Международная НМК - Санкт-Петербург 2003 г, Relarn-2003: X конференция представителей региональных научно-образовательных сетей - Санкт-Петербург 2003 г, V Международная конференция памяти академика А. П. Ершова - Новосибирск 2003 г, Современные наукоемкие технологии в промышленности России: высокопроизводительные вычисления и CALS-технологии ВНТС - Уфа 2004 г. Результаты диссертации изложены в 10-ти статьях, опубликованных в журналах, рекомендованных ВАК РФ, 1-ом научном издании, 2-х статьях в других журналах, 10-ти трудах конференций, 2-х учебно-методических пособиях и в 23-х отчетах по госбюджетным и хоздоговорным НИР, в которых диссертант являлся научным руководителем.

Структура и объем работы

Диссертация состоит из введения, 5 глав, основных выводов и результатов и списка использованных источников. Работа изложена на 249-ти страницах машинописного текста, содержит 37 рисунков и 15 таблиц. Библиографический список включает 108 наименований.

Основное содержание работы

Во введении обоснована актуальность работы, рассмотрена ее необходимость и своевременность, определены цели и задачи исследования, сформулирована научная новизна и выносимые на защиту положения, изложена структура диссертации.

В первой главе диссертации проведен анализ современного состояния стека протоколов TCP/IP, в результате которого установлено, что именно этот стек является основным для реализации в корпоративных сетях предприятий различных профилей и масштабов. Выявлено, что бурное развитие информационно-телекоммуникационных технологий в последней трети XX века и в начале XXI столетия поставило новые задачи в области разработки и проектирования корпоративных сетей. Повсеместное проникновение технологий Internet/Intranet вывело на новый качественный уровень информационное взаимодействие структурных подразделений и отдельных пользователей в процессе функционирования предприятий и организаций различных масштабов практически во всех видах человеческой деятельности.

Стек протоколов TCP/IP де-факто вытеснил все остальные стеки практически во всех подсетях, составляющих Internet, и в корпоративных сетях предприятий. При этом на всех уровнях стека за его сорокалетнюю историю произошли и продолжают происходить существенные изменения, отражающие новые требования пользователей к количественным и качественным показателям информационного обеспечения в различных областях. Изначально ориентированный на передачу эластичного компьютерного трафика стек протоколов TCP/IP вполне успешно справился с проблемами, связанными с необходимостью доставки потребителю неэластичного трафика, характерного для приложений реального времени.

Успешное решение проблем переноса голосовой информации (1Р-телефония), мультимедийной информации (видео- и аудиофайлы, IP-телевидение и радиовещание, IP-телеконференции и т.п.), информации по управлению системами реального времени (управление производственными процессами, охранные и противопожарные системы, системы мониторинга транспортных потоков и многое другое) оказалось возможным благодаря введению систем гарантированного качества обслуживания (QoS - Quality of Service), обеспечение которого затронуло все уровни стека протоколов TCP/IP.

Следует отметить наиболее существенные изменения, которые за последние двадцать лет произошли в технологии построения транспортных подсистем корпоративных сетей. На настоящее время моноканалы сетей шинной и кольцевой топологии практически полностью вытеснены иерархической (древовидной) топологией локальных сетей технологии Ethernet, построенных по принципу коммутации. При значительном удешевлении цены за порт (интерфейс) коммутаторы ЛВС фактически произвели революцию в проектировании корпоративных сетей. Переход от коаксиальных кабелей к витой паре способствовал еще большему удешевлению сетей Ethernet, а реализация технологий Fast Ethernet, Gigabit Ethernet и 10 Gigabit Ethernet (витая пара категории 6) дает основание для замены названия «стека протоколов TCP/IP» на «стек протоколов TCP/IP/Ethernet». Снижение стоимости волоконно-оптических линий связи окончательно сняло территориальные ограничения при построении корпоративных сетей, а ближайшие перспективы по внедрению технологии 40 Gigabit Ethernet и 100 Gigabit Ethernet позволяют вести речь о возможной конкуренции технологии IEEE 802.3 технологиям PDH (Plesiochronous Digital Hierarchy) и SDH (Synchronous Digital Hierarchy.

Прогресс в области микроэлектроники и, прежде всего, разработка специализированных интегральных схем ASIC (Application-specific Integrated Circuit) для развития коммуникационных технологий также оказал свое благотворное влияние. Коммутаторы, по существу являющиеся устройствами 2-го уровня эталонной модели

ISO/OSI, по своим интеллектуальным возможностям приблизились к маршрутизаторам, аппаратно реализуя алгоритмы, присущие сетевому уровню. В настоящее время наблюдается сближение сетевого и канального уровней модели ISO/OSI, широко используется MPLS (Multiprotocol Label Switching) в маршрутизации, практически во всех корпоративных сетях применяются коммутаторы 3-го уровня, появляются коммутаторы 4-го уровня. Существенно расширились интеллектуальные возможности и коммутаторов 2-го уровня, а именно: поддержка алгоритмов STA (Spanning Tree Algorithm), позволяющих резервировать сегменты ЛВС, обеспечение технологии VLAN (Virtual Local Area Network) для защиты от широковещательных штормов и повышения уровня защиты информации, классификация трафика в соответствии с уровнями QoS, управление объемом и интенсивностью трафика и т.п. Реализация коммутаторами дополнительных функций оказывает влияние на трафик информационного потока, проходящего через его интерфейсы. Выяснение характера этого влияния невозможно без соответствующих математических моделей коммутаторов в различных условиях их нагрузки.

В качестве основного объекта исследования выбрана корпоративная сеть МГТУ им. Н. Э. Баумана, которая являясь сложной гетерогенной системой как в отношении оконечных узлов, так и в отношении транзитных узлов, а также сред передачи информации представляет собой отличный полигон для исследования, анализа всех процессов, характерных для транспортных систем, реализующих физический, канальный и сетевой уровни эталонной модели ISO/OSI. Полученные результаты могут быть с высокой достоверностью распространены на корпоративные сети любых масштабов.

Декомпозиция проблемы создания методологии разработки транспортных подсистем корпоративных сетей включает в себя следующие задачи:

- определение и характеризация нагрузки на транспортную подсистему корпоративной сети, т.е. исследование трафика источников информации при реализации различных сервисов в сети;

- разработка математических моделей коммутаторов как основных элементов транспортных узлов корпоративной сети и анализ их влияния на трафик источников информационных потоков;

- исследование существующих в настоящее время методов управления объемом и интенсивностью трафика информационных потоков и выработка рекомендаций по их применению в транзитных и оконечных узлах корпоративной сети;

- разработка рекомендаций по организации неблокирующих транспортных систем и их различных структурных элементов на разных иерархических уровнях корпоративной сети.

Во второй главе диссертации классифицированы методы описания нагрузки на транспортную подсистему (коммутационную систему) корпоративной сети, в результате чего выявлено, что процессы в узлах и сегментах транспортной подсистемы на микроуровне могут быть исследованы при наличии модели трафика, описывающей интенсивность поступления кадров в интерфейсы узлов и их длительность.

Любой оконечный узел сети имеет одно подключение к транспортной подсистеме, реализующее полнодуплексный режим обмена информацией (симплексный режим и half-duplex имеют место лишь в специальных сегментах корпоративной сети). Поэтому с точки зрения нагрузки на транспортную подсистему любой хост в сети может рассматриваться как система массового обслуживания с одним входом и одним выходом. При допущении Пуассоновского потока заявок на обслуживание, произвольном распределении времени их обслуживания (система М/G/l нотации Кендалла) аналитическая модель описывается следующими соотношениями:

где: от — среднеквадратичное отклонение среднего времени обслуживания 7$;

X — скорость поступления, то есть среднее количество поступающих в секунду запросов;

со — среднее количество запросов, ожидающих обслуживания;

Тш — среднее время ожидания;

г — среднее количество запросов в системе, ожидающих и обслуживаемых;

Тг — среднее время, которое запрос проводит в системе.

Допущение о Пуассоновском потоке заявок справедливо в клиент-серверных технологиях, если рассматривать поток запросов от множества клиентов к серверу. Вместе с тем, после установления ТСР-соединений от сервера к клиенту возбуждается поток информационных кадров, размеры и интенсивностью которых определяется характером приложений. В этих же кадрах «попутной перевозкой» передается служебная информация ТСР-соединения. В обратном направлении (от клиента к серверу) передаются служебные кадры подтверждения и управления ТСР-соединением. Если на сетевом уровне используются алгоритмы «дырявого ведра» или «маркерного ведра», то выходной поток

кадров близок к регулярному по интенсивности. В этом случае следует ожидать и регулярности ответного потока подтверждений в TCP-соединениях. Размеры информационных кадров во многом определяются прикладным уровнем задействованных процессов, хотя для снижения накладных расходов в Internet размеры информационных кадров максимальны для большинства Web-сервисов. Для равноранговых процессов обмена информацией (Р2Р - Peer-to-Peer), все более популярных в сетях при распределенных Web-сервисах, характерна попеременная роль клиент-серверных потоков. Наконец, для служб с использованием UDP на транспортном уровне вообще отсутвуют потоки подтверждающих кадров.

Для выявления характеристик нагрузки, создаваемой хостами корпоративной сети на транспортную подсистему, спланирован и проведен комплекс экспериментальных исследований трафика входных и выходных информационных потоков клиент-серверных систем в корпоративной сети МГТУ им. Н. Э. Баумана, обеспечивающих общеуниверситетский сервис для различных типовых приложений. Эксперименты проводились в течение длительного периода времени в разные дни недели и в разное время с целью повышения их репрезентабильности. Экспериментальные исследования входных и выходных потоков хостов корпоративных сетей при их микросегментировании могут быть осуществлены штатными средствами коммутаторов.

Результаты обработки экспериментальных данных представлены в таблице 1.

Таблица 1.

Характеризация входных и выходных потоков информации серверов ЛВС

МГТУ им. Н. Э. Баумана

Сервер Л, кадр/с Байт P 1 Pa P\

ns.bmstu.ru in out 260 260 104 186 0,97 0,91 0,03 0,09 0,00022 0,00038 0,00027 0,00044

ftp.bmstu.ru in out 1527 2070 105 1288 0,97 0,16 0,03 0,84 0,0013 0,0213 0,0015 0,0217

iptv.bmstu.ru in out 2 306 63 1192 0,988 0,22 0,002 0,78 0,000012 0,029 0,000013 0,030

www.bmstu.ru in out 82 98 129 1416 0,95 0,07 0,05 0,93 0,00085 0,01 0,001 0,011

e-u.bmstu.ru in out 112 129 138 1432 0,95 0,06 0,05 0,94 0,00123 0,015 0,00145 0,015

db.bmstu.ru in out 15 18 115 619 0,96 0,62 0,04 0,38 0,00014 0,00089 0,00017 0,00093

Характеристики рассчитываются отдельно для входных (in) и выходных (out) потоков серверов (соответственно для выходных и входных потоков портов коммутатора,

к которым микросегментно подключены сетевые адаптеры серверов). В информационных потоках явно просматривается многомодальность распределения длин кадров, а именно:

- высокий процент присутствия кадров, по размерам близких к минимальному (Lmi„ = 60 байт для технологии Ethernet). Сюда относятся служебные кадры для установления и разрыва TCP-соединений, кадры подтверждений и т.д.;

- высокий процент очень длинных кадров {Lmca = 1514 байт для технологии Ethernet), обеспечивающих максимальную производительность при передачи файлов больших размеров и мультимедийной информации;

- небольшой процент кадров с размером от 500 до 600 байт, являющихся скорее всего «остатками» передаваемых файлов;

- практически нулевой процент кадров прочих длин.

Если пренебречь невысоким (от 2 до 3 %) процентом кадров средней длины, то можно считать, что наиболее близким к реальности распределением размеров кадров в информационных потоках является дискретное распределение Бернулли, т.е. с вероятностьюр размер кадра L = Lmm, а с вероятностью q = \-p размер кадра L - ¿т„. Величины р и q для модельного процесса легко устанавливаются по величине среднего размера кадра Lcp:

C^max "" Lcp ) (L - ¿mill) p =-— ,q =---

(L -L l 17 -I 1

У max min ' \ max min /

Значения p и q приводятся в соответствующих столбцах таблицы. Полезная нагрузка сети со стороны клиентов (in) или со стороны сервера (out), обозначенная как р0 может быть подсчитана по формуле:

8-L-X

Ро:

R

где R - пропускная способность интерфейса (R = \0'бит/с для технологии Gigabit Ethernet и R = 108 бит/с для технологии Fast Ethernet).

Реальная нагрузка на сеть должна учитывать накладные расходы технологии Ethernet, составляющие 24 байт на кадр, т.е.:

8-(4„+24)-Л Л=-R-

Для сервера ns.bmstu.ru, обеспечивающего выполнение службы доменных имен (транспортный протокол UDP - User Datagram Protocol), характерным является схожесть параметров нагрузки, создаваемой входным и выходным потоками. Это объясняется тем, что dns-запросы и dns-ответы помещаются в одном Ethernet кадре. Размер dns-ответа

превышает размер dns-запроса. Нагрузка на сеть не превышает 0,05 % пропускной способности сегмента (R = 1000 Мбит/с).

Для файлового сервера ftp.bmstu.ru (транспортный протокол TCP, прикладной FTP - File Transfer Protocol) наблюдается существенная асимметрия входного и выходного потоков. На входе в сервер присутствуют короткие кадры подтверждений, кадры установления и разрыва TCP-соединений и небольшие кадры с запросами необходимых файлов. Сами файлы передаются длинными кадрами в исходящем потоке. Загрузка пропускной способности сегмента чуть более 2 %, что гарантирует отсутствие заторов в этом сегменте даже почти для 50-кратной пульсации трафика (R = 1000 Мбит/с).

Сервер iptv.bmstu.ru является потоковым (транспортный протокол UDP, прикладной RTP - Real-time Transport Protocol, R = 100 Мбит/с), поэтому его трафик определяется не только стремлением к повышению производительности, но и особенностью используемых алгоритмов сжатия видеоизображения MPEG-2 (Moving Picture Experts Group v. 2) и звука MP3 (MPEG-1/2/2.5 Layer 3).

Серверы www.bmstu.ru и e-u.bmstu.ru (web-серверы, транспортный протокол TCP, прикладной HTTP, R = 100 Мбит/с) реализуют технологию Intranet в корпоративной сети университета, для которой характерны короткие запросы клиентов и объемные ответы серверов, что проявляется в нагрузке (процент занятости пропускной способности на выходных потоках серверов на порядок выше, чем во входных их потоках).

Наконец сервер db.bmstu.ru (транспортный протокол TCP, R = 100 Мбит/с) обслуживает бухгалтерские подразделения университета (SQL-сервер). Для SQL-серверов также характерным является асимметрия потоков входной и выходной информации.

Входной трафик серверов является выходным трафиком клиентов, которым в рассматриваемый период времени понадобились информационные ресурсы университета, размещенные на данном сервере, и по характеристикам этих трафиков (произведение Л на Lcp) можно судить о нагрузке, оказываемой на транспортную систему корпоративной сети со стороны клиентских хостов и серверов, а именно: объем трафика со стороны клиентов в общем на 2 порядка меньше общего объема трафика серверов, поэтому при анализе функционирования и при проектировании и создании транспортных подсистем следует ориентироваться на харакгеризацию трафика от серверов ЛВС. Клиент-серверные технологии в корпоративных сетях являются основными, при этом относительная доля Web-технологий достаточно высока и имеет тенденции к своему росту.

Общим выводом по результатам проведенных статистических исследований является утверждение о том, что основную нагрузку на сеть создают выходные потоки серверов, при этом на сегодняшний день следует отказаться от допущения

экспоненциальное™ распределения размеров кадров, заменив его более близким к реальности дискретным распределением Бернулли. Получены расчетные зависимости определения по результатам экспериментов характеристик модельного трафика. Установлено, что самоподобные эффекты, присущие распределению длин передаваемых файлов, в транспортной подсистеме корпоративной сети проявляются появлением пауз в генерации выходного потока серверными процессами и лишь снижают нагрузку на интерфейсы коммутаторов, что позволяет не учитывать их на канальном уровне эталонной модели ISO/OSI.

В третьей главе диссертации установлены основные характеристики коммутаторов, влияющие на их производительность. Выявлены дополнительные функции коммутаторов, являющиеся обязательными в настоящее время для коммутаторов 2-го и 3-го уровней эталонной модели ISO/OSI, к которым следует отнести: поддержку алгоритма «покрывающего» дерева (STA), поддержку требований качества обслуживания (QoS), реализацию технологии построения виртуальных сетей (VLAN), поддержку какого-либо алгоритма борьбы с перегрузками в интерфейсах.

Разработана методика экспериментального определения времени продвижения кадров коммутатором (как правило, отсутствующего в характеристиках фирм-производителей), базирующаяся на использовании общепринятой для всех операционных систем компьютеров утилиты <ping», расширенной с целью увеличения точности измерения программой определения времени двойного оборота по состоянию счетчика тактов процессора, применяемого для проведения экспериментов компьютера. Двойное прохождение посылаемых кадров через исследуемые аппаратно-программные тракты и измерения на стороне компьютера-источника пакетов исключило проблему синхронизации процессов в оконечных узлах корпоративной сети. Статистические характеристики (моменты различных порядков) устанавливаются путем сравнения с результатами опорного эксперимента, состоящего в измерении времени двойного прохождения кадров между компьютерами, сетевые адаптеры которых взаимодействуют по кроссовой связи.

В результате статистических исследований ряда коммутаторов различных производителей в ненагруженном режиме установлена линейная зависимость времени Ts от размера продвигаемого кадра, что позволяет рекомендовать в качестве математической модели коммутаторов полином первой степени длительности продвигаемого кадра. Математические модели исследуемых коммутаторов для ненагруженных режимов имеют вид Ts = A- LK + В (LK-размер кадра, измеряемый в байтах):

- для коммутатора Cisco Catalyst 2950G:

Ts — 0,922 ■ LK +87 (байт-тайм);

- для коммутатора D-Link DES-1026G:

Ts = 0,918-Z-jj. 4-135( байт-тайм);

- для коммутатора 3Com Office Connect Dual Speed Switch 16 Plus (1-й и 2-й порты):

Ts = 0,987 • LK + 27 ( байт-тайм);

- для коммутатора 3Com Office Connect Dual Speed Switch 16 Plus (1-й и 16-й порты):

Ts = 0,973 • LK +118 ( байт-тайм); Отличие значений А от единицы во всех математических моделях объясняется частичной конвейеризацией обработки кадров, при которой передача в выходной порт начинается до завершения полного приема кадра в буфер входного порта. Заметим также, что явная зависимость задержки кадров в коммутаторе фирмы 3Com от номеров коммутируемых портов свидетельствует о двухступенчатой иерархии конструкции этого коммутатора, в соответствии с которой все порты делятся на группы. Внутри каждой группы коммутация осуществляется быстрее, чем при коммутации портов, входящих в разные группы.

Несомненным достоинством предлагаемых моделей является их простота, допускающая их применение при использовании аналитических методов исследования и проектирования транспортных подсистем.

Проверка достоверности полученных математических моделей коммутаторов проводилась экспериментальными исследованиями их каскадов. Последовательное соединение коммутаторов Cisco Catalyst и 3Com (1-ый и 2-ой порты) для длин кадров 550 и 1062 байт дает расчетное значение Ts в 1163 и 2140 байт-тайм соответственно. Полученные значения для 10000 экспериментов составляют 1132 и 2160 байт-тайм, т.е. погрешность не превышает 3%. Для последовательного соединения коммутаторов Cisco Catalyst и 3Com (1-ый и 16-ой порты) на тех же длинах кадров расчетные значения - 1247 и 2217 байт-тайм, а экспериментальные значения - 1191 и 2253 байт-тайм, т.е. погрешность менее 5%. Для каскадного соединения трех коммутаторов эксперименты из 10000 замеров (в коммутаторе 3Com подсоединялись 1-й и 2-й порты) позволили установить значения задержки в 1755 и 3348 байт-тайм на длинах кадров 550 и 1062 байт. Расчетные значения для тех же длин кадров составляют 1803 и 3250 байт-тайм соответственно. При коммутации 1-го и 16-го портов коммутатора 3Com экспериментальные задержки оказались равными 1795 и 3407 байт-тайм, а расчетные значения 1887 и 3327 байт-тайм при тех же длинах кадров, т.е. во всех случаях каскадирования различия между экспериментальными и расчетными значениями не превосходили 5%.

Разработанные математические модели коммутаторов оказались работоспособными для штатных режимов их функционирования в транспортной подсистеме корпоративной сети, при которых ресурсы компьютера-источника и компьютера-приемника (а, следовательно, и ресурсы соответствующих портов коммутатора) не востребованы другими узлами корпоративной сети. Полученные результаты дали основание к рекомендации использования разработанной методики экспериментального определения необходимых статистических характеристик коммутаторов, используемых в реальных транспортных подсистемах корпоративных сетей, построенных по принципам коммутации, во время их работы. Выявлена возможность распространения разработанной экспериментальной методики на любые узлы сети при условии наличия результатов опорного эксперимента и адресуемости, т.е. при наличии IP-адреса или DNS (Domain Name System) имени сетевого узла и поддержке его программным обеспечением протокола ICMP (Internet Control Message Protocol). Более того проверено и экспериментально подтверждено рекуррентное применение разработанной методики.

Вывод о несущественном влиянии размеров очередей в интерфейсах, размеров таблиц коммутаций и прочих разделяемых ресурсов коммутатора на время продвижения кадра между его интерфейсами при условии отсутствия блокировки последних дает возможность определения значения Ts в коммутаторах без их исключения из работы в транспортной подсистеме корпоративной сети, что и было сделано для интерфейсов коммутатора Cisco Catalyst 6500. Для портов с пропускной способностью 100 Мбит/с, находящихся на одном модуле (порты 3/47 и 3/48):

Ts =0,998-1,. +107 (байт-тайм), а для портов на разных модулях (порты 3/48 и 4/48):

Ts =0,994 LK +139 (байт-тайм).

Полученные в результате проведенных стендовых испытаний математические модели коммутаторов были проверены на коммутаторах, функционирующих в реальной корпоративной сети МГТУ им. Н. Э. Баумана. Вместе с тем было установлено, что при существенной загрузке ресурсов полученные экспериментальные значения RTT (Round Trip Time) могут существенно отличаться от аналитически определенных результатов. Это наблюдалось и при стендовых экспериментах для искусственно вызванных блокировок выходного интерфейса компьютера-приемника, что предопределяет необходимость в регулировании трафика в сегментах сети. Увеличение RTT имело место и при использовании в качестве компьютера-приемника какого-либо сервера корпоративной сети, что подтверждает известное положение о том, что на производительность корпоративных сетей влияние

производительности серверов более существенно, нежели производительность их транзитных узлов.

В четвертой главе рассмотрены вопросы управления корпоративными сетями. Подтверждено, что ресурсами, оказывающими влияние на производительность корпоративной сети, являются предельные пропускные способности интерфейсов транзитных и оконечных узлов сети, времена процессоров в граничных и транзитных узлах, затрачиваемые на обработку информации, и размеры буферной памяти во входных и выходных интерфейсах, выделяемые для организации различных дисциплин обслуживания очередей к общим ресурсам. Установлено, что мониторинг ресурсов может быть осуществлен на каждом интерфейсе узлов сети, однако, для централизованного управления трафиком в сегментах объем получаемой при этом информации из-за своей величины требует солидных вычислительных мощностей для ее обработки и выработки надлежащих управляющих воздействий. Кроме того, сам сбор параметров, характеризующих занятость ресурсов, и адекватная обратная связь в свою очередь занимают сетевые ресурсы. Именно поэтому на практике применяются интегральные оценки степени загрузки ресурсов или распределенные методы управления интенсивностью трафика. Примером интегральной оценки степени загрузки ресурсов сети является измерение RTT на маршруте от источника к приемнику информации для определения необходимости повторной пересылки пакетов (из-за ошибок передачи или перегрузки, возникшей в каком-либо транспортном узле сети) в алгоритме Джекобсона транспортного протокола TCP. В качестве механизма регулирования используется алгоритм «обрубания хвостов» (DT - Drop Tail) или взвешенный алгоритм случайного раннего обнаружения (WRED - Weighted Random Early Detection) в совокупности с размером скользящего окна при предоставлении кредитов принимающей стороной. Основным недостатком этой технологии является ее полная непригодность для режима передачи информации без подтверждений, т.е. для дейтаграммных протоколов, доля которых в Internet растет в связи с расширением сервисов WWW.

Для измерения RTT на любых маршрутах транспортной подсистемы при дейтаграммных соединениях разработан программный комплекс UDPPING, проверка работоспособности которого осуществлялась на выделенном сегменте транспортной сети (рисунок 1). Все измерения проводились с погрешностью работы тактовых генераторов процессоров используемых компьютеров.

Рис. 1. Топологическая схема экспериментальной сети

Первый из запланированных экспериментов был предназначен для определения среднего значения ЯТТ между хостами Н1 и НЗ при отсутствии иных потоков информации между всеми хостами. В последующих экспериментах между хостами Н2 и НЗ возбуждался ЦОР-трафик с различной интенсивностью, что меняло степень загрузки сегмента между коммутаторами и SW2 и граничного сегмента между интерфейсом коммутатора и хостом НЗ. Установлено, что для определения степени загрузки какого-либо сегмента в сети мы должны нагрузить этот сегмент трафиком, сравнимым по интенсивности с уже имеющимся, при этом реальная нагрузка выявляется с высокой достоверностью только при условии превышения суммы потребной пропускной способности для исследуемого и исследующего трафиков величины предельной пропускной способности сегмента.

Наряду с методами, базирующимися на измерениях МТ, в этой же главе проанализированы существующие методы и алгоритмы распределенного управления трафиком, применяемые на интерфейсах транзитных узлов. Установлено, что при этом ведется мониторинг исключительно занятости буферного пространства, т.к. недостаточная в данный момент времени потребная пропускная способность интерфейсов или недостаточная доля времени центрального процессора для управления передачей между интерфейсами компенсируется временной буферизацией пакетов во входных и выходных очередях, т.е. размеры очередей являются комплексным показателем загруженности ресурсов узлов. Наиболее простой метод управления трафиком базируется на алгоритме ОТ, при котором после 100 % заполнения буфера пакеты просто отбрасываются. Известные недостатки ОТ (излишние повторные передачи, глобальная синхронизация, потеря информации в дейтаграммных протоколах и т.д.) привели к разработке \VRED, который и по сей день функционирует на портах коммутаторов и маршрутизаторов.

Для уменьшения процента потерь кадров разработаная технология регулирования интенсивности трафика также опирается на локальный мониторинг занятости буферов

очередей в интерфейсах транзитных узлов корпоративной сети. При этом в каждой очереди предложено установить некоторое граничное значение (порог). Если размер очереди превышает установленный порог, то аналогично методу WRED (оперирующему с входным кадром) в отношении источника входного кадра очереди осуществляется приостановка его деятельности, т.е. выдается управляющий кадр PAUSE. Разработанный метод может использоваться совместно с алгоритмами DT или WRED.

Для проверки возможности разработанной технологии была развернута экспериментальная сеть, нагрузка сегментов которой осуществлялась генерацией квазирегулярного трафика UDP сегментов, осуществляемой программными модулями, разработанными в рамках настоящей работы для измерения RTT между хостами сети. Функционирование трехпортового коммутатора имитировалось на персональном компьютере (PC-SW) специально разработанной программой (рисунок 2).

Рис. 2. Схема экспериментальной сети

При отсутствии механизма отсылки пауз наблюдалась ожидаемая ситуация по количеству потерянных из-за переполнения буферных пространств пакетов. Включенный механизм отсылки пауз подтвердил свою работоспособность для пороговых значений длин очередей. Если происходила приостановка (пауза) только одного из конфликтующих процессов генерации, то при выдерживании предельной пропускной способности выходного интерфейса хоста НЗ происходило соответствующее снижение интенсивности генерации пакетов тем хостом, на который имитировалась отсылка управляющего кадра PAUSE. При отсылки управляющих пакетов на источники и блокируемого, и блокирующего потоков имело место приблизительно одинаковое снижение реальной интенсивности генерации пакетов обоими хостами. При уровне порогового значения 0,75 очень редко наблюдались единичные потери пакетов из-за срабатывания алгоритма DT при придельной интенсивности генерации на обоих хостах (125 пакетов в секунду), что может быть объяснено только случайными факторами в работе операционной системы компьютеров. В целом полученные экспериментальные результаты показали принципиальную возможность управления интенсивностью трафика в сегментах

коммутируемых корпоративных сетей с помощью механизма, сочетающего алгоритм случайного раннего обнаружения с отсылкой управляющего кадра PAUSE.

В пятой главе приводятся результаты экспериментальных исследований трафика в сегментах уровня распределения и магистрали транспортной подсистемы корпоративной сети МГТУ им. Н. Э. Баумана. Статистический анализ результатов экспериментов показал удвоение общего объема трафика за последние два года, а доля трафика, переносимого по протоколу UDP выросла более, чем в три раза. Выявленные тенденции, по-видимому, будут сохраняться в ближайшие годы, что объясняется ростом номенклатуры сервисов, базирующихся на прикладных протоколах реального времени (1Р-телефония, IP-видеоконференции, IP-телевидение и радиовещание, видеонаблюдение, охранная и противопожарная сигнализация и т.п.)

Статистическое экспериментальное исследование длин пакетов в различных магистральных сегментах ЛВС МГТУ им. Н. Э. Баумана осуществлялось аналогично анализу принадлежности пакетов различным протоколам в разные дни недели в разное время суток. В сегментах, подключенных к портам коммутатора Cisco Catalyst 6500, использовался модуль NAM (Network Analysis Module), обеспечивающий зеркализацию трафика любого интерфейса с последующей необходимой обработкой. Для сегментов, не имеющих непосредственного подключения к коммутатору Cisco Catalyst 6500, с этой целью использовалась программа tcpdump под операционной системой FreeBSD версии 7.0. Предварительно также осуществлялась зеркализация исследуемого интерфейса. В современных коммутаторах фирмы Cisco для захвата трафика могут быть использованы команды операционной системы IOS (Internetwork Operating System). В частности команда «tshark», дополненная программой статистического анализа, позволила установить гистограммы распределения длин кадров во входящем и исходящем потоках коммутаторов Cisco Catalyst, на которых построено ядро ЛВС МГТУ им. Н. Э. Баумана.

Для повышения репрезентативности наблюдения проводились в разные дни недели в разное время суток (за исключением воскресенья). Ежедневно анализировалось по 10 000 кадров в каждом сегменте в периоды с 900 до Ю00, с 1400 до 1500 и с 1800 до 1900. Исследовался трафик в трех внутренних сегментах ядра корпоративной сети, а также во внешнем сегменте, осуществляющем транспорт между корпоративной сетью университета и его провайдером (RunNET).

Для всех сегментов наблюдалась явная асимметрия длин кадров во входящих и исходящих потоках портов коммутатора Cisco Catalyst 6500. В исходящих потоках внутренних сегментов процент длинных кадров более высок по сравнению с входящими потоками. Это можно объяснить тем, что исходящие потоки направлены к пользователям

ЛВС. Поэтому при преобладании протокола TCP именно к клиентам направлена основная информация от серверов университета, подключенных к коммутатору Cisco Catalyst 6500, обслуживающих практически все общеуниверситетские службы и подразделения. Во внешнем сегменте наблюдалась противоположная картина, однако это объясняется, тем, что входящий для коммутатора Cisco Catalyst 6500 поток является исходящим из Internet информационным потоком. В обратных потоках, как и следовало ожидать, преобладают короткие кадры. Как в исходящих, так и во входящих информационных потоках имело место значительное отличие размеров кадров Ethernet от экспоненциального распределения, что существенно отражается как на пропускной способности сегментов, так и на работе самих коммутаторов, т.к. время коммутации явно зависит от длины кадров. В процентном соотношении явно прослеживается бимодальность распределения размеров кадров, при котором преобладание коротких и длинных кадров в информационных потоках весьма существенно по отношению к кадрам средней длины. Иллюстрацией этого факта может служить гистограмма распределения размеров кадров во входящем и исходящем потоке сегмента, соединяющего интерфейсы коммутаторов Cisco Catalyst 6500 и Cisco Catalyst 5500, представленная на рисунке 3.

70 н

60 н

50 •

/

40 J 30 ! 20 10 -О •

ш

# £ <У * <<?## ¿У

■Ш.

ф л> «в

$ £ #

* i /

^ & &

/ # «Р

□ Входящ ий р Исходящий

Рис. 3. Гистограмма распределения длин кадров во внутреннем сегменте магистрали

Явная бимодальность гистограмм распределения размеров длин кадров, а также ограниченность их размеров заставляет отказаться от гипотезы экспоненциального распределения. Более соответствует действительности распределение Джонсона, зависящее от четырех параметров:

аЛЬ-а)

-—-Ц=-е ь'х при а<х<Ь,

(х-а)(Ь-х)Ш

0-е противном случае,

где: а = I™" - минимальная длина кадра;

Ъ = - максимальная длина кадра;

а, =(-<*>; со) и аг з параметры формы.

Хотя все моменты распределения Джонсона существуют, но они чрезвычайно сложны, поэтому плотность не может быть использована для аналитических исследований ЛВС, хотя вполне возможно ее применение при имитационном моделировании трафика в магистральных сегментах. Более производительным в этой ситуации может оказаться использование дискретного распределения Бернулли, описанного выше.

В таблице 2 приводятся результаты определения р ид для распределения Бернулли в каждом из трех внутренних исследуемых сегментах (№№ 1, 2, 3) и во внешнем (№ 4) сегменте. Расчеты проводились для = 60 байт и =1514 байт.

Таблица 2.

Значение ридв распределении Бернулли

№ сегмента in/out Сь бит/с Cp, кадр/с Lcp> байт P 1

1 in out 2226000 11985000 950 1530 267 980 0,86 0,37 0,14 0,63

2 in out 5000000 19521000 2932 3555 214 687 0,89 0,59 0,11 0,41

3 in out 3066000 85703000 9095 11225 421 954 0,75 0,39 0,25 0,61

4 in out 185599000 52626000 27401 22800 846 289 0,46 0,84 0,54 0,16

В таблице приводятся экспериментально установленные значения битовой (Q,) и кадровой (пакетной Ср) скорости во входных (in) и выходных (out) потоках информации интерфейсов коммутаторов, по которым рассчитываются Lip, р и ц.

При линейной зависимости времени обслуживания кадра в коммутаторе от длины этого кадра Ts = Т""" с вероятностью р и Ts = Т"" с вероятностью q. Среднее значение времени обслуживания:

J. _ „ rp roin , „ т шах

Дисперсия времени обслуживания:

Коэффициент Л в формулах в модели MIGI1 (см. выше) будет равен:

1 р-(ТГ)2+д-(ТГ?

Л — — --:-~—

2/ „ rp min , „ т max \ 2

А-

max \ 2

■ шах \2

Если учесть значения размеров максимального и минимального кадров технологии Ethernet, то можно убедиться, что для экстремальных значений р и q (т.е. для р = О,

q = 1 или р = 1, 9 = 0) величина А = ^, что эквивалентно системе MIDI 1, т.е. случаю с

детерминированным временем обслуживания. При p = q = 0,5 величина А = 0,91 что практически эквивалентно гипотезе экспоненциального распределения длины кадров (/1 = 1). Таким образом, при пуассоновском потоке кадров, поступающих на входной порт коммутатора и бимодальном распределении времени обслуживания (распределение Бернулли) потребные ресурсы оказываются ниже, чем при допущении об экспоненциальном распределении.

В этой же главе рассмотрены типовые ситуации в корпоративных сетях, при которых какой либо ресурс в рассматриваемый период времени т востребован одновременно и равновероятно m процессами из К, протекающих в узлах сети. Показано, что вероятность востребованности m процессами рассматриваемого ресурса равна:

где: - число сочетаний из К по т.

Равенство т = 0 означает невостребованность ресурса, а т = 1 - факт востребованности данного ресурса только одним процессом.

На рисунке 4 приводятся зависимости значений РгО и Prl от числа процессов К.

Рис.4. Зависимость РгО и Рг1 от числа конкурирующих за ресурс процессов

При достаточно большом числе процессов, нуждающихся в данный момент времени в рассматриваемом ресурсе значения РгО и Prl быстро сходятся к величине 1/е = 0,367879..., так как lim РгО = lim Prl = 1/е.

К-о

Блокировка ресурса возможна только при обращении к нему в рассматриваемый интервал времени г двух и более процессов, следовательно, вероятность блокировки равна:

т* 2 Л

Полученные вероятностные оценки состояния ресурса можно применять при анализе различных ситуаций в транспортных подсистемах корпоративных сетей. Так для классических стандартов 10Base5 и 10Base2 технологии Ethernet для захвата моноканала без коллизий необходимо и достаточно, чтобы он был востребован только одной рабочей станцией, поэтому предельная полезная пропускная способность для этих стандартов составляет R^ = Ä ■ Pr 1 = 10 • 0,368 = 3,68 Мбит/с при достаточно большом числе рабочих станций в одном домене коллизий (К > 6 - 8), что согласуется с результатами методов CSMA/CD и «дискретная ALOHA». Если в качестве общего ресурса рассматривать интерфейс коммутатора, на котором осуществляется мультиплексирование потоков от других его интерфейсов, то время задержки на коммутаторе оказывается равным Тьэфф = Т$/(\~Рь)= 7j/(Pr0 + Prl). Математическое ожидание числа выходных

интерфейсов, одновременно обращающихся к данному выходному (и наоборот) может быть найдено как среднее бимодального распределения Е = Кя, где ж - вероятность коммутации входного и выходного интерфейсов.

Общее правило отсутствия блокировки или правило доступности ресурса может быть распространено на любые механизмы информационного взаимодействия в сетях. Если, например, в каждом из входных интерфейсов интенсивность поступления кадров Л,, средняя длительность этих кадров £ ., а пропускная способность требуемого выходного порта Я, то условие доступности ресурса, заключающееся в отсутствии перекрытия времени продвижения кадров с учетом возможной их конкуренции может быть записано в следующем виде:

8-£ЛЛ,,,<(РгО + РГ1)Л

(=1

Если на сетевом уровне какого-либо источника используется алгоритм «дырявого ведра», то последнее неравенство дает возможность установить минимальный интервал на его выходе (; = 1 ,К = 1):

""" л, Д(РгО + Рг1) Для проверки полученных ограничений по доступности ресурсов в реальной корпоративной сети был спланировал и проведен эксперимент, схема которого представлена на рисунке 5.

Рис. 5. Топологическая схема проведения эксперимента по доступности ресурсов сети.

В качестве исследуемых ресурсов корпоративной сети были выбраны потоковые сервера S1 и S2 центра IP/TV университета, подключенные через коммутатор SW3 (Cisco Catalyst 2950) к магистрали корпоративной сети сегментами с пропускной способностью 100 Мбит/с. Проверка правила доступности ресурсов осуществлялась для следующего плана проведения эксперимента:

1. Измерялось значение RTT утилитой «ping» и комплексом UDPPING для свободных

серверов и 82 (без трансляции телепередач в корпоративную сеть) и без дополнительной нагрузки на соответствующие сегменты транспортной подсистемы со стороны хоста Н4. Посылка серий из различных длин пакетов (10 серий по 10000 пакетов) выполнялась с хоста Н1 на серверы и 82, обработка результатов проводилась на этом же компьютере. Статистически обработанные результаты представлены в колонке под №1 таблицы 3.

2. С серверов 81 и 82 велась трансляция в сеть двух каналов эфирного телевидения, дополнительная нагрузка на ресурсы сети со стороны хоста Н4 отсутствовала. Информационные потоки от серверов и Б2 в формате МРЕ02 со скоростью 3 Мбит/с каждый мультиплексировались коммутатором вШЗ, передавались на коммутатор 8\У1, дополнительно мультиплексировались с имеющимися в данный момент рабочими потоками в сегменте транспортной подсистемы между коммутаторами 8\У1 и 8\¥2 и выделялись из суммарного потока коммутатором 8\У2 для передачи на хосты Н2 и НЗ. В это же время проводилось зондирование ресурсов со стороны хоста Н1 по сценарию п. 1. Результаты экспериментов представлены в столбце №2 таблицы 3.

3. Выполнялись экспериментальные исследования, аналогично п. 2, но одновременно на сервер 81 с хоста Н4 направлялся квазирегулярный поток пакетов длинной 1 = 1212 байта, что дает длину кадра Ьк = 1250 байта = 10000 бит. При интенсивности их посылки

Л = 5000 Ус (интервал между кадрами ДГ = 0,0002 с) нагрузка сегментов между Н4 и 81

составляла 50 %. Статистические результаты исследований представлены в столбце №3 таблицы 3.

4. Повторно выполнялись экспериментальные исследования ресурсов сети аналогично п.З при той же длине пакетов в трафике от хоста Н4 и интенсивности их посылки Л = 9500 ^

(ЛТ = 0,000105с), что соответствует нагрузке 95 % пропускной способности сегментов. Результаты измерения ВДТ представлены в столбце №4 таблицы 3.

Таблица 3.

Экспериментальные значения ЯТТ

Метод и ЯТТ, байт-тайм

байт 1 2 3 4

64 4275 4320 8112 10035

1460 21850 23990 27190 28480

ШРРШО 64 4696 4992 8696 10973

1460 22725 24873 28542 30132

Для ненагруженных режимов работы серверов измеренные значения RTT утилитой «Ping» практически совпадают с их расчетными значениями (погрешность не более 1,5 %). Для зондирования комплексом UPDPING имеет место увеличение RTT, что и следовало ожидать, т.к. UPDPING работает на прикладном уровне стека протоколов TCP/IP, а утилита «Ping» ограничивается сетевым уровнем. Этим объясняется и расхождения в экспериментальных результатах при всех остальных исследованиях для различных режимов нагрузки серверов. Необходимо заметить, что при реальных оценках каких-либо процессов, выполняемых в распределенных информационно-вычислительных системах, реализуемых, как правило, на прикладных уровнях, результаты UPDPING следует считать более соответствующими действительности.

Результаты проведенных экспериментальных исследований подтверждают необходимость соблюдения правила доступности ресурсов при проектировании транспортных подсистем корпоративных сетей, т.к. блокировка возможна во всех ресурсах транспортной подсистемы и источников информации, востребованность которых в данный момент времени реальными процессами в сети не исключена.

Разработать и реализовать транспортную подсистему корпоративной сети, обеспечивающую неблокирующие режимы передачи информационных потоков на всех свих участках невозможно, так как невозможно заранее предсказать объемы и интенсивность трафика в информационных потоках предприятия, которые к тому же постоянно меняются с развитием и внедрением новых информационных н коммуникационных технологий. Например, реализация алгоритма STA в коммутаторах корпоративных сетей позволило осуществить горячее резервирование в транспортных подсистемах за счет прокладки избыточных сегментов в кабельных системах. Переход на протокол RSTP снизил время переключения на новую активную топологию сети до 1 - 2 с, а реализация технологии MSTP (Multiple Spanning Tree Protocol) совместно с технологией VLAN позволила задействовать резервные сегменты транспортной системы, повысив общую производительность корпоративной сети. Разделение информационных потоков в транспортной подсистеме, изначально являвшееся целью технологии MSTP, позволило более тщательно подойти к проблеме востребованности общих ресурсов всей корпоративной сети предприятия, включая технологию организации серверных пулов. В 2003 г. была принята новая редакция стандарта IEEE 802.1Q, вводившая протокол MSTP, который явился развитием технологии использования PVST и PVST+ (Per-VLAN Spanning Tree Protocol), внедренный компанией Cisco в свои коммутаторы Cisco Catalyst. Технология MSTP кроме общего «покрывающего» дерева (CST - Common Spanning Tree) позволяет организовать в транспортной подсистеме для каждой виртуальной сети свое

«покрывающее» дерево со своим «корневым» коммутатором, ветви которого могут взаимно не перекрываться и использовать разные сегменты транспортной подсистемы. Сказанное иллюстрируется рисунком 6, на котором приводится фрагмент трехуровневой корпоративной сети предприятия (рисунок 6а).

б) в)

Рис. 6. Использование протокола МЙТР для распределения трафика двух виртуальных

сетей.

В варианте, приведенном на рисунке 6а, в транспортной подсистеме отсутствуют заблокированные сегменты кабельной системы и заблокированные порты коммутаторов. Общий сегмент между коммутаторами SW1 и SW2 доступен для обеих VLAN, но он не используется хостами виртуальных сетей. Сегменты между SW1 и SW4, а также между SW2 и SW3, являясь тупиковыми для соответствующих «покрывающих» деревьев в этих активных топологических конфигурациях, также находятся в «горячем» резерве и не используются транспортными потоками от хостов пользователей и обратно.

Предположим теперь, что пользователю хоста Н1 понадобились ресурсы VLAN1, а пользователю хоста Н2 - ресурсы VLAN2. Возможно несколько вариантов перенастройки сети. Первый из них заключается в переконфигурации интерфейсов серверов (что и осуществлялось до внедрения MSTP). Например, сервер S1 включается и в VLAN1, и в

VLAN2 (рисунок 66). Второй вариант реализуется переконфигурацией интерфейсов хостов пользователей, т.е. включением HI и Н2 в обе VLAN корпоративной сети (рисунок бв). По соображениям безопасности первый вариант уступает второму, т.к. позволяет всем хостам VLAN1 иметь доступ к информационным ресурсам сервера VLAN2 и наоборот. Однако второй вариант обладает еще одним существенным преимуществом. Каждый из клиентов может активно в данный момент времени работать только с одним из серверов (хотя обмен служебными сообщениями, поддерживающие открытые сессии ТСР-соединений ведется обоими серверами), следовательно и информационные потоки будут задействовать общие ресурсы либо VLAN1, либо VLAN2, т.е. осуществляется более тщательное распределение информационных потоков в соответствии с нуждами пользователей в каждый момент времени и исключается ситуации, при которых информационные потоки от S1 задействуют общие ресурсы VLAN2. При постоянном мониторинге распределения информационных потоков в транспортной системе технология сочетания VLAN и MSTP предоставляет возможность сетевым администраторам и интеграторам более тщательно распределить (возможно и на разных иерархических уровнях) информационные ресурсы в корпоративной сети, снизив нагрузки на пулы серверов и информационные порталы, повысив тем самым общую производительность сети.

Основные результаты и выводы

1. Проведен анализ текущего состояния, тенденций и перспектив развития корпоративных сетей, характерными особенностями которых являются: доминирующее положение стека протоколов TCP/IP, все большее проникновение технологий Internet в бизнес-процессы предприятий, переход на коммутационный принцип построения транспортных подсистем с микросегментированием, переход на технологию Ethernet на канальном, обязательный учет требований QoS.

2. Классифицированы модели взаимодействия источников и стоков информации в корпоративных сетях и установлено, что все их многообразие базируется на принципе «запрос-ответ» по двух- трех- и многозвенъевой клиент-серверной технологии.

3. В результате экспериментальных исследований источников информации в корпоративной сети МГТУ им. Н. Э. Баумана установлено, что более 90 % нагрузки на транспортную подсистему приходится на долю выходных потоков серверных процессов, хотя они вызваны именно клиентскими запросами.

4. Проверена возможность моделирования выходных потоков кадров для серверных процессов бимодальным распределением Бернулли. Получены расчетные зависимости определения характеристик модельного трафика по результатам экспериментов.

5. Разработана методика экспериментального определения времени продвижения кадров коммутатором, базирующаяся на использовании общепринятой для всех операционных систем компьютеров утилиты «ping.», расширенной с целью увеличения точности измерения программой определения времени двойного оборота по состоянию счетчика тактов процессора применяемого для проведения экспериментов компьютера.

6. В результате статистических исследований ряда коммутаторов различных производителей в ненагруженном режиме, установлена линейная зависимость времени Ts от размера продвигаемого кадра, что позволяет рекомендовать в качестве математической модели коммутаторов полином первой степени длительности продвигаемого кадра. Полученные модели проверены экспериментально для двух- и трехкаскадного взаимодействия различных моделей коммутаторов, предлагаемых в настоящее время рынком сетевого оборудования.

7. Подтверждена работоспособность разработанных математических моделей коммутаторов для штатных режимов их функционирования в транспортной подсистеме корпоративной сети МГТУ им. Н. Э. Баумана, при которых ресурсы компьютера-источника и компьютера-приемника (а, следовательно, и ресурсы соответствующих портов коммутатора) не востребованы другими узлами корпоративной сети.

8. Разработан программный комплекс для мониторинга загрузки пропускной способности маршрутов в транспортной подсистеме корпоративной сети, реализующий логику утилиты «ping», включающий три программных модуля, работоспособность которого проверена на различных маршрутах реальной корпоративной сети МГТУ им. Н. Э. Баумана.

9. Разработана технология распределенного регулирования интенсивности трафика, которая опирается на локальный мониторинг занятости буферов очередей в интерфейсах транзитных узлов корпоративной сети.

10. Установлена и экспериментально подтверждена возможность моделирования маршрутов в транспортной подсистеме любой корпоративной сети цепочками очередей. Показано существенное отличие распределения длин кадров, передаваемых по сегментам транспортной подсистемы корпоративной сети от экспоненциального закона распределения. Обосновано правило ориентации на информационные потоки от многопользовательских источников информации при проектировании, анализе и разработке транспортных подсистем корпоративных сетей и их элементов.

11. Предложен метод определения доступности общих ресурсов транспортной подсистемы. Получены вероятностные зависимости различных вариантов состояния ресурса при его востребованности одновременно несколькими процессами в узлах сетей. Проанализированы возможности построения неблокирующих транспортных подсистем корпоративных сетей. Рассмотрены новые возможности повышения производительности транспортных подсистем, предоставляемые сочетанием технологии построения виртуальных сетей и технологии организации многоплановых «покрывающих» деревьев, с учетом детализации востребованности общих ресурсов различными процессами.

Таким образом, в диссертации решена крупная научная проблема, имеющая важное народно-хозяйственное значение для развития корпоративных сетей предприятий и организаций различных масштабов, а именно:

1. Разработаны математические модели оконечных и транзитных узлов корпоративных сетей, соответствующие реальным информационным процессам канального уровня, протекающим в сегментах транспортных подсистем современных корпоративных сетей;

2. Разработаны методы анализа и управления интенсивностью трафика в сегментах транспортных подсистем корпоративных сетей на различных иерархических уровнях, повышающие эффективность мониторинга;

3. Разработаны научные основы проектирования транспортных подсистем корпоративных сетей, построенных по принципу коммутации, в основе которых применено выведенное правило доступности ресурсов для повышения их общей производительности;

4. Разработанные математические модели, методы, алгоритмы и программные модули доведены до уровня, позволяющего использовать их в практике проектирования, исследования, управления и эксплуатации корпоративных сетей. Эффективность комплекса программных средств подтверждается их внедрением

для мониторинга, анализа и управления ЛВС в следующих организациях: МГТУ им. Н.Э. Баумана, Российский НИИ Развития Общественных Сетей и Российский научный центр «Курчатовский институт». Разработанное программное обеспечение внедрено в учебный процесс и используется студентами в курсовом и дипломном проектировании.

Список основных публикаций

1 Бойченко М. К., Иванов И. П. Исследование характера трафика в магистральных сегментах ЛВС МГТУ им. Н. Э. Баумана. - М.: Вестник МГТУ. Приборостроение. - 2009. - №3. стр. 12-21.

2 Бойченко М. К., Иванов И. П. Мониторинг ресурсов узлов корпоративной сети. - М.: Вестник МГТУ. Приборостроение. - 2010. - №2. стр. 114-120.

3 Ващенко Б. И., Иванов И. П., Колобаев Л. И., Сюзев В. В. Система автоматизированного проектирования компьютерной сети NetWizard. - М.: МГТУ, 2006.

4 Ващенко Б. И., Иванов И. П., Колобаев Л. И., Сюзев В. В. Проектирование сети кампуса. - М.: МГТУ, 2006.

5 Гузненкова Г. Н., Иванов И. П., Коршунов С. В. Подготовка и переподготовка ИТ-кадров. Проблемы и перспективы. - М.: Горячая линия - Телеком, 2005.

6 Иванов И. П, Колобаев Л. И., Лохтуров В.А. Система адаптивного управления трафиком. - М.: Вестник МГТУ. Приборостроение. - 2005. - №2. стр. 98-108.

7 Иванов И. П., Колобаев Л. И., Чеповский А. М. Программа подготовки программистов в техническом университете и Computing Curricula'2001. Перспективы систем информатики. - Доклады V Международной конференции памяти академика А. П. Ершова. -Новосибирск, 2003.

8 Иванов И. П., Колобаев Л. И., Чеповский А. М. Разработка учебных планов и программ подготовки специалистов по новой специальности в техническом университете. -Современные наукоемкие технологии в промышленности России: высокопроизводительные вычисления и CALS-технологии. - Материалы ВНТС. - Уфа, 2004.

9 Иванов И. П., Коршунов С. В. Высшее инженерное образование в МГТУ им. Н.Э. Баумана на основе информационных и телекоммуникационных технологий. -«Информационные технологии в образовании»: Материалы международной конференции. -Болгария, - М.: МЭСИ, 2002.

10 Иванов И. П., Лохтуров В. А. Программный комплекс зондирования ресурсов сегментов корпоративных сетей UDPPING. Свидетельство о государственной регистрации программы для ЭВМ № 2010612326 - М: Роспатент, 2010.

11 Иванов И. П., Орлов А. П., Рыбин С. В. Информационно-вычислительная сеть МГТУ. -М.: Вестник МГТУ. Приборостроение. -1998.- №2. стр. 74-86.

12 Иванов И. П., Самарский Д. А. Принципы построения систем управления делопроизводством с использованием технологии CORBA. - М.: Вестник МГТУ. Приборостроение. - 2002. - №2. стр. 52-64.

13 Иванов И. П., Самарский Д. А. Развитие опорной интегрированной сети с высокоскоростными телекоммуникационными каналами. - Телематика-2003: Труды Международной НМК. - Санкт-Петербург, 2003.

14 Иванов И. П., Успенский А. Ю. Анализ методов защиты информации в радиоканалах стандарта /ЕЕЕ 802.11. - М-: Вестник МГТУ. Приборостроение. - 2002. -№4. стр. 64-72.

15 Иванов И. П., Чеповский А. М. Макаров А. В. Одинцов О. В. Исследование производительности кластерной вычислительной установки для различных операционных систем. - Relarn - 2003: Материалы X конференции представителей региональных научно-образовательных сетей. - Санкт-Петербург, 2003.

16 Иванов И. П. Интегральная оценка состояния ресурсов пользовательского маршрута в корпоративной сети. - М.: Вестник МГТУ. Приборостроение. - 2010. - №2. стр. 48-60.

17 Иванов И. П. Использование информационных технологий в МГТУ им. Н. Э. Баумана. - Полёт. - 2000. - Спец. вып.

18 Иванов И. П. Кластер как компонент высокопроизводительной распределённой системы. - Relarn - 2001: Материалы VIII конференции представителей региональных научно-образовательных сетей. - Петрозаводск, 2001.

19 Иванов И. П. Математические модели коммутаторов локальных вычислительных сетей. - М.: Вестник МГТУ. Приборостроение. - 2009. - №2. стр. 84-92.

20 Иванов И.П. Оценка трафика информационных потоков серверов в корпоративной сети. - М.: Вестник МГТУ. Приборостроение. - 2009. - №3. стр. 3-11.

21 Иванов И. П. Создание высокоскоростной телекоммуникационной среды в МГТУ им. Н. Э. Баумана. - Создание телекоммуникационной среды высокопроизводительных технологий в регионах России: состояние, проблемы: Материалы ВНТС. - Уфа, 2000.

22 Иванов И. П. Создание и развитие высокоскоростных каналов связи и информационно-вычислительной сети МГТУ им. И. Э. Баумана. - Телематика-2000: тезисы доклада Международной НМК. - Санкт-Петербург, 2000.

23 Иванов И. П. Создание системы высокопроизводительных ресурсов в МГТУ им. Н.Э. Баумана. - Relarn - 2002: Материалы IX конференции представителей региональных научно-образовательных сетей. - Нижний Новгород, 2002.

24 Иванов И. П. Создание центра высокопроизводительных вычислений на базе кластерной системы и высокоскоростной корпоративной сети. - Телематика-2001: Труды Международной НМК. - Санкт-Петербург, 2001.

25 Иванов И. П. Управление интенсивностью трафика в сегментах корпоративных сетей - М.: Информатизация образования и науки. - 2010. - №3. стр. 5162.

26 Информационная управляющая система МГТУ им. Н. Э. Баумана «Электронный университет»: концепция и реализация / Т. И. Агеева, А. В. Балдин, И. П. Иванов и др.: [под ред. И. Б. Федорова, В. М. Черненького]. - М.: Изд-во МГТУ им. Н. Э. Баумана, 2009.

Подписано к печати 16.09.2010. Заказ № 523 Объем 2,0 печ.л. Тираж 100 экз. Типография МГТУ им. Н.Э. Баумана 105005, Москва, 2-я Бауманская ул., д.5 (499) 263-62-01

Обозначения и сокращения.

Введение.

1. Анализ современного состояния технологий стека протоколов TCP/IP, тенденции и перспективы их развития.

1.1 Стек протоколов TCP/IP и технология Ethernet.

1.2 Характеризация трафика в сегментах корпоративной сети.

1.3 Качество обслуживания.

1.4 Корпоративная сеть МГТУ им. Н. Э. Баумана.

Выводы по главе 1. Постановка и декомпозиция проблемы.

2. Разработка математических моделей источников и стоков информации в корпоративной сети.

2.1 Классификация нагрузки на коммуникационную систему корпоративной сети.

2.2 Модели взаимодействия источников и стоков информационных потоков в корпоративной сети.

2.3 Исследование характеризации нагрузки в корпоративных сетях.

2.4 Модели источников и стоков информации, базирующиеся на основе теории очередей.

2.5 Характеризация нагрузки на транспортную систему корпоративной сети

МГТУ им. Н. Э. Баумана.

Выводы по главе 2.

3. Разработка математических моделей коммутаторов в корпоративных сетях.

3.1 Исследование характеристик, влияющих на производительность коммутаторов.

3.2 Анализ дополнительных функций коммутаторов.

3.3 Очереди в интерфейсах коммутаторов.

3.4 Коммутатор как система массового обслуживания.

3.5 Экспериментальные исследования характеристик коммутаторов.

Выводы по главе 3.

4 Исследование технологий управления интенсивностью трафика в корпоративных сетях ТСРЛР.

4.1 Классификация механизмов управления трафиком в корпоративных сетях.

4.2 Мониторинг ресурсов корпоративной сети.

4.3 Мониторинг ресурсов пользовательского маршрута в корпоративной сети.

4.4 Распределенный мониторинг ресурсов и распределенное управление интенсивностью трафика.

4.5 Развитие технологии раннего случайного обнаружения.

Использование кадров пауз.

Выводы по главе 4.

5 Методы построения неблокирующих транспортных систем корпоративной сети.

5.1 Анализ цепочек очередей в транспортных системах.

5.2 Экспериментальные исследования трафика в сегментах корпоративной сети

МГТУ им. Н. Э. Баумана.

5.3 Исследование доступности ресурсов транспортной системы корпоративной сети.

5.4 Методы организации неблокирующих режимов функционирования в транспортной подсистеме.

Выводы по главе 5.

Внедрение новых информационных технологий в настоящее время ощущают все области деятельности человечества. Мировая информационная паутина используется человеком и в быту, и в его производственной области. Более того, новые сетевые технологии внедряются и оказывают существенное влияние в уже существующие и хорошо развитые области. IP-телефония, IP-телевидение, видео по заказу, видеоконференции, групповое вещание — вот далеко не полный перечень областей, в которых уже сейчас Internet успешно конкурирует с традиционными операторами.

Производители сетевого коммуникационного оборудования с максимальной оперативностью осваивают и реализуют постоянно развивающиеся свойства IP-технологий. Маршрутизаторы, коммутаторы, устройства группового и персонального доступа по проводам и беспроводные (Wi-Fi, WiMAX) сегодня выполняют функции, еще 10-15 лет назад только намечавшиеся и предсказываемые ведущими компаниями мира. Новые версии протоколов, мультимедийный трафик, управление качеством обслуживания, виртуальные локальные и частные сети, защита информации в сетях на стадиях ее ввода, передачи и приема - уже освоенные вехи в развитие корпоративных сетей предприятий. Внедрение новых информационно-коммуникационных технологий оказывает свое влияние и на организацию работы самих предприятий, для подтверждения которого достаточно рассмотреть вопрос о мобильности пользователей корпоративной сети. Еще два десятка лет назад для изоляции трафиков информационного обмена внутри подразделений предприятий использовалась технология маршрутизации с прокладкой новых кабельных сегментов. При этом вновь организуемые в структуре предприятия подразделения старались разместить в одном или нескольких близко расположенных помещениях, исходя из минимизации затрат на прокладку новых сегментов корпоративной сети. Для новых подразделений приобреталось новое оборудование (принтеры, плоттеры, серверы и другие ресурсы локального коллективного доступа), сосредотачиваемое в тех же помещениях. Организовывалась новая IP-сеть со своим IP-адресом, функционирование которой обеспечивалось в соответствие с принципами internetworking-a, сетевого и транспортного уровней стека протоколов TCP/IP. С развитием технологии коммутации, удешевлении самих коммутаторов при одновременном повышении их «интеллектуальных способностей», вышеизложенный подход оказался экономически невыгодным. Принятие в конце 90-х годов стандарта IEEE 802.1Q, описывающего технологию реализации виртуальных локальных сетей (VLAN), позволил по новому решить проблему защиты информации в подразделениях предприятий, отказавшись от дорогостоящей прокладки новых физических сегментов и приобретение дорогостоящих дополнительных маршрутизаторов. Более того, появление защищенных локальных сетей и реализация криптографических методов защиты информации в сетях привело к появлению технологии VPN (Virtual Private Network), еще более расширив территории охвата корпоративных сетей, предоставляя возможности коллективной работы пользователям, находящимся в разных точках планеты. Наконец бурное развитие беспроводных телекоммуникационных технологий (мобильная связь) и беспроводных сетей практически снимает любые ограничения по топографическому расположению пользователей корпоративных сетей. Все эти факторы позволяют руководству предприятия более гибко и рационально использовать разнообразные информационные ресурсы корпоративных сетей, снижая и оптимизируя соответствующие капиталовложения и отказываясь от доминирующей в настоящее время в области создания корпоративных сетей политики грубой силы, в соответствие с которой происходит постоянное наращивание вычислительных мощностей сетевых узлов и увеличение пропускной способности ее оконечных и магистральных сегментов [4, 10, 13, 29, 37]. Вместе с тем территориальное распределение пользователей, связанных между собой общностью решаемых задач, приводит ко все большему усложнению карты распределения трафика между узлами сети при одновременном увеличение его объема. В середине 90-х годов распределение трафика хорошо подчинялось правило «20-80», при котором 80% объема информации локализовалось в подразделении, все клиенты которого работали в пределах одного конечного сегмента корпоративной сети, и только 20% объема приходилось на долю трафика, внешнего по отношению к данной группе пользователей. В условиях распределения обработки информации наблюдается совершенно противоположная ситуация, которую необходимо учитывать при проектирование сетей. Создание точного соответствия структуры сети структуре информационных потоков предприятия крайне сложная задача. К тому же топология и объемы информационных потоков между подразделениями предприятия постоянно меняются с развитием информационных технологий и уровнем автоматизации различных видов деятельности. Поэтому методика разработки сети, удовлетворяющей потребностям корпорации в течение достаточно длительного срока без существенных изменений и переделок, должна постоянно пересматриваться. Основной путь создания достаточно долго функционирующих сетей до сих пор заключался в закладывание в их проекты избыточных значений по пропускным способностям сегментов. Так в середине 90-х годов обеспечение скорости передачи информации в 100Мбит/с предполагалось вполне достаточным на ближайшие десятилетия требованием. Однако уже к 2002 году реальностью стала технология Gigabit Ethernet, а сегодня существует промышленная версия 10 Gigabit Ethernet и успешно проходит испытания технология 40 Gigabit Ethernet [28, 35, 37]. Создание сверхизбыточных в отношение пропускной способности сегментов, удовлетворяющих любому распределению трафика между узлами сети практически даже для крупных корпораций является слишком дорогим удовольствием. Альтернативой сверхизбыточности может быть иерархический принцип организации структуры связи между сетевыми устройствами с достаточно большим количеством уровней иерархии и низким уровнем избыточности, т.к. иерархичность обладает свойствами регулярности, масштабируемость и наращиваемости [26, 28, 35, 39].

В любом случае используемые при проектировании корпоративных сетей математические модели также должны постоянно уточняться и пересматриваться в соответствии с развитием информационно-коммуникационных технологий. Наиболее широко используемая при исследовании технологии Ethernet гипотеза о пуассоновском распределении кадров [5, 6, 11, 12] в сегментах сети уже не дает приемлемых результатов проектирования ЛВС. Достаточно существенные расхождения в теоретических и экспериментальных исследованиях отмечаются во многих работах [23 — 25, 35, 40]. Очевидно изменения в технологиях доступа должны иметь свое отражение и в используемых математических моделях. Речь, прежде всего, идет об отказе от использования общих сред передачи информации в оконечных сегментах сетей (микросегментация портов коммутаторов), возможном буферном накоплении кадров в портах коммутаторов, что не имело места при множественном доступе с обнаружением коллизий (CSMA/CD), явном изменении экспоненциального закона распределения длин передаваемых кадров из-за весьма заметного преобладания мультимедийных приложений в работе пользователей. Поэтому весьма актуальной проблемой анализа и синтеза ЛВС в настоящее время является задача разработки математической модели сети, построенной на коммутаторах, что в свою очередь требует создания математических моделей самих коммутаторов, как сложных параллельных вычислительных систем.

Бурный прогресс технологий коммутации в локальных вычислительных сетях, наблюдаемый с момента появления в 1990 г. первого коммутатора EtherSwitch фирмы Kalpana, привел к существенным изменениям на всех уровнях протокола TCP/IP (Transmission Control Protocol / Internet Protocol), используемого практически во всех сетях Мировой паутины. Изменения также коснулись и самой архитектуры корпоративных сетей, в которой все сильнее проявляется регулярность. В настоящее время общепринятым является трехуровневая топология корпоративных сетей, базирующихся на коммутационных технологиях, в соответствии с которой в сетях выделяют уровень магистрали (уровень ядра), уровень распределения и уровень доступа [28, 29, 37, 39].

Благодаря существенному снижению цены за порт коммутатора на уровне доступа в подавляющем большинстве случаев используется микросегментация, т.е. подключение каждого хоста сети к отдельному порту коммутатора с переходом на режим full duplex. Следствием является отсутствие возможности столкновений кадров в доменах коллизий (включающих лишь порт коммутатора и интерфейсную карту хоста), что является причиной отсутствия периодов конкуренции в трафиках сегментах уровня доступа, изначально заложенной в методе CSMA/CD технологии Ethernet. В распределительных сегментах ЛВС и в сегментах ядра, соединяющих порты коммутаторов, с самого начала предполагалось использование полнодуплексного режима при отсутствии коллизий. Отсутствие столкновения кадров повышает общую пропускную способность сети, т.к. не требуется повторная передача участвующих в коллизиях кадров, однако это не гарантирует повышение надежности доставки. Более того в методе CSMA/CD сама сеть не «накапливает данные», т.е. не требуется буферизация информации по пути ее продвижения. Данные сохраняются в буферной памяти сетевых адаптеров в течении времени двойного оборота и считаются доставленными правильно по его истечении. В режиме full duplex коллизии не предусмотрены, однако при коммутации возможна блокировка кадров впереди стоящими, поэтому буферизация кадров в портах коммутаторов необходима и неизбежна. Ранее с необходимостью буферизации на уровне сетевых интерфейсов в стеке протоколов TCP/IP разработчики сталкивались лишь при проектировании сетевых адаптеров. Эти же вопросы возникали в задачах маршрутизации, т.е. на уровне межсетевого взаимодействия, а также на транспортном и прикладном уровнях стека протоколов TCP/IP. Аналогичные проблемы имеют место и при параллельной распределенной обработке информации [36]. С переходом на коммутационный принцип построения ЛВС буферизация оказалась необходимой уже на канальном уровне эталонной модели OSI (Reference Model Open System Interconnection). При этом блокировка впереди стоящим поставила задачу определения размеров буферов во входных и выходных портах коммутаторов на одно из определяющих мест при проектировании сетей с низкими временами задержки передачи и высокой пропускной способностью. Особенно актуальна проблема блокировки впереди стоящим для распределительного и магистрального уровней корпоративных сетей, сегменты которых ориентированы не на локальные трафики отдельных пользователей, а являются общими для всех клиентских и серверных хостов. Исследования всех имеющихся в корпоративной сети МГТУ им. Н. Э. Баумана типов коммутаторов, проведенное в настоящей работе показало, что коммутация «на лету» в настоящее время не используется [4]. Это объясняется сближением канального и сетевого уровней эталонной модели OSI, т.е. передачи функции маршрутизации коммутирующим аппаратным средствам (коммутация 3-го уровня), что требует предварительной буферизации значительной части передаваемого кадра вплоть до прочтения заголовка IP-пакета. Более того, в последнее время идет речь о коммутаторах 4-го уровня, использующих заголовки TCP или UDP сегментов. Именно поэтому технология коммутации с предварительной буферизацией кадра в оперативной памяти входного порта присуща подавляющему большинству коммутаторов различных фирм. Буферизация кадров во входных и выходных портах коммутаторов является ни чем иным, как накопление сетью данных, что влияет на время задержки (время обслуживания) пакетов и на характер самого трафика в сегментах. Более длинные кадры требуют большего времени для своей буферизации, поэтому имеет место большее увеличение интервалов между ними в выходных сегментах коммутаторов по сравнению с короткими. Иными словами происходит деформация трафика при пересечении им коммутатора. Еще более сильная деформация трафика возможна в случае блокировки впереди стоящим, при котором свою лепту вносит дисциплина обслуживания очередей.

Накопление данных в сетях, построенных на коммутаторах, выдвигает на первый план задачу определения размеров буферной памяти на входных и выходных портах, т.к. накопление не может быть бесконечным и может привести к потери кадров. Это в свою очередь (после обнаружения потери уровнем TCP) вызовет их повторную передачу, что повысит интенсивность трафика во всех сегментах от источника до получателя информации с известными возможными последствиями, вплоть до возникновения заторов и перегрузок сети [28, 71 - 73, 81 - 83]. Переход к коммутаторам на канальном уровне привнес за собой необходимость решения проблем, изначально присущих более высоким уровням используемых стеков проколов, т.е. проблем связанных с обеспечением надлежащего качества обслуживания (QoS).

В сетях, использующих стек протоколов TCP/IP для обеспечения необходимого уровня QoS используется либо технология объединенного обслуживания (IntServ), либо технология дифференциального обслуживания (DifflServ), либо их сочетание [43, 79].

Основное применение в коммутаторах второго уровня нашел способ обеспечения QoS, базирующийся на приоритезации трафика по стандарту IEEE 802.1 p/Q (более позднее название IEEE 802.ID - 1998г.). В общем случае в каждом коммутаторе сети предполагается наличие правил политики, в соответствии с которыми выполняется обслуживание каждого класса трафика, т.е. наличие профиля трафика.

Производители коммутаторов обычно встраивают в свои устройства более широкие способы классификации трафика, чем те, которые предусмотрены в стандарте IEEE 802.ID. Классы трафика могут отличаться МАС-адресами, номерами портов, метками 802.1 p/Q в коммутаторах второго уровня. В коммутаторах третьего уровня классификация может осуществляться также по IP-адресам или на базе технологии MPLS. Наконец, в коммутаторах четвертого уровня эталонной модели OSI возможна классификация по номерам портов сокетов Беркли. Очевидно, возможны комбинации классификаций различных уровней. При поступлении кадра в буфер входного порта значения его полей сравниваются с признаками, содержащимися в правилах, которые назначены для групп трафика, а затем помещаются в соответствующую очередь. Правила, связанные с каждой очередью, могут гарантировать кадрам определенное количество пропускной способности и приоритет, влияющий на величину задержки. Классификация трафика коммутатором позволяет администраторам устанавливать политику QoS во всей корпоративной сети, однако не гарантирует отсутствие возможных заторов и перегрузок, т.к. кроме этого необходим еще и механизм регулирования трафика на стадии его формирования. Это регулирование может быть осуществлено на базе механизма обратной связи при котором требуется анализ трафика в сегментах корпоративной сети и предсказание его изменения, базирующееся на тех или иных моделях. Именно поэтому с середины 90-х годов ведутся обширные исследование в области моделирования трафика в сегментах корпоративных сетей, общим выводом из полученных результатов которых может быть лишь утверждение о невозможности создания универсальной модели сетевого трафика и его изменчивости, отслеживающей развитие информационно-коммуникационных технологий на всех уровнях эталонной модели OSI. Любые исследования в области моделирования трафика в локальных и глобальных сетях, приводящие к новым результатам, остаются актуальными и постоянно востребованными для проектирования и создания сетей предприятия различных масштабов и возможностей.

По мере роста Интернета и частных объединенных сетей на передний план выходит множество новых требований. Исторически объединенные IP-сети могли предоставлять всем приложениям, трафик которых они переносили, простую услугу по доставке пакетов с максимальными усилиями (то есть по остаточному принципу). Хотя заголовок протокола IPv4 содержит поля, с помощью которых можно указать уровень приоритета и тип услуги, как правило, эта информация игнорируется маршрутизаторами, как при выборе маршрутов, так и при обработке отдельных пакетов.

Но нужды пользователей изменились. Компания может затратить миллионы долларов на установку объединенной IP-сети, предназначенной для передачи данных между локальными сетями, и неожиданно обнаружить, что новые мультимедийные приложения, приложения групповой рассылки или приложения реального времени недостаточно хорошо поддерживаются такой конфигурацией. Единственной сетевой схемой, с первого дня предназначенной для поддержки как традиционного TCP- и UDP-трафика, так и трафика реального времени, является сеть ATM. Однако установка сети ATM означает либо создание второй инфраструктуры для трафика реального времени, либо замену существующей IP-конфигурации ATM-структурой, при этом для реализации обоих вариантов требуются большие финансовые затраты.

Таким образом, в архитектуре TCP/IP существует необходимость в поддержании разных видов трафика с разными уровнями качества обслуживания. Трафик в обычной или объединенной сети можно разделить на две большие категории: эластичный и неэластичный. Понимание различий между этими категориями проясняет необходимость в усовершенствованной архитектуре объединенных сетей.

Эластичным (elastic) называют трафик, способный приспосабливаться к изменениям задержки и пропускной способности в . широком диапазоне значений, продолжая удовлетворять потребности приложения. Это традиционный тип трафика, поддерживаемый IP-сетями, и именно для такого трафика разрабатывались объединенные сети. Приложения, создающие подобный трафик, в качестве транспортного протокола, как правило, используют протокол TCP или UDP. В случае протокола UDP приложение расходует столько ресурсов, сколько имеется в наличии, вплоть до скорости, с которой приложение генерирует данные. В случае протокола TCP приложение расходует столько ресурсов, сколько имеется в наличии, вплоть до максимальной скорости, с которой оконечный получатель способен принимать данные. Кроме того, при использовании протокола TCP трафик, передаваемый по отдельным соединениям, реагирует на перегрузку снижением скорости передачи данных в сеть. Для этого включаются механизмы отката и затяжного пуска, связанные с задержкой RTT (Round-Trip Time — время распространения сигнала в оба конца) [81 - 83, 88].

К эластичным приложениям относятся обычные приложения, работающие с помощью протоколов TCP и UDP, включая передачу файлов (FTP), электронную почту (SMTP), управление сетью (SNMP) и доступ к Паутине (HTTP). Требования, предъявляемые данными приложениями, различаются. Электронная почта, как правило, нечувствительна к изменениям задержки. Когда передача файлов осуществляется в режиме подключения (on-line), как это обычно бывает, пользователь ожидает, что задержка будет пропорциональна размеру файла, то есть передача файлов чувствительна к скорости передачи данных. При управлении сетью задержка, как правило, не представляет серьезной проблемы. Однако если неисправности в объединенной сети являются причиной перегрузки, тогда необходимость в прохождении сообщений протокола SNMP с минимальной задержкой с ростом перегрузки растет. Интерактивные приложения, такие как удаленная регистрация и доступ к Паутине, обладают высокой чувствительностью к задержке.

Важно понимать, что особый интерес представляет не задержка отдельных пакетов. Благодаря механизмам борьбы с перегрузкой, реализованным в протоколе TCP, когда возникает перегрузка, происходит только умеренное увеличение задержки, после чего скорость поступления данных по различным TCP-соединениям снижается. С точки зрения пользователя уровень качества обслуживания определяется не величиной задержки отдельного пакета, а суммарным интервалом времени, необходимым для передачи элемента данного приложения. Для интерактивного приложения элементом может быть отдельный символ или одна текстовая строка. Для веб-браузера элементом является вебстраница, размеры которой могут изменяться в очень широких пределах от нескольких килобайт до нескольких десятков и сотен килобайт для страниц с большим количеством графики [27]. В научных приложениях один элемент может состоять из нескольких мегабайт данных [36].

Для очень маленьких элементов суммарное время передачи данных в основном состоит из длительности задержки передачи данных по объединенной сети. Однако для больших элементов суммарное время передачи данных зависит от производительности алгоритма скользящего окна протокола TCP и, следовательно, в основном определяется пропускной способностью TCP-соединения. Таким образом, при передаче больших объемов данных время передачи пропорционально размеру файла и степени торможения источника из-за перегрузки.

Должно быть ясно, что даже если ограничиваться только эластичным трафиком, была бы весьма полезна какая-нибудь служба поддержания качества обслуживания в объединенной сети. Без такой службы маршрутизаторы одинаково относятся к прибывающим пакетам, не учитывая ни тип приложения, ни то, является ли данный пакет частью большого элемента приложения или маленького. При таких условиях в случае перегрузки маловероятно, что ресурсы будут распределены так, чтобы справедливо удовлетворить потребности приложений. А когда к эластичному трафику добавляется неэластичный, ситуация еще более усложняется.

Неэластичный трафик (inelastic traffic) плохо приспосабливается, если вообще способен приспосабливаться, к изменениям задержки и пропускной способности объединенной сети. Примером неэластичного трафика является трафик реального времени.

Неэластичный трафик предъявляет к объединенной сети различные требования, среди которых можно назвать следующие:

- Пропускная способность. Может быть предъявлено требование обеспечения некоторой минимальной пропускной способности. В отличие от большей части приложений эластичного трафика, способных продолжать доставку данных, возможно, со сниженным уровнем качества обслуживания, многим неэластичным приложениям абсолютно необходим определенный минимум пропускной способности.

- Задержка. В качестве примера приложения, чувствительного к задержкам, можно назвать игру на бирже. Пользователь, постоянно получающий информацию с задержкой, будет постоянно запаздывать в своих действиях, и, следовательно, его действия будут менее успешными.

- Флуктуация. Диапазон изменений задержки критически важен для приложений реального времени. Чем больше допустимое изменение задержки, тем больше будет реальная задержка доставки данных и тем больших размеров потребуются буферы получателей. Интерактивные приложения реального времени, такие как телеконференции, могут требовать разумных ограничений на флуктуацию.

- Потеря пакетов. Некоторые приложения реального времени допускают потерю пакетов. Допустимое количество потерянных пакетов может быть разным для разных приложений.

Эти требования трудновыполнимы в окружении, в котором имеют место вызванная очередями переменная задержка и потеря пакетов из-за перегрузки. Соответственно, неэластичный трафик предъявляет два новых требования к архитектуре объединенных сетей. Во-первых, необходимы определенные средства для предоставления предпочтений приложениям с более высокими пожеланиями. Приложение должно иметь возможность заявить о своих пожеланиях либо заранее, с помощью некоторой функции, запрашивающей нужную услугу, либо «на лету», при помощи полей в заголовке 1Р-пакета. Первый подход предпочтительнее. Он предоставляет большую гибкость в пожеланиях, позволяя сети заранее о них узнавать и отказывать в обслуживании, если требуемые ресурсы недоступны. Этот подход предполагает наличие некоторого протокола резервирования ресурсов.

Второе требование, относящееся к поддержке неэластичного трафика в архитектуре объединенных сетей, заключается в том, что эластичный трафик также должен поддерживаться. В отличие от ТСР-приложений, неэластичные приложения, как правило, не снижают требований в случае перегрузки. Поэтому при перегрузке неэластичный трафик будет продолжать оказывать высокое давление на объединенную сеть, и эластичный трафик окажется просто вытесненным. Протокол резервирования ресурсов может помочь справиться с ситуацией, отказывая в обслуживании запросов, если в случае их обслуживания в объединенной сети останется слишком мало ресурсов для эластичного трафика.

Актуальность проблемы

Проблема научно обоснованного совершенствования и развития теоретической, экспериментальной и технологической базы анализа и синтеза корпоративных сетей имеет важное народно-хозяйственное и социальное значение для прогресса в области информационно-коммуникационных технологий, обеспечивающего решение общегосударственных задач.

Развитие и широкое внедрение информационно-коммуникационных технологий во все сферы человеческой деятельности проявляется в локальных и глобальных компьютерных сетях. Изменение характера передаваемой информации, ее объемов и интенсивности может привести к возникновению блокировок и перегрузок в компьютерных сетях, несмотря на тенденцию к повышению их пропускной способности, следовательно, совершенствование методов анализа и управления в корпоративных сетях, направленных на повышение их производительности, остается актуальной проблемой и в настоящее время. Разнообразие передаваемой информации, ее интенсивность и объем приводят ко все большему отличию существующих математических моделей источников информации, коммуникационных узлов сетей и самого трафика, разработанных для сетей первых поколений, от реально наблюдаемых результатов их функционирования на современном этапе. Серьезным препятствием для исследования трафика в корпоративных сетях является также закрытость и ограниченность методик анализа процессов в узлах сетей, используемых в дорогостоящих зарубежных разработках. Поэтому разработка научных методов и алгоритмов создания структур и топологий транспортных подсистем корпоративных сетей, методов анализа функционирования коммутационных и оконечных узлов этих подсистем и их отдельных сегментов, развитие и совершенствование технологий управления трафиком передаваемой информации, реализуемых на штатном сетевом оборудовании и с помощью типового аппаратно-программного обеспечения, доступного сетевым администраторам и интеграторам, является актуальной задачей для повышения уровня автоматизации всех информационных процессов в многоплановой деятельности предприятий и организаций любых масштабов.

Решением ряда задач, относящихся к данной проблеме занимаются научно-исследовательские подразделения многих российских и зарубежных университетов и

НИИ: Государственный научно-исследовательский институт информационных технологий и телекоммуникаций "Информика", Санкт-Петербургский государственный институт информационных технологий, точной механики и оптики (технический университет), Российский НИИ развития общественных сетей, Московский государственный технический университет им. Н.Э. Баумана, Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А.Бонч-Бруевича, Московский государственный университет им М. В Ломоносова, Московский институт электроники и математики (технический университет), Тамбовский государственный технический университет, Центральный научно-исследовательский институт робототехники и технической кибернетики, Уфимский государственный авиационный технический университет, Новгородский государственный университет, Самарский государственный аэрокосмический университет, Санкт-Петербургский государственный университет, Global Information Grid, Cisco Systems Inc, Factiva (совместное предприятие Dow Jones и Reuters), General Dynamics, HP, Honeywell, IBM, Microsoft, Northrop Grumman, Oracle, Raytheon, Sun и др. Несмотря на это, в открытой печати и ресурсах Internet практически отсутствуют методы анализа и синтеза транспортных подсистем корпоративных сетей предприятий, что негативно влияет на внедрение и освоение новых информационных технологий для решения важных народно-хозяйственных задач во всех отраслях. Цели и задачи исследований

Целью диссертации является разработка научных основ, математических моделей, методов и алгоритмов анализа транспортных подсистем корпоративных сетей предприятий и их элементов, повышение их производительности.

Для достижения поставленной цели следует, проанализировав современное состояние стека протоколов TCP/IP, достигнутое за четыре десятилетия развития всех его уровней и выявив причины, определившие наиболее крупномасштабные факторы, оказавшие воздействие на выбор методов и способов решения широкого круга разноплановых задач, попытаться предсказать парадигму дальнейшего развития хотя бы на ближайшую перспективу. На базе этого анализа конкретизируется декомпозиция поставленной цели настоящей диссертационной работы, достижение которой обеспечивается решением следующих задач:

1. Анализ структур построения современных корпоративных сетей, технологий взаимодействия оконечных и транзитных узлов в их транспортных подсистемах.

2. Классификация информационных воздействий со стороны клиентских и серверных хостов на корпоративную сеть. Разработка математических моделей источников и стоков информации для характеризации нагрузки на транспортную подсистему.

3. Выбор и развитие методов статистического анализа и мониторинга трафика в сегментах доступа, распределения и магистралей транспортных подсистем корпоративных сетей.

4. Разработка математических моделей транзитных узлов (коммутаторов) корпоративных сетей с учетом их влияния на трафик, переносимый в сегментах транспортной подсистемы на различных иерархических уровнях сети.

5. Анализ и развитие методов и технологий управления объемами и интенсивностью трафика информационных потоков, переносимых транспортной подсистемой.

6. Разработка методов анализа доступности общих ресурсов корпоративных сетей с целью выявления возможности построения неблокирующих транспортных подсистем и их элементов, а также рекомендаций по повышению их производительности и уменьшению потерь кадров в сегментах разных уровней иерархии.

Методы исследования

Для решения поставленных задач используются современные методы теории информации и теоретической информатики, математические методы теории вероятностей, теории очередей и массового обслуживания, планирования эксперимента и статистической обработки результатов экспериментальных данных. Результаты, выносимые на защиту

1. Концепция анализа транспортных подсистем корпоративных сетей как сложных иерархических коммуникационных систем, построенных по коммутационному принципу.

2. Математические модели источников информации, определяющих нагрузку на транспортные подсистемы на канальном уровне эталонной модели 180/081.

3. Математические модели коммутаторов в корпоративных сетях как основных транзитных узлов транспортных подсистем.

4. Математические модели трафика в сегментах транспортных подсистем корпоративных сетей на уровне сетевых интерфейсов стека протоколов ТСРЛР.

5. Методы анализа профиля функционирования различных участков и узлов корпоративной сети, базирующиеся на правиле доступности ресурсов.

6. Технологии регулирования интенсивности трафика в сегментах и узлах транспортной подсистемы, базирующиеся на логике случайного раннего обнаружения и механизме выдерживания пауз в нагрузке на корпоративную сеть.

7. Алгоритмы, реализующие методы мониторинга и статистического анализа транспортных подсистем и их элементов при экспериментальном исследовании различных режимов работы корпоративных сетей.

8. Принципы построения структур транспортных подсистем корпоративных сетей, обеспечивающих повышение их производительности при снижении процента информационных потерь из-за блокировки кадров в общих ресурсах.

9. Результаты экспериментальных реализаций разработанных методов и алгоритмов для транспортной подсистемы корпоративной сети МГТУ им. Н. Э. Баумана.

Научная новизна результатов

1. Разработана новая технология измерения длительности процессов передачи информации в сетях, базирующаяся на использовании состояния счетчика тактовых импульсов процессора компьютера, применяемого для проведения эксперимента, а также на результатах опорного эксперимента.

2. Экспериментально доказано несоответствие гипотезы об экспоненциальном характере размеров передаваемых в корпоративной сети кадров реальному трафику и установлены причины этого несоответствия.

3. Установлены границы применимости моделей очередей типа MIMI1 в нотации Кендалла для анализа процессов в граничных и транзитных узлах транспортных подсистем корпоративных сетей.

4. Разработана новая математическая модель трафика в сегментах транспортной подсистемы с длительностью кадров, распределенной по закону Бернулли для технологии Ethernet, интенсивность поступления которых соответствует мультиплексированным и демультиплексированным регулярным потокам, позиционированным по Пуассону в отсутствие блокировок.

5. Предложена новая математическая модель коммутаторов на базе системы массового обслуживания MIGI1, время обслуживания которой Ts пропорционально длине продвигаемого кадра.

6. Разработан новый метод регулирования интенсивности трафика в сегментах транспортной подсистемы путем пролонгации процессов в источниках информации, опирающийся на логику алгоритма случайного раннего обнаружения.

7. Выведено правило доступности ресурсов в корпоративной сети и рассмотрены варианты его применения для анализа типовых информационных процессов в разных уровнях иерархии структуры транспортной подсистемы.

8. Разработаны методики, алгоритмы и программы для экспериментальных исследований транспортных подсистем корпоративных сетей предприятия. Достоверность полученных результатов диссертации подтверждается:

- применением фундаментальных положений теории автоматов, теории алгоритмов и теории связи;

- использованием известных методов теории систем массового обслуживания, теории очередей и процессов восстановления;

- сопоставлением полученных решений с общеизвестными достоверными результатами, опубликованными в литературе;

- экспериментальными подтверждениями для процессов в транспортной подсистеме реальной корпоративной сети МГТУ им. Н. Э. Баумана.

Практическая значимость работы состоит в:

1. Разработанных алгоритмах и программах, дополняющих известные процедуры статистических исследований сетевых характеристик, используемых во всех операционных системах современных компьютеров.

2. Разработанном программном комплексе иЭРРГМО для генерации нагрузки на транспортные подсистемы любых сетей и анализа пропускных способностей их сегментов и интерфейсов.

3. Разработанных методиках определения характеристик коммутаторов корпоративных сетей без остановки их функционирования в транспортных подсистемах.

4. Полученных математических моделях ряда промышленных коммутаторов конкретных фирм производителей, предлагаемых на рынке сетевого оборудования.

5. Конкретных рекомендациях по организации транспортных подсистем корпоративных сетей для снижения доли потерь информации, вызванной перегрузкой ресурсов.

Результаты работы реализованы в корпоративной сети МГТУ им. Н. Э. Баумана и используются при ее эксплуатации, модернизации и развитии. Отдельные разработки диссертации используются в корпоративных сетях Российского НИИ Развития Общественных Сетей и Российском научном центре «Курчатовский институт». Основанием для выполнения работы явились исследования, проводимые автором лично и под его научным руководством с 1993 года по настоящее время в МГТУ им. Н. Э. Баумана в рамках следующих Федеральных программ: ФЦП «Интеграция науки и высшего образования России» (2002 - 2006 гг, направление 3.13 «Совместная разработка и адаптация вузами и исследовательскими организациями программ научно-методического обеспечения подготовки кадров в области суперкомпыотерных, информационных и наукоемких технологий», направление 4.16 «Развитие интегрированной сети с высокоскоростными телекоммуникационными каналами»), «Электронная Россия» (2002 — 2005 гг), «Развитие единой образовательной информационной среды» (2002 - 2005 гг), а также ряда госбюджетных и хоздоговорных НИР.

Апробация работы и публикации

Основные положения, представленные в диссертации докладывались и обсуждались на следующих научных мероприятиях: Телематика-2000: Международная НМК — Санкт-Петербург 2000 г, Создание телекоммуникационной среды высокопроизводительных технологий в регионах России: состояние, проблемы ВНТС - Уфа 2000 г, Relarn - 2001: VIII конференция представителей региональных научно-образовательных сетей — Петрозаводск 2001 г, Телематика-2001: Международная НМК - Санкт-Петербург 2001 г, Relarn - 2002: IX конференция представителей региональных научно-образовательных сетей - Нижний Новгород 2002 г, «Информационные технологии в образовании»: Международная конференция - Болгария 2002 г, Телематика-2003: Международная НМК - Санкт-Петербург 2003 г, Relarn - 2003: X конференция представителей региональных научно-образовательных сетей - Санкт-Петербург 2003 г, V Международная конференция памяти академика А. П. Ершова - Новосибирск 2003 г, Современные наукоемкие технологии в промышленности России: высокопроизводительные вычисления и CALS-технологии ВНТС - Уфа 2004 г. Результаты диссертации опубликованы в 7-ми статьях, опубликованных в журнале ВАК, 1 -ом научном издании, 2-х статьях в других журналах, 10-ти трудах конференций, 2-х учебно-методических пособиях и в 23-х отчетах по госбюджетным и хоздоговорным НИР.

6 Основные выводы и результаты

1. Проведен анализ текущего состояния, тенденций и перспектив развития корпоративных сетей, характерными особенностями которых являются: доминирующее положение стека протоколов TCP/IP при организации информационного взаимодействия между подразделениями организаций; все большее проникновение технологий Internet в бизнес-процессы предприятий (переход на Intranet-технологии); переход на коммутационный принцип построения транспортных подсистем с микросегментированным подключением граничных узлов сети; переход на технологию Ethernet на канальном уровне эталонной модели ISO/OSI; обязательный учет требований QoS при расширении номенклатуры служб, реализуемых в корпорагивной сети предприятий.

2. Установлено, что проблема разработки методологии анализа и проектирования транспортных подсистем корпоративных сетей может быть решена на основе декомпозиции, включающей в себя следующие задачи:

- определение и характеризация нагрузки на транспортную подсистему корпоративной сети, т.е. исследование трафика источников информации при реализации различных сервисов в сети;

- разработка математических моделей коммутаторов как основных элементов транспортных узлов корпоративной сети и анализ их влияния на трафик источников информационных потоков при их слиянии, разделении и перенаправлении в сегментах сети;

- исследование существующих в настоящее время методов управления объемом и интенсивностью трафика информационных потоков и выработка рекомендаций по их применению в транзитных и оконечных узлах корпоративной сети;

- разработка рекомендаций по организации неблокирующих транспортных систем и их различных структурных элементов на разных иерархических уровнях корпоративной сети.

3. Классифицированы модели взаимодействия источников и стоков информации в корпоративных сетях и установлено, что все их многообразие базируется на принципе «запрос-ответ» по двух- трех- и многозвенъевой клиент-серверной технологии. Рассмотрена и подтверждена возможность моделирования любого узла сети как системы массового обслуживания, при этом для более детальной характеризации нагрузки на сеть общепринятая методика ТРС требует дополнения по определению объемов трафика, возвращаемого в ходе выполнения транзакций.

4. В результате экспериментальных исследований источников информации в корпоративной сети МГТУ им. Н. Э. Баумана установлено, что более 90 % нагрузки на транспортную подсистему приходится на долю выходных потоков серверных процессов, хотя они вызваны именно клиентскими запросами. Для Web-сервисов при регулировании интенсивности на сетевом уровне алгоритмами «дырявого ведра» или «маркерного ведра» поток кадров близок к регулярному, а распределение их размеров существенно отличается от экспоненциального, что объясняется повышением доли графической, анимационной, аудио-и видеоинформации, передаваемой клиентским процессам пользовательских хостов, а также все большим применением технологии Web-сервисов.

5. В результате статистического анализа экспериментальных данных выявлено, что гипотеза о пуассоновском характере справедлива для трафика потока клиентских заявок на обслуживание, генерируемого компьютерами пользователей сети, для них же может быть рекомендован экспоненциальный закон распределения длин кадров. Для потока кадров АСК генерируемых клиентскими хостами в ответ на информационные кадры серверов при реализации ТСР-соединений, размер кадров постоянен, а сам поток может считаться регулярным. В целом информационные потоки от клиентских процессов формируют пренебрежимо малый объем трафика в общей нагрузке на транспортную подсистему корпоративной сети и им допустимо пренебречь при проведении проектных расчетов. Проверена возможность моделирования выходных потоков кадров для серверных процессов бимодальным распределением Бернулли. Получены расчетные зависимости определения характеристик модельного трафика по результатам экспериментов. Установлено, что самоподобные эффекты, присущие распределению длин передаваемых файлов в транспортной подсистеме корпоративной сети проявляются появлением пауз в генерации выходного потока серверными процессами и лишь снижают нагрузку на интерфейсы коммутаторов, что позволяет не учитывать их на канальном уровне эталонной модели ISO/OSI.

6. Разработана методика экспериментального определения времени продвижения кадров коммутатором, базирующаяся на использовании общепринятой для всех операционных систем компьютеров утилиты «ping», расширенной с целью увеличения точности измерения программой определения времени двойного оборота по состоянию счетчика тактов процессора применяемого для проведения экспериментов компьютера. Двойное прохождение посылаемых кадров через исследуемые аппаратно-программные тракты и измерения на стороне компьютера-источника пакетов исключило проблему синхронизации процессов в оконечных узлах корпоративной сети. Статистические характеристики (моменты различных порядков) устанавливаются путем сравнения с результатами опорного эксперимента, состоящего в измерении времени двойного прохождения кадров между компьютерами, сетевые адаптеры которых взаимодействуют по кроссовой связи.

7. В результате статистических исследований ряда коммутаторов различных производителей в ненагруженном режиме, при котором задействованы только два интерфейса для подключения компьютера-источника кадров и компьютера-приемника, осуществляющего возврат трафика, установлена линейная зависимость времени Ts от размера продвигаемого кадра, что позволяет рекомендовать в качестве математической модели коммутаторов полином первой степени длительности продвигаемого кадра. Полученные модели проверены экспериментально для двух- и трехкаскадного взаимодействия различных моделей коммутаторов, предлагаемых в настоящее время рынком сетевого оборудования.

8. Подтверждена работоспособность разработанных математических моделей коммутаторов для штатных режимов их функционирования в транспортной подсистеме корпоративной сети МГТУ им. Н. Э. Баумана, при которых ресурсы компьютера-источника и компьютера-приемника (а, следовательно, и ресурсы соответствующих портов коммутатора) не востребованы другими узлами корпоративной сети. Полученные результаты дали основание к рекомендации использования разработанной методики экспериментального определения необходимых статистических характеристик «ненагруженных» коммутаторов, используемых в реальных транспортных подсистемах корпоративных сетей во время их работы.

9. Разработан программный комплекс для мониторинга загрузки пропускной способности маршрутов в транспортной подсистеме корпоративной сети, реализующий логику утилиты «ping», включающий три программных модуля, работоспособность которого проверена на различных маршрутах реальной корпоративной сети МГТУ им. Н. Э. Баумана. Рекомендовано применение комплекса в целом для тестирования транспортных подсистем корпоративных сетей. Выявлена возможность использования клиентского модуля программного комплекса для повышения интенсивности трафика на любом маршруте в Internet при проведении требуемых натурных испытаний.

10. Разработана технология распределенного регулирования интенсивности трафика, которая опирается на локальный мониторинг занятости буферов очередей в интерфейсах транзитных узлов корпоративной сети. При этом в каждой очереди предложено установить некоторое граничное значение (порог). Если размер очереди превышает установленный порог, то аналогично методу WRED (оперирующему с входным кадром) в отношении источника входного кадра очереди осуществляется приостановка его деятельности, т.е. выдается управляющий кадр PAUSE. Разработанный метод может использоваться совместно с алгоритмами DT или WRED.

11. Установлена и экспериментально подтверждена возможность моделирования маршрутов в транспортной подсистеме любой корпоративной сети цепочками очередей. Показано существенное отличие распределения длин кадров, передаваемых по сегментам транспортной подсистемы корпоративной сети от экспоненциального закона распределения. Рекомендовано при имитационном моделировании функционирования сетей использование бимодального распределения Джонсона, а при аналитических исследованиях процессов в транспортных подсистемах его аппроксимация распределением Бернулли, параметры которого можно установить по предложенным зависимостям. Экспериментально подтверждено допущение о превалирующей доли трафика от серверов корпоративной сети и внешних по отношению к самой сети серверов Internet по сравнению с трафиком от клиентских хостов. Обоснованно правило ориентации на информационные потоки от многопользовательских источников информации при проектировании, анализе и разработке транспортных подсистем корпоративных сетей и их элементов.

12. Предложен метод определения доступности общих ресурсов транспортной подсистемы, в число которых включены: пропускная способность интерфейсов коммутаторов, их буферная память для организации входных и выходных очередей транзитных кадров и доля времени их центральных процессоров, затрачиваемая на пересылку кадров с порта на порт. Получены вероятностные зависимости различных вариантов состояния ресурса при его востребованности одновременно несколькими процессами в узлах сетей, проверенные известными данными по блокировке моноканала классической технологии Ethernet. Рассмотрены различные варианты применения установленных зависимостей к узлам транспортной подсистемы и выработаны конкретные рекомендации по ограничениям использования ресурсов интерфейсов, сформулированные как правило доступности ресурса. Проанализированы возможности построения неблокирующих транспортных подсистем корпоративных сетей. Рассмотрены новые возможности повышения производительности транспортных подсистем, предоставляемые сочетанием технологии построения виртуальных сетей и технологии организации многоплановых «покрывающих» деревьев, с учетом детализации востребованности общих ресурсов различными процессами в источниках и стоках информации, что допускает оценку вариантов топологического размещения информационных ресурсов предприятия, альтернативных централизации последних на магистрали транспортных подсистем.

1. Аверилл М. Лоу, В. Дэвид Кельтон, Имитационное моделирование, 3-е изд. — СПб.: Питер, 2004.

2. Бертсекас Д., Галлагер Р. Сети передачи данных. — М.: Мир, 1989.

3. Бойченко М., Иванов И., Колобаев Л., Лохтуров В., «Разработка методов управления трафиком в интегрированных и дифференцированных службах корпоративной сети» Отчет о НИР 01.07.05 М.: МГТУ 2003.

4. Бойченко М., Иванов И., Колобаев Л., Лохтуров В., «Разработка математических моделей локальных вычислительных сетей, построенных по принципу коммутации» Отчет о НИР 01.07.05 М.: МГТУ 2006.

5. Бойченко М., Иванов И., Колобаев Л., Лохтуров В., «Разработка математических моделей восходящих и нисходящих информационных потоков в коммутируемых корпоративных сетях» Отчет о НИР 01.07.05 — М.: МГТУ 2007.

6. Бойченко М. К., Иванов И. П. Исследование характера трафика в магистральных сегментах ЛВС МГТУ им. Н. Э. Баумана. М.: Вестник МГТУ. Приборостроение. - 2009. -№3. стр. 12-21.

7. Бойченко М. К., Иванов И. П. Мониторинг ресурсов узлов корпоративной сети.- М.: Вестник МГТУ. Приборостроение. 2010. - №2. стр. 114-120.

8. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. — М.: Мир, 1974.

9. Галлагер Р. Теория информации и надежная связь. М.: Сов. Радио, 1974.

10. Гейер Дж. Беспроводные сети. М.: Вильяме, 2005

11. Григорьев Ю. А., Плутенко А. Д. Теоретические основы анализа процессов доступа к распределенным базам данных. Новосибирск: Наука, 2002.

12. Григорьев Ю. А. Разработка научных основ проектирования архитектуры распределенных систем обработки данных: дисс. на соискание ученой степени д-ра техн. наук.- М.: МГТУ им. Н. Э. Баумана, 1996.

13. Дунаев С. Б. Ыгапе(:-техIгологаи. М.: Диалог-МИФИ, 1997.

14. Иванов И. П, Колобаев Л.И., Лохтуров В.А. Система адаптивного управления трафиком. М.: Вестник МГТУ. Приборостроение. - 2005. - №2. стр. 98-108.

15. Иванов И. П., Орлов А. П., Рыбин С. В. Информационно-вычислительная сеть МГТУ. -М.: Вестник МГТУ. Приборостроение. 1998. - №2. стр. 74-86.

16. Иванов И. П., Самарский Д. А. Принципы построения систем управления делопроизводством с использованием технологии CORBA. — М.: Вестник МГТУ. Приборостроение. 2002. - №2. стр. 52-64.

17. Иванов И. П., Успенский А. Ю. Анализ методов защиты информации в радиоканалах стандарта IEEE 802.11. М.: Вестник МГТУ. Приборостроение. - 2002. - №4. стр. 64-72.

18. Иванов И. П. Интегральная оценка состояния ресурсов пользовательского маршрута в корпоративной сети. М.: Вестник МГТУ. Приборостроение. — 2010. - №2. стр. 48-60.

19. Иванов И. П. Математические модели коммутаторов локальных вычислительных сетей. М.: Вестник МГТУ. Приборостроение. - 2009. - №2. стр. 84-92.

20. Иванов И.П. Оценка трафика информационных потоков серверов в корпоративной сети. -М.: Вестник МГТУ. Приборостроение. 2009. - №3. стр. 3-11.

21. Иванов И. П. Управление интенсивностью трафика в сегментах корпоративных сетей М.: Информатизация образования и науки. - 2010. - №3. стр. 52-58.

22. Информационная управляющая система МГТУ им. Н. Э. Баумана «Электронный университет»: концепция и реализация / Т. И. Агеева, А. В. Балдин, И. П. Иванов и др.: под ред. И. Б. Федорова, В. М. Черненького. М.: Изд-во МГТУ им. Н. Э. Баумана, 2009.

23. Клейнрок JI. Вычислительные системы с очередями. М.: Мир, 1979.

24. Кокс Д., Смит В. Теория восстановления. — М.: Сов. Радио, 1967.

25. Кокс Д., Смит В. Теория очередей. М.: Мир, 1966.

26. Куроуз Дж., Росс К. Компьютерные сети. 4-е изд. СПб.: Питер, 2004.

27. Менаске Д., Алмейда В. Производительность Web-служб. Анализ, оценка и планирование. СПб.: ДиаСофтЮП, 2003.

28. Олифер В.Г., Олифер H.A. Компьютерные сети, 3-е изд. СПб.: Питер,2007.

29. Олифер В.Г., Олифер H.A. Новые технологии и оборудование IP-сетей. -Спб.: БХВ, 2000.

30. Приоритетные системы обслуживания / Б. В. Гниденко, Э. А. Даниелян, Б. Н. Димитров и др. М.: МГУ им. М. В. Ломоносова, 1973.

31. Сидни Ф. TCP/IP. Архитектура, протоколы, реализация. М.: Лори, 2000.

32. Скуратов А. К. Статистический мониторинг и анализ телекоммуникационных сетей., дис. на соискание научной степени доктора технических наук. — Москва, 2007.

33. Стивене Р. Протоколы TCP/IP. Практическое руководство. СПб.: БХВ,2003.

34. Столлингс В. Передача данных. 4-е изд. СПб.: Питер, 2004.

35. Столлингс В. Современные компьютерные сети. 2-е изд. СПб.: Питер,2003.

36. Таненбаум Э., М. ван Стеен. Распределенные системы. Принципы и парадигмы. СПб.: Питер, 2003.

37. Таненбаум Э. Компьютерные сети, 4-е изд. Спб.: Питер, 2009.

38. Феллер В. Введение в теорию вероятностей и ее приложения. М.: Мир,1967.2007.

39. Филимонов А. Построение мультисервисных сетей Ethernet. СПб.: БХВ,

40. Форд JL, Фалкерсон Д. Потоки в сетях. М.: Мир, 1966.

41. Хинчин А. Я. Работы по математической теории массового обслуживания. — М.: Физматгиз, 1963.

42. Яшков С. Ф. Анализ очередей в ЭВМ. М.: Радио и Связь, 1989.

43. Armitage, G. Quality of Service in IP Networks. Indianapolis, IN: Macmillan Technical Publishing, 2000.

44. Ash, R. Information Theory. New York: Dover, 1990.

45. Baiocchi A., Blefari-Melazzi N. Analysis of the loss probability of the MAP/G/1/K queue. Part II: approximations and numerical results // Stochastic Models. V. 10. - 1994. - P. 895925.

46. Baiocchi A., Blefari-Melazzi N. Steady-state analysis of the MMPP/G/1/K queue // IEEE Transactions on Communications. V. 41. -1993 - P. 531-534.

47. Balakrishnan, H., et al. «TCP Behavior of a Busy Web Server». Proceedings, IEEE INFOCOM, March 1998.

48. Baldwin R.O., Davis IV N.D., Midki S.F., Kobza J.E. Queuing network analysis: concepts, terminology, and methods // The Journal of Systems and Software. V. 66.- 2003. - P.99-117.

49. Bennett, J.; Partridge, C.; and Shectman, N. «Packet Reordering is Not Pathological Network Behavior». IEEE/ACM Transactions on Networking, December 1999.

50. Beran J. Statistics for long-memory processes. Chapman& Hall, New York, 1994.

51. Black, U. IP Routing Protocols: RIP, OSPF, BGP, PNNI & Cisco Routing Protocols. Upper Saddle River, NJ: Prentice Hall, 2000.

52. Black, U. MPLS and Label Switching Networks. Upper Saddle River, NJ: Prentice Hall, 2001.

53. Borella M.S. Source models of network game traffic // Computer Communications. -V. 23-2000.-P. 403-410.

54. Borella, M., and Brewster, G. «Measurement and Analyses of Long-Range Packet Dependent Behavior of Internet Packet Delay». IEEEINFOCOM '98, April 1998.

55. Breyer, R., and Riley, S. Switched, Fast, and Gigabit Ethernet. New York: Mac-millan Technical Publishing, 1999.

56. Clark, D.; Shenker, S.; and Zhang, L. «Supporting Real-Time Applications in an Integrated Services Packet Network: Architecture and Mechanism». Proceedings, SIGCOMM '92, August 1992.

57. Crovella, M., and Bestavros, A. «Self-Similarity in World-Wide Web Traffic: Evidence and Possible Causes». Proceedings, ACM Sigmetrics Conference on Measurement and Modeling of Computer Systems, May 1996.

58. Crow, B., et al. «IEEE 802.11 Wireless Local Area Networks». IEEE Communications Magazine, September 1997.

59. Dai L. Effective Bandwidths and performance bounds in high-speed communication systems // Journal of Optimization Theory and Applications. V. 100, No. 3.-1999. - P. 549-574.

60. Deane, J.; Smythe, C.; and Jefferies, D. «Self-Similarity in a Deterministic Model of Data Transfer». International Journal of Electronics, No.5, 1996.

61. Demers, A.; Keshav, S.; and Shenker, S. «Analysis and Simulation of a Fair Queue-ing Algorithm». Internetworking: Research and Experience, September 1990.

62. Dijkstra J., Timmermans H. Towards a multi-agent model for visualizing simulated user behavior to support the assessment of design performance // Automation in Construction. V. 11.-2002.-P. 135-145.

63. Duffield N.G., Massey W.A., Whitt W. A nonstationary offered-load model for packet networks // Telecommunication Systems. -V. 16, No. 3,4. 2001. - P. 271-296.

64. Embrechts P., Maejima M. Self-similar processes. Princeton University Press, 2003.

65. Erramilli, A. (session organizer). «Performance Impact of Self-Similarity in Traffic». Proceedings, Sigmetrics '95/Performance '95, May 1995.

66. Erramilli, A.; Gordon, J.; and Willinger, W. «Applications of Fractals in Engineering for Realistic Traffic Processes». Proceedings, International Telecommunications Conference (ITC-14), Amsterdam: Elsevier, 1994.

67. Erramilli, A.; Narayan, O.; and Willinger, W. «Experimental Queueing Analysis with Long-Range Dependent Packet Traffic». IEEE/ACM Transactions on Networking, April 1996.

68. Falconer, K. Fractal Geometry: Mathematical Foundations and Applications. New York: Wiley, 199(X

69. Feder, J. Fractals. New York: Plenum Press, 1989.

70. Fisher W., Meier-Hellstern K. The Markov-modulated Poisson process (MMPP) cookbook //Performance Evaluation. V. 18.- 1992. .-P. 149-171.

71. Floyd, S. «A Report on Some Recent Developments in TCP Congestion Control». IEEE Communications Magazine, April 2001.

72. Floyd, S., and Fall, K. «Router Mechanism to Support End-to-End Congestion Control». Proceedings, SIGCOMM '97, 1997.

73. Floyd, S., and Jacobson, V. «Random Early Detection Gateways for Congestion Avoidance». IEEE/ACM Transactions on Networking, August 1993.

74. Gonzales-Arevalo B. Performance of a leaky bucket system with long-range dependent input traffic // Queueing Systems. V. 46. - 2004. - P. 439-459.

75. Greiner M., Jobmann M., Klueppelberg C. Telecommunication traffic, queueing models, and subexponential distributions // Queueing Systems. V. 33. - 1999. - P. 125-152.

76. Gross, D., and Harris, C. Fundamentals of Queueing Theory. New York: Wiley, 1998.

77. Hagiwara, T.; Doi, H.; Tode, H.; and Ikeda, H. «High-Speed Calculation Method for the Hurst Parameter Based on Real Traffic». Proceedings, 25th Annual IEEE Conference on Local Computer Networks, November 2000.

78. Hariria S., Xub H., Balamasha A. A multilevel modeling and analysis of network-centric systems // Microprocessors and Microsystems. V. 23. - 1999. -P. 169-180.

79. Haiju, J., and Kivimaki, P. «Cooperation and Comparison of DiffServ and IntServ: Performance Measurements». Proceedings, 23rd Annual EEEE Conference on Local Computer Networks, November 2000.

80. Horvath A., Telek M. Markovian modeling of real data traffic: heuristic phase type and MAP fitting of heavy tailed and fractal like samples // Lectures Notes in Computer Science. V. 2459.-2002.-P. 405-434.

81. Jacobson, V. «Modified TCP Congestion Avoidance Algorithm». End2 end-interest mailing list, 20, April 1990. Available at ftp://ftp.ee.Lbl.gov/email/vanj.90apr30.txt

82. Jain, R. «Congestion Control in Computer Networks: Issues and Trends». IEEE Network Magazine, May 1990.

83. Jain, R. The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling. New York: Wiley, 1991.

84. Leland W.E., Taqqu M.S., Willinger W., Wilson D.V. On the self-similar nature of Ethernet traffic // IEEE/ACM Transactions on Networking. V. 2. - 1994. - P. 1-15.

85. Morris, R. «TCP Behavior with Many Flows». Proceedings of the Fifth IEEE International Conference on Network Protocols, October 1997.

86. Murhammer, M., et al. TCP/IP: Tutorial and Technical Overview. Upper Saddle River, NJ: Prentice Hall, 1998.

87. Nagle, J. «On Packet Switches with Infinite Storage». IEEE Transactions on Communications, April 1987.

88. Ng C.-H., Yuan L., Fu W., Zhang L. Methodology for traffic modeling using two-state Markov-modulated Bernoulli process // Computer Communications. V. 22. - 1999. - P. 1266-1273.

89. Norros I. A storage model with self-similar input // Queueing Systems. — V. 16. -1994.-P. 387-396.

90. Norros, I. «On the Use of Fractional Brownian Motion in the Theory of Connectionless Networks». IEEE Journal on Selected Areas in Communications, August 1995.

91. Parekh, A., and Gallager, G. «A Generalized Processor Sharing Approach to Flow Control in Integrated Services Networks: The Multiple Node Case». IEEE/ACM Transactions on Networking, April 1994.

92. Parekh, A., and Gallager, G. «A Generalized Processor Sharing Approach to Flow Control in Integrated Services Networks: The Single-Node Case». IEEE/ACM Transactions on Networking, June 1993.

93. Park, K., and Willinger, W. Self-Similar Network Traffic and Performance Evaluation. New York: Wiley, 2000.

94. Paxson V., Floyd S. Wide area traffic: the failure of Poisson modeling // IEEE/ACM Transactions on Networking. -V. 3. 1995. - P. 226-244.

95. Schwartz, M. Computer-Communication Network Design and Analysis. Englewood Cliffs, NJ: Prentice Hall, 1997.

96. Sikdar B., Vastola K.S. On the Contribution of TCP to the Self-Similarity of Network Traffic // Lecture Notes in Computer Science. 2001. - P. 596-613.

97. Spohn, D. Data Network Design. New York: McGraw-Hill, 1997.

98. Tanner, M. Practical Queueing Analysis. New York: McGraw-Hill, 1995.

99. Taqqu M.S. A bibliographical guide to self-similar processes and long-range dependence, in Dependence in Probability and Statistics, Eberlein E., Taqqu M.S. Birkhauser, Boston, 1986, pp. 137-162.

100. Taqqu M.S. An Essay and Review of the Book: Self Similar Processes. Paul Embrechts and Makoto Maejima, Princeton University Press, 2003 // Journal of Statistical Physics. -V. 114, No. 3/4.-2004.

101. Taqqu M.S. The modeling of Ethernet data and of signals that are heavy-tailed with infinite variance // Scand. J. Statist. V. 29. - 2002. - P. 273-295.

102. Tsoukatos K.P., Makowski A.M. Heavy traffic limits associated with M/G/l input processes // Queueing Systems. V. 34. - 2000. - P. 101-130.

103. Veres A., Kenesi Zs., Molnar S., Vattay G. TCP's role in the propagation of self-similarity in the Internet // Computer Communications. V. 26. - 2003. - P. 899-913.

104. Willinger, W.; Taqqu, M.; Sherman, R.; and Wilson, D. «Self-Similarity Through High Variability: Statistical Analysis of Ethernet LAN Traffic at the Source Level». IEEE/ACM Transactions on Networking, February 1997.