автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Исследование и разработка методов и средств повышения структурной и функциональной устойчивости научных и университетских сетей

Санкт-Петербургский государственный университет

гГ5 ОД

2 Я ДЗГ 7.1ПЗ На правах рукописи

ГЛЕБОВСКИЙ Александр Юрьевич

ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОВ И СРЕДСТВ ПОВЫШЕНИЯ СТРУКТУРНОЙ И ФУНКЦИОНАЛЬНОЙ УСТОЙЧИВОСТИ НАУЧНЫХ И УНИВЕРСИТЕТСКИХ СЕТЕЙ

Специальность 05.13.16 - применение вычислительной техники, математического моделирования и математических методов в научных исследованиях

(по физике)

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

САНКТ-ПЕТЕРБУРГ 2000 Г.

Работа выполнена в Санкт-Петербургском государственном техническом университете

Научный руководитель:

доктор технических наук, профессор Карпов Ю.Г. Официальные оппоненты:

доктор физико-математических наук, профессор Галкин С.Л. кандидат физико-математических наук, доцент Шауман A.M.

Ведущая организация:

Санкт-Петербургский институт ядерной физики им. Б.П.Константинова (РАН;

Защита состоится «9» ¿/Ю/Ц? 2000 г. в /3 час на заседании диссертационного

совета К 063.57.56 по защите диссертаций на соискание ученой степени кандидата

физико-математических наук в Санкт-Петербургском государственном университете

по адресу: 199034, Санкт-Петербург, Университетская наб., 7/9. С диссертацией можно ознакомиться в библиотеке СПбГУ.

Автореферат разослан » 2000г.

Ученый секретарь диссертационного совета ,

к.ф.-м.н С.А. Немнюгин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Фундаментальные и прикладные исследования во сех областях физики, как теоретической, так и экспериментальной, в возрг-гающей степени опираются на информационные, вычислительные и коммуни-ационные сервисы так называемых "академических" компьютерных сетей, нтегрированных в Интернет. Эта тенденция характерна и для высшей школы нституты РАН и университеты были очагами зарождения российских регио-альных академсетей, продолжают играть ведущую роль в разработке и недрении новейших сетевых технологий и сервисов, обеспечивающих исполь-эванига Удаленных вычислительных мощностей, совместную работу рассредо-эченных научных групп, дистанционные наблюдения и эксперименты, дистан-ионное образование при подготовке и повышении квалификации научных здров. Научные и образовательные учреждения собственными усилиями, пираясь на свой интеллектуальный потенциал в большей степени, чем на инансовые ресурсы, развивают свои корпоративные сети, предоставляющие энтингенту сотрудников не только возможность работы во внешних сетях, но все более возрастающие по значимости внутренние информационные, ^числительные и коммуникационные сервисы самой корпоративной сети штранет).

Однако по мере того, как все большая часть сферы деятельности организа-ли опирается на сетевые технологии, возрастает ее зависимость от качества надежности услуг ее корпоративной сети и внешних академсетей. Критерии £фективности и надежности академических сетей определяются целями их ункционирования, отличными от специфики коммерческих, фирменных или ;министративно-ведомственных сетей, и должны быть сформулированы с ютом их предназначения и на основе представлений научного коллектива и •дельного сотрудника о качестве и надежности предоставляемого им серви-1.

Возрастающие требования к безотказности сети и гарантированному каче-ву сетевых услуг должны с опережением учитываться при создании новых и эдерниЗации существующих научных сетей любого масштаба - от регионапь-|й до локальной лабораторной сети - на всех уровнях сетевой иерархии - от <13ической среды до протоколов прикладного уровня.

Таким образом, исходя из целей функционирования научных и образова-льных сетей, закономерностей их децентрализованного индивидуального

становления и развития в условиях существенных финансовых ограничений заведомо ненадежной внешней сетевой среды и с учетом возрастающее степени риска при отказах в сети, приводящих к срыву дорогостоящих плановы; экспериментов, научных конференций и образовательных программ, результаты исследований, позволяющие повысить эффективность и надежное™ таких сетей, отвечают потребностям не только научных кругов, но и обществе в целом.

Цель работы. Цель работы лежит в русле обозначенного выше актуальное направления исследований, сформулирована в названии диссертации к предполагает решение следующих задач.

1. Проанализировать критерии эффективности и надежности компьютерны) сетей, их применимость для научных и образовательных сетей.

2. Обосновать необходимость и разработать обобщенный показатель эффективности и надежности рассматриваемых сетей, позволяющий учитывать качество предоставляемых ими сервисов.

3. На основе вводимого показателя определить первостепенные направления оптимизации параметров функционирования сети.

4. Разработать методику и средства сбора статистических данных для оценки обобщенного показателя эффективности и надежности сетей.

5. Применить предлагаемый подход к задаче синтеза физической топологии сети кампуса.

Методы исследования. В работе использованы методы оптимизации теории надежности, математической статистики, математической логики. Общей методологической основой служит системный поход

Научная новизна. Рассмотренные в работе взаимосвязанные задачи сформулированы в новой постановке и для их решения предложены либо оригинальные методы, либо новая комбинация ранее известных методов с их модификацией.

1. Предложен и обоснован обобщенный показатель эффективности и надежности корпоративных сетей, учитывающий специфику их использования в научных исследованиях и в образовательных целях (астрофизические эксперименты, ядерные исследования, радиометрические наблюдения, дистанционное взаимодействие исследовательских групп и обучение).

2. На уровне физической среды сформулирована и исследована задача топологического синтеза территориально распределенной сети кампуса с

учетом прогнозируемой динамики роста информационно-вычислительных и телекоммуникационных ресурсов сети и роста потребностей поразделений-пользователей. Предложен и обоснован принцип структурирования магистрали сети, обеспечивающий гибкую адаптивность синтезируемой структуры и живучесть сети в течение длительного периода. Доказана экономическая целесообразность введения существенной структурной избыточности в синтезируемую топологию. Предложена модель структуризации, позволяющая формализовать задачу многокритериального синтеза топологии в терминах отыскания значений варьируемых параметров топологической структуры, отвечающих выбранным критериям эффективности и надежности.

3. На сетевом и транспортном уровнях сформулирована и исследована задача комплексной диагностики состояния сети и внешних трасс передачи дейтаграмм в 1Р-сетях. Предложены принципы построения адаптивного анализатора протоколовТСР/1Р, позволяющего автоматически зондировать внешние относительно многосвязного местного коммуникационного узла трассы с частотой и степенью детальности тестирования, автоматически варьируемыми в зависимости от интенсивности потока сообщений об ошибках доставки исходящих из сети пакетов с удаленным адресатом и других симптомов, прогнозирующих возникновение перегрузок, широковещательных штормов, угроз внешнего воздействия (1СМР-Аоос1тд).

На защиту выносятся:

• методика оценки эффективности и надежности сетей по обобщенному показателю, учитывающему стабильность и качество предоставляемых сервисов;

• методика построения опорной сети кампуса с перестраиваемой логической топологией магистральных связей, обеспечивающая живучесть сети и возможность ее адаптации к изменяющимся условиям эксплуатации;

• метод построения адаптивного программного анализатора состояния знешних трасс передачи дейтаграмм;

Практическая реализация результатов работы. Результаты нашли применение в разработках, в которых автор принимал участие в качестве эуководителя группы, ответственного исполнителя, соисполнителя, консультанта или эксперта, а также частично отражены в лекциях по курсу "Архитектура ;етей ЭВМ", в электронном пособии и в сетевой обучающей системе. Иссле-

дования по разделам диссертации проводились в рамках научных программ Минннауки, РАН, РФФИ и Министерства образования.

1. Программа "Университеты России", направления IV, V, и VIII (1193-1995 гг.) и Межведомственная программа "Создание национальной сети компьютерных телекоммуникаций для науки и высшей школы". При участии автора в качестве ответственного исполнителя тем в СПбГТУ и руководителя группы проекта РОКСОН были разработаны и реализованы концепция и структура Региональной объединенной компьютерной сети образования и науки. Кроме того автором были разработаны архитектуры городского узла академсети «Северный 1» РОКСОН и ЛВС факультета технической кибернетики.

2. Программа Миннауки "Создание опорной сети регионального вычислительного кластера супер-ЭВМ". Совместно с группой Института межфазных взаимодействий и высокопроизводительных вычислений исследованы проблемы и автором разработаны принципы организации высокоскоростного многосвязного коммуникационного узла повышенной надежности, воплощенные в центре компьютерной связи ИВВБД-RUNNet-.

3. Программа информатизации СПбГТУ. Рабочей группой при непосредственном участии автора разработана концепция создания и развития сети технического университета. Проект действующей и развивающейся оптоволоконной сети кампуса разработан автором на основе изложенного в диссертации метода. Совместно с кафедрой информатизации ИМОП разработана реализованная' на практике архитектура сети Института международных образовательных программ при СПбГТУ, а также предложен и принят к реализации экономически целесообразный вариант комплексного развития надежной телекоммуникационной инфраструктуры ИМОП-СПбГТУ на период с 2000 г.

4. Грант РФФИ (№ 98-07-90359 1998 г.) "Развитие телекоммуникационных ресурсов узла компьютерной связи Северный1 - Северный 2/ РОКСОН, обеспечивающего информационную поддержку фундаментальных исследований". Совместно с ФТИ им. А. Иоффе (РАН) исследованы проблемы оптимизации тематической сети по космическим исследованиям RSSI в Санкт-Петербурге,

предложены и реализованы решения по адаптивной маршрутизации и использованием телекоммуникационных ресурсов узла базовой сети РОКСОК.

5. Программа "Интеграция ВУЗ-РАН" (проект 578, с 1997 г.) и Межведомственный проект "Генетический код Вселенной" (с 1998 г.) Автором разработана сетевая структура УНЦ "Астрономия" в Санкт-Петербурге, включая ЛВС в С!"1бГГУ Г'редложено и реализовано решение задачи модернизации сети Института астрономии СПбГУ (Петродворец), исследованы проблемы дальнего межсетевого взаимодействия УНЦ в Санкт-Петербурге с CAO РАН (Зеленчук). Исследованы проблемы внутренней коннективности между площадками на территории CAO и принципы повышения эффективности внешнего каната свйзи с академсетями; предложены способы решения основных проблем, одобренные на совещании Совета УНЦ КП "Наземная астрономия" (Архыз, январь 1998 г.), некоторые из них (политика внешней маршрутизации) при участии автора реализованы.

6. Программа Минатома Единая Государственная автоматизированная система контроля радиационной обстановки (ЕГАСКРО). Группой разработчиков АТЦ "Радиевый институт" РАН им. В.Г. Хлопина при участии автора разрабатывались теоретические и прикладные аспекты отдельных задач общей проблемы построения типологически устойчивой к отказам информационной сети радиационного мониторинга региона. Полученные результаты позволили осуществить интеграцию сети Минатома с региональной сетевой инфраструктурой и вычислительными ресурсами ИВВ и БД.

Апробация работы. Основные положения диссертационной работы обсуждались в период C1994 по 2000 гг. на международных и всероссийских конференциях, школах и семинарах, в частности, на объединенной конференций ISOC и европейских сетевых ассоциаций INET94/JENC5 (июнь 1994 г., Прага), на III (май 1994 г.) международной конференции "Региональная информатика" (UNESCO, СПИИРАН, СПб), на 1-ой (июль 1994 г.) и 2-ой (июль 1996 г.) международных конференциях ICDED'94 и '96 (Москва), 1-ой международной школе по высокоскоростным сетям и платформам открытой распреде-пенной обработки (июнь 1995 г., СПИИ РАН, Санкт-Петербург), на международном научном форуме NORDIC/BOTNICTribune Meeting (май 1994 г., Ньюкопинг,

Швеция), на всероссийской научно-технической конференции "Компьютерны« технологии в высшем образовании" (март 1994 г., Санкт-Петербург), на пят1 ежегодных всероссийских научно-технических конференциях "Телематика (1995-2000 гг., Санкт-Петербург), на V международной научно-техническо! конференции "Высокие интеллектуальные технологии образования и наук! (январь, 1998 г., Санкт-Петербург), на международной научной конференци! "Интеллектуальные технологии и дистанционное обучение на рубеже XXI века IHEAS'99 (июль 1999 г., Санкт-Петербург), на III и V всероссийских конферен циях "Фундаментальные исследования в технических университетах" (июн1 1999, 2000 гг.), на международной конференции "Концептуальные научньк познания" ColoS'99 (сентябрь 1999 г., Санкт-Петербург), а также на научны: семинарах и конференциях Санкт-Петербурга.

Публикации. По разделам диссертации опубликовано 25 работ (в том числ< справочное экспертно-анапитическое пособие, 2 статьи, 2 внешних отчета i тезисы 20 докладов), из них в автореферате приведены 17.

Структура и объем работы. Диссертация состоит из введения, трех глав заключения, списка литературы из 106 источников и трех приложений. Объек работы 95 сртаниц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении дано обоснование актуальности проблемы оценки эффектив ности и надежности компьютерных сетей, определены задачи исследования раскрывается логическая последовательность изложения темы в последующие главах.

Первая глава посвящена проблемам выбора и обоснования критерия оценки эффективности и надежности научных и образовательных сетей.

Согласно предложенному П. Верма принципу, такой критерий должен отражать степень удовлетворения интересов пользователей сети. Следуя этом;, принципу, вводится понятие сервисной способности сети (ССС), которая определяется как предоставляемая пользователю возможность за приемлемое для него время успешно завершить сеанс синхронного, либо асинхронного (е-mail) взаимодействия с локально или глобально удаленным партнером (сервером, хостом, пользователем). Для ССС могут быть определены ее уровни v

введена метрическая шкала. ССС может быть дифференцирована как по конкретным типам предоставляемых сервисов, так и по доступным из данной сети сетевым доменам (локальный, корпоративный, домены глобальных сетей)

ССС может оцениваться совокупностью значений многих показателей, каждый из которых в отдельности косвенно отражает частный аспект качества предоставляемых пользователю услуг: скорость обмена (время отклика, пропускная способность, производительность), надежность обмена и самой сети (среднее время наработки на отказ, время восстановления, коэффициент готовности и др.), а для пользователей, оплачивающих услуги - условия оплаты (время сеанса, трафик, абонентская плата).

Многочисленность одновременно учитываемых показателей имеет тот недостаток, что затрудняет не только субъективную оценку, но и объективно усложняет задачи многокритериального анализа (порядковая шкала) и синтеза сетей (векторная оптимизация).

В качестве характеристики ССС, поддающейся статистической оценке и одновременно учитывающей влияние многих факторов на качество обслуживания (ценовые показатели рассматриваются отдельно) в работе предлагается использовать распределение среднестатистических значений периодов наработки на отказ по отказам разной длительности:

Тно (хк). где тк - продолжительность отказа в сетевых сервисах, Тно (тк), -среднее время наработки на отказ этой длительности.

Реальные значения различных показателей Тно (тк), определяются статистически и в совокупности характеризуют сервисную способность сети (ССС). Эта характеристика может быть представлена значениями в координатах Тно, тк в логарифмическом масштабе по обеим осям.

Графически выделяются характерные зависимости и области:

- условная граница пользовательской толерантности к отказам в сетевом сервисе;

- характеристика Тно (тк) реальной кампусной сети с удовлетворительной надежностью сетевых услуг;

- характеристики Тно (тк) для сетей с повышенной надежностью сервиса.

Полученные таким образом характеристики легко интерпретируются и позволяют оценить частоту отказов, длящихся более секунды, минуты, часа и т.д. Та^ие характеристики были ранее (1978 г.) предложены Дж. Марковым, М. Доссом и С. Митчелом, исследовавшим отказы в телефонных линиях.

В рассматриваемом случае предлагается трансформировать эту идею применительно к оценке качества сервиса. Модификация состоит в том, что учитываются не только полные (технические) отказы, но периоды деградации сервиса ниже уровня, позволяющего согласно данному выше определению ССС успешно завершить сеанс работы. Например, в отсутствие явных регистрируемых отказов, время отклика или пропускная способность могут быть настолько неудовлетворительными в течение длительного времени, что воспринимаются пользователем как фактическая сервисная неспособность за весь этот период.

Предлагаемая методика оценки качества работы сети по выдвинутому обобщенному показателю ССС позволяет:

- количественно оценить уровень качества предоставляемых сетью услуг,

- оценить надежность сети,

- определить предельно длительные отказы (или периоды недопустимо низкого качества сервисов).

Очевидно, что предельно длительные отказы наиболее опасны. Основными причинами отказов длительностью сутки и более могут быть повреждения кабельных коммуникаций (вопросам структурной устойчивости посвящена глава 3), а также продолжительные периоды деградации сервисов, вызванные нестабильной работой маршрутизаторов при длительных перегрузках.

Далее в главе анализируются другие возможные причины отказов различной длительности. Делается вывод о том, что анализ статистических оценок Тно (tk! рассмотренного вида способствует обнаружению функциональных (параметрических) и структурных (непараметрических) нарушений в сети, их локализации и последующему устранению.

При этом ставится вопрос о методике и механизме автоматического накопления и обработки соответствующих статистических данных, рассмотрению которого посвящена следующая глава.

Во второй главе предлагается методика диагностики состояния сети и трасс передачи пакетов. Метод основан на сочетании известных способов пассивного и активного сбора информации, характеризующей различные параметры функционирования сети.

Источниками информации для выявления сбоев, аномальных событий и потенциальных проблем на ближнем и удаленном узлах маршрутизации паке-

ов могут служить:

- пакеты, пассивно регистрируемые в режиме перехвата транзитных кадров, акие как ICMP-сообщения об ошибках;

- отклики на собственные зондирующие пакеты и ICMP-запросы (echo, port/ lost/network unreachable, time exceeded, timestamp, fragmentation error).

Предлагается объединить оба метода (пассивный и активный) в одном 1иагностирующем анализаторе, что, как показано в главе, позволяет повысить функциональность анализатора при минимизации нагрузки на сеть зондирую-цими пакетами.

Первый процесс - наблюдатель (listener) - действует в фоновом режиме и юуществляет постоянное прослушивание доступных с интерфейсов станции физических сегментов его локальной сети, он является пассивным в том :мысле, что не сопровождается генерацией пакетов и, следовательно, сам по :ебе не создает нагрузки на сеть. Вместе с тем, используя возможности 1нализа протоколов, listener, действующий подобно tcpdump может быть |рямым или косвенным источником разнообразной ценной информации о екущих и прошлых состояниях не только контролируемых элементов в самой юкальной сети, но и о событиях, произошедших вне сети (в частности, юзникшая недостижимость заданных существенных хостов или сетей) и о юментах времени, когда некоторое состояние наступило и закончилось.

Второй процесс - генератор тестов (explorer) - может находиться в одном 13 двух состояний: активном или пассивном. Периоды активности (Та) и ^активности (Тн) в рабочем цикле процесса (Тц = Та + Тн) варьируются в ависимости от текущей потребности в активных действиях, причем, когда остояние данной сети и ее внешних трасс квалифицируется как стабильное, а « Тц. Принудительная активизация генератора тестов explorer в ситуациях, ребующих экстренного сбора дополнительных данных до истечения текущего ериода неактивной фазы Тн, может быть инициирована пассивным процес-ом-наблюдателем listener.

Анализатор состояния сети и внешних трасс, основанный на согласованном заимодействии двух рассмотренных процессов позволяет оценивать такие ущественные параметры, как время отклика, пропускная способность, отказы 1аршрутизаторов во внешних трассах и длительность этих отказов, длитель-ость периодов значительного ухудшения параметров функциональных харак-еристик сети с привязкой аномальных событий ко времени; регистрировать

длительность периодов отказов внешних каналов, а также анализировать случаи аномальной маршрутизации. Все это вместе позволяет решить проблему сбора, накопления и обработки статистических данных, служащих для оценки сервисной способности сети (ССС) по обобщенному показателю среднего времени наработки на отказ фиксируемой длительности.

Третья глава посвящена поиску рационального выбора среды передачи и физической топологии опорной сети. Это тот фундамент, на котором базируются дальнейшие архитектурные решения и стратегии развития, стоимость начальных капиталовложений в создание транспортной среды, экономическая целесообразность проекта сети, ее эффективность, надежность, живучесть, расширяемость, масштабируемость и другие функциональные и эксплуатационные характеристики. Он определяет не только допустимые конфигурации информационных связей между подразделениями, но, в частности, и возможные ограничения на применение и развитие тех или иных технологий канального уровня (разновидностей Ethernet, FDDI, ATM и др.)

В данной главе рассматриваются типичные проблемы, возникающие на этапе проектирования топологии опорной сети, отвечающей перечисленным критериям с учетом наращиваемости и последующей модернизации компьютерной сети кампуса. Эти проблемы в общем случае обусловлены тремя факторами: многокритериальным характером оптимизации; сложностями построения математической модели сети, не позволяющей применить аналитические методы оптимизации топологии сети; большой размерностью задачи при отсутствии доказательства существования метода решения за время, ограниченное полиномом от размерности задачи.

Более того, эти задачи характеризуются существенной априорной неопределенностью при попытке формализовать исходные данные.

Однако существуют результативные методики, дающие субоптимальные решения. Одна из таких методик, успешно апробированная в реальной задаче синтеза сети кампуса крупного университета, предложена в этой главе.

Она основана на сочетании трех известных подходов для отыскания приближенного решения задачи оптимизации: доказательно обоснованный выбор одного или двух из многих учитываемых критериев оптимизации с переводом остальных в разряд ограничений; декомпозиция задачи, то есть ее сведение к подзадачам локальной оптимизации; в отсутствие эффективных аналитических

методов применение частных результативных эвристик.

При решении поставленной задачи сочетание этих трех подходов позволяет преодолеть три классические обозначенные выше трудности.

Неопределенность, заключающаяся в недостоверности или отсутствии исходных данных, существенным образом влияющих на конечный результат синтеза топологии, в рассматриваемой постановке задачи разрешается двумя способами: 1) часть отсутствующих данных заменяется прогнозируемыми с запасом на отдаленную перспективу (число магистральных кабельных линий, этводимых подразделению), 2) в синтезируемую опорную магистраль вносится структурная избыточность и, тем самым, заранее обеспечивается возможность "ибкого реконфигурирования магистральных и межузловых связей.

В данной главе высказывается и обосновывается тезис о том, что для <ампусных сетей, подключенных к Интернет более чем в одной точке, в показателях структурной надежности и живучести должны учитываться обе <омпоненты связности - локальная связность узлов сети внутри корпуса 'обеспечиваемая опорной сетью) и их глобальная связность между собой через внешние академсети и Интернет (обеспечиваемая распределенными по сампусу двумя или более коммуникационными центрами).

Заключение отражает основные результаты. Показано, что вопросы оценки эффективности и надежности научных и образовательных сетей могут решать-:я с учетом их способности обеспечивать достаточный уровень качества :ервися для пользователей. Предложен обобщенный показатель, на основе второго можно получать, общую характеристику качества работы конкретной :ети. Предложен метод измерения длительности отказов и периодов ухудше-1ия сервиса и длительности восстановления нормального режима. Именно это :арактеризует устойчивость (функциональную и структурную) конкретной сети : всевозможным неблагоприятным воздействиям, проявляющимся как в самой ;ети, так и в ее окружении. Для измерения и сбора статистических данных |редложено средство.- программный анализатор состояния сети и внешних расс передачи пакетов. Для повышения структурной устойчивости предложено 1ешение на уровне физической топологии сети.

Основные результаты отражены в следующих работах:

1. Глебовский А.Ю., Заборовский B.C., Александров В.К., п/р Кораблева В.В. ;вропейские академические сети на пути интеграции в единое информацион-ое пространство (Введение в проблематику и справочное пособие). Изд-во

- 13 -

СПбГТУ, 1993г. 90 стр.

2. Глебовский А.Ю.,Заборовский B.C. Объединенные европейские академсо-ти: инфраструктура, опыт интеграции и перспективные для России проекты. Сб. Интеграция университетов России в общемировую систему университетского образования и науки. Т.1, изд-во МГУ, Москва, 1994 г., стр.115-127

3. Глебовский А.Ю., Заборовский B.C. Краткий сетевой терминологический справочник. Сб. Интеграция университетов России в общемировую систему университетского образования и науки. Т. 1, МГУ, Москва, 1994 г., стр. 128-150

4. В.С.Заборовский, А.Ю.Глебовский. Информационный сервис Internet и перспективы его использования для образования и науки в Северо-Западном регионе. Всероссийская научно-метод. конф. «Компьютерные технологии в высшем образовании». Тезисы докл. СПИТМО, С.Петербург, 14-18 март 1994г.

5. Р.Л.Аптекарь, Н.В.Борисов, В.Н.Васильев, А.Ю.Глебовский, В.С.Заборов-ский, Г.М.Лосев, Ю.Ф.Рябов, С.В.Хрушев. На пути к созданию Региональной Объединенной Компьютерной Сети Образования и науки на Северо-Западе России (РОКСОН/СЗ). Ill международной конференциг «Региональная информатика 94», ЮНЕСКО. Тезисы докл. Сборник, ч. I, стр. 140-142, СПИИРАН, СПб., 10-13 май 1994.

6. С.И.Тарасов, В.С.Федонюк, В.С.Заборовский, А.Ю.Глебовский. Перспективы использования цифровых каналов связи АО ЛЕНЭНЕРГО для формирования скоростных магистралей Объединенной академической компьютерной сети Северо-Западного региона. 3-я международная конференция «Региональная информатика 94», ЮНЕСКО. Тезисы докл. СПИИРАН, СПБ, 10-13 май 1994.

7. Glebovsky A., FedonyukV., ProbertD., Zaborovsky V. A fiber-optic backbone network for the Internet connectivity in North-Western Russia: progress and issues. Proceedings of the 3rd International Unesco Conference «Regional Informatics - 94», St.-Petersburg, SPIIRAS, 10-13 May 1994, pp 119-124.

8. A.V.Bogdanov, T.A.Gavrilova, A.Y.GIebovsky, Y.E.Gorbachev, V.V.Korablev, I.A.Tzykin, V.S.Zaborovsky, S.N.Zhdanov. Advanced informational technologies for long distance education: experience and prospects in St.petersburg and the region. (Russian Federation National Report on Telematics Issues and Concerns.) NORDIC/ BOTNIC Tribune Meeting, Nykoping, Sweden, May 20, 1994.

9. Glebovsky A., Zaborovsky V. Development of Internet information services at St.Petersburg for international exchange in education, science and culture. Report at

the 1-st Internat. Conf. on Distance Education in Russia «Distance learning and new technologies in education» - ICDED-94. Proc., p.407, ISRIR, Moscow, July 58, 1994.

10. В.Д. Ефремов, А.Ю. Глебовский, D.E.Probert. Гетерогенная вузовская сеть - учебный полигон для разработки клиент-серверных приложений в открытой

распределенной вычислительной среде. Тезисы докл. Всероссийская научно-методическая конференция «Телематика'95», СПб, 3-7 апреля 1995.стр 5355

11. Р.Л. Аптекарь, Н.В. Борисов, А.Ю. Глебовский, В.А. Капустин, Г.М. Лосев, О.Ф.Рябов. Развитие региональной академической телекоммуникационной инфраструктуры Санкт-Петербурга. Тезисы докл. Международная конференция Региональная Информатика РИ'96, 13-17 мая 1996 г.

12. N.V. Borisov, A.Y. Glebovsky, V.A. Kapustin, G.N. Losev, Y.F. Ryabov. Expanding academic networking services in St.-Petersburg and NW region of Russia: iOKSON NW Project. International Conference on Distant Education - ICDED'96, Moscow, July 1-6, 1996. pp. 126-129.

13. Глебовский А.Ю. Проблемы комплексного проектирования кампусной :ети: от прокладки скоростной магистрали до создания интранет вуза (на |римере сети СПбГТУ). V международная научно-методическая конференция Высокие интеллектуальные технологии образования и науки», СПбГТУ, С.Пе-ербург, 30-31 января 1998 г. Тезисы докл. стр 58-59.

14. Глебовский А.Ю. Проектирование кампусной сети с гибкой топологией 1агистрапьных связей (на примере волоконно-оптической опорной сети СПбГТУ) езисы докл. Телематика'98, СПб, май 1998

15. Глебовский А.Ю.»Интранет вуза: перспективы, проблемы, архитектура и ценарий развития» Всероссийская научно-методическая конференция Теле-атика'99. Санкт-Петербург, 7-10 июня 1999г. Тезисы докл.

16. ChristopherPichardson? Susan Hares?AlexanderYu. Glebovsky, "IPMulticast: jrrent practice and research directions", Всесоюзная научно-методическая жференция Телематика'99, СПб, 7-10 июня1999 г., Тезисы докл.

17. А.В.Богданов, В.Н.Васильев, А.Ю.Глебовский, Ю.Н.Парийский. Сетевая и нформационная поддержка длительных астрофизических экспериментов типа енетический Код Вселенной». Ill Всероссийская конференция "Фундамен-тьные исследования в технических университетах" СПб., 11-10 июня 1999 г. !зисы докл.

ВВЕДЕНИЕ

ГЛАВА 1. Показатели и модели оценки функциональной и структурной устойчивости корпоративных сетей научных и образовательных учреждений

Введение ^

1.1 Научные и образовательные сети: сетевое окружение, концептуальная модель, ресурсы и источники отказов

1.1.1 Концептуальная модель многосвязной корпоративной сети, внешние и внутренние ресурсы, источники отказов

1.1.2 Разновидности внешних трасс маршрутизации пакетов

1.2 Устойчивость сети, сервисная способность, типы и качество сервисов, гарантированные уровни качества

1.2.1 Понятие сервисной способности сети, показатели, характеризующие это свойство и модель его оценки

1.2.2 Формализация требований к сети: типы сервисов ТоБ и качество сервисов (2о

1.2.3 Перспективы обеспечения гарантированного качества сетевого обслуживания

1.3 Постановка проблемы генерализированной оценки сервисной способности

1.3.1 Частные интегральные показатели ССС

1.3.2 Проблема статистического усреднения результатов измерений, адекватность и познавательная ценность результатов усреднения

1.4 Индикативные обобщенные показатели, ассоциативные шкалы их измерения, модель генерализованной оценки, степени ССС

1.4.1 Выбор обобщенных индикативных показателей сервисной способности

1.4.2 Методика измерения средней наработки на отказ длительности хк

Выводы

ГЛАВА 2. Метод адаптивного функционального контроля и его реализация в программном анализаторе состояния сети и трасс передачи пакетов

Введение

2.1 Актуальность и предлагаемая концептуальная основа решения проблем диагностирующего мониторинга сети

2.2 Проблема мониторинга трасс и ее место в современной архитектуре систем менеджерирования корпоративными сетями

2.2.1 Службы и интегрированные системы сетевого администрирования, цели, критерии эффективности, стандарты

2.2.2 Задачи управления и администрирования: функциональные группы и иерархия задач

2.2.3 Распределенные системы администрирования: принципы построения и альтернативные структуры

2.2.4 Классификация программно-аппаратных средств мониторинга сетей

2.2.5 Лицензионные службы и платформы администрирования и управления корпоративными сетями

2.2.6 Свободно распротраняемые программные средства

2.3 Постановка задачи оперативной диагностики функционального состояния корпоративной сети

2.3.1 Общая формулировка задачи

2.3.2 Дополнительные условия и ограничения

2.4 Предлагаемый метод комплексной диагностики состояния сети и трасс передачи пакетов

2.4.1 Общая концепция: две технологии сбора данных - два процесса ^^

2.4.2 Процесс-наблюдатель

2.43 Процесс-генератор тестов,

Выводы

ГЛАВА 3. Синтез топологии магистральных связей опорной сети кампуса по критериям структурной надежности и живучести

Введение

3.1 Проблемы синтеза топологии и концептуальная основа их преодоления

3.2 Этап 1 - определение исходных положений и целей

3.3 Этап 2 - определение обобщенной модели топологии создаваемой сети

3.4 Этап 3 - уточнение параметров обобщенной модели кампусной сети

3.5 Этап 4 - синтез топологической схемы магистральных и ответвительных сегментов опорной сети

3.6 Этап 5 - построение схемы коммутации

3.7 Пример реализации рассмотренной методики синтеза физической топологии магистральных связей волоконно-оптической опорной сети кампуса

Выводы

Актуальность темы. Фундаментальные и прикладные исследования во всех областях физики, как теоретической, так и экспериментальной, в возрастающей степени опираются на информационные, вычислительные и коммуникационные сервисы так называемых "академических" компьютерных сетей, интегрированных в Интернет. Эта тенденция характерна и для высшей школы. Институты РАН и университеты были очагами зарождения российских региональных академ сетей, продолжают играть ведущую роль в разработке и внедрении новейших сетевых технологий и сервисов, обеспечивающих использование удаленных вычислительных мощностей, совместную работу рассредоточенных научных групп, дистанционные наблюдения и эксперименты, дистанционное образование при подготовке и повышении квалификации научных кадров. Научные и образовательные учреждения собственными усилиями, опираясь на свой интеллектуальный потенциал в большей степени, чем на финансовые ресурсы, развивают свои корпоративные сети, предоставляющие контингенту сотрудников не только возможность работы во внешних сетях, но и все более возрастающие по значимости внутренние информационные, вычислительные и коммуникационные сервисы самой корпоративной сети (интранет).

Однако по мере того, как все большая часть сферы деятельности организации опирается на сетевые технологии, возрастает ее зависимость от качества и надежности услуг ее корпоративной сети и внешних академсетей. Критерии эффективности и надежности академических сетей определяются целями и условиями их функционирования, отличными от специфики коммерческих, фирменных или административно-ведомственных сетей, и должны быть сформулированы с учетом их предназначения и на основе представлений научного коллектива и отдельного сотрудника о качестве и надежности предоставляемого им сервиса. 5

Возрастающие требования к безотказности сети и гарантированному качеству сетевых услуг должны с опережением учитываться при создании новых и модернизации существующих научных сетей любого масштаба - от региональной до локальной лабораторной сети - на всех уровнях сетевой иерархии - от физической среды до протоколов прикладного уровня.

Таким образом, исходя из целей функционирования научных и образовательных сетей, закономерностей их децентрализованного индивидуального становления и развития в условиях существенных финансовых ограничений, заведомо ненадежной внешней сетевой среды и с учетом возрастающей степени риска при отказах в сети, приводящих к срыву дорогостоящих плановых экспериментов, научных конференций и образовательных программ, результаты исследований, позволяющие повысить эффективность и надежность таких сетей, отвечают потребностям не только научных кругов, но и общества в целом.

Цель работы. Цель работы лежит в русле обозначенного выше актуального направления исследований, сформулирована в названии диссертации и предполагает решение следующих задач.

1. Проанализировать критерии эффективности и надежности компьютерных сетей, их применимость для научных и образовательных сетей.

2. Обосновать необходимость и разработать обобщенный показатель функциональной и структурной устойчивости рассматриваемых сетей, позволяющий учитывать стабильность и качество предоставляемых ими сервисов.

3. На основе вводимого показателя определить первостепенные направления оптимизации параметров функционирования сети.

4. Разработать методику и средства сбора статистических данных для оценки обобщенного показателя эффективности и надежности сетей.

5. Исследовать проблему синтеза физической топологии сети кампуса по критериям топологической устойчивости и живучести, разработать практическую методику поиска субоптимальных решений, отвечающих таким критериям.

Методы исследования. В работе использованы методы оптимизации, теории надежности, теории ассоциативных измерений, математической статистики. Общей методологической основой служит системный поход

Научная новизна. Рассмотренные в работе взаимосвязанные задачи сформулированы в новой постановке и для их решения предложены либо оригинальные методы, либо новая комбинация ранее известных методов с их модификацией.

1. Предложен и обоснован обобщенный показатель эффективности и надежности корпоративных сетей, учитывающий специфику их использования в научных исследованиях и в образовательных целях (астрофизические эксперименты, радиометрические наблюдения, дистанционное взаимодействие исследовательских групп и обучение).

2. На сетевом и транспортном уровнях сформулирована и исследована задача комплексной диагностики состояния сети и внешних трасс передачи дейтаграмм в IP-сетях. Предложены принципы построения адаптивного анализатора протоколов TCP/IP, позволяющего периодически зондировать внешние относительно многосвязного местного коммуникационного узла трассы с частотой и степенью детальности тестирования, автоматически варьируемыми в зависимости от интенсивности потока сообщений об ошибках доставки исходящих из сети пакетов к удаленным адресатом и других симптомов, прогнозирующих возникновение перегрузок, широковещательных штормов, угроз внешнего воздействия (ICMP-flooding).

3. На уровне физической среды сформулирована и исследована задача топологического синтеза территориально распределенной сети кампуса с учетом прогнозируемой динамики роста информационно-вычислительных и телекоммуникационных ресурсов сети и роста потребностей подразделений-пользователей. Предложен и обоснован принцип структурирования магистрали сети, обеспечивающий гибкую адаптивность синтезируемой структуры и живучесть сети в течение длительного периода. Доказана целесообразность введения существенной структурной избыточности в синтезируемую топологию. Предложена модель структуризации, позволяющая применить декомпозиционный метод решения задачи многокритериального синтеза топологической структуры, отвечающей выбранным критериям эффективности и надежности. Разработана многоэтапная итеративная процедура решения задачи синтеза в условиях существенной неопределенности исходных данных. На защиту выносятся:

• методика оценки эффективности и надежности сетей по обобщенному показателю, учитывающему стабильность и качество предоставляемых сервисов;

• метод построения адаптивного программного анализатора, позволяющего осуществить комплексный мониторинг состояния сети и внешних трасс передачи дейтаграмм;

• методика построения опорной сети кампуса с перестраиваемой логической топологией магистральных связей, обеспечивающая живучесть сети и возможность ее адаптации к изменяющимся условиям эксплуатации.

Основные концепции и структура построения работы

Диссертация состоит из введения, трех глав, заключения, списка литературы из 106 источников и трех приложений. Объем работы-95 страниц.

Результаты работы нашли практическое применение в разработках, в которых автор принимал участие в качестве руководителя группы, ответственного исполнителя, соисполнителя, консультанта или эксперта, а также частично отражены в лекциях по курсу "Архитектура сетей ЭВМ", в электронном пособии и в сетевой обучающей системе. Исследования по разделам диссертации проводились в рамках научных программ Мин/науки, РАН, РФФИ и Министерства образования.

По разделам диссертации опубликовано 25 работ (в том числе справочное экспертно-аналитическое пособие, 2 статьи, 2 внешних отчета и тезисы 20 докладов). Основные положения диссертационной работы обсуждались в период с 1994 по 2000 Гг. на международных и всероссийских конференциях, школах и семинарах.

ЗАКЛЮЧЕНИЕ

Ключевая идея и главные задачи диссертации в одной фразе могут быть сформулированы так: для научных и вузовских сетей с учетом целей, специфики их функционирования в ненадежной среде и в то же время в условиях возрастающих требований к устойчивости, может быть сформулирован адекватный этим условиям и требованиям критерий устойчивости предоставляемых сетью информационных и коммуникационных услуг, допускающий количественную оценку, обеспечиваемую соответствующей методикой и средствами измерения значений, входящих в этот критерий параметров, а на основе этого критерия могут решаться задачи анализа и оценки текущего и прошлых состояний сети, и он может быть учтен при решении проблемы синтеза структуры сети, способной обеспечивать необходимый уровень топологической устойчивости и живучести при разнообразных неблагоприятных воздействиях.

Соответственно сформулированы и исследованы три проблемы: показателей, критериев и моделей оценки устойчивости и стабильности предоставляемых сетью услуг научной общественности; методов и средств эмпирической оценки сети по выбранным критериям; методики придания сети структурной избыточности, обеспечивающей необходимую живучесть и устойчивость к воздействиям неблагоприятных факторов.Три названные взаимосвязанные проблемы решаются последовательно в главах диссертации.

В первой главе в качестве обобщенных показателей устойчивости сервисной способности сети предложено оценивать ее характеристиками ♦ фк=Тп(т к) - средними временами наработки на отказы различных длительностей т\. В качестве относительного генерализированного показателя стабильности соблюдения заданного уровня 0о8 для трех критериев качества услуг предложено рассматривать порядок отношения средней наработки на отказ некоторой длительности к длительности соответствующего отказа в сервисе: як = Тн (т\) - т*к.

Фиксированные целочисленные степени q могут рассматриваться в качестве критериальных обобщенных показателей, характеризующих минимальную обеспечиваемую сетью степень устойчивости сервисов на заданном уровне QoS. Рассмотренный подход к оценке качества работы сети по выдвинутому обобщенному показателю ССС позволяет оценить уровень качества предоставляемых сетью услуг, надежность сети, определить длительности отказов, существенно снижающих сервисную способность сети.

Полученные выводы служат основанием для определения последующих направлений исследования проблем повышения отказоустойчивости академических сетей с использованием введенных терминов, понятий и критериальных оценок. Среди этих направлений в качестве основных в работе были выделены следующие два. 1 ) Разработка методики и средства регистрации длительностей событий отказов в сервисах, формирования исходных экспериментальных данных для расчета введенных обобщенных показателей и построения характеристических зависимостей вида (р=Тн(т k), а также для диагностики причин отказов ,что позволит повысить устойчивость сети к функциональным нарушениям ее работоспособности. 2) Наиболее ощутимые последствия вызывают длительные отказы - их причины обусловлены форс-мажорными факторами структурного и организационного характера. В таких случаях методы функциональной коррекции сбоев на канальном, сетевом и транспортном уровнях не работают, если они не обеспечены на нижнем физическом уровне возможностью использования альтернативных путей передачи данных. Иными словами, предупреждения длительных отказов должны быть обеспечены соответствующей структурной устойчивостью корпоративной (в частности кампусной) сети.

Во второй главе предложена методика сбора, накопления и обработки данных о состоянии внутренних и внешних трасс передачи пакетов в корпоративных научных сетях. Полученные статистические данные о событиях, состоящих в отказах либо в снижении качества сервиса по критериям

ОоЬ, могут быть использованы для оценки устойчивости сервисной способности сети. Представленный метод, основанный на активном и пассивном мониторинге сети, позволяет автоматически выполнить частичную диагностику и локализацию причин сбоев, а также оперативное оповещение и накопление статистических данных.

В третьей главе дан анализ итеративного процесса синтеза топологии разветвленной опорной сети кампуса, моделей и алгоритмов, используемых на его этапах, критериев оптимизации по показателям живучести и надежности. Предложена отвечающая таким критериям модель сети, топологическая устойчивость которой обеспечивается тем, что локальная коннективность узлов сети дополняется дублирующей глобальной коннективностью. Заложенное в модель свойство топологической гибкости, обеспечиваемое магистральными кроссами, позволяет синтезировать реконфигурируемую структуру, адаптируемую к изменяющимся условиям эксплуатации. Предложенный подход и методика построения сегментированных оптоволоконных магистралей могут быть использованы при проектировании кампусных сетей широкого класса.

1. Крылов А.Н. Мои воспоминания. Л.: Судостроение, 1987

2. Кнорринг В.Г. Теоретические основы информационно-вычислительной техники. Основные понятия теории шкал (Конспект лекций). Л ПИ им М.И. Калинина, Л.: 1983.

3. Кнорринг В.Г. Развитие репрезентационной теории измерений//Измерение, контроль, автоматизация, 1980,№ П-12, с. 3-9.

4. Суппес П., Зинес Дж., Основы теории измерений. В кн. Психологические измерения/Под ред. Л.Д. Мешалкина.-М.:Мир, 1967, с 9-110.

5. Martin J. Teleprocessing Network Organization. Prentice-Hall N.Y. 1961

6. Stephenson p. Create a WAN//Byte, July 1991, pp. 169-177

7. Mathis M. Windowed Ping// Proc. INET'94/JENC5 pp.523. 2-6. July 1994, Prague

8. Автоматизированные информационные ресурсы России. Состояние и тенденции развития (Национальный доклад) // Подгот. по инициативе Ком. при Президенте РФ по политике информатизации // Вести. Рос, общ-ва информатики и вычисл. техники, 1994, № 4-5, С.5-66.

9. Кедровский О. Информационное пространство России // Информ. ресурсы России, 1994, №4. С.2-3.

10. Ю.Шамурина Ю. Управление проектами в России и Восточной Европе (обзор материалов международного симпозиума INTERNET) // Пробл. теории и практики упр., 1994, №1, С. 121-124.

11. П.Васильев В.И., Васенин В.А., Зыбарев Ю.М., Кирчин Ю.Г. RUNNet: реализация второго этапа // "Телематика-95". Всерос. науч-метод. конф. 3—7 апреля 1995г., Санкт-Петербург, с. 16.

12. Садовничий В.А., Васенин В.А., Тарев В.Ю., Щербаков А.Е., Щербатых КМ. Центр электронных коммуникаций МГУ и научно-образовательной сети России // "Телематика-95". Всерос. науч-метод. конф. 3-7 апреля 1995 г., Санкт-Петербург, с.37—38.

13. Верма П. Сети связи ЭВМ Оценка эффективности функционирования: Структурный анализ: Перс англ. М.: Радио и связь, 1992.

14. Шварц М. Сети ЭВМ: Анализ и проектирование: Пер. с англ. М.: Радио и связь, 1981. 327с.

15. Markov, M.V. Doss and S.A. Mitchell, " A Reliability Model for Data Communication", Proc. Int. Conf. Comm/ ICC 78T Toroste, Jœie 1978.

16. Lottor, Mark, "Internet Growth (1981-1991); RFC 1296," Network Working Group Request for Comments ( RFC 1296)Network Information Systems Center, SRI International, (January 1992).

17. Schwartz, Michael F. and Quartennan, John S., "The Changing Global Internet Service Infrastructure," IRENAP 3(3) pp. 8-25 Meckler, (Fall 1993). ISSN 1066-2243.19.1nter&active week. Vol. 60 №50 Dec 6, 1999, p.7, Critical Path Problem.

18. Yu. Parijskij et al. "Dark Ages" of the Universe. Proceed if International School of Astrophysics, D.Chalonge, 1977

19. Черненков.ВМетодика подготовки и проведения наблюдений на РАТАН-600 в режиме теледоступа. XXVI Радиоастрономическая конференция. Тезисы докл., стр. 398, СПб, 1995

20. А.Ю.Глебовский, Интранет вуза: перспективы, проблемы, архитектура и сценарий развития. Всероссийская научно-методическая конференция Телематика'99. Санкт-Петербург, 7-10 июня 1999г. Тезисы докл.

21. Глебовский А.Ю., Заборовский B.C., Александров В.К., п/р Кораблева В.В. Европейские академические сети на пути интеграции в единое информационное пространство (Введение в проблематику и справочное пособие). Изд-во СПбГТУ, 1993г. 90 стр.

22. Глебовский А.Ю., Заборовский B.C. Краткий сетевой терминологический справочник. СПб. Интеграция университетов России в общемировую систему университетского образования и науки. Т.1, МГУ, Москва, 1994 г., стр. 128-150

23. V.S.Fedonyuk, A.Yu.Glebovsky, D.E. Probert, V.S.Zaborovsky. A fiber-optics backbone network for Internet connectivity in worth-western Russia: progress and issues. Joint INET'94/JENC5 International conference, Prague, June 15-15 1994.

24. Аничкин C.A., Белов C.A., Бернштейн A.B. и др. Протоколы информационно-вычислительных сетей: Справочник; под ред. И .А . Мизина, А.П. Кулешова. М.: Радио и связь, 1990. 504с.

25. Блэк Ю. Сети ЭВМ: протоколы, стандарты, интерфейсы. М.: Мир, 1990. 510с.

26. Дэвис Д., Барбер Д., Прайс У., Соломонидес С. Вычислительные сети и сетевые протоколы//М., "Мир", 1982

27. Нессер Д.Дж. Оптимизация и поиск неисправностей в сетях: Пер. с англ. К.: Диалектика, 1996.

28. Halsall F. Data Communications, Computer Networks and Open Systems. 4-е изд. -Addison-Wesley, 1996.

29. Stevens W.R. TCP/IP Illustrated. Volume 1. The Protocols. Addison - Wesdey, 1994.

30. Huitema С/ Routing in the Internet. Prentice Hall PRT, 1995.

31. Mathis M. Windowed Ping: An IP Layer Performance Diagnostic// "Proceedings of INET94/JENC5" Prague 1994, book II, pp 523.1-523.10.

32. Claffy K.C. Vizualization of Internet Topology, Workload, Performance and Routing Statistics. Networking Conference. Lisbon. 22-25 May 2000.

33. Floyd S., Yacobson V. Random Early Detection Gateways for Congestion Avoidance. IEEE/ACM Transactions on Networking, August 1993.

34. Raibulet C., Demartini C. Mobile Agent Technology for the Management of Distributed Systems a case Study. Networking Conference, Lisbon, 22-25 may 2000.

35. Bissel T. et al. Service Level Management with Agent Technology. Networking Conference, Lisbon, 22-25 may 2000.

36. Варакин Л.Е. Интеллектуальная сеть: эволюция сетей и услуг связи // Электросвязь, №1, 1992г. с.2-8.

37. Cerf/YCNRI, Vinton G. Editor, 'Guidelines for Internet Measurement Activities; RFC 1262," Request for Comments, (1262) Network Working Group, Internet Activities Board, (October 1991).

38. Cormer D., "Internetworking with TCP/IP, Volume I," Prentice Hall International, 1991.

39. Postel J., "Internet Control Message Protocol," RFC792, USC/information Sciences Institute, September 1981.

40. Miller M., "Troubleshooting TCP/IP," M&T Books, 1992.

41. Jacobson V., "traceroute," Documentation and source available via ftp from ftp.ee.lbl.gov.

42. Jacobson V., "Congestion Avoidance and Control," Proc~. ACM SIGCOMM '88, August 1988, pp. -314-329.

43. Mankin A., "Random Drop Congestion Control," Proceeding of SIGCOMM 90, September 1990.

44. Floyd S., Jacobson V. "Random Early Detection Gateways for Congestion Avoidance," IEEE/ACM Translation on Networking, August 1993.

45. Postel J., "Internet Protocol," RFC791, USC/information Sciences Institute, September 1981.

46. Quarterman J.S. Internet Interaction Pinged and Mapped. Proc. INET'94 p. 522-1, Prague, 1994.

47. Карпов Ю.Г. Теория автоматов и алгоритмов: Учебное пособие. С-Пб.: Геликон Плюс, 2000.

48. Клейнрок Л. Вычислительные системы с очередями: Пер. с англ. М.: Мир, 1979. 600с.

49. Протоколы и методы управления в сетях передачи данных: Пер. с англ. / Под ред. Ф.Ф.Коу. М.: Радио и связь, 1980. 480с.

50. Глебовский А.Ю., Принципы построения адаптивного программного анализатора для диагностики состояния трасс передачи дейтаграмм в IP-сетях, 29 мая 1 июня 2000 года, Санкт-Петербург. Тезисы докл.

51. Бутусов М.М., Верник С.М., Галкин С. Л. и др. Волоконно-оптические методы передачи: Учебник для вузов. М.: Радио и связь, 1992,415 с.

52. Скляров O.K. Зарубежные оптические кабели для ВОЛ С// "Технологии и средства связи" 1998, w 6, с 18-26.

53. Гауэр Д. Оптические системы связи: Пер. с англ. М.: Радио и связь, 1989.

54. Пападнмитриу X., Стайглиц К. Комбинаторная оптимизация. Алгоритмы и сложность: Пер. с англ. М.: Мир, 1985.

55. Гадасин В. А. Методы расчета структурной надежности сетей сложной конфигурации. М.: Знание, 1984.

56. Малашенко Ю.Е., Рогожин B.C., Ферапонов Е.В. Детерминированные модели оценки живучести и уязвимости сетей. // "Изв. АН СССР. Техн. кибер." 1989, №2, с. 17-32.

57. Рогожин B.C. Синтез однопродуктовых сетей с учетом живучести // "Изв. АН СССР. Техн. кибер" 19888, №3, с. 122-126.

58. Гнеденко Б.В., Беляев Ю.К., Соловьев А.Д. Математические методы в теории надежности. М.: Наука, 1965.

59. Ушаков И.А. Методы расчета эффективности системы на этапе проектирования. -М.: Знание, 1883.

60. Райншке К., Ушаков И.А. Оценка надежности систем с использованием графов. М.: Радио и связь, 1988.

61. Ушаков H.A. Решение задач многокритериально дискретной оптимизации с использованием универсальной производящей функции // "Изв. АН СССР. Техн кибер", 1987, №1.77.3айченко Ю.П. Гонта Ю.В. Структурная оптимизация сетей ЭВМ. К.: Техника, 1986.

62. Топологическое проектирование вычислительных сетей с распределенными ресурсами. -М.: 1977, с. 14-31.

63. Франк Г., Фриш И. Сети, связь и потоки: Пер с англ. М.: Связь, 1978.

64. Ху Т. Целочисленное программирование и потоки в сетях: Пер с англ. М.: Митр, 1974.

65. Богатырев В.А. К расчету надежности сети связи по совокупности путей // "Электросвязь", 1981, №2, с. 42-44.

66. Форд Л., Флакерсон Д. Потоки в сетях. М.: Мир. 1966.

67. Рожинский В.Н., Богатырев В.А. К расчету структурной надежности связей в сети //

68. Процессы и устройства управления в сетях связи". М.: Наука, 1982, с. 50-55.

69. Агаян A.A., Захаренко Г.П., Крутякова Н.П. Математические модели для проектирования цифровых сетей связи: Учебное пособие М.: ИПК, 1986.

70. Горбенко H.H., Крутякова Н.П. Имитационное моделирование сетей связи. Техника средств связи, Сер. ТПС, 1983, вып. 4, с. 8-15.

71. Политаенко A.B. Метод определения числа и мест размещения узлов коммутации вычислительной сети. В кн: Всесоюзная школа семинар по вычислительным сетям. 4.1. -М: Владивосток, 1980, с. 105-108.

72. Политаенко A.B. Топологические задачи проектирования вычислительных сетей: результаты, направления, методы. Информсвязь, вып. 23. - М.: Знание, 1987.

73. Волик Б.Г., Рябинин И.А. Эффективность, надежность и живучесть вычислительных сетей: результаты, направления, методы. Информсвязь, вып. 23 - М., 1979.

74. Черкесов Г.Н. Методы и модели оценки живучести сложных систем. М.: Знание, 1987.

75. Черкесов Г.Н. Практические методы резервирования и статистической оценки надежности ЦВП.

76. Ушаков И.А. Вероятностные модели надежности иформационно-вычислительных машин. М.: Радио и связь, 1991.

77. Филин Б.П. Методы анализа структурной надежности сетей связи. М.: Радио и связь, 1988.

78. Малашенко Ю.Е., Новикова Н.М. Многокритериальный и максимальный анализ многопродуктивных сетей. М.: ВЦ АН СССР, 1988.

79. Дундин Б.Я., Овчаренко В.Ф., Орлов В.К. и др. Надежность и живучесть систем связи. М.: Радио и связь, 1984.

80. Демин В.К. Оптимальное резервирование систем с сетевой структурой. // "Техника средств связи". 1986, вып. 6.

81. Филлипс Д., Гарша-Диас А. Методы анализа сетей. М.: Мир, 1984.

82. Малашенко Ю.Е. Гарантированные оценки живучести сетей. // "Известия АН СССР. Техн. киберн." 1988, №6, с.97-102.

83. Вольфсон Н.Е. Некоторые задачи синтеза коммуникационной сети с учетом надежности. М.: ВЦ АН СССР, 1986.

84. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. М.: Наука, 1982.

85. Lamport L. Time, clocks and the ordering of events in a distributed system // Comm. ACM, v.2 1, N7 p.558-565.

86. Глебовский А.Ю. Проектирование кампусной сети с гибкой топологией магистральных связей (на примере волоконно-оптической опорной сети СПбГТУ) Тезисы докл. Телематика'98, СПб, май 1998

87. Christopher Pichardson, Susan Hares, Alexander Yu. Glebovsky, "IP Multicast: current practice and research directions", Всесоюзная научно-методическая конференция Телематика'99, СПб, 7-10 июня1999 г., Тезисы докл.

88. Юб.Карпов Ю.Г. Протоколы групповой коммуникации. Отчет по НИР по теме "Формальные модели и алгоритмы групповой коммуникации". Рукопись, 44 стр., Кафедра РВ и КС, СПбГТУ, 1997