автореферат диссертации по радиотехнике и связи, 05.12.13, диссертация на тему:Исследование вероятностно-временных характеристик региональных сетей, построенных на базе технологии устойчивых пакетных колец

кандидата технических наук
Руин, Алексей Александрович
город
Санкт-Петербург
год
2003
специальность ВАК РФ
05.12.13
Диссертация по радиотехнике и связи на тему «Исследование вероятностно-временных характеристик региональных сетей, построенных на базе технологии устойчивых пакетных колец»

Автореферат диссертации по теме "Исследование вероятностно-временных характеристик региональных сетей, построенных на базе технологии устойчивых пакетных колец"

На правах рукописи

РУИН Алексей Александрович

ИССЛЕДОВАНИЕ ВЕРОЯТНОСТНО-ВРЕМЕННЫХ ХАРАКТЕРИСТИК РЕГИОНАЛЬНЫХ СЕТЕЙ, ПОСТРОЕННЫХ НА БАЗЕ ТЕХНОЛОГИИ УСТОЙЧИВЫХ ПАКЕТНЫХ КОЛЕЦ

Специальность 05.12.13 - Системы, сети и устройства телекоммуникаций по

техническим наукам

Автореферат диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург 2003

Работа выполнена в Санкт-Петербургском государственном университете телекоммуникаций им. проф. М.А.Бонч-Бруевича.

Научный руководитель - д.т.н., проф. Г.Г. Яновский. Официальные оппоненты - д.т.н., проф. Б.С. Гольдштейн;

к.т.н. А.Л. Суховицкий.

Ведущее предприятие - ИНТЕЛСЕТ ТСС.

Зашита диссертации состоится "Ж" _// 2003 г. в час., на заседании диссератционного Совета К. 219. 004.01 при Санкт-Петербургском государственном университете телекоммуникаций им. проф. М.А.Бонч-Бруевича по адресу:

191186, Санкт-Петербург, наб. р. Мойки, 61.

С диссертацией можно ознакомиться в библиотеке университета. Отзыв на автореферат в двух экземплярах, заверенный печатью учреждения, просим направлять по вышеуказанному адресу на имя ученого секретаря диссертационного Совета.

Автореферат разослан "¿/У" /О_2003 г.

Ученый секретарь диссертационного Совета,/^? кандидат технических наук, ^

доцент С"'// В.Х. Харитонов

/ 7

I

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследований. Волоконно-оптические кольца многие годы являются обязательной частью структуры территориально распределенных сетей (WAN - Worldwide Area Network) и особенно больших городских сетей (сетей MAN - Metropolitan Area Networks, для обозначения которых часто используют термин Metro).

В основе разделения ресурсов в современных кольцевых сетях лежит технология SDH - технология синхронного временного разделения, которая может быть эффективной только в условиях гладкого трафика и становится ограничивающим фактором при необходимости масштабирования как сетевых ресурсов, так и услуг.

В конце 2000 г. в IEEE была создана рабочая группа 802.17, которая начала разработку спецификации транспортной технологии для кольцевых структур в пакетных сетях. Эта технология получила название технологии устойчивых пакетных колец (Resilient Packet Ring, RPR). Основной целью разработки новой технологии было создание возможностей развертывания отказоустойчивых пакетно-ориентированных сетей класса Metro, которые могут обеспечить экономически эффективную транспортировку пачечного трафика, в первую очередь трафика Ethernet, через кольцевые топологии на базе SDH.

Следует отметить, что все научные исследования, выполненные специально созданным комитетом RPR (RPR Alliance), сводятся лишь к имитационному анализу на основе специализированных пакетов прикладных программ, таких как Opnet Modeler системного решения компании Cisco -технологии DPT, при полном отсутствии аналитических исследований технологии RPR. Среди работ в этом направлении отметим имитационные исследования сотрудников компании Cisco и членов рабочей группы по стандартизации технологии RPR: L. Byoung-Joon, G. Peng и J. Lemon. Однако все компании-производители, члены комитета RPR, признают, что эффективное построение сетей класса Metro возможно только при детальном исследовании технологии RPR, поэтому исследования в этом направлении являются актуальными.

Цель и задачи исследования. Целью диссертации является разработка моделей и методов анализа сетей RPR и их элементов, оценка вероятностно-временных характеристик (ВВХ) сетей RPR, разработка алгоритмов распределения ресурсов в таких сетях, в частности, распределения длин волн в сетях RPR со спектральным разделением каналов. Поставленная цель определила необходимость решения следующих основных задач:

- разработка аналитической модели коммутатора RPR;

- разработка аналитической модели сети RPR;

- разработка механизма ограничения входного буфера при взаимодействии нескольких сетей RPR; р^£"НАцйоНАЛЬНАЯ i

Р БИБЛИОТЕКА I

» SP&MSj

- анализ методов управления канальными ресурсами в сетях RPR со спектральным разделением каналов.

Методы исследования. Для достижения поставленной цели в качестве аппарата исследования использованы методы теории массового обслуживания, теории вероятностей, теории графов и математической статистики, общей теории транспортных сетей.

Для численных расчетов использовались следующие программные средства: Qts plus, Qnut, 3d Grapher, Advanced Grapher, Mathematica.

Научная новизна определяется следующим:

- получены оценки вероятностно-временных характеристик устройств и сетей RPR в целом;

- разработан механизм управления входным буфером коммутатора при взаимодействии сетей RPR;

- разработан подход к применению в сетях RPR известных алгоритмов назначения длин волн магистральных сетей SDH/DWDM (Synchronous Digital Hierarchy/Dense Wave Division Multiplexing).

В процессе проведения исследований были получены следующие научные результаты:

- оценки среднего времени ожидания в коммутаторе RPR для различных типов трафика;

- оценки среднесетевой межконцевой задержки в сети RPR;

- определение оптимальной длины кадра по критерию максимизации эффективной скорости передачи;

- границы применимости алгоритмов назначения длин волн в сетях RPR с целью минимизации задержки протокольных блоков,

а также разработан метод управления входным буфером коммутатора при взаимодействии сетей RPR и определены параметры, обеспечивающие максимизацию производительности коммутатора.

Практическая значимость работы состоит в следующем:

Представленные результаты диссертационной работы могут быть использованы проектными организациями связи при проектировании современных волоконно-оптических кольцевых сетей класса Metro для проведения инженерных расчетов ВВХ и определения стратегии управления сетевыми ресурсами.

Апробация работы. Результаты диссертации были представлены и обсуждались на следующих семинарах и конференциях:

1. The 8th International Conference on Informational Networks. Systems and Technologies. ICINSAT - 2002. Saint-Petersburg, September 16-19,2002.

2. Международный семинар "Telecommunication networks and teletraffic theory", Санкт-Петербург, ЛОНИИС, 29 Января - 1 Февраля, 2003 г.

3. 2003 Saint-Petersburg ШЕЕ Chapters Conference, SPb-IEEE Con'03. Saint-Petersburg, June 10 - 11,2003.

4. Научный симпозиум Технологического Университета Мюнхена и СПб ГУТ. Санкт-Петербург, 19 - 20 июня, 2003,

а также на научно-технических конференциях профессорско-преподавательского состава, научных работников и аспирантов СПб ГУТ ' им.проф. М.А. Бонч-Бруевича в 2002 - 2003 гг.

Основные положения, выносимые на защиту:

1. Математическая модель коммутатора RPR.

2. Математическая модель сети RPR.

3. Метод управления входным буфером при взаимодействии сетей RPR.

4. Применение алгоритмов назначения длин волн, разработанных для магистральных сетей SDH/DWDM, в сетях RPR.

Публикации. Основные результаты диссертации опубликованы в 5 печатных работах.

Основные результаты, содержащиеся в диссертационной работе, получены автором самостоятельно.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и списка литературы. Работа содержит 121 страницу машинописного текста, 46 рисунков, 10 таблиц и список литературы из 69 * наименований.

Содержание работы. Во Введении обоснована актуальность темы I исследования, сформулированы цель и задачи работы, перечислены основные

научные результаты диссертации, определены практическая ценность и область применения результатов, приведены сведения об апробации работы, представлены основные положения, выносимые на защиту.

В главе 1 проведено сравнение основных технологий переноса IP-трафика, включая и технологию RPR. Для сравнения технологий был выбран подход, предложенный в проекте P918D, выполненном в 2000 г. Европейским институтом стратегических исследований в области телекоммуникаций (EURESCOM). В диссертации сравнивались следующие технологии:

- передача ячеек ATM в сетях SDH с последующим спектральным уплотнением WDM (стек IP/ATM/SDH/WDM);

- передача кадров Ethernet в сетях Gigabit Ethernet (стек IP/GE);

- передача пакетов IP в сетях SDH (стек IP/SDH);

- передача протокольных блоков (в дальнейшем именуемых кадрами) в сетях RPR (стек RPR/SDH).

Анализ всех технологий был проведен по трем критериям, определенными в проекте Р918D как основные:

1) масштабируемость технологии;

2) поддержка VPN (Virtual Private Network - виртуальные частные сети) и поддержка необходимого уровня качества обслуживания QoS (Quality of Service - качество обслуживания);

3) надежность сети.

В главе 1 проведен также детальный анализ свойств одного из исходных документов ШЕЕ (Института инженеров электроники и электротехники) по технологии RPR, (Darwin 1.0, www.ieee.org/groups/802/17/), являющегося наиболее полной спецификацией данной технологии. В частности, были проанализированы виды услуг, механизмы защиты от повреждений волокна или аппаратных/программных отказов, классы качества обслуживания и механизмы управления доступом к канальному ресурсу. На основе спецификации Darwin 1.0 была разработана функциональная модель коммутатора RPR.

Глава 2 посвящена разработке аналитической модели коммутатора сети RPR, построенного в соответствии со спецификацией Darwin 1.0 (рис. 1).

*=1 к=2 4=3 к-4

Тип 1 Тип 2 Тип 3 Тип 4

Рис. 1. Схема коммутатора RPR

В соответствии со спецификацией Darwin 1.0 коммутатор представлен как однолинейная система массового обслуживания с ожиданием (СМО), на вход которой поступают простейшие потоки с различными приоритетами.

Предполагается, что размеры буферов не ограничены. Времена обслуживания запросов характеризуются функцией распределения Вк (/) с преобразованием

Лапласа-Стилпъеса и начальными моментами = ^т<1Вк({),

о

гс = Ш = Х-г ■

В диссертации показано, что преобразование Лапласа-Стилтьеса стационарного распределения виртуального времени ожидания запроса приоритета к определяется следующим образом:

0-р)-А«*СО+

1 \ _]=к+1_

где функции (^задаются выражением

и функции я 1 (у), / = 1г..,г находятся как решения функциональных уравнений:

I

А|*/(»)= £А/0|[5 + Л/-Л/*/(*)], / = 1г..,г, (1)

/=1

к

где Л к = £ А,-— интенсивность суммарного потока. 1=1

Отметим, что функция тг/(я) представляет собой преобразование Лапласа-Стилтьеса распределения длины периода занятости системы запросами приоритета / и выше (т.е. интервала времени с момента поступления в пустую систему запроса приоритета / и выше и до первого после этого момента, когда система окажется свободной от присутствия запросов приоритета / и выше). Из решения уравнений (1) в диссертации получено выражение для IV^ - среднего значения виртуального времени ожидания обслуживания запроса приоритета к:

иД*) =_Щ__(2)

1 ( * мУ пУ

/=1 А

где (К,^ - среднее время ожидания сообщений приоритета к (* = !,..., г), уровень приоритета уменьшается с ростом к, А, - интенсивность запросов / -го потока.

На рис. 2,3 приведены результаты расчетов по формуле (2) и результаты имитационного моделирования для транзитного трафика, тип 1 (рис. 2) и для исходящего трафика, типы 2,3,4 (рис. 3).

Сравнение результатов аналитического и имитационного моделирования показывает, что представленная аналитическая модель позволяет получить достаточно точные данные, особенно при низких нагрузках. С ростом нагрузки, особенно при больших абсолютных значениях среднего времени ожидания, различия результатов имитационной и аналитической моделей имеют порядок 20%.

о-«25-, ■ . м> ,

0,02

; о,о15

0,01 Н

| 0,005 Т

0,1 ОД 0,3 0,4 04 0,6 0,7 0,8 ипфзамтш !--»■ имитационная модель -»-аналитическая модель|

Рис. 2. Зависимость среднего времени ожидания в буфере от нагрузки. Тип трафика 1

(транзитный трафик)

1,6 14 „ 1,4 к 14

ж \л 1и

ш 1 1

X °'9 § 0,8 ¡0.7 | 0,6 |.04 £ 0,4

г о,з

о.

" ОД 0,1 о

- ¡ПН 1'- - - - - - 1

- 1 Тип трафика 4 •

1

-

- г» шка -

N

\

1 \

! \

— - Гип т ""1— рм >ика 2 ч N \

{-

0,2

0,4 0,6

загрузка системы

0,8

-имитационная модель-Щ-аналитическая модель

Рис. 3. Зависимость среднего времени ожидания в буфере от нагрузки. Типы трафика 2,3,4

(исходящий трафик)

Второй задачей, рассмотренной в данной главе, является исследование взаимодействия двух сетей RPR, схема которых представлена на рис. 4.

Узел Узел

Рис. 4. Иллюстрация взаимодействия сетей RPR

В представленной конфигурации сети считаем, что буфер Б( является входным буфером для потока из сети А в сеть Б. Исходная спецификация (Darwin 1.0) не предлагает специальных механизмов предотвращения перегрузок в буферах Б, от потока АБ. В главе 2 предложено обобщение спецификации Darwin 1.0, в частности разработан механизм управления, который позволяет избежать перегрузок в узле Ei в данной конфигурации. Введен параметр буфера N - необходимое количество мест для совместного использования как транзитными кадрами, так и кадрами, генерируемыми самим узлом, который влияет на производительность узла. Показано, что при средней длине пути передачи сообщений, равной двум сегментам (один переприем) производительность узла достигает максимального значения, равного 33% от теоретической производительности. При этом можно избежать явления перегрузки (см. рис 5, зависимость N=2).

Глава 3 посвящена анализу сети RPR в целом. Для анализа сети RPR предлагается использовать модель разомкнутой сети массового обслуживания, развитую в работах F. Baskett, К. Chandy, R. Müntz, F. Palacios (1975), а также В.М. Вишневского (1988).

Полный входной поток r сеть можно представить суммой пуассоновских потоков с интенсивностями Лг(г = 1 где г - номер пары узел-источник/узел-адресат. Все пары упорядочены в соответствии с номерми 1, 2,...Д Маршрут кадров г-го класса (передаваемых в r-й паре Источник-Адресат) характеризуется матрицей где Ру(г) - вероятность того, что кадр г-го

класса, закончивший обслуживание в í-м канале, поступит потом в у-й канал.

Здиаяиосгь цкжякиигсдлосги от постушиоикй нагружн

Нормирования посцтмшм тгдок»

Рис. 5. Зависимость производительности узла от поступающей нагрузки при различных

значениях параметра N

Функция распределения длительности обслуживания кадров г-го класса в /-ом центре сети МО принимается экспоненциальной с параметром (i,r = Ctbr (кадров/с), где С,— пропускная способность i-ro канала, измеряемая в бит/с, а 1/Ьг - средняя длина кадра г-го класса. В данной главе приминительно к описываемой модели были решены следующие задачи:

Задача №1. Оценка межконцевой среднесетевой задержки

I

Для расчета межконцевой задержки т, определяющей время задержки кадров г-го класса, рассмотрено состояние сети S = n,,n2,....,nM, где п, =(n,i,...,/i/Ä) число кадров г-го класса в <-м канале r = Tji\ ¡ = \,м. В \

диссертации показано, что выражение для Р($)- вероятности состояния S с учетом введенных выше обозначений имеет вид

/>(s)=fb(»i),

1=1

R

где форма /3,(ni)=(i-p, К'П р,",г /п1Г! определяется теоремой ВСМР. Отсюда может быть найдено среднее число кадров г-класса в i-м канале:

L,r = £ R ZP.M, = K =*}-

ff=0 HfCSfiR

После упрощения получаем выражение для

£«г=Р|Г/(1-Р)-

Тогда оценку межконцевой среднесетевой задержки можно свести к выражению, имеющему структуру известной формулы Литтла.

Т1Г=ЦГ1\,Г=\1Щ{\-Р1) (3)

В качестве примера применения описаной выше модели в диссертации расмотрена модель сети с агрегацией трафика (рис. 6). Для этой сети по формуле (3) рассчитана межконцевая среднесетевая задержка.

Рис. 6. Модель сети с агрегацией трафика

Задача №2. Определение оптимальной длины кадра

А. Предположим, что передача кадров по кольцу происходит без ошибок. При случайной длине сообщения, разбиваемого на кадры с постоянной длиной заголовка, возникает следующая задача: если кадр выбрать относительно длинным, то доля кадра, занятая служебной информацией, меньше, но больше доля пропусков из-за неполного заполнения кадра; если кадр выбрать относительно коротким, то возрастает доля служебной информации, т.е. растут накладные расходы. Необходимо определить оптимальную дину кадра по критерию максимизации эффективной скорости передачи. В активном состоянии источник формирует поток кадров со скоростью Ь бит/с. Обозначим среднюю длительность экспоненциально распределенного активного периода источника через \/ц.

В диссертации показано, что если кадр состоит из В информационных и И служебных бит, то число кадров в сообщении имеет геометрическое

распределение со средним значением Q--1 .■ .

Тогда средняя длина сообщения равна

(5 +я)/.

бит и оптимальный

размер кадра удовлетворяет уравнению

И _€Вн1ь

Б. Проведем выбор длины пакета с учетом влияния ошибок канала. Для простоты, принято, что имеют место независимые ошибки, которые можно обнаружить и исправить, используя известные методы помехоустойчивого кодирования.

На рис. 7 приведены результаты решения этой задачи для различных вероятностей ошибки. Из графика видно, что понятие оптимальная длина кадра имеет смысл только при относительно низких вероятностях ошибки (Рош = 104) и при малых вероятностях ошибки длина кадра не влияет на эффективную скорость передачи (см. рис. 7).

г л о-б

199*10*8

1 7СТ[Г6

15Л0"6

13ЭТ0-6

_ _ _ _ _ - — — — _ =уд ** «в 1« ЯИ № 845

— — — — 5! »«и ** ш - — —

i •аа аееа м> иве ё55 ЯП »м» Меа евйв авш «ею веяв 5565 о»

■А

г

я

/ _I ИИ

! 1 1

I ш. \ _1

'/ 5

/ _

] 3

1 3 1

р _| _

1 _

"Т у _

1 _1

~т" 5ь __1

т Га»

т 1

т

Рис. 7. Зависимость эффективной скорости передачи от длины кадра при различных значениях вероятности искажения одного бита

Глава 4 посвящена решению задач, возникающих при применении спектрального разделения каналов в сетях RPR.

К недостаткам технологии RPR следует отнести возможность использования только одной физической топологии для построения сети -топологии кольца. Решить эту проблему возможно путем применения спектрального разделения каналов, известного как технология (WDM - Wave Division Multiplexing) в сети RPR, поскольку WDM позволяет организовать любую логическую топологию на заданной физической топологии.

Однако при переходе от однозначной физической топологии двунаправленного кольца к многообразным логическим топологиям, построенным на базе длин волн, может возрастать путь передачи протокольных блоков, измеряемый в количестве переприемных участков. Одним из параметров логической топологии, влияющим на межконцевую среднесетевую задержку, является расстояние между максимально удаленными узлами. В случае кольца это расстояние является диаметром. Поэтому минимизация среднесетевой задержки непосредственно связана с задачей минимизации диаметра логической топологии D.

С целью минимизации средней задержки протокольных блоков исследованы известные алгоритмы назначения и распределения длин волн, рассмотренные A. Narula-Tam, P. Lin (1992):

- двоичный алгоритм;

- алгоритм частичного параметра К;

- уточненный алгоритм частичного параметра К.

В диссертации получены оценки сверху для параметра D логической топологии, как для кольца так и для шины (остается расстоянием между максимально удаленными узлами).

С учетом ограниченности объема автореферата ниже приведены верхние оценки диаметра D для всех трех алгоритмов только двунаправленной шины.

А. Двоичный алгоритм еделения длин волн:

(4)

где О - диаметр логической топологии;

- число используемый длин волн; N - число узлов в сети.

Б. Алгоритм частичного параметра К назначения и распределения длин

волн:

(5)

В. Уточненный алгоритм частичного параметра К назначения и распределяй длин волн:

(6)

эо]-

О

27

^=2

21 ............1.............I

18 Г=4

15 12 Э

б ¿V

з Г=6

О 16 32 48 64 № 96 112 128 1« 160 17Е 132 208 224 240 256

Рис. 10. Уточненный алгоритм частичного параметра К назначения длин волн

(256 узлов)

Эффективность рассматриваемых алгоритмов по критерию минимизации межконцевой среднесетевой задержки зависит от конкретного набора {количество длин волн; число узлов}, и в этом случае необходимо определить область применения того или иного алгоритма.

На рис. 11 показаны трехмерные области применимости данных алгоритмов по критерию минимизации среднесетевой задержки протокольных блоков.

| [- двоичный алгоритм;

алгоритм частичного параметра К; - уточненный алгоритм частичного параметра К.

¿> 5 (4Л- - 3> -1)^(2^-«) ]_ _ I)

О

^=2 1

Р=4

N Р=6

о.

Диаметр ЛТ

[исло узлов

Рис. 11. Поверхности логических диаметров D физической топологии шины

ЗАКЛЮЧЕНИЕ

В процессе исследования технологии RPR получены следующие основные результаты:

1. Разработана аналитическая модель коммутатора для сетей RPR, основанная на теории приоритетных СМО. Получены оценки среднего времени ожидания в коммутатор« RPR для транзитного трафика и трафика, генерируемого коммутатором. Проведено сравнение результатов аналитического и имитационного моделирования и показано, что представленная аналитическая модель позволяет получить достаточно точные данные, особенно при низких и средних нагрузках. При нагрузках р, близких к единице, различия результатов имитационной и аналитической моделей могут иметь порядок 20%.

2. Исследована модель взаимодействия сетей RPR. Показана необходимость введения в коммутатор механизма ограничения входного накопителя для борьбы с перегрузками. Предложен механизм управления входным буфером, основанный на выборе оптимального числа мест

ожидания, и установлено количество мест в буфере, при котором производительность узла достигает максимального значения.

3. На основе теории открытых сетей массового обслуживания разработана аналитическая модель сети RPR. Получена оценка межконцевой среднесетевой задержки в сети RPR. Эта оценка базируется на теореме о мультипликативной форме выражения для вероятности стационарного состояния сети (Теорема ВСМР - F. Baskett, К. Chandy, R. Müntz., F. Palacios (1975)).

4. На основе разработанной модели сети массового обслуживания решена задача определения оптимальной длины кадра по критерию максимизации эффективной скорости передачи для случаев наличия и отсутствия ошибок в тракте передачи.

5. Предложен подход к проектированию колец сетей RPR, имеющих различные логические топологии, образованные путем спектрального разделения каналов (технология DWDM). Решена задача минимизации среднесетевой задержки путем выбора соответствующего диаметра логического кольца RPR. Аналогичная задача решена для физической топологии шины RPR.

6. Полученные результаты диаметров логических топологий при применении различных алгоритмов позволяют определить границы применимости каждого алгоритма и выбрать соответствующий алгоритм распределения и назначения длин волн.

СПИСОК РАБОТ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Руин A.A. Анализ места технологии DPT (RPR) в сетях NGN // Proceeding of The 8th International Conference on Informational Networks, Systems and Technologies. ICINSAT-2002. Saint-Petersburg, September 16 - 19. - СПб, -2002.-P. 181-185.

2. Яновский Г.Г., Руин A.A. Применение устойчивых пакетных колец в сетях связи следующего поколения // Сб. трудов Всероссийской конференции Сети связи следующего поколения. - 2003. - С. 96 -102.

3. Yanovsky G.G., Rouine A.A., The analytical model of RPR switch // Proceedings of Saint-Petersburg IEEE Chapters Conference, SPb-IEEE Con'03. Saint-Petersburg, June 10 - 11. - 2003. - P.12 - 16.

4. Яновский Г.Г., Руин А.А. Применение устойчивых пакетных колец в сетях связи следующего поколения // Вестник связи. - 2003. - №7 С. 54 - 56.

5. Яновский Г.Г., Руин А.А., Транспортные сети следующего поколения на базе технологии RPR: исследование вероятностно-временных характеристик // Вестник связи. - 2003. - №10 (принята к опубликованию).

Отпечатано в ООО "Слово и дело". 191028 СПб., Измайловский пр., 29. Тел: 2510789. Подписано в печать 21.10.03 г. Тираж 60 экз.

* t Ö ir Sí

Оглавление автор диссертации — кандидата технических наук Руин, Алексей Александрович

Содержание.

Введение.

Глава1. Технологии транспорта IP-трафика.

1.1 Введение. Общие положения.

1.2 Варианты технологий транспорта IP-трафика.

1.2.1 Общее описание.

1.2.2 Таблица параметров сравнения технологий.

1.2.2.1 Технология передачи пакетов IP через ATM (IP over ATM).

1.2.2.2 Технология передачи пакетов по каналам СЦИ (POS).

1.2.2.3 Протокол MAPOS.

1.2.2.4 Технология передачи кадров Ethernet по каналам СЦИ (Ethernet over SDH.

1.3 Устойчивое пакетное кольцо (технология RPR).

1.3.1 Услуги, качество обслуживания и управление ресурсами в сетях RPR.

1.3.1.1 Виды услуг.

1.3.1.2 Управление потоком от источника (Steer).

1.3.1.3 Перенаправление трафика в другое кольцо (Wrap).

1.3.2 Классы качества обслуживания.

1.3.3 Механизмы управления доступом к ресурсу.

1.3.3.1 Механизм пространственного использования ресурсов.

1.3.3.2 Алгоритм справедливого доступа.

Выводы к главе 1.

Глава 2. Аналитическая модель коммутатора RPR.

2.1 Введение и постановка задачи.

2.2 Приоритетная модель коммутатора RPR.

2.2.1 Аналитическая модель коммутатора RPR.

2.2.2 Входной поток и дисциплина осблуживания.

2.2.3 Имитационная модель коммутатора RPR.

2.2.4 Анализ результатов моделирования.

2.3. Модель механизма управления входным накопителем коммутатора RPR.

2.3.1 Общая характеристика механизмов управления буферами.

2.3.2 Особенности взаимодействия сетей RPR.

2.3.3 Механизм ограничения входного буфера коммутатора RPR.

2.3.4 Определение параметра N управления буфером.

Выводы к главе 2.

Глава 3. Аналитическая модель сети RPR.

3.1 Введение и постановка задачи.

3.2 Применение основной теоремы для сетей массового обслуживания к анализу сетей RPR.

3.2.1 Теорема о мультипликативном виде выражения для вероятности стационарного состояния сети.

3.2.2 Применение теоремы ВСМР для анализа сети RPR.

3.3 Анализ влияния длины кадра на эффективную скорость передачи.

Выводы к главе 3.

Глава 4. Исследование алгоритмов назначения и распределения длин волн в сетях RPR со спектральным мультиплексированием.

4.1 Введение и постановка задачи.

4.2 Особенности сетей со спектральным мультиплексированием каналов.

4.2.1 Общие сведения о сетях, использующих спектральное мультиплексирование.

4.2.2 Иерархический подход к проектированию сетей со спектральным мультиплексированием.

4.3 Задача формирования логической топологии в линейных сетях.

4.3.1 Проектирование сетей, не использующих спектральное мультиплексирование (одна длина волны).

4.3.1.1 Базовый алгоритм проектирования логической топологии.

4.3.1.2 Алгоритм проектирования логической топологии для различных размеров логических колец.

4.3.2 Проектирование сетей на базе спектрального мультиплексирования.

4.3.2.1 Проектирование сети RPR на базе двоичного алгоритма.

4.3.2.2 Проектирование сети RPR на базе алгоритма частичного параметра.

4.3.2.3 Уточненный алгоритм частичного параметра.

4.4 Проектирование логической топологии в кольцевых сетях.

4.4.1 Проектирование сетей, не использующих спектральное мультиплексирование (одна длина волны).

4.4.2 Проектирование сетей на базе спектрального мультиплексирования.

4.4.2.1 Базовый алгоритм проектирования логической топологии.

4.4.2.2 Проектирование сети RPR на базе двоичного алгоритма.

4.4.2.3 Проектирование сети RPR на базе алгоритма частичного параметра.

4.4.2.4 Уточненный алгоритм частичного параметра.

Выводы к главе 4.

Введение 2003 год, диссертация по радиотехнике и связи, Руин, Алексей Александрович

Актуальность работы. Волоконно-оптические кольца уже давно являются обязательной частью структуры территориально распределенных сетей (WAN -Worldwide Area Network) и, особенно, больших городских сетей (сетей MAN — Metropolitan Area Networks, известных также как сети Metro). Эффективность кольцевых структур сегодня является общепризнанной, однако, основное применение колец в крупных городских сетях состоит в использовании колец для организации магистральных сегментов телефонных сетей общего пользования (ОП) — сетей, построенных на базе технологии коммутации каналов.

В основе разделения ресурсов на физическом уровне в современных кольцевых сетях лежит технология SDH - технология синхронного временного разделения каналов (TDM - Time Division Multiplexing), которая может быть эффективной только в условиях гладкого трафика и становится ограничивающим фактором при необходимости масштабирования как ресурсов, так и услуг.

В последние несколько лет в связи с конвергенцией телефонных сетей общего пользования и сетей Интернет возникла концепция построения сетей следующего поколения (сетей NGN), в которой предполагается применять на сетевом и транспортном уровне IP-ориентированные протоколы. Если эта идея будет реализована (а сегодня пока нет причин сомневаться в этом), это будет означать смену парадигмы -уход от сетей ОП на базе коммутации каналов к сетям ОП на базе коммутации пакетов. Однако при использовании популярных сегодня кольцевых топологий, протоколы которых выбирались с учетом специфики сетей с коммутацией каналов, могут возникнуть проблемы, связанные с трудностями оптимизации и масштабирования кольцевых структур для пакетных сетей NGN.

Построение сетей NGN является проблемой хотя и близкого, но будущего. Другая, более насущная проблема - как совместить две широко используемых технологии - SDH и Ethernet. Практически, за последние 20 лет технология Ethernet превратилась в стандарт de facto при передаче данных в локальных сетях, а с появлением технологий семейства Gigabit Ethernet - и в сетях класса Metro. Широкое применение сетей Ethernet в сетях LAN и MAN определяется, в первую очередь, их высокими экономическими показателями в пересчете на стоимость передачи одного мегабита. Трафик Ethernet переносится сегодня непосредственно через высоконадежную транспортную среду SDH, которая, как было отмечено выше, оптимизирована для транспортировки голосового трафика и не способна обеспечить эффективные решения для существенно пачечного трафика в силу своей статической природы и негибких принципов управления пропускной способностью.

С развитием сетей на базе IP требования к ресурсам, необходимым для доставки новых услуг, непрерывно растут. Продвижение на рынок услуг, жестко связанных с величиной необходимой полосы пропускания, заставляет сервис-провайдеров отказываться от классических моделей обслуживания, базировавшихся только на величине ресурса, и развивать модели, определяемые видом трафика (речь, данные, видео). Такой подход приводит к необходимости создания новых технологий доступа к разделяемой среде. Эти технологии должны учитывать особенности структуры трафика, обладать свойствами отказоустойчивости, обеспечивать возможность динамического управления транспортными ресурсами и быть экономически эффективными.

В конце 2000 г. в институте IEEE была создана рабочая группа 802.17, которая начала разработку спецификации транспортной технологии для кольцевых структур в пакетных сетях. Эта технология получила название технологии устойчивых пакетных колец (Resilient Packet Ring, RPR). Основной целью разработки новой технологии было создание возможностей развертывания отказоустойчивых пакетно-ориентированных сетей класса Metro, которые могут обеспечить экономически эффективную транспортировку пачечного трафика, в первую очередь трафика Ethernet, через кольцевые топологии на базе SDH.

Следует отметить, что все научные исследования, выполненные специально созданным комитетом RPR (RPR Alliance), сводятся лишь к имитационному анализу на основе специализированных пакетов прикладных программ, таких как Opnet Modeler системного решения компании Cisco - технологии DPT, при полном отсутствии аналитических исследований технологии RPR. Среди работ в этом направлении отметим имитационные исследования сотрудников компании Cisco и членов рабочей группы по стандартизации технологии RPR: L. Byoung-Joon, G. Peng и J. Lemon. Однако все компании-производители, члены комитета RPR, признают, что эффективное построение сетей класса Metro возможно только при детальном исследовании технологии RPR, поэтому аналитические исследования в этом направлении являются актуальными. В числе авторов, получивших важные результаты в решении задач анализа вероятностно-временных характеристик (ВВХ) отметим отечественных и зарубежных исследователей Г.П. Захарова, В.М. Вишневского, Г.Г. Яновского, N. Uzun и др.

Цель и задачи исследования. Целью диссертационной работы является создание методов оценки характеристик региональных сетей RPR и их элементов и разработка к построению эффективных сетей RPR. Поставленная цель обусловила необходимость решения следующих основных задач: разработка аналитической модели коммутатора RPR; разработка аналитической модели сети RPR; разработка механизма ограничения входного буфера при взаимодействии нескольких сетей RPR; анализ методов управления канальными ресурсами в сетях RPR со спектральным разделением каналов.

Методы исследования. Для достижения поставленной цели в качестве аппарата исследования использованы методы теории массового обслуживания, теории вероятностей, теории графов и математической статистики, общей теории транспортных сетей.

Для численных расчетов использовались следующие программные средства: Advanced Grapher 2.06,3D Grapher 1.2, Qnat и Qts plus, Mathematica.

Научная новизна определяется следующим: получены оценки вероятностно-временных характеристик устройств и сетей RPR в целом; разработан механизм управления входным буфером коммутатора при взаимодействии сетей RPR; разработан подход к применению в сетях RPR известных алгоритмов назначения длин волн магистральных сетей SDH/DWDM (Synchronous Digital Hierarchy/Dense Wave Division Multiplexing).

В процессе проведения исследований были получены следующие научные результаты: оценки среднего времени ожидания в коммутаторе RPR для различных типов трафика; оценки среднесетевой межконцевой задержки в сети RPR; определение оптимальной длины кадра по критерию максимизации эффективной скорости передачи; границы применимости алгоритмов назначения длин волн в сетях RPR с целью минимизации задержки протокольных блоков, а также разработан метод управления входным буфером коммутатора при взаимодействии сетей RPR и определены параметры, обеспечивающие максимизацию производительности коммутатора.

Практическая значимость работы состоит в следующем:

Представленные результаты диссертационной работы могут быть использованы проектными организациями связи при проектировании современных волоконно-оптических кольцевых сетей класса Metro для проведения инженерных расчетов ВВХ и определения стратегии управления сетевыми ресурсами.

Реализация результатов работы. Основные результаты диссертационной работы внедрены в ФГУП ЛОНИИС, ОАО Типросвязь СПб" и СПБ ГУТ имени проф. М.А.Бонч-Бруевича, что подтверждается актами о внедрении.

Апробация работы. Результаты диссертации были представлены и обсуждались на следующих семинарах и конференциях:

1. The 8th International Conference on Informational Networks, Systems and Technologies. ICINSAT — 2002. Saint-Petersburg, September 16 - 19, 2002.

2. Международный семинар "Telecommunication networks and teletraffic theory", Санкт-Петербург, ЛОНИИС, 29 Января - 1 Февраля, 2003 г.

3. 2003 Saint-Petersburg IEEE Chapters Conference, SPb-IEEE Con'03. Saint-Petersburg, June 10-11,2003.

4. Научный симпозиум Технологического Университета Мюнхена и СПб ГУТ. Санкт-Петербург, 19-20 июня, 2003, а также на научно-технических конференциях профессорско-преподавательского состава, научных работников и аспирантов СПб ГУТ им.проф. М.А. Бонч-Бруевича в 2002-2003 гг.

По результатам проведенных исследований сделано 6 докладов.

Основные положения, выносимые на защиту:

1. Математическая модель коммутатора RPR.

2. Математическая модель сети RPR.

3. Метод управления входным буфером при взаимодействии сетей RPR.

4. Применение алгоритмов назначения длин волн, разработанных для магистральных сетей SDH/DWDM, в сетях RPR.

Личный вклад автора. Основные научные положения, теоретические выводы и рекомендации, содержащиеся в диссертационной. работе, получены автором самостоятельно.

Публикации. Основные результаты диссертационной работы опубликованы в 5 печатных работах.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Работа содержит 128 страницы машинописного текста, 49 рисунков, 9 таблиц и список литературы из 69 наименований.

Заключение диссертация на тему "Исследование вероятностно-временных характеристик региональных сетей, построенных на базе технологии устойчивых пакетных колец"

Выводы.

1. Предложен подход к проектированию колец сетей RPR, имеющих различные логические топологии, образованные путем применения спектрального мультиплексирования (технология DWDM). Задача минимизации среднесетевой задержки решена путем выбора соответствующего диаметра логической топологии RPR, получаемого при применении двоичного алгоритма, алгоритма частичного параметра или уточненного алгоритма частичного параметра. Аналогичная задача решена для физической топологии шины, образуемой в сети RPR в результате срабатывания механизма защиты.

2. Полученные оценки сверху диаметров логических топологий при применении различных алгоритмов распределения и назначения длин волн позволяют определить границы применимости каждого алгоритма в рамках которых применение алгоритма гарантирует минимизацию диаметра логической топологии и следовательно минимизацию среднесетевой задержки. Это позволяет выбрать соответствующий алгоритм распределения и назначения длин волн.

ЗАКЛЮЧЕНИЕ

В процессе проведенных в диссертационной работе исследований получены следующие основные результаты:

1. Разработана аналитическая модель коммутатора для сетей RPR, основанная на теории приоритетных СМО. Получены оценки среднего времени ожидания в коммутаторе RPR для транзитного трафика и трафика, генерируемого коммутатором. Проведено сравнение результатов аналитического и имитационного моделирования и показано, что представленная аналитическая модель позволяет получить достаточно точные данные, особенно при низких и средних нагрузках. При нагрузках р, близких к единице, различия результатов имитационной и аналитической моделей могут иметь порядок 20%.

2. Исследована модель взаимодействия сетей RPR. Показана необходимость введения в коммутатор механизма ограничения входного накопителя для борьбы с перегрузками. Предложен механизм управления входным буфером, основанный на выборе оптимального числа мест ожидания, и установлено количество мест в буфере, при котором производительность узла достигает максимального значения.

3. На основе теории открытых сетей массового обслуживания разработана аналитическая модель сети RPR. Получена оценка межконцевой среднесетевой задержки в сети RPR. Эта оценка базируется на теореме о мультипликативной форме выражения для вероятности стационарного состояния сети (Теорема ВСМР).

4. На основе разработанной модели сети массового обслуживания решена задача определения оптимальной длины кадра по критерию максимизации эффективной скорости передачи для случаев наличия и отсутствия ошибок в тракте передачи.

5. Предложен подход к проектированию колец сетей RPR, имеющих различные логические топологии, образованные путем спектрального разделения каналов (технология DWDM). Решена задача минимизации среднесетевой задержки путем выбора соответствующего диаметра логического кольца RPR. Аналогичная задача решена для физической топологии шины RPR.

6. Полученные результаты диаметров логических топологий при применении различных алгоритмов позволяют определить границы применимости каждого алгоритма и выбрать соответствующий алгоритм распределения и назначения длин волн.

Библиография Руин, Алексей Александрович, диссертация по теме Системы, сети и устройства телекоммуникаций

1. "Теория телетрафика", перевод с нем. под ред. Башарина Г.П., Москва, Связь, 1971, 320 с.2. "Теория электрической связи", под ред. Кловского Д.Д., Москва, Радио и связь, 1998,433 с.

2. Башарин Г.П., Бочаров П.П., Коган Я.А., "Анализ очередей в вычислительных сетях", Москва, Наука, 1989,336 с.

3. Блох Э.Л. и др. "Статистическая теория связи и ее практические приложения", Москва, Связь, 1979,288 с.

4. Вишневский В.М. "Теоретические основы проектирования компьютерных сетей", Москва, Техносфера, 2003, 512 с.

5. Гнеденко Б.В., Коваленко И.Н. "Введение в теорию массового обслуживания", Москва, Наука, 1987, 336 с.

6. Клейнрок Л. "Теория массового обслуживания", Москва, Машиностроение, 1989, 600 с.

7. Корн Г., Корн Т., "Справочник по высшей математике для научных работников и инженеров. Определения, теоремы, формулы", Москва, Наука, 1978, 832 с.

8. Кульгин М. "Технологии корпоративных сетей. Энциклопедия". СПб, Питер, 2000, 704 с.

9. Лившиц Б.С., Пшеничников А.П., Харкевич А.Д. "Теория телетрафика", Москва, Связь, 1979,224 с.

10. Минаси М, Андерсон К. "Локальные сети. Полное руководство", Москва, ЭНТРОП, 1999, 624 с.

11. Руин А.А. "Технология RPR" Международный семинар "Telecommunication networks and teletraffic theory", Санкт-Петербург, ЛОНИИС, 29 Января 1 Февраля, 2003, тезисы конференции.

12. Руин А.А. "Models of Resilient Packet Rings", тезисы конференции ТУМ и СПБ ГУТ. Санкт-Петербург, 19-20 июня, 2003.

13. Стерлинг Д. Дж. "Волоконная оптика. Техническое руководство". Москва, Лори, 1998,288 с.

14. ТаттУ. "Теория графов", Москва, Мир, 1988,424 с.

15. Шварц М. "Сети связи. Протоколы, моделирование и анализ". В 2 томах, Москва, Наука, 1992,336 с.

16. Шварц М. "Сети ЭВМ. Анализ и проектирование", Москва, Радио и связь, 1981, 336 с.

17. Шнепс М.А. "Системы распределения информации. Методы расчета", Москва, Связь, 1979,342 с.

18. Яновский Г. Г., Руин А. А. "Применение устойчивых пакетных колец в сетях связи следующего поколения", Вестник связи №7, 2003, с. 54-56.

19. Яновский Г. Г., Руин А. А. "Транспортные сети следующего поколения на базе технологии RPR: исследование вероятностно-временных характеристик", Вестник связи №10, принята jc опубликованию.

20. Antoniades N., Boskovic A. "Performance engineering and topological design of metro WDM optical networks using computer simulation", IEEE sel. ar. communications, vol. 20, n.l, 2002, pp. 149-164

21. Amrinder A., Subramaniam S. "Logical topology design", IEEE sel. ar. communications, vol. 20, n.l, 2002, pp. 62-74.

22. Aybay G., O'Connor M., Vasani K., and Tim Wu. An introduction to Resilient Packet Ring technology. A white paper by Resilient Packet Ring Alliance, 2001, 16 p.

23. Baskett F., Chandy K.M., Muntz R.R., Palacious F.G. "Open, Closed and Mixed Networks of Queues with Different Classes of Customers". J. Assoc. Comput. Mach.-1975,- Vol. 22, N 2. pp.-248-260.

24. Bhat U., Fischer M., "Multichannel queuing systems with heterogeneous classes of arrivals", Nav. Res. Logist. Quarterly, vol. 23, n. 2,1976, pp. 271-283.

25. Bruel S.C., Balbo G. "Mean value analysis of mixed multiple class BCMP networks with load dependent service stations", Perform. Eval., 1984, v.4. n.4. pp. 241-260.

26. Busi I., Wai-Chau Hui, Faber A., "Proposed Draft Standard for Resilient Packet Ring Access Method & Physical Layer Specifications (OAM&P and Layer Management). Draft 0.3", 2001, p. 32.

27. Byoung-Joon L. "Simulation results on SRP fairness algorithm", Cisco systems, 2000. 21 P

28. Byoung-Joon L., Xie D. "Resilient packet ring solution. Ratonale and performance", Cisco systems, 2000, p. 16.

29. Chao X. "A queuing network model with catastrophes and product form solution", Open. Res. Letters, 1995, v. 18, pp. 75-79.

30. De Jaegher J., Fan J., Lemon J., Peng H., Thepot F., "Topology Discovery Proposal To IEEE 802.17", v. 0.9, 2001, p. 14.

31. Eilam Т., Moran S. "Lightpath arrangement in survivable rings to minimize the switching cost", IEEE sel. ar. communications, vol. 20, n.l, 2002, pp. 172-182.

32. Fan J., Lemon J., Mascolo V., Peng H., Thepot F., "Protection proposal to IEEE 802. 17, v. 0.7, p. 8.

33. Fourneau J.N., Gelenbe E., Suros R. "G-networks with multiple classes of negative and positive customers", Theor. Сотр. Sci., 1996, v. 155, pp. 141-156.

34. Grover D. W., Doucette J. "Design of a meta-mesh of chain subnetworks: enhancing the attractiveness of mesh-restorable WDM networking on low connectivity graphs", IEEE sel. ar. communications, vol. 22, n.l, 2002, pp. 47-61.

35. Gunter K., "Prevention of deadlocks in packet-switched data transport systems", IEEE Trans. On Comm., vol. COM-29, n. 4,1981, pp. 512-524.

36. Henderson W., "Queuing networks with negative customers and negative queue lengths", J. Appl. Prob., 1993, v. 30, pp. 931-942.

37. Holness M, Ghanwani A., Brewer M., "A Proposal for 802.17 MAC Compatibility With 802.ID and 802.1Q Bridging", 2001, p. 9.

38. IEEE 802. 17," Media Access Control(Bandwidth Management and Transit-Path)", 2001, p. 24.

39. Irland M., "Buffer management in a packet switch", IEEE Trans. On Comm., vol. COM-26, n. 3, 1978, pp. 328-337.

40. Jackson J. R. Networks of waiting lines. Operations Research. 1957.-V. 5., N4. - pp. 518-521.

41. Lam S.S., Luke L. "Congestion control of packet communication networks by input buffer limits a simulation study", IEEE Transactions on computers, Vol. C30, N10, 1981, pp. 733-743.

42. Lam S.S., Reiser M., "Congestion Control of Store-And-Forward Networks by Input Buffer Limits: An Analysis", IEEE Trans. On Comm., vol. Com-27, no. 1, Jan. 1979, pp. 127-134.

43. Lavenberg S., Reiser M., "Stationary state probabilities of arrival instants for closed queuing networks with multiple types of customers", J. Appl. Prob., vol. 17, 1980, pp. 1048-1061.

44. Lemon J., "IEEE 802.17 Draft Proposal MAC Frame Format Revision 1.0", 2001, p. 13.

45. Lemon J., "RPR MAC Service Model Proposal To IEEE 802.17", 2001, p. 14.

46. Murakami K„ Muruyama M., "MAPOS Multiple Access Protocol over SONET/SDH Version 1", RFC 2171, NTT Laboratories, 1997, p.9.

47. Narula-Tam A., Lin J. P. "Efficient routing and wavelength assignment for reconfigurable WDM networks", IEEE sel. ar. communications, vol. 20, n.l, 2002, pp. 75-88.

48. Peng G. "IPT fairness controlled access protocol. Simulation report", Nortel networks, 2000, p. 29.

49. Peng-Jun Wan, Ophir Frieder, G. Calinescu "Minimizing electronic line terminals for automatic ring protection in general WDM optical networks", IEEE sel. ar. communications, vol. 20, n.l, 2002, pp. 183-189.

50. Pennoti M., Schwartz M., "Congestion control in store and forward tandem links", IEEE Trans, on Comm., vol. COM-23, n. 12, 1975, pp. 1434-1443.

51. Reiser M., Lavenberg S.S., "Mean value analysis of closed multichain queuing network", Assoc. Comput. Mach., 1980, v. 27, N.2, pp. 313-322.

52. Sahasrabuddhe L., Ramamurthy S. "Fault management in IP-over-WDM networks: WDM protection versus IP restoration, IEEE sel. ar. communications, vol. 20, n.l, 2002, pp. 2133.

53. Segal M., "A preemptive priority model with two classes of customers", ACM/IEEE, 1971, pp. 168-174.

54. White Paper "Cisco Metro Ethernet Access Services Directions in Control-Plane Concepts", Cisco sys., 2001, p. 11.

55. White Paper "Cisco's Packet over SONET/SDH (POS) Technology Support; Mission Accomplished", Cisco sys., 2000, p.8.

56. White Paper "Dynamic Packet Transport Technology and Applications Overview", Cisco sys., 2000, p. 12.

57. White Paper "Dynamic Packet Transport Technology and Performance", Cisco sys., 2002, p. 12.

58. White Paper "Metro IP Technology and Architectures", Cisco sys., 2001, p. 10.

59. White Paper "Spatial reuse protocol technology", Cisco sys., 2001, p. 22.

60. Wong J.V., Lam S.S. "Queuing network models of packet switching networks", Perform Eval., 1982, pp. 9-21.

61. Yanovsky G.G., Rouine A.A. "Analytical model of RPR switch", Proceedings of 2003 Saint-Petersburg IEEE Chapters Conference, 2003, pp.12-16.

62. Данное оборудование установлено на сетях связи компаний «МТУ-информ» по договору № 3998-02-121, «Комбеллга» по договору №. 4474-03-121 и «Петербург-Транзит-Телеком» по договору №. 4330-03-122. .t

63. Главный инженер ОАО "Гипросвязь СПбit1. А. В. Кайдак1. Главный технологС1. ОАО "Гипросвязь СПб1.1. УТВЕРЖДАЮ

64. Проректор по учебной работе