автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка и исследование алгоритмов прогнозирования и управления очередями в компьютерных сетях

Введение.

Глава 1. Управление и организация виртуальных соединений с заданными параметрами качества в современных высокоскоростных компьютерных сетях и постановка задачи исследования.

1.1 Общие принципы управления виртуальными соединениями с заданными параметрами качества в дейтаграмных сетях.

1.2 Анализ методов управления соединениями с заданными параметрами качества в высокоскоростных компьютерных сетях.

1.3 Анализ фрактальных свойств сетевого трафика и постановка задачи исследования.

Выводы по главе.

Глава 2. Случайные процессы в компьютерных сетях - статистический анализ и математическая модель.

2.1 Основные сетевые процессы и их свойства.

2.2 Описание сетевых процессов с использованием модели авторегрессии интегрированного скользящего среднего.

2.3 Анализ сетевых процессов на основе конструктивного подхода.

2.4 Модели, учитывающие фрактальные свойства сетевых процессов.

2.4.1 Описание фрактальных свойств сетевых процессов при помощи операции дробного интегрирования.

2.4.2 Учет фрактальных свойств трафика на основе ON/OFF модели.

2.4.3 Моделирование сетевых процессов фрактальным броуновским движением.

Выводы по главе.

Глава 3. Применение методов прогнозирования сетевых процессов для управления виртуальными соединениями с заданными параметрами качества.

3.1 Анализ областей сетевого управления, требующих применения методов прогнозирования нагрузки сети.

3.2 Прогнозирование сетевых процессов с использованием модели АРИСС.

3.3. Прогнозирование сетевых процессов с использованием модели фрактального броуновского движения.

3.4 Сравнительный анализ методов прогнозирования сетевых процессов.

Выводы по главе.

Глава 4. Анализ влияния свойства самоподобия сетевого трафика на производительность работы сети.

4.1 Модель для исследования влияния степени фрактальности трафика на производительность работы сети.

4.2. Связь закона распределения длин файлов и трафика, обладающего фрактальными свойствами.

4.3 Разработка методики оценки производительности работы сети.

4.4 Оценка производительности работы сети.

Выводы по главе.

Актуальность темы исследования и состояние ее разработки.

Компьютерные сети, использующие протокол IP, в последнее время стали одними из наиболее популярных и быстро развивающихся компонентов современных информационных технологий. Используемая модель межсетевого взаимодействия обеспечивает высокий коэффициент использования сетевых ресурсов, однако создает трудности для передачи определенных видов трафика. У конечного пользователя последствия таких "заторов" сети проявляются в виде неадекватно больших задержек передачи данных и потерь пакетов. Если до появления мультисервисных систем подобные проблемы не вызывали особого беспокойства на фоне всеобщей эйфории по поводу удобства применения компьютерных сетей в различных областях науки и техники, то в последние годы они становятся все более явными. Происходит это из-за появления новых классов сетевых приложений, которые предъявляют гораздо более высокие требования к качеству соединения. К таким приложениям относятся, например, IP-телефония, видеоконференции, распределенные вычисления, удаленное управление различными устройствами в реальном времени. Если рассматривать приложения, использующие протоколы прикладного уровня ftp, http и др. , то для успешной их работы достаточно применения развитого транспортного протокола TCP. Действительно, требования, предъявляемые такими сетевыми приложениями к задержке очень невысоки, а потери пакетов успешно компенсируются механизмом подтверждений (посредством увеличения задержки передачи данных). При использовании асинхронных приложений не было настоятельной необходимости в детальном анализе и устранении причин, вызывающих "заторы" в сети. Однако, если, рассматривать приложения, которые предъявляют повышенные требования на качество соединения (изохронные), то условия, предоставляемые для их работы современными глобальными компьютерными сетями никак нельзя назвать удовлетворительными. Действительно, практически любое из таких приложений требует, чтобы задержка не превышала определенной величины или скорость передачи не падала ниже заданного значения. В некоторых приложениях были сделаны попытки использовать в качестве транспортного протокол без гарантированной доставки UDP. Такой шаг позволяет сократить задержку передачи данных, поскольку не требуется дополнительное время на повторную передачу потерянных пакетов, а большинство современных протоколов передачи аудио и видео данных малочувствительно к небольшому проценту потерь информации. Но все же реализовать такие повышенные требования к качеству соединения только посредством транспортного протокола, с гарантированной доставкой или без, представляется очень затруднительным, поскольку причины, приводящие к большим задержкам, большей частью находятся на сетевом уровне. И, хотя, в сетевом трафике до сих пор преобладает обычная передача файлов с гарантированной доставкой, доля данных, относящихся к новым классам приложений, постоянно растет.

Основной проблемой является то, что структура сети изначально была статической, в смысле того, что изменения в связности и маршрутизации между узлами, после того как они были организованы на начальном этапе, случались относительно редко. Ресурсы соединений между узлами никак не управлялись - т.е. пользователю просто предоставлялась вся доступная на данный момент пропускная способность. Эта модель была создана для ситуации, когда большинство абонентов сети работали на относительно небольшом количестве узлов, что позволяло легко ими управлять. Теперь же, развитие оптоволоконных технологий, разработка высокоскоростных сетевых соединений, микроволновая и инфракрасная связь сильно расширили эффективность, надежность, производительность и дальность работы локальных сетей. Использование радиомодемов и технологии сотовой связи позволяет работать с сетью даже с мобильных платформ. Соответственно появилось огромное количество производителей и предлагаемых ими протоколов связи, которые в большинстве своем плохо согласуются друг с другом. Естественно, только этим проблема не ограничивается.

Довольно недавно начали уделять пристальное внимание поведению собственно сетевого трафика. Долгое время считалось, что поведение пакетов в сети, а именно такие параметры как интервал времени между пакетами, длина пачки пакетов и др., адекватно описываются экспоненциальными распределениями, например Пуассоновским. Такое допущение является верным для сетей небольшого размера и позволяет использовать классические методы теории массового обслуживания для расчета задержек, средних длин очередей и других сетевых параметров. Но с ростом размера сетей, увеличением разнообразия сетевых приложений, появлением новых протоколов передачи данных в поведении трафика стали проявляться свойства и особенности, которые связаны с его нестационарностью и характеризуемые таким словом как фрактальность. Основным моментом в котором проявляется отличие фрактального трафика от обычного является то, что его статистические характеристики (среднее значение, спектральная плотность, автокорреляционная функция и др.) имеют характер спада сильно отличающийся от экспоненциального. Соответственно оказались неверными и требуют корректировки исходные предпосылки, которые делались ранее при разработке многих сетевых устройств. С другой стороны важнейшим свойством фрактального трафика является его самоподобие или масштабная инвариантность. Оно заключается в том, что с увеличением интервала агрегирования временного ряда сохраняется структура нижележащих уровней. Потенциально это свойство позволяет разработать алгоритмы прогнозирования, которые смогут посредством анализа трафика на небольшом отрезке времени предсказать его поведение на длительных временных интервалах. На основе таких прогнозов можно будет создавать более эффективные методы управления пропускной способностью, что позволит сократить задержки передачи данных по сети и потерю пакетов.

Ситуация, сложившаяся в современных глобальных компьютерных сетях, наличие сетевых маршрутов на которых периодически наблюдаются резкие колебания задержки в передаче данных и большой процент потерь пакетов, появление новых взглядов на поведение и природу сетевого трафика, необходимость обеспечения взаимоувязки интересов различных категорий приложений и групп пользователей обусловили актуальность избранной темы данного диссертационного исследования, определили его объект, цель и задачи.

Предмет и объекты диссертационного исследования.

Предметом исследования являются высокоскоростные технологии современных компьютерных сетей и методы управления их ресурсами (пропускной способностью, процессорным временем и памятью) на основе прогнозирования поведения фрактального трафика, в условиях глобальной компьютерной сети.

Объектом исследования является сегмент крупнейшей глобальной компьютерной сети Internet, структура которого представлена системой крупных компьютерных сетей различных стран, регионов и организаций, тысячами различных приложений, десятками тысяч промежуточных узлов и маршрутизаторов, миллионами оконечных узлов.

Теоретико-методические основы и методы исследования

Методической основой диссертации являются труды отечественных и зарубежных ученых по использованию методов оптимизации управления сетевыми ресурсами, рассмотрению моделей функционирования сети массового обслуживания с позиций системного анализа, методов адаптивного управления и теории прогнозирования при создании протоколов межсетевого взаимодействия. Существенный вклад в разработку данных проблем внесли: А.А. Ланнэ, А.А. Первозванский, А.Я. Городецкий, B.C. Заборовский и др.,а за рубежом: W.Willinger, W.Leland, M.Taqqu, S.Meerkov, M.Crovella, K.Park.

Представленные в диссертации научные результаты, рекомендации и выводы, основанные на использовании этих методов, средств и методологических положений, работ отечественных и зарубежных авторов, вносят свой вклад в развитие теории управления процессами в компьютерных сетях. Это позволяет, исходя из текущих тенденций в развитии современных компьютерных сетей и сетевых приложений, формировать и реализовывать на основе алгоритмов прогнозирования поведения трафика наиболее эффективные и практически осуществимые методы и алгоритмы управления сетевыми ресурсами.

Научная новизна диссертационной работы состоит в комплексном рассмотрении проблем обеспечения межсетевого взаимодействия с заданными параметрами качества, оптимального управления распределением сетевых ресурсов, оценки влияния степени фрактальности трафика на производительность работы сети, в том числе: на основе большого объема экспериментальных данных определены характерные свойства сетевых процессов (неоднородность, масштабная инвариантность), а также основные виды нестационарностей; определены параметры модели авторегрессии интегрированного скользящего среднего для сетевых процессов трафика и круговой (RTT) задержки; разработана методика оценки характеристик качества работы сети, таких как процент потерь пакетов, скорость передачи, в зависимости от степени фрактальности трафика; определены зависимости поведения основных характеристик сети (скорость передачи, средняя длина очереди в буфере, процент потерь пакетов) от степени фрактальности трафика; определены основные уровни и механизмы сетевого управления, в которых целесообразно применение алгоритмов прогнозирования поведения сетевых процессов. разработана методология оценивания и получены численные оценки различных алгоритмов прогнозирования поведения сетевых процессов, с учетом их неоднородности;

Значение полученных в диссертации результатов для практики

Практическая значимость полученных результатов заключается в возможности использования при разработке и исследовании систем сетевого управления следующего: систематизации основных методик оценки степени фрактальности сетевого трафика; разработанной модели сети, обеспечивающей формирование фрактального трафика с заданными параметрами; полученных зависимостей, отражающих влияние степени фрактальности трафика на такие сетевые параметры, как скорость передачи, средняя длина очереди, процент потери пакетов; полученных в диссертации оценок работы алгоритмов прогнозирования сетевых процессов, которые позволяют сформировать комплекс механизмов управления ресурсами сети, обеспечивающих более эффективное их распределение и использование.

Достаточно обобщенный и универсальный характер разработанных в диссертации положений позволяют использовать их для решения широкого круга задач сетевого управления.

Достоверность и обоснованность научных положений, выводов и рекомендаций подтверждается предварительным анализом значительного числа отечественных и зарубежных публикаций по исследуемой и смежным проблематикам, использованием методов математического и имитационного моделирования, приведенными в диссертации примерами их реализации в конкретных производственных условиях. Систематизирован значительный объем информации по теории и практике сетевого управления, обобщенный автором за период с 1989 по 2001 годы.

Выводы.

1. Хотя все результаты получены для частного случая сети, их можно распространить и на более крупные сетевые конфигурации, поскольку свойство самоподобия трафика лишь чаще проявляется с ростом размера сети, а основные моменты, присутствующие при работе любой сети, были учтены в модели на рис. 4.1. Также из всего вышеприведенного следует, что трафик с фрактальными свойствами оказывает гораздо более сильное влияние на работу в сети, чем принято это считать.

2. Фрактальный трафик не только вызывает концентрацию периодов перегрузки и недозагрузки сети на широких временных диапазонах, но также приводит к усилению интенсивности потерь пакетов.

3. Объем буфера, достаточный для абсорбирования флуктуаций трафика не обладающего фрактальными свойствами, как правило оказывается недостаточным для сглаживания поведения трафика с высокой степенью фрактальности. После прохождения буфера его фрактальные свойства сохраняются, в том числе и высокая дисперсия.

4. Для небольших размеров буфера наблюдается так называемый эффект "насыщения", который заключается в том, что фрактальные свойства трафика перестают сказываться на работе сети, т.к. уже обычный трафик обладающий невысокой дисперсией, вызывает заполнение буфера.

5. Производительность работы сети, определяемая интенсивностью потерь пакетов, наиболее чувствительна к степени фрактальности трафика при средних размерах буфера.

6. Большой размер буфера позволяет снизить потери пакетов, вызванные фрактальным трафиком, ценой непропорционально большого увеличения задержки нахождения пакета в очереди, что неприемлемо для большинства сетевых приложений.

7. Некоторые методы формирования трафика позволяют разрушить масштабно-инвариантную природу сетевых процессов, посредством вставления периодов задержек с экспоненциально распределенной длительностью между передаваемыми данными. К сожалению, это приводит к увеличению времени передачи, что сильно ограничивает применимость таких методов.

Заключение.

Полученные в диссертационной работе результаты вносят ряд поправок и изменений в современные подходы к организации управления ресурсами высокоскоростных компьютерных сетей и позволяют сформировать новый класс алгоритмов управления, использующих в своей работе методы прогнозирования поведения различных сетевых процессов. На основе полученных в четырех главах диссертации выводов могут быть сформулированы следующие основные результаты:

1. Обобщены и систематизированы основные современные тенденции развития методов управления виртуальными соединениями с заданными параметрами качества в дейтаграмных сетях. Определены основные понятия, используемые для описания параметров виртуального соединения и исследования механизмов управления сетевыми ресурсами.

2. На основе большого объема экспериментальных данных проанализированы и исследованы особенности поведения реальных сетевых процессов. Выделены два наиболее важных сетевых процесса - трафика и RTT-задержки. Определены их отличия и возможные области применения при управлении сетью, а также основные статистические характеристики и особенности.

3. Исследован комплекс математических моделей, описывающих случайные процессы передачи данных в компьютерных сетях. Также рассмотрены модели, учитывающие фрактальные свойства процессов в компьютерных сетях. Определены основные параметры моделей для прогнозирования поведения двух видов сетевых процессов.

4. Определены основные причины, обеспечивающие генерацию фрактального трафика в компьютерной сети:

- наличие большого количества конкурирующих между собой соединений;

- "тяжелое" распределение длин файлов, хранящихся на узлах глобальной компьютерной сети.

Разработан механизм, обеспечивающий генерацию фрактального трафика при имитационном моделировании компьютерной сети.

5. Определены механизмы сетевого управления наиболее подверженные влиянию фрактальных свойств трафика. Разработана методология оценки влияния степени протяженной зависимости процесса передачи данных на эффективную производительность работы компьютерной сети. Получены оценки качества работы механизмов управления сетевыми ресурсами в зависимости от степени фрактальных свойств передаваемого трафика.

6. Проведен сравнительный анализ алгоритмов прогнозирования сетевых процессов. Получены оценки качества прогнозирования для всех предложенных методов. Определены области и границы применения каждого алгоритма прогнозирования. При высокой степени фрактальных свойств (степень протяженной зависимости, характеризуемая параметром Херста, Н > 0.8) хорошо работает метод прогнозирования, основанный на моделировании сетевого трафика фрактальным броуновским движением. Достоинством этого метода является возможность обнаружения значительной доли (до 60%) редких, но больших по величине выбросов в наблюдаемых сетевых процессах.

В результате полученные в диссертации оценки алгоритмы прогнозирования и разработанные методики оценки фрактальных свойств сетевых процессов и их влияния на механизмы управления виртуальными соединениями были использованы при разработке программного обеспечения многофункционального сетевого процессора.

Следует отметить, что значительным препятствием на пути дальнейшего развития методов прогнозирования, учитывающих фрактальные свойства сетевых процессов, является отсутствие конструктивных методов, которые позволили бы получать оценки степени фрактальных свойств процессов (параметр Н) на основе небольших по объему выборок. Также необходима разработка методов определения временных границ, в которых можно считать значение фрактального параметра постоянным, т.к. у реальных процессов это значение может меняться с изменением масштаба времени.

Решение этих задач позволит с высокой эффективностью использовать свойство самоподобия фрактальных процессов для прогнозирования их поведения на любых временных интервалах с высокой точностью.

1. Большаков И.А., Ракошиц B.C. Прикладная теория случайных потоков. -М.: Сов.Радио, 1978.

2. Большаков И.А. Статистические проблемы выделения потока сигналов из шума. М-: Сов.Радио, 1969.

3. Городецкий А.Я. Статистический анализ и синтез фотонных систем. -СПб.: Изд-во СПбГТУ, 1996. 272С. 99

4. Городецкий А.Я., Заборовский B.C. Информатика: фрактальные процессы в компьютерных сетях.-СПб.:Изд-во СПбГТУ, 2000. 102с.

5. Ефимова М.Р., Петрова Е.В., Румянцев В.Н. Общая теория статистики. Учебник. М.:ИНФРА-М, 2000. 416с.

6. Заборовский B.C. Интеллектуальные системы управления информационными ресурсами в высокоскоростных телекоммуникационных сетях. / Высокие интеллектуальные технологии образования и науки, Тез.докл.конф. СПб.: Изд-во СПбГТУ, 1996. С. 19.

7. Заборовский B.C. Методы и средства исследования процессов в высокоскоростных компьютерных сетях. // Докторская диссертация -СПбГТУ.

8. Клейнрок JI. Теория массового обслуживания.-М.Машиностроение, 1979. 432с.

9. Кроновер М.Р. Фракталы и хаос в динамических системах. Основы теории. Москва: Постмаркет, 2000. 352с.

10. Ю.Лазарев В.Г. Интеллектуальные цифровые сети.-М.: Финансы и статистика, 1996. С.224

11. П.Левин Б.Р. Теоретические основы статистической радиотехники. -Москва: Сов. радио, 1975. 392с.

12. Нигматуллин P.P. Дробный интеграл и его физическая интерпретация. // Теоретическая и математическая физика, т.90.-№3, 1992.С.354-367.

13. Первозванский А.А. Курс теории автоматического управления.-М.Наука, 1986. 340с.

14. Пятибратов А.П., Гудыно Л.П., Кириченко Н.А. Вычислительные системы, сети и телекоммуникации. М.: Финансы и статистика, 1998.

15. Самко С.Г., Килбас А.А., Маричев О.И. Интегралы и производные дробного порядка и некоторые их приложения. Минск: Наука и техника, 1987.

16. Сизиков B.C. Математические методы обработки результатов измерений СПБ: Политехника, 2001. 240с.

17. Тараскин А.Ф. Статистический анализ временных рядов авторегрессии и скользящего среднего. Самара, 1998. 64с.

18. Тихонов В.И. Статистическая радиотехника. М.: Радио и связь, 1982. 624с.

19. Тозатти Э. Фракталы в физике. / пер. с англ. под ред. Л.Пьетронеро, -М.: Мир, 1988.

20. Федер Ens. Фракталы / пер. с англ. М.: Мир, 1991.

21. Шварц М. Сети связи: протоколы, моделирование и анализ. ч.1.-М.:Наука, 1992. 336с

22. Шварц М. Сети связи: протоколы, моделирование и анализ. ч.2.-М.:Наука, 1992. 272с

23. Яновский Г.Г. Методы и модели управления сетевыми ресурсами в цифровых сетях интегрального обслуживания.// Докторская диссертация.-СПб: ГУТ им. проф. М.А. Бонч-Бруевича, 1994. 270с.

24. Abraham В., Ledolter J. Statistical methods for forecasting. New York: Wiley, 1983

25. Box G. E. P., Jenkins G. M. Time series analysis. San Francisco: Holden Day, 1970.

26. Box G. E. P., Jenkins G. M. Time series analysis: Forecasting and control. San Francisco: Holden-Day. 1976

27. Crovella M., Bestavros. A. Self-Similarity in World Wide Web Traffic: Evidence and Possible Causes. In Proc. ACM Sigmetrics '96, pages 160--169, Philadelphia, PA, May 1996.

28. Faloutsos M., Faloutsos P., Faloutsos C. On Power-Law Relationships of the Internet Topology. Proceedings of the ACM/SIGCOMM'98

29. Feldmann A., Gilbert A. C., Willinger W. Data networks as cascades: Investigating the multifractal nature of Internet WAN traffic. // No. 4, Proceedings of the ACM/SIGCOMM'98, September 1998, Vancouver, Canada pp. 42-55, 1998.

30. Gordon Irlam, Unix File Size Survey, http://www.base.com/gordoni/ufs93.html

31. Jan Beran. Statistics for Long-Memory Processes. Monographs on Statistics and Applied Probability. Chapman and Hall, New York, NY, 1994.

32. Leland W.E., Taqqu M.S., Willinger W. and Wilson D.V. On the self-similar nature of Internet traffic (Extended Version). // IEEE/ACM Transactions on Networking, v.2. N2,1994.

33. Lowen S.B. Ph.D. dissertation. Columbia Universitet, 1992.

34. Mandelbrot B.B. The fractal Geometry of Nature. Freeman, New York,1983.

35. Mandelbrot B.B., Van Ness J.W. Fractional Brownian motions, fractional noises and applications. // SIAM Review. 10,1968. P.422-437.

36. Paxson V. and Floud S. Wide Area traffic: The Failure of Poisson Modeling. /7 IEEE/ACM Transactions on Networking, v.3. N3; 1995.

37. Peitgen H.O., Richter P.H. The Beauty of Fractals. Springer -Verlag. Berlin, 1986.

38. Qiong Li, David L.Mills. On the long-range dependence of packet round-trip delays in Internet. // Processings of IEEE ICC'98, v.2. -1998.

39. Q. Li and C. L. Hwang. Queue Response to Input Correlation Function: Continuous Spectral Analysis. IEEE/ACM Trans. Networking, 1(3):678-692, 1993.

40. Ryn В. and Lowen S. Point process models for self-similar Network Traffic, with applications. // Stochastic Models. -N14, 1998.

41. Wilinger W., Taqqu M.S., Sherman R. and Wilson D.V. Self-similarity through High-Variability: Statistical Analysis of Ethernet Lan Traffic an the Source Level. // IEEE/ACM Transactions on Networking, v.12. 1996.

42. The Use of RSVP with IETF Integrated Services; Request For Comments N2210. http://online.vsi.ru/library/RFC/rfc2210.txt

43. Integrated Services in the Internet Architecture: an Overview; Request For Comments N1633. http://online.vsi.ru/library/RFC/rfcl633.txt

44. An Architecture for Differentiated Services Framework. Request For Comments N2475. http://online.vsi.ru/library/RFC/rfc2475.txt

45. A Framework for Policy-based Admission Control. Request For Comments N2753. http://online.vsi.ru/library/RFC/rfc2753.txt46.0oS Protocols & Architectures A White paper. http://www.qosforum.com/tech resources.htm

46. Arneodo A., Grossman G., Holschneider M. Wavelet Transformation of MultiFractal. //Phys.rev. Lett. v61 N20, 1988. P.2281-2284

47. Нестеров M.M., Трифанов B.H., Данилов B.H. Нестандартный анализ данных с использованием самоорганизующихся технологий. -Спб Научное приборостроение, 2000, том 10, с.35-43

48. Николис Г., Пригожин И. Познание сложного. Введение. М.:Мир, 1990. 344с.

49. Трифанов В. Методические основы синтеза динамических сетей: алгебраическое равновесие и статистика. Л.:препринт ЛИПА, 1981. 31с

50. Хакен Г. Информация и самоорганизация. Макроскопический подход к сложным системам. М.:Мир, 1991. 161с.

51. Жармунский А.В., Кузьмин В.И. Критические уровни в развитии природных систем. Л.: Наука, 1990. 223с.

52. Королев О.Ф., Марлей В.Е. Вычисления в распределенных алгоритмических сетях // Материалы Первой Международной конференции по проблемам самоорганизации и управления в сложных коммуникационных пространствах. НООТЕХ, СПб., 1997, с.58-60

53. Sally Floyd. Simulator tests. Available in ftp://ftp.ee.lbl.gOv/papers/simtests.ps.Z.

54. A. Adas and A. Mukherjee. On resource management and QoS guarantees for long range dependent traffic. In Proceeding of IEEE INFOCOM '95, pages 779—787, 1995.

55. R. Addie, M. Zukerman, and T. Neame. Fractal traffic: measurements, modelling and performance evaluation. In Proceeding of IEEE INFOCOM '95, pages 977-984, 1995.

56. N. Likhanov and B. Tsybakov. Analysis of an ATM buffer with self-similar С "fractal") input traffic. In Proceeding of IEEE INFOCOM '95, pages 985-992, 1995.министерство образования российской федерации

57. Заместитель руководителя направлен!

58. Начальник отдела 31, к.т.н.1. Техническая кибернетика»1. С.Б. Налетов1. В. Козырев

59. Доцент кафедры "Телематика1. Подгурский Ю.Е.

60. Зав. кафедрой "Телематика", д.т.н., профессор1. Заборовский B.C.