автореферат диссертации по радиотехнике и связи, 05.12.13, диссертация на тему:Универсальная распределенная расширяемая система высокоуровневого моделирования сетей

На правах рукописи

Милованов Денис Сергеевич

Универсальная распределенная расширяемая система высокоуровневого моделирования сетей

Специальность 05.12.13 - «Системы, сети и устройства телекоммуникаций»

Автореферат диссертации на соискание ученой степени кандидата технических наук

4843827

1 4 АПР 2011

Владимир 2011

4843827

Работа выполнена во Владимирском государственном университете имени Александра Григорьевича и Николая Григорьевича Столетовых на кафедре «Физика и прикладная математика».

Научный руководитель:

доктор физико-математических наук, профессор,

Аракелян Сергей Мартиросович

Официальные оппоненты:

доктор технических наук, профессор Жигалов Илья Евгеньевич

кандидат технических наук, профессор Медведев Юрий Алексеевич

Ведущая организация: ФГУ ГНИИ ИТТ «Информика», г. Москва

Защита диссертации состоится 27 апреля 2011г. в 1400 на заседании диссертационного совета Д 212.025.04 Владимирского государственного университета имени Александра Григорьевича и Николая Григорьевича Столетовых по адресу: 600000, Владимир, ул. Горького, 87, ФРЭМТ.

С диссертацией можно ознакомиться в библиотеке Владимирского государственного университета имени Александра Григорьевича и Николая Григорьевича Столетовых.

Автореферат разослан . _.2011 г.

Ученый секретарь диссертационного совета

доктор технических наук, профессор

А.Г. Самойлов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы

Новейшие телекоммуникационные технологии являются необходимым условием развития современной экономики. В связи с внедрением сетевых технологий во многие сферы человеческой деятельности наблюдается повышенный интерес к вопросам моделирования и проектирования сетей и систем передачи данных. Моделирование используется практически повсеместно для предварительных исследований новых сетевых алгоритмов, предшествующих их внедрению в качестве управляющего программного обеспечения в узлы сети. Зачастую моделирование является единственным способом разработки новых принципов построения и работы систем, сетей, устройств связи, проверки качества предлагаемых решений, изучения их свойств, выявления зависимостей между параметрами и т.п. Моделирование также используется при изучении явлений в уже существующих системах телекоммуникаций.

На сегодняшний день существуют десятки моделирующих программ (симуляторов) сетей различного назначения. За рубежом программное обеспечение такого рода разрабатывается оборонным агентством США DARPA (проект VINT), группой Калифорнийского университета (проф. Р. Багродиа) в сотрудничестве с Национальной лабораторией в Беркли, группой Технологического института Джорджии (проф. Р. Фуджимото), а также производителями сетевого оборудования (Cisco). Эти и другие программы отличаются по степени универсальности (от достаточно универсальных систем до систем, ориентированных на конкретные модели оборудования) и расширяемости (от систем с фиксированной функциональностью до систем, позволяющих программирование на том или ином языке). В России вопросами моделирования и проектирования сетей и систем телекоммуникаций занимается множество научных коллективов (под руководством Г.Г. Яновского, К.Е. Самуйлова, В.М. Вишневского, Б.С. Гольдштейна, А.Е. Кучерявого, Е.Б. Алексеева, В.В. Крылова, В.А. Ершова, E.H. Таруты, Г.П. Башарина, С.М. Аракеляна и др.)

В связи с бурным развитием вычислительной техники становится возможной программная реализация распределенных программ моделирования сетей и систем телекоммуникаций с привлечением суперкомпьютерных вычислений. Такие программы отличает возможность моделирования очень больших сетей (от нескольких десятков тысяч узлов и выше), возможность поддержания объемных структур данных, а также более высокая сложность (программирования, расширения и т.д.) Примерами объектов имитационного моделирования в этом случае могут служить сенсорные сети, осуществляющие мониторинг большой территории, большие сети с ограниченно подвижными устройствами, одноранговые децентрализованные компьютерные сети распределенного

хранения данных, корпоративные сети, подсети сети Интернет и т.п. и, соответственно, все новые алгоритмы разных уровней в этих сетях. Среди алгоритмов управления потоком данных в таких сетях выделим алгоритмы, использующие приложения теории перколяции (в частности, вероятностный подход к использованию узлов и каналов связи при маршрутизации).

Распределенных симуляторов значительно меньше обычных, и лишь один из них не является коммерческим программным продуктом (что, помимо остальных недостатков, затрудняет или делает невозможным их использование в образовательном процессе). В этом свете не вызывает сомнений то, что разработка распределенного симулятора и проведение численных экспериментов на имеющемся в ВлГУ кластере «СКИФ Мономах» является перспективной и актуальной задачей.

Целью диссертационной работы является разработка концепции и последующая программная реализация универсальной распределенной расширяемой системы моделирования сетей и систем телекоммуникаций. Разрабатываемый моделирующий пакет должен быть лишен большинства недостатков существующих программных продуктов, позволять гибкое единообразное расширение возможностей, а также содержать базовый набор компонент, ориентированных на моделирование наиболее распространенных сетей (проводных компьютерных, сенсорных, мобильных) и сетевых алгоритмов. Разработка концепции и архитектуры должна быть основана на результатах обзора существующих средств и методов имитационного моделирования,-

В ходе работы решались еле дующие задачи:

1. Разработка архитектуры и алгоритмов работы программного пакета для распределенного моделирования сетей и систем телекоммуникаций: алгоритма цикла моделирования и алгоритма динамической балансировки нагрузки на процессоры. Реализация сетевого симулятора в виде комплекса программ.

2. Разработка и реализация модулей расширения для моделирования:

- регулярных сетей (с оптическими или проводными каналами связей),

- сенсорных сетей (с радиоканалами связей),

- статических одноранговых децентрализованных сетей с заданными степенями узлов (с проводными каналами связей),

- сетей класса MANET с ограниченно подвижными узлами (с радиоканалами связей).

3. Проведение на основе разработанного моделирующего пакета имитационного моделирования с целью:

- исследования трафика в статической сенсорной сети и сенсорной сети с переключающимися узлами;

- исследования базового и модифицированного алгоритма перколяционного поиска в компьютерных сетях распределенного

хранения данных («пиринговых» сетях) со степенной функцией плотности распределения числа соседних узлов (т.н. РЬ-сети);

- исследования перколяционных свойств сети с неустойчивыми связями и структурными особенностями (мобильной телекоммуникационной сети), моделирование перколяционной маршрутизации методом «лавина»;

- определения порога перколяции в трехмерной регулярной сети, состоящей из узлов, соединенных оптическими связями и формирующими мультикомпьютер.

Методы исследования. Достоверность полученных в работе результатов обеспечивается применением методов теории множеств, теории графов, теории перколяции, теории вероятности и математической статистики, теории алгоритмов, теории параллельных и распределенных вычислений и подтверждается результатами имитационного моделирования.

Научную новизну работы определяют следующие положения.

1. Разработана параллельная версия алгоритма генерирования топологии проводной телекоммуникационной сети с заданной функцией плотности распределения степеней узлов.

2. Модифицирован алгоритм перколяционного (вероятностного) поиска в одноранговых сетях распределенного хранения данных (разработан алгоритм направленного внедрения данных и запросов).

3. Установлено соотношение между порогами перколяции мобильных телекоммуникационных сетей для задачи связей в статическом и динамическом случаях.

4. Предложен алгоритм сокращения накладных расходов (числа копий пакетов) при лавинной рассылке в мобильных сетях с независимо переключающимися связями.

Практическая ценность работы заключается в том, что в ней предложен и программно реализован моделирующий пакет, ориентированный на распределенное высокоуровневое моделирование сетей и систем телекоммуникаций, состоящих из большого числа узлов. На его основе получены новые результаты в области алгоритмов для управления потоком данных в компьютерных телекоммуникационных сетях. Алгоритмы реализованы в программном обеспечении узлов реальных сетей, получены акты внедрения.

Предложенная модификация алгоритма перколяционного (вероятностного) поиска в распределенных компьютерных сетях хранения данных (пиринговых сетях) позволяет сократить в 1.5 -г 7.0 раз число служебных пакетов в пересчете на 1 запрос при сохранении того же уровня успешных запросов.

Алгоритм перколяционной (вероятностной) лавинной рассылки позволяет сократить число копий пакетов данных в мобильной сети с

неустойчивыми каналами связи, для которой известен статический порог перколяции и может быть оценена средняя вероятность активности связей (величина сокращения числа копий пакетов зависит от этих двух параметров).

Разработанный алгоритм рабочего процесса симулятора обеспечивает ускорение я(Р) = 0.93Р (Р — число процессов). Алгоритм распараллеливания генерирования топологии сенсорной сети позволяет строить модель сети за время Т(Р) ~ Р~2Л3. Алгоритм распараллеливания генерирования топологии проводной сети с заданной плотностью распределения создает модель сети за время Г(Р) ~ р~3-94. Полученные оценки свидетельствуют о высокой эффективности распараллеливания, заключающейся в значительном сокращении времени экспериментов при увеличении числа используемых процессов (процессоров).

Личный вклад

В работах, опубликованных в соавторстве, автором предложены алгоритмы программ, имитационные модели, выполнены лично основные расчеты, проведено моделирование, произведен анализ результатов.

Внедрение результатов работы

На разработанный программный комплекс получена государственная регистрация программы для ЭВМ №2009610991.

Моделирующий пакет программ используется для выполнения госбюджетных и хоздоговорных научно-исследовательских работ в рамках ряда ФЦП Минобразования.

Программное обеспечение и результаты работы внедрены в следующих организациях:

- Владимирский государственный университет имени Александра

Григорьевича и Николая Григорьевича Столетовых;

- ООО «Фирма «Инрэко ЛАН», г. Владимир;

- ООО «ФС Сервис», г. Владимир.

Апробация работы

Основные результаты работы докладывались на следующих научно-технических совещаниях и конференциях:

1. Н-я Международная научно-практическая конференция «Прогрессивные технологии и перспективы развития», Тамбов, 5 ноября 2010г.

2. XVII Всероссийская научно-методическая конференция «Телематика-2010», Санкт-Петербург, 21-24 июня 2010 г.

3. IX международная конференция-семинар «Высокопроизводительные параллельные вычисления на кластерных системах», Владимир, 2-3 ноября 2009 г.

4. XVI Всероссийская научно-методическая конференция «Телематика-2009», Санкт-Петербург, 22-25 июня 2009 г.

5. VIII Международная научно-техническая конференция «Физика и радиоэлектроника в медицине и экологии» ФРЭМЭ'2008, Владимир, 2-4 июля 2008 г.

На защиту выносятся:

1. Архитектура и алгоритмы функционирования комплекса программ для распределенного моделирования сетей и систем телекоммуникаций.

2. Модификация алгоритма перколяционного (вероятностного) поиска в компьютерной пиринговой сети.

3. Алгоритм перколяционной (вероятностной) маршрутизации методом «лавина» в мобильной телекоммуникационной сети с изменяющейся топологией и структурными особенностями.

4. Компьютерные имитационные модели, с помощью которых проводились исследования сетей и сетевых алгоритмов.

Публикации

Основные результаты работы представлены в 12 публикациях, в том числе в 2 статьях в реферируемых изданиях из перечня ВАК.

Объем и структура диссертации

Диссертация изложена на 148 страницах машинописного текста. Состоит из введения, трех глав, заключения и приложений. Список литературы содержит 92 наименования. Таблиц 27, рисунков 36.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы и ее научная новизна, сформулированы цель и основные задачи исследования, защищаемые положения, их практическая значимость, обсуждается также реализация и внедрение результатов работы.

В первой главе проводится обзор и классификация существующих средств моделирования телекоммуникационных сетей. Обзор проводится с целью формирования представлений о возможностях современных симуляторов, требований, которые к ним предъявляются, возможных архитектурах, принципах и т.д.

Обсуждаются общие вопросы моделирования, подтверждается необходимость компьютерного эксперимента. Вводится понятие и проводится классификация средств моделирования. Рассмотрены наиболее популярные средства моделирования сетей телекоммуникаций, не использующие распределенные вычисления (моделирующие программы ns-2, PeerSim, OpNET и т.д.) Выполнен обзор распределенных средств (симуляторы pdns, Glomosim, SSF, USSF, TeD). Проводится обобщение сведений о недостатках существующих программных средств (невозможность расширения функциональности, сложность в запуске серии экспериментов, отсутствие графического интерфейса и т.п.)

Во второй главе рассматривается концепция универсальной распределенной расширяемой системы высокоуровневого моделирования

сетей и систем телекоммуникаций, архитектура и реализация комплекса программ. Сформулированы и подтверждены принципы минимальной базы, максимальной расширяемости и максимальной масштабируемости.

Рассмотрена архитектура и программная реализация ядра симулятора — ключевой программы, осуществляющей базовые операции моделирования. Согласно принципу минимальной базы в состав объектов модели включены объекты «узел» и «пакет», содержащие минимум фиксированных свойств. Согласно принципу максимальной расширяемости ядро симулятора предоставляет унифицированный интерфейс для собственного расширения (т.н. АР1 — интерфейс программирования приложений). Объекты модели поддерживают методы для неограниченного собственного расширения в соответствии с логикой модели, протокола и т.п. Расширение производится в рамках модуля расширения - программного модуля в виде динамической библиотеки. Модули разрабатываются отдельно и независимо от ядра и реализуют обычно некоторую независимую часть модели, например, генерируют топологию или осуществляют маршрутизацию. Помимо расширения функциональности симулятора с точки зрения модели имеется возможность задать пользовательскую вычислительную топологию (шаблон взаимодействия процессов), пользовательское разделение топологии (разбиение узлов по процессам).

Согласно принципу максимальной масштабируемости ядро симулятора работает в циклическом (пошаговом) режиме'(как и, например, симулятор ББР). Это сделано потому, как известно, что алгоритмы управления временем при дискретно-событийном подходе плохо распараллеливаются и масштабируются. Известно также, что для многих высокоуровневых протоколов, на которые, прежде всего, и ориентирован симулятор, допущение о квантовании времени является приемлемым и не сказывается на логике их работы. При этом достигается максимальная производительность модели за счет некоторой не критичной потери реалистичности (не моделируются задержки на передачу пакетов по физическим каналам).

Предложен Алгоритм 1 (выполнения шага моделирования (цикла) на одном процессе):

1) вызвать очередь модулей расширения для каждого узла сети, моделируемого данным процессом (собственно моделирование)

2) очистить буферы входящих пакетов; перенести выходящие пакеты одного узла в буфер входящих пакетов узла-приемника (если тот обрабатывается этим же процессом); собрать пакеты, требующие отправки узлам, моделируемым другими процессами; очистить буферы исходящих пакетов (обработка пакетов)',

3) отправить требуемые пакеты другим процессам с помощью неблокирующей передачи (передача);

4) принять пакеты от других процессов с помощью блокирующей операции приема {прием).

С целью оптимизации времени выполнения распределенного приложения предложен Алгоритм 2 (динамической балансировки).

1. (Первый шаг) Занумеруем пары ТД (Л/2, Т?),..., ТР) так, что бы T1<T2<T3<...< Тр. Здесь и далее: Ыр - количество узлов, моделируемых в данный момент процессом р, Тр - время, затрачиваемое на моделирование процессом р, измеренное за некоторое количество наблюдаемых циклов, ар = Тр/^!р. Пусть из второго (в новой нумерации) процесса А N моделируемых узлов отправляются первому процессу. Тогда

ДЛГ = N1 = N1 +ДЛГ, N2 = Ыт—АЫ, т\ = Тг =а^2Тк Имеем на выходе первого шага (АГ[, Т[), (Л/3, Г3),..., (МР,ГР) .

Теперь занумеруем процессы так, что бы Т\ = Г2 < Т3 2 ...< ТР и перейдем к шагу 2.

2. (Шаг с номером К) На входе имеем пары №1,Т1),...1№к,Тк).№к+1,Тк+1),-,№р,Тр), занумерованные так, что Т1 ~ • •■ — Тк < Тк+1 < •■• < Тр . Пусть из /М-1-го процесса ЛМ узлов распределяется между первыми К процессами пропорционально =

—^. Это требование обеспечит одинаковый прирост времени работы на каждом процессе:

Т\ = Т1 + АТ, АТ = сг^ДЛ/ = ДМ =--.

На выходе^ имеем ДО, Т[),..., (Л^, Гк), (Ы'к+1, 7£+1).....{ЫР, ТР) , причем

Т1 = ... — Тк = Тк+1 < Тк+2 — ^ Тр. Шаги проделываются до тех пор, пока не будут перебраны все процессы. Таким образом, все процессы получают данные о том, в каком количестве и кому отправить моделируемые узлы для того, что бы уравнять временные затраты.

Также во второй главе приведены сведения о системе управления экспериментами. Система управления разработана на основе модели клиент-сервер и позволяет управлять ходом экспериментов с локальной и удаленной машины. Клиент системы управления предоставляет возможность авторизации пользователя, создание и редактирование параметров независимых экспериментов, пакетный запуск, мониторинг и останов, вызов любой внешней программы анализа выходных данных (программа такого рода также разработана и включена в состав комплекса) и программы визуализации. Структура системы моделирования представлена на рис. 1.

Здесь же рассматриваются уже реализованные и отлаженные модули расширения симулятора, которые будут применяться в ходе имитационного моделирования. Данный набор модулей является

достаточно универсальным и может применяться для построения широкого класса моделей, а также с целью последующей модификации и адаптации.

ядро <

Эксперимент:

модули

фрагмент моделируемой сети

Узел кластера

ядро

1

модули

фрагмент моделируемой сети

Узел кластера

Рисунок 1

Описаны модули генерирования топологии. Рассматривается топология регулярной трехмерной решетки, топология сенсорной сети («пуассоновский ансамбль») и топология с заданной функцией плотности распределения степеней узлов. Последовательные алгоритмы построения топологии по заданному вектору степеней узлов, встречающиеся в литературе, применяются только для небольших сетей в виду их большой вычислительной сложности. В случае больших сетей применяются другие соображения (например, во всех экспериментах используется одна предварительно заданная сеть, которая хранится в файле). В диссертационной работе предлагается алгоритм распределенного генерирования топологии именно по заданному вектору степеней узлов. Пусть есть некоторая плотность распределения р ((), согласно которой строится вектор распределения (С;) : С; = [Л7 ■ р(0], который для каждого I показывает, сколько в сети существует узлов со степенью (. Вектор распределения назовем далее просто распределением.

Предложен Алгоритм 3 (построения процессом распределения для своего подмножества узлов на основе вектора глобального распределения С;). Реализуется формула ■= ■ тр\ + ¡(и < {С; • тр}). Здесь и — случайная величина, равномерно распределенная на [0, 1], /(.) -индикатор события, {•} - дробная часть величины, хр - доля узлов,

моделируемых процессом р. Получившийся целочисленный вектор используется как распределение фрагмента сети — субраспределение.

Предложен Алгоритм 4 (распараллеливания алгоритма генерирования топологии с заданной функцией плотности распределения):

1) на основе своего субрасиределения каждый процесс генерирует топологию своего фрагмента сети (известным последовательным алгоритмом);

2) в каждом фрагменте отыскивается множество связей, удаление которых из фрагмента оставляет подсеть, в которой максимальная степень узла равна данному значению («порогу»);

3) это множество связей равномерно делится по числу соседних процессов, происходит обмен множествами между соседними процессами;

4) фрагменты сети склеиваются в общую топологию с помощью операции «разрыв-соединение» на этих множествах связей: каждая пара процессов разрывает свои связи А-В (первый) и C-D (второй) и устанавливает связи А-С (первый) и B-D (второй) (см. рис. 2); вероятность того, что степени узла при этом изменятся, крайне мала (сама операция возможна, поскольку каждый процесс после обмена с соседними процессами знает свое множество таких связей и чужое).

д 1 _ г С помощью разработанного алгоритма

^ в ЯГтТ Я становится возможным генерирование

| О^/л) Т/ J сетей в частных случаях. Например, если ! О Г/_У) ^^г-у PCO" то имеют место т.н. PL-сети.

I Они представляют особый интерес,

п -А 1 ' __1 поскольку показано, что многие реальные

; в У одноранговые сети организуются

о ^"VYl^^no О примерно по этому закону.

П-—О "V/S Также в главе описываются модули

маршрутизации. Базовым алгоритмом Рисунок 2 маршрутизации является маршрутизация

методом «лавина» (лавинная рассылка), которая реализована в двух вариантах - с ожиданием («отложенная») и без ожидания. Важным моментом является моделирование ошибок, возникающих во время передачи пакетов. Поскольку симулятор ориентирован в основном на высокоуровневое моделирование сетей физическая сторона вопросов передачи данных подробно не моделируется. В таком случае обычно прибегают к коэффициентам, связывающим модель и реальный объект. В данном случае используется простая модель: любой пакет доходит до адресата с фиксированной заданной вероятностью.

Процедура перколяционного поиска в сетях распределенного хранения данных (компьютерные файлообменные сети) рассмотрена в одном из источников и заключается в следующем: 1) узлы с помощью случайного блуждания длины L распространяют сведения о своих данных (внедрение контента)-, 2)при необходимости поиска данных в сети узел также инициирует случайное блуждание длины L (внедрение запроса)', 3)каждый узел, участвующий во внедрении запроса начинает

перколяционный поиск (ветвящиеся случайные блуждания с вероятностью р длины ¿р). Показано, что случайные блуждания выходят на узлы с большой степенью связности (суперузлы) с вероятностью близкой к 1. Перколяционный поиск данных в кластере суперузлов даже с небольшим параметром р гарантирует то, что данные будут найдены. Такой алгоритм поиска эффективен (по сравнению с прямым поиском) с точки зрения числа копий служебных пакетов. Дополнительно повысить эффективность и качество поиска предлагается с помощью следующей модификации. Алгоритм (направленного кэширования и направленного запроса).

1. (Подготовительный этап). Каждый узел узнает число соседей у каждого своего соседа и сохраняет эти данные (таким образом, алгоритм уже не опирается только на локальные данные). Пусть узел обладает вектором где - число соседей у г'-го соседа.

2. При необходимости кэширования контента или перенаправления запроса, пакет отправляется:

a) соседу с максимальным (если отправка ему еще не производилась), соседу со вторым, третьим и т.д. по величине числом Л, (если отправка узлу с большим числом соседей приведет к зацикливанию) или

b) соседу у с вероятностью р;- = А; ■ (ЕА)-1 (предпочтительно);

c) узлу-отправителю, если блуждание заходит в тупик. Рассмотрены вопросы, связанные с перколяционными свойствами

динамических телекоммуникационных сетей. Рассматриваются мобильные сети со структурными особенностями (в качестве примера можно привести сети с ограниченно подвижными узлами). Показано, что в таких сетях процесс переключения связей (если не учитывать помехи), носит периодический характер, и для каждой связи можно оценить / -вероятность ее активности. В работе ставится вопрос о достижимости узлов второго множества из узлов первого множества (по активным связям). Пусть для такой сети возможно вычислить рс — статический порог перколяции в задаче связей, т.е. такую минимальную долю активных связей, при которой сеть все еще связывает оба множества. Тогда основное утверждение состоит в том, что полная лавина, запускаемая узлами первого множества, доходит до узлов второго множества только в случае М/ > рс, где М/ - среднее по сети значение f. Кроме того, если М/ > рс строго, то в сети существует избыток связей (с точки зрения «проводимости») и имеется возможность сократить число копий пакетов за счет использования каждой связи с вероятностью р* = — < 1. Эта

формула служит оценкой порога перколяции динамической сети, которую необходимо проверить с помощью эксперимента, и одновременно представляет основу для алгоритма перколяционной маршрутизации.

Алгоритм (перколяционной (вероятностной);, маршрутизации методом «лавина» в телекоммуникационной сети с переключающимися связями):

1) узлы оценивают вероятность активности / каждой своей связи с другими узлами; полученные данные собираются выделенными узлами;

2) выделенные узлы рассчитывают среднее М/ и порог перколяции рс, полученные данные рассылаются всем узлам;

3) при необходимости маршрутизации пакета с данными методом «лавина» он пересылается каждом}' соседу с вероятностью р*.

В важном частном случае, предложенный алгоритм позволяет осуществлять доставку пакета данных от одного узла до всех остальных, при этом число возникающих копий пакетов сокращается в (р*)-1 раз.

Для моделирования сети с изменяющейся топологией рассмотрены модели переключения узлов по встроенному расписанию, а также переключения связей согласно случайному процессу «обобщенная телеграфная волна», которая, помимо параметра М/, позволяет задавать еще и интенсивность изменений топологии.

В заключение рассмотрен вопрос генерирования трафика. Рассмотрены несколько простых моделей трафика: генерирование пакетов с фиксированной вероятностью, генерирование при включении, генерирование согласно пуассоновскому процессу.

Все предложенные модели и алгоритмы программно реализованы в ядре симулятора или в модулях расширения.

В третьей главе в рамках разработанного программного комплекса проводится имитационное моделирование телекоммуникационных сетей. Логика всех экспериментов заключена в ранее разработанных модулях расширения: эксперимент заключается в выборе модулей, конфигурировании системы управления в соответствии с планом эксперимента и запуске моделирования.

Рассматриваются численные эксперименты по определению порога перколяции в регулярной сетевой структуре, реальным прототипом которой является трехмерная регулярная сеть с узлами, связанными оптическими каналами связи и формирующими мультикомпьютер. В силу ряда причин узлы выходят из строя («выключаются»). Требуется определить минимальную долю (в терминах теории перколяции — концентрацию) включенных узлов, которая обеспечивает «проводимость» от первого слоя сети к последнему. Выполнена серия численных экспериментов, направленная на численное определение такой минимальной концентрации (порога перколяции). Для этого в регулярной топологии генерируется трафик и исследуется его доставка методом «лавина». Также рассмотрен случай, когда включенные узлы образуют последовательности длины (1. В ходе экспериментов в сети из 24 млн. узлов показано наличие явления перколяции — фазового перехода

связанного с ростом концентрации (см. рис. 3). Показано также, что для обеспечения связности требуется порядка 10% (0.098±0.001) включенных узлов. Кроме того показано, что в случае протяженных групп узлов (с! > 1) порог перколяции существенно ниже. Использование симулятора позволило существенно сократить время проведения серии экспериментов (на рис. 4 представлено время выполнения одного эксперимента в зависимости от числа используемых процессов).

Доля экспериментов, в которых имело место формирование стягивающего кластера узлов 1 ...............-|-:-10.8 -----------1...........................

о.б .....................;.................................................... ............................

0ш0у10'л0,п01л01л0'п0>п0'00|п0'л0

ОООООООООООООООООООр-^—I

о о о о о о о о о о о о о о о о о о о о о о о

--¿=1 ...... 6=10 20 Концентрация

работающих узлов

Рисунок 3

Далее рассматриваются численные эксперименты по моделированию алгоритма перколяционной лавины в статических сенсорных сетях. Перколяционная лавина — это такая модификация лавинного процесса, при котором каждый узел V принимает решение о копировании пакетов с вероятностью, уменьшающейся с ростом числа его соседей:

I 1, иначе

Здесь с1ед(у) — степень узла V, кт[П — фиксированный параметр. С помощью численных экспериментов на сети из 100 000 узлов (радиус действия устройства г) установлено, что в достаточно связной сети, существует такое значение которое служит порогом перколяции. А именно, при всех ктЫ > вероятностная лавинная рассылка

покрывает всю сеть как и обычная лавина, т.е. величина и/, равная доле доставленных пакетов, равна 1. При кт1п < к'т1п лавинная рассылка быстро прекращается. При этом также установлено, что к*тЫ не зависит от среднего числа соседей узлов сети (а значит и радиуса г). Этот результат представлен на рис. 5. Абсолютная погрешность в измерении иг равна 0.02 (доверительная вероятность 0.95). Также получены данные о том, что маршруты удлиняются в 1.2-г-1.7 раза, число копий пакетов сокращается в 2.5-^-7.0 раз.

Сокращение времени проведения одного эксперимента представлено на рис. 6. Отметим, что по этим данным нельзя судить об ускорении

Время выполнения эксперимента, с

350

300 Г

250 \

200 ;

150 - t 100

50 ' " "

•J

0 '

8 12 16 Число процессов

Рисунок 4

вычислений (в классическом понимании), поскольку генерирование топологии сенсорной сети имеет сложность 0(п2).

Доля доставленных пакетов 1

...у

10.0

Время работы, с 1600 ,

1200

800 -

400 '- -'

о

4 9 16 Число процессов Рисунок 6

Рисунок 5

Далее рассматриваются численные эксперименты по моделированию базового и модифицированного перколяционного поиска в одноранговых телекоммуникационных РЬ-сетях распределенного хранения данных. Прежде всего, исследован вопрос параллельного генерирования топологии. Рассмотрим степенное распределение с у = 2.0 и сеть из 10 000 узлов. Результаты представлены в таблице: сравнивается ожидаемое и полученное среднее число соседей по сети, а также указывается

Число процессов Время выполнения Ожидаемое среднее число соседей Полученное среднее число соседей Расстояние между распределениями (погрешность, %)

8 1272.3 с 3.308 3.251 148(1.5%)

12 252.6 с 3.308 3.254 168(1.7%)

16 81.0 с 3.308 3.298 152(1.5%)

Время генерирования сокращается как Т(Р) ~ р-3-94, где Р - число процессов. Аналогичные данные получены и для других значений параметров и распределений. Полученные результаты свидетельствуют о корректности и эффективности алгоритма распределенного генерирования топологии. Ошибка составляет не более 2% при допустимом уровне в 10%.

В генерируемых PL-топологиях исследовался базовый и модифицированный перколяционный поиск данных (контента). Рассмотрена модель PL-сети из 20 000 узлов (у = 2.0), в которой задавались параметры внедрения контента, запроса и поиска. Моделировалось 20 000 распространений контента и столько же запросов. Основной выходной параметр — доля успешных запросов w(L,Lp,p) (абсолютная погрешность ее измерения равна 0.04 при доверительной вероятности 0.95). На рис. 7 и 8 представлены результаты по базовому и модифицированному алгоритмам соответственно, параметр р = 0.025. Эксперименты, которые проводились на PL-сетях с у = 1.5-^2.5, позволяют

обобщить полученные данные следующим образом: при фиксированных число успешных запросов вырастает в 1.0 -г- 9.0 раз, при фиксированном уровне успешных, запросов базовый алгоритм требует в 1.5-^7.0 раз больше служебных пакетов. Доля успешных запросов 1

Доля успешных запросов 1

Рисунок 7 Рисунок 8

Далее проведены численные эксперименты по моделированию медленного трафика в сенсорных сетях с переключающимися узлами. Не синхронизированное и независимое друг от друга переключение узлов из активного состояния в неактивное и наоборот является инженерным решением, которое можно применить в сенсорной сети для сокращения расходов энергии. Оповещением называется процесс распространения данных от узла всем остальным, узел получивший оповещение не выключается до тех пор, пока не оповестит всех соседей. Среднее время оповещения всех узлов зависит от параметров переключения (например, от среднего времени неактивного состояния t0). При проектировании сети необходимо выбрать такой параметр t0, при котором среднее время оповещения будет требуемым. В одном из источников аналитически показано, что среднее время оповещения узлов линейно относительно времени неактивного состояния t0 (при равномерном и экспоненциальном распределении промежутков времени в расписании). Проведена серия экспериментов с моделью сенсорной сети из 100 000 узлов (среднее число соседей равно 5), которая подтвердила данное утверждение На рис. 9 представлен процесс роста числа оповещенных узлов в зависимости от t0, среднее время оповещения представлено на рис. 10.

В ходе пятой серии экспериментов проверялась корректность оценки порога перколяции в телекоммуникационных сетях с переключающимися связями. Рассмотрены две сети, для которых порог перколяции в задаче связей известен. В каждой сети JV = 100 000 узлов. «Сеть 1» представляет собой сеть с базовой топологией прямоугольной решетки с использованием диагональных связей, порог перколяции такой сети

получен аналитически: рс = 0.25. «Сеть 2» имеет базовое пуассоновское распределение, среднее число соседей 7.82. Порог перколяции такой сети вычислен предварительно (рс = 0.50±0.01). Пусть связи переключаются так, что М/ — средняя вероятность активности связи. Сравним прогнозное значение порога для такой сети р* = — с получаемым в ходе

эксперимента порогом перколяции (верхним). Результаты представлены на рис. 11 и 12. Абсолютная погрешность в измерении верхнего порога перколяции не превосходит 0.02. При очень большом разбросе входных параметров погрешность оценки (прогноза) не превосходит 8%, значит, с соответствующей поправкой это значение может применяться при перколяционной маршрутизации методом «лавина».

Доля оповещенных узлов Среднее время оповещения, ед.

1

5000

•10= 10 10= 100

10000 15000 = 50 Время, ед

Рисунок 9

20 40 60 80 100 Время неактивного состояния 10, ед Рисунок 10

Пороги перколяции

1 "Т...........................V...................

0.8 0.6 0.4 0.2 0

Пороги перколяции 1 .....

ЮТ

0.8 0.6 0.4 0.2 0

мг

0 0.2 0.4 0.6 0.8 1 ••• р* (прогноз) ——р (верхний) Рисунок 11

0.2 0.4 '(прогноз)

0.6 0.8 1 —р (верхний)

Рисунок 12

В заключение сведения о быстродействии алгоритмов, лежащих в основе ядра и модулей расширения, можно обобщить в следующей таблице. Здесь же указан максимум коэффициента осцилляции к значений вектора (Тр), который представляет собой суммарное время выполнения операции моделирования процессом с номером р. Это значение нигде не превосходит заданного как параметр порогового значения 0.1 (которое выбрано из эмпирических соображений), что свидетельствует о требуемой

сбалансированности работы процессов. Приведенные в таблице соотношения могут служить основой для выбора числа процессоров при проведении численных экспериментов.___

Номер Число Среднее время Ускорение s(P) или Коэф.

серии узлов сети проведения оценка времени Г(Р) осцилляции

эксперимента основного алгоритма к

1 24 ООО ООО 130 с s(P) = 0.93Р 0.09

2 100 000 350 с Т(Р) ~ Р~глг 0.08

3 20 000 120 с т(р~) ~ р-3-94 0.04

4 100 000 280 с Т(Р) ~ Р~213 0.06

5 100 000 190 с s(P) = 0.92 Р 0.05

В заключении сформулированы основные результаты работы, которые сводятся к следующему.

1. Проведены серии экспериментов с имитационными моделями сетей и систем телекоммуникаций (проводные компьютерные сети, сенсорные сети, мобильные сети).

a. Исследован процесс распространения данных в компьютерной сети с топологией трехмерной решетки. Вычислены пороги перколяции в задаче узлов для данной топологии.

b. Исследован алгоритм адаптивной перколяционной (вероятностной) лавинной маршрутизации в сенсорных сетях. Показано, что в любой сенсорной сети существует критическое значение параметра, не зависящее от связности, при котором такая лавина эквивалентна полной.

c. Исследован вопрос распространения данных в сенсорной сети с переключающимися узлами. Показано, что среднее время оповещения всех узлов такой сети линейно растет с ростом времени неактивного состояния узлов.

2. Исследован алгоритм модифицированного перколяционного (вероятностного) поиска в компьютерных сетях распределенного хранения данных. Показано, что при его использовании: при одной и той же глубине блужданий число успешных запросов возрастает в 1.0 9.0 раз, при фиксированном уровне успешных запросов требуется в 1.5 -г- 7.0 раз меньше служебных пакетов.

3. Исследовано перколяционное свойство телекоммуникационных сетей с неустойчивыми связями (мобильных сетей). Показано, что в таких сетях при проведении лавинной рассылки можно использовать каждую связь с вероятностью р*, которая оценивается как и, соответственно,

сократить число используемых связей в (р*)-1 раз. Здесь рс — статический порог перколяции, М/ — средняя по сети вероятность активности связей. При этом достигается тот же эффект, что и при полной лавине. Ошибка оценки р* составляет не более 8%.

4. В ходе экспериментов подтверждены заявленные качества разработанного программного обеспечения.

a. Универсальность симулятора подтверждена моделированием реальных телекоммуникационных сетей различной природы (с проводными, радио- и оптическими каналами связи) с использованием общераспространенных моделей.

b. Расширяемость и модульность симулятора подтверждены тем фактом, что разные имитационные модели собраны из базового набора модулей расширения. Все модули расширения имеют унифицированный интерфейс и разрабатывались независимо от других модулей и ядра симулятора.

c. Подтверждена работоспособность, корректность и эффективность распределенных алгоритмов генерирования топологий, положенных в основу модулей расширения. Пусть Р -число процессов. Алгоритм распараллеливания генерирования тополопш сенсорной сети позволяет строить модель сети за время Т(Р) ~ Р"2Л3. Алгоритм распараллеливания генерирования топологии проводной сети с заданной плотностью распределения создает модель сети за время Т(Р) ~ Я-3,94. Ошибка при этом не превосходит 2% при допустимом уровне в 10%. Разработанный алгоритм рабочего процесса обеспечивает ускорение s(P) = 0.93Р, что свидетельствует о высокой эффективности работы ядра симулятора.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

В рецензируемых журналах из перечня ВАК

1. Аракелян С.М., Звягин М.Ю., Милованов Д.С., Прокошев В.Г., Шамин П.Ю. Многоцелевая маршрутизация с использованием механизма самоорганизации в мобильных сетях с ограниченно подвижными отключаемыми узлами // Информатизация образования и науки, №2(6), 2010. — С.52-62.

2. Голубев A.C., Звягин М.Ю., Милованов Д.С. Применение структурной информации о топологии для снижения ресурсоемкости протоколов маршрутизации в мобильных сетях // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета, серия «Информатика. Телекоммуникации. Управление», №2(76), 2009. — C.43-J8.

В других изданиях

3. Аракелян С.М., Милованов Д.С., Прокошев В.Г., Тухтамирзаев А.Ю., Шамин П.Ю. Об организации интеллектуальной маршрутизации в сети с динамической топологией с использованием статистических

характеристик связей // Информатизация образования и науки, №1(5), 2010. — С.43-55.

4. Милованов Д.С. Генерирования графа с заданным распределением в условиях распределения топологии // Материалы П-ой Международной научно-практической конференции «Прогрессивные технологии и перспективы развития», Тамбов, 2010. — С.45.

5. Голубев A.C., Звягин М.Ю., Милованов Д.С., Шамин П.Ю. К вопросу об огрублении статистических данных при вероятностной маршрутизации в мобильных сетях с высоким уровнем изменчивости топологии // Материалы XVII Всероссийской научно-методической конференции «Телематика-2010», СПб, 2010. —С. 250-251.

6. Аракелян С.М., Милованов Д.С., Прокошев В.Г. Повышение эффективности лавинной маршрутизации для сетей с экстремально быстро изменяющейся топологией за счет проактивного принципа // Материалы XVI Всероссийской научно-методической конференции «Телематика-2009», СПб, 2009. — С. 255-256.

7. Голубев A.C., Милованов Д.С., Звягин М.Ю. Эффект перколяции в информационных сетях с неустойчивыми связями // Материалы Девятой международной конференции-семинара «Высокопроизводительные параллельные вычисления на кластерных системах», Владимир, 2009. — С.101-105.

8. Аракелян С.М., Милованов Д.С., Прокошев В.Г., Шамин П.Ю. Методы оценки параметров линии связи в сети с ограниченно подвижными отключаемыми узлами // Материалы XV Всероссийской научно-методической конференции «Телематика-2008», СПб, 2008. — С.133-134.

9. Милованов Д.С., Шамин П.Ю. Организация устойчивого канала связи в сети с ограниченно подвижными отключаемыми узлами // VIII Международная научно-техническая конференция «Физика и радиоэлектроника в медицине и экологии», Владимир, 2008. — С.318-320.

10. Звягин М.Ю., Милованов Д.С., Прокошев В.Г. Алгоритмы сбора информации, маршрутизации и агрегации в мобильных сетях // Материалы международного форума по проблемам науки, техники и образования «III тысячелетие — новый мир», М., 2007. — Т.2. — С.91-93.

Подписано в печать 22.03.11 Формат 60x84/16. Усл. пен. л. 1,16. Тираж 100 экз.

Заказ 66-<?0/Л-Г Издательство Владимирского государственного университета. 600000, Владимир, ул.Горького, 87.

Оглавление.

Введение.

Глава I. Средства моделирования сетей и систем телекоммуникаций.

1.1. Общие вопросы моделирования сетей. Понятие и классификация средств моделирования сетей.

1.2. Обзор средств моделирования.

1.2.1. Нераспределенные средства моделирования.

1.2.2. Распределенные средства моделирования.

1.2.3. Обзор моделирующих программ ас1 Ьос.

1.3. Отчет о недостатках.

1.4. Выводы по главе.

Глава II. Разработка моделирующего пакета - универсальной распределенной системы моделирования сетей телекоммуникаций.

2.1. Концепция универсальной системы моделирования сетей.

2.1.1. Формулировка и подтверждение основных положений.

2.1.2. Объекты модели.

2.1.3. Структура системы моделирования.

2.2. Архитектура и программная реализация ядра моделирующей программы (симулятора).

2.2.1. Моделирование с дискретным временем.

2.2.2. Статические библиотеки — интерфейс программирования (АР!).

2.2.3. Алгоритм работы контролирующего процесса.

2.2.4. Алгоритм рабочих процессов.

2.2.5. Алгоритм разделения топологии по умолчанию.

2.2.6. Алгоритм динамической балансировки нагрузки.

2.2.7. Предоставление возможности агрегирования данных.

2.3. Модули расширения: алгоритмы функционирования и используемые модели.

2.3.1. Сведения из теории перколяции.

2.3.2. Регулярная топология.

2.3.3. Пуассоновский ансамбль (топология сенсорной сети).

2.3.4. Алгоритм генерирования топологии для модели проводной сети с заданной функцией плотности распределения степеней узлов.

2.3.5. Перколяционный поиск в децентрализованных сетях распределенного хранения данных.

2.3.6. Модификация алгоритма перколяционного поиска.

2.3.7. Маршрутизации методом «лавина» и ее варианты.

2.3.8. Перколяционное свойство динамических телекоммуникационных сетей. Сетевой алгоритм перколяционной лавины в условиях задачи связей

2.3.9. Модуль изменения состояния связей.

2.3.10. Модель включения и выключения узлов по расписанию.

2.3.11. Модели генерирования трафика.

2.4. Система управления.

2.4.1. Выбор архитектуры.

2.4.2. Программная реализация.

2.4.3. Сервер системы управления.

2.4.4. Клиент системы управления.

2.5. Программа для агрегирования и анализа выходных данных.

2.6. Выводы по главе.

Глава III. Имитационное моделирование сетей телекоммуникаций с помощью разработанной системы и обсуждение результатов.

3.1. Назначение и обзор экспериментов. Вычислительная платформа для проведения экспериментов.

3.2. Эксперименты по численному определению порогов перколяции сети с топологией трехмерной решетки.

3.3. Эксперименты по моделированию трафика в статических телекоммуникационных сетях.

3.3.1. Моделирование перколяционной лавины в сенсорных сетях.

3.3.2. Исследование алгоритма перколяционного поиска в одноранговых (пиринговых) PL-сетях распределенного хранения данных.

3.4. Эксперименты по моделированию трафика в динамических телекоммуникационных сетях.

3.4.1. Моделирование медленного трафика в сенсорных сетях с переключающимися узлами.

3.4.2. Исследование перколяционного свойства динамических сетей.

3.5. Загрузка процессоров.

3.6. Выводы по главе.

Новейшие телекоммуникационные технологии являются необходимым условием развития современной экономики. В связи с внедрением сетевых технологий во многие сферы человеческой деятельности наблюдается повышенный интерес к вопросам моделирования и проектирования сетей и систем передачи данных. Моделирование используется практически повсеместно для предварительных исследований новых сетевых алгоритмов, предшествующих их внедрению в качестве управляющего программного обеспечения в узлы сети. Зачастую моделирование является единственным способом разработки новых принципов построения и работы систем, сетей, устройств связи, проверки качества предлагаемых решений, изучения их свойств, выявления зависимостей между параметрами и т.п. Моделирование также используется при изучении явлений в уже существующих системах телекоммуникаций.

На сегодняшний день существуют десятки моделирующих программ (симуляторов) сетей различного назначения. За рубежом программное обеспечение такого рода разрабатывается оборонным агентством США DARPA (проект VINT), группой Калифорнийского университета (проф. Р. Багродиа) в сотрудничестве с Национальной лабораторией в Беркли, группой Технологического института Джорджии (проф. Р. Фуджимото), а также производителями сетевого оборудования (Cisco). Эти и другие программы отличаются по степени универсальности (от достаточно универсальных систем до систем, ориентированных на конкретные модели оборудования) и расширяемости (от систем с фиксированной функциональностью до систем, позволяющих программирование на том или ином языке). В России вопросами моделирования и проектирования сетей и систем телекоммуникаций занимается множество научных коллективов (под руководством Г.Г. Яновского, К.Е. Самуйлова, В.М. Вишневского, Б.С.

Гольдштейна, А.Е. Кучерявого, Е.Б. Алексеева, В.В. Крылова, В.А. Ершова, E.H. Таруты, Г.П. Башарина, С.М. Аракеляна и др.)

В связи с бурным развитием вычислительной техники становится возможной программная реализация распределенных программ моделирования сетей и систем телекоммуникаций. Такие программы отличает возможность моделирования очень больших сетей (от нескольких десятков тысяч узлов и выше), возможность поддержания объемных структур данных, а также более высокая сложность (программирования, расширения и т.д.) Примерами объектов имитационного моделирования в этом случае могут служить сенсорные сети, осуществляющие мониторинг большой территории, большие сети с ограниченно подвижными устройствами, одноранговые децентрализованные компьютерные сети распределенного хранения данных, корпоративные сети, подсети сети Интернет и т.п. и, соответственно, все новые алгоритмы разных уровней в этих сетях. Среди алгоритмов управления потоком данных в таких сетях выделим алгоритмы, использующие приложения теории перколяции (в частности, вероятностный подход к использованию узлов и каналов связи при маршрутизации).

Распределенных симуляторов значительно меньше обычных, и лишь один из них не является коммерческим программным продуктом (что, помимо остальных недостатков, затрудняет или делает невозможным их использование в образовательном процессе). В этом свете не вызывает сомнений то, что разработка распределенного симулятора и проведение численных экспериментов на имеющемся в ВлГУ кластере «СКИФ Мономах» является перспективной и актуальной задачей.

Цель и задачи исследования

Целью данной диссертационной работы является разработка концепции и последующая программная реализация универсальной распределенной расширяемой системы моделирования сетей и систем телекоммуникаций. Разрабатываемый моделирующий пакет должен быть лишен большинства недостатков существующих программных продуктов, позволять гибкое единообразное расширение возможностей, а также содержать базовый набор компонент, ориентированных на моделирование наиболее распространенных сетей (проводных компьютерных, сенсорных, мобильных) и сетевых алгоритмов. Разработка концепции и архитектуры должна быть основана на результатах обзора существующих средств и методов имитационного моделирования.

В ходе работы решались следующие задачи:

1. Разработка архитектуры и алгоритмов работы программного пакета для распределенного моделирования сетей и систем телекоммуникаций: алгоритма цикла моделирования и алгоритма динамической балансировки нагрузки на процессоры.

2. Разработка и реализация модулей расширения для моделирования:

- регулярных сетей (с оптическими или проводными каналами связей),

- сенсорных сетей (с радиоканалами связей),

- статических одноранговых децентрализованных сетей с заданными степенями узлов (с проводными каналами связей),

- сетей класса MANET с ограниченно подвижными узлами (с радиоканалами связей).

3. Проведение на основе разработанного моделирующего пакета имитационного моделирования с целью:

- исследования трафика в статической сенсорной сети и сенсорной сети с переключающимися узлами;

- исследования базового и модифицированного алгоритма перколяционного поиска в компьютерных сетях распределенного хранения данных («пиринговых» сетях) со степенной функцией плотности распределения числа соседних узлов (PL-сети);

- исследования перколяционных свойств сети с неустойчивыми связями и структурными особенностями (мобильной сети), моделирование перколяционной маршрутизации методом «лавина», 7

- определения порога перколяции в трехмерной регулярной сети, состоящей из узлов, соединенных оптическими связями и формирующими мультикомпьютер.

Методы исследования

Достоверность полученных в работе результатов обеспечивается применением методов теории множеств, теории графов, теории перколяции, теории вероятности и математической статистики, теории алгоритмов, теории параллельных и распределенных вычислений и подтверждены результатами имитационного моделирования.

Научная новизна

Научную новизну работы определяют следующие положения:

1. Разработана параллельная версия алгоритма генерирования топологии проводной телекоммуникационной сети с заданной функцией плотности распределения степеней узлов.

2. Модифицирован алгоритм перколяционного поиска в одноранговых сетях распределенного хранения данных (разработан алгоритм направленного внедрения данных и запросов).

3. Установлено соотношение между порогами перколяции мобильных телекоммуникационных сетей для задачи связей в статическом и динамическом случаях.

4. Предложен алгоритм сокращения накладных расходов при лавинной рассылке в мобильных сетях с независимо переключающимися связями.

Личный вклад

В работах, опубликованных в соавторстве, автором предложены алгоритмы программ, имитационные модели, выполнены лично основные расчеты, проведено моделирование, произведен анализ результатов.

Практическая ценность работы заключается в том, что в ней предложен и программно реализован моделирующий пакет, 8 ориентированный на распределенное высокоуровневое моделирование сетей и систем телекоммуникаций, состоящих из большого числа узлов. На его основе получены новые результаты в области алгоритмов для управления потоком данных в компьютерных телекоммуникационных сетях. Алгоритмы реализованы в программном обеспечении узлов реальных сетей, получены акты внедрения.

Предложенная модификация алгоритма перколяционного (вероятностного) поиска в распределенных компьютерных сетях хранения данных (пиринговых сетях) позволяет сократить в 1.5-Г-7.0 раз число служебных пакетов в пересчете на 1 запрос при сохранении того же уровня успешных запросов.

Алгоритм перколяционной (вероятностной) лавинной рассылки позволяет сократить число копий пакетов данных в мобильной сети с неустойчивыми каналами связи, для которой известен статический порог перколяции и может быть оценена средняя вероятность активности связей (величина сокращения числа копий пакетов зависит от этих двух параметров).

Разработанный алгоритм рабочего процесса обеспечивает ускорение $(Р) = 0.93Р (Р - число процессов). Алгоритм распараллеливания генерирования топологии сенсорной сети позволяет строить модель сети за время Г(Р) ~ Р-213. Алгоритм распараллеливания генерирования топологии проводной сети с заданной плотностью распределения создает модель сети за время Г(Р) ~ р~3-94. Полученные оценки свидетельствуют о высокой эффективности распараллеливания, заключающейся в значительном сокращении времени экспериментов при увеличении числа используемых процессоров.

Внедрение результатов

На разработанный программный комплекс получена государственная регистрация программы для ЭВМ №2009610991, соавторы - П.Ю. Шамин, A.C. Голубев.

Моделирующий пакет программ используется для выполнения госбюджетных и хоздоговорных научно-исследовательских работ в рамках ряда ФЦП Минобразования.

Программное обеспечение внедрено в следующих организациях:

- Владимирский Государственный университет,

- Группа компаний «Инрэко JIAH», г. Владимир;

- ООО «ФС Сервис», г. Владимир.

Апробация работы

Основные результаты работы докладывались и экспонировались на следующих научно-технических совещаниях и конференциях:

1. И-я Международная научно-практическая конференция «Прогрессивные технологии и перспективы развития», Тамбов, 5 ноября 2010г.

2. XVII Всероссийская научно-методическая конференция «Телематика-2010», Санкт-Петербург, 21-24 июня 2010 г.

3. IX международная конференция-семинар «Высокопроизводительные параллельные вычисления на кластерных системах», Владимир, 2-3 ноября 2009 г.

4. XVI Всероссийская научно-методическая конференция «Телематика-2009», Санкт-Петербург, 22-25 июня 2009 г.

5. VIII Международная научно-техническая конференция «Физика и радиоэлектроника в медицине и экологии» ФРЭМЭ'2008, Суздаль, 2-4 июля 2008 г.

Положения, выносимые на защиту

На защиту выносятся:

1. Архитектура и алгоритмы функционирования комплекса программ для распределенного моделирования сетей и систем телекоммуникаций.

2. Модификация алгоритма перколяционного поиска в компьютерной пиринговой сети.

3. Алгоритм перколяционной (вероятностной) маршрутизации методом «лавина» в мобильной телекоммуникационной сети с изменяющейся топологией и структурными особенностями.

4. Компьютерные имитационные модели, с помощью которых проводились исследования сетей и сетевых алгоритмов.

Публикации

Основные результаты работы представлены в 12 публикациях, в том числе 2 статьях в журналах из перечня ВАК.

Объем и структура диссертации

Текст диссертационной работы изложен на 148 стр. машинописного текста (из них 12 страниц приложений). Содержательная часть включает введение, три главы и заключение. Список использованных источников содержит 92 наименования. Таблиц 27, рисунков 36.

3.6. Выводы по главе

1. С помощью сетевого симулятора проведены эксперименты и серии экспериментов, направленные на подтверждение заявленных качеств разработанного программного обеспечения. a) Универсальность симулятора подтверждена моделированием как абстрактной сетевой структуры, так и реальных проводных и беспроводных телекоммуникационных сетей разной природы с использованием общераспространенных моделей. b) Расширяемость и модульность симулятора подтверждены тем фактом, что разные имитационные модели собраны из базового набора модулей расширения. Все модули расширения имеют унифицированный интерфейс и могут разрабатываться независимо от других модулей и ядра симулятора. c) Подтверждена работоспособность, корректность и эффективность распределенных алгоритмов генерирования топологий, положенных в основу модулей расширения. Пусть Р — число процессов. Разработанный алгоритм рабочего процесса позволяет достигать практически линейного ускорения 5(Р) = 0.93Р. Алгоритм распараллеливания генерирования топологии сенсорной сети позволяет строить сеть за время Г(Р) ~ р~213. Алгоритм распараллеливания генерирования топологии с заданной плотностью распределения создает сеть за время Г(Р) ~ р-3-94. Ошибка при этом не превосходит 2% при допустимом уровне в 10%.

2. Проверены результаты, согласующиеся с уже описанными в литературе (в виде аналитических выводов или численных результатов), но полученные на

120 сетях больших размеров, что приводит к увеличению точности и достоверности выводов. a) Вычислен порог перколяции в задаче узлов для топологии трехмерной решетки, полученная точность 0.005. b) Показано, что в сенсорной сети существует такое значение параметра (не зависящее от связности), при по котором адаптивная перколяционная лавина эквивалентна полной лавине. c) Показано, что среднее время оповещения всех узлов сенсорной сети линейно растет с ростом времени неактивного состояния узлов.

3. Показано, что при использовании модифицированного перколяционного поиска: при одной и той же глубине блужданий число успешных запросов возрастает в 1.0-г9.0 раз, при фиксированном уровне успешных запросов требуется в 1.5^-7.0 раз меньше служебных пакетов.

4. Показано, что в сетях с неустойчивыми связями при проведении лавинной рассылки можно использовать каждую связь с вероятностью р*, которая

Рс оценивается как и, соответственно, сократить число используемых связей в (р*)-1 раз. Здесь рс — статический порог перколяции, М/ — средняя по сети вероятность активности связей. При этом будет достигнут тот же эффект, что и при полной лавине. Ошибка оценки р* составляет не более 9%.

Заключение

1. В силу того, что существующие моделирующие программы (симуляторы) обладают рядом недостатков (сложность расширения, конфигурирования, неразвитость интерфейса, ориентированность на решение узкого набора задач и т.п.) существует потребность в разработке распределенного средства моделирования сетей и систем телекоммуникаций достаточно универсального, что бы осуществлять высокоуровневое моделирование сетей различной природы. Предложена концепция универсальной системы моделирования сетей, а также структура системы моделирования, работающей согласно данной концепции. Все компоненты системы моделирования реализованы в виде единого комплекса программ. При реализации модулей расширения за основу брались модели, описанные в ряде конкретных публикаций и являющиеся общепринятыми. На разработанное программное обеспечение получена государственная регистрация программы для ЭВМ.

2. Проведены серии компьютерных экспериментов с имитационными моделями сетей и систем телекоммуникаций (проводные компьютерные сети, сенсорные сети, мобильные сети). a) Исследован процесс распространения данных в компьютерной сети с топологией трехмерной решетки. Вычислены пороги перколяции в задаче узлов для данной топологии. b) Исследован алгоритм адаптивной перколяционной лавинной маршрутизации в сенсорных сетях. Показано, что в любой сенсорной сети существует критическое значение параметра, не зависящее от связности, при котором такая лавина эквивалентна полной. c) Исследован вопрос распространения данных в сенсорной сети с переключающимися узлами. Показано, что среднее время оповещения всех узлов такой сети линейно растет с ростом времени неактивного состояния узлов.

3. Исследован алгоритм модифицированного перколяционного поиска в компьютерных сетях распределенного хранения данных. Показано, что при его использовании: при одной и той же глубине блужданий число успешных запросов возрастает в 1.0-^9.0 раз, при фиксированном уровне успешных запросов требуется в 1.5-Т-7.0 раз меньше служебных пакетов.

4. Исследовано перколяционное свойство компьютерных сетей с неустойчивыми связями (мобильных сетей). Показано, что в таких сетях при проведении лавинной рассылки можно использовать каждую связь с вероятностью р*, которая оценивается как и, соответственно, сократить число используемых связей в (р*)-1 раз. Здесь рс — статический порог перколяции, М/ — средняя по сети вероятность активности связей. При этом достигается тот же эффект, что и при полной лавине. Ошибка оценки р* составляет не более 8%.

5. В ходе компьютерных экспериментов подтверждены заявленные качества разработанного программного обеспечения. a) Универсальность симулятора подтверждена моделированием реальных сетей различной природы (с проводными, радио- и оптическими каналами связи) с использованием общераспространенных моделей. b) Расширяемость и модульность симулятора подтверждены тем фактом, что разные имитационные модели собраны из базового набора модулей расширения. Все модули расширения имеют унифицированный интерфейс и разрабатывались независимо от других модулей и ядра симулятора. c) Подтверждена работоспособность, корректность и эффективность распределенных алгоритмов генерирования топологий, положенных в основу модулей расширения. Пусть Р — число процессов. Разработанный алгоритм рабочего процесса позволяет достигать ускорения 5(Р) = 0.93Р. Алгоритм распараллеливания генерирования топологии сенсорной сети позволяет строить модель сети за время Г(Р) ~ Р-213. Алгоритм распараллеливания генерирования топологии проводной сети с заданной плотностью распределения создает модель сети за время Г(Р) ~ Р~3 94. Ошибка при этом не превосходит 2% при допустимом уровне в 10%.

1. Голубев A.C., Милованов Д.С., Шамин П.Ю. Параллельный сетевой симулятор. Свидетельство об официальной регистрации программы для ЭВМ №2009610991, Дата регистрации в Реестре программ для ЭВМ — 13 февраля 2009г.

2. Милованов Д.С. Генерирования графа с заданным распределением в условиях распределения топологии // Материалы П-ой Международной научно-практической конференции «Прогрессивные технологии и перспективы развития», Тамбов, 2010. — С.45

3. Голубев A.C., Звягин М.Ю., Милованов Д.С. Применение структурной информации о топологии для снижения ресурсоемкости протоколов маршрутизации в мобильных сетях // Научно-технические ведомости Санкт

4. Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление., №2(76), 2009. — С.43-48.

5. Аракелян С.М. , Милованов Д.С., Прокошев В.Г., Шамин П.Ю. Методы оценки параметров линии связи в сети с ограниченно подвижными отключаемыми узлами // Материалы XV Всероссийской научно-методической конференции Телематика-2008, СПб, 2008. — С.133-134.

6. Звягин М.Ю., Милованов Д.С., Прокошев В.Г. Алгоритмы сбора информации, маршрутизации и агрегации в мобильных сетях// Материалы международного форума по проблемам науки, техники и образования «III тысячелетие новый мир». - М., 2007. - Т. 2. — С. 91 -93.

7. Екре О., Lu М. Percolation routing in a three-dimensional multicomputer network topology using optical interconnection // Journal of Optical Networking, 2005, Vol. 4, Issue 3, pp. 157-175.

8. G. A. Di Caro Analysis of simulation environments for mobile ad hoc networks IDSIA I USI-SUPSI, Technical Report No. IDSIA-24-03 Электронный ресурс. —Режим доступа: http://www.idsia.ch/idsiareport/IDSIA-24-03.pdf

9. Tseng Y.C., Ni S.Y, Shih E.Y. Adaptive approaches to relieving broadcast storms in a wireless multihop mobile ad hoc network // IEEE Transactions on Computers, May 2003, Vol. 52, pp. 545 557.

10. Vakulya G., Simony G. Energy efficient percolation-driven flood routing for large-scale sensor networks // International Multiconference Computer Science and Information Technology, 20-22 Oct. 2008, pp. 877 883.

11. Haas Z. J., Halpern J.Y. Gossip-based ad hoc routing INFOCOM 2002. Twenty-First Annual Joint Conference of the IEEE Computer and Communications Societies. Proceedings. IEEE 1707 1716. Vol.3, 2002.

12. Balakrishnan A., Krishnan S. Simulation of RFID platform on NS-2 Электронный ресурс. — Режим доступа: http://pages.cs.wisc.edu/~arinib/740report.pdf

13. Marques H., Ribeiro J., Marques P., Rodriguez J. Simulation of 802.21 Handovers Using ns-2 // Journal of Computer Systems, Networks, and Communications Vol. 2010.

14. Samyak S., Mahesh A.K., Bhole S.G. Performance Evaluation of Ad Hoc Routing Protocols Using NS2 Simulation Электронный ресурс. — Режим доступа: http://tifac.velammal.0rg/C0MPC/articles/3 5 .pdf.

15. Dousse О., Baccelli F., Thiran P.: Impact of interferences on connectivity in ad hoc networks // IEEE/ACM Trans. Netw. 13(2), 2005, pp. 425-436.

16. Takai M. "Efficient Wireless Network Simulations with Detailed Propagation Models", ACM Wireless Networks, Vol. 7, 2001, pp. 283-306.

17. Royer E. M., Melliar-Smith P. M., Moser L. E. "An Analysis of the Optimum Node Density for Ad Hoc Mobile Networks" // Proceedings of IEEE International Conference on Communications (ICC), Helsinki, June 2001, Vol. 3, pp. 857 861.

18. Park S., Sawides A. SensorSim: a simulation framework for sensor networks // Proceeding MSWIM '00 Proceedings of the 3rd ACM international workshop on Modeling, analysis and simulation of wireless and mobile systems, pp. 104-111.

19. Sarshar N., Boykin P.O., Roychowdhury V.P. Percolation Search in Power Law Networks: Making Unstructured Peer-To-Peer// Proceedings of Fourth International Conference Peer-to-Peer Computing, 2004, pp. 2-9.

20. Sarshar N., Boykin P.O., Roychowdhuiy V.P. Scalable percolation search on complex networks // Theoretical Computer Science, №355 (2006), pp. 48-64.

21. Dousse О., Mannersalo P., Thiran P. Latency of wireless sensor networks with uncoordinated power saving mechanisms // Presented atMobihoc, Tokyo, 2004, pp. 109-120.

22. Аничкин, C.A. Протоколы информационно-вычислительных сетей: Справочник / C.A. Аничкин, C.A Белов, А.В. Бернштейн А.В. и др.; под ред. И.А. Мизина, А.П. Кулешова А.П. — М.: Радио и связь, 1990. — 504 с.

23. Меньшиков М. В., Молчанов С. А., Сидоренко А. Ф. «Теория перколяции и некоторые приложения», Итоги науки и техн. Сер. Теор. вероятн. Мат. стат. Теор. кибернет., 24, ВИНИТИ, М., 1986, с. 53-110.

24. Тарасевич Ю.Ю. Перколяция: теория, приложения и алгоритмы -М.: Едиториал УРСС, 2002. 112с.

25. Grimmet G. Percolation. 2nd edition. Springer-Verlag Berlin Heidelberg, 1999-456pp.

26. Bresla L., Estrin D., Fall K., Floyd S. "Advances in Network Simulation" // The VINT Project. IEEE Computer, №5, 2000, pp. 59-67.

27. Fall K., Varadhan K. The ns Manual. The VINT Project Электронный ресурс. — Режим доступа: http://www.isi.edu/nsnam/ns/doc/nsdoc.pdf.

28. VINT Project. The UCB/LBNL/VINT network simulator-ns (Version 2). Электронный ресурс. — Режим доступа: http://www.isi.edu/nsnam/ns.

29. Pullen J.M. "The Network Workbench: Network Simulation Software for Academic Investigation of Internet Concepts" // Computer Networks, Vol. 3, Issue 3,2000, pp. 365-378.

30. Barnett B.L. "An Ethernet Simulator for Undergraduate Networking" // Proceedings of the 24th SIGCSE Technical Symposium on Computer Science Education, Vol. 25, Issue 1, 1993, pp. 145-150.

31. Griffin D. "Traffic Engineering for Quality of Services in the Internet, at Large Scale" // Technical Report, CEC Deliverable Number: 201/UCL/bl, TEQUILA Consortium, 2000.

32. Jelasity M. "A Basic Event Driven Example for PeerSim 1.0", Электронный ресурс. — Режим доступа: http://peersim.sourceforge.net/tutorialed/tutorialed.pdf.

33. Chang X. 1999. "Network Simulations with OPNET" // Proceedings of the 1999 Winter Simulation Conference, Vol. 1, 1999, pp. 307-314.

34. OPNET Technologies, Inc. 2004. "OPNET Modeller" Электронный ресурс.

35. Режим доступа: http://www.opnet.com/ products/modeler/home.html.

36. CACI Products Company. "COMNET III User's Manual", Электронный ресурс. — Режим доступа:http://www.sis.pitt.edu/~dtipper/2120/comnettutorial.pdf

37. Goble J.G., Mills R. COMNET III: Object-Oriented Network Performance Prediction // Proceedings of the 1994 Winter Simulation Conference, pp. 443-445.

38. Keshav S. "REAL 5.0 User Manual" Электронный ресурс. — Режим доступа: http://www.cs.cornell.edu/skeshav/real/user.html.

39. Riley G.F., Ammar M.P. "Simulation Large Networks: How Big is Big Enough?" // Proceedings of 1ST International Conference on Grand Challenge for Modeling and Simulation, 2002, pp. 39-45.

40. Parallel and Distributed Network Simulator, PDNS Электронный ресурс.

41. Режим доступа: http://www.cc.gatech.edu/computing/compass/pdns/.

42. Bhatt S., Fujimoto B.R. "Parallel Simulation Techniques for Large-Scale Networks" // IEEE Communication Magazine, №8, 1998, pp. 42-49.

43. Perumalla K., Fujimoto B.R. "TeD A Language for Modeling Telecommunication Networks" // ACM SIGMETRICS Performance Evaluation Review, Vol. 25, Issue 4, 1998, pp. 4-11.

44. Perumalla K.S. and R.M. Fujimoto. "Efficient Large-scale Process-oriented Parallel Simulations". Proceedings of the 30th Winter Simulation Conference, 1998, pp. 459-466.

45. Cowie J.H., Nicol D.M. "Modeling the Global Internet" // Computing in Science and Engineering. Vol. 1, Issue 1, 1999, pp. 42-50.

46. Cowie J.H., Nicol D.M. "Toward Realistic Million-Node Internet Simulations" // International Conference on Parallel and Distributed Processing Techniques and Applications (PDPTA'99), 1999, pp. 2129-2135.

47. Network Modeling and Simulation Электронный ресурс. / Haberma В.К., Burbank J.L. — Режим доступа:http://cms.comsoc.org/SiteGen/Uploads/Public/DocsGlobecom2009/6-2009GlobecomDDnetworkMS .pdf

48. Jason Liu. "Parallel Real-time Immersive Modeling Environment (PRIME). Scalable Simulation Framework (SSF). Version 1.0. User's Manual", 2006 Электронный ресурс. — Режим доступа: http://prime.mines.edu/papers/ssfuser.pdf.

49. Wilsey P. A., Rao D.M. "Simulation of Ultra-Large Communication Network" //Proceedings of 7th International Symposium on Modeling. Analysis and Simulation of Computer and Telecommunication Systems, MASCOT'99, 1999, pp. 112-119.

50. Wilsey P.A., Rao D.M. "An Ultra-Scale Simulation Framework" // Journal of Parallel and Distributed Computing, 2000, Vol. 10, № 1, pp. 18-38.

51. Rahman M.A., Pakstas A., Wang F.Z. "Network Modelling and Simulation Tools" // MESM'2006, pp. 28-30.

52. Cavin D., Sasson Y., Schiper A. "On the Accuracy of MANET Simulators" // POMC'02, pp. 38-43.65. "GloMoSim Manual (ver. 1.2)", 2001. Электронный ресурс. — Режим доступа: http://pcl.cs.ucla.edu/projects/glomosim/ GloMoSimManual.html)

53. Zeng X., Bagrodia R. "GloMoSim: A Library for Parallel Simulation of Large-scale Wireless Network" // Proceedings of the 12th workshop on Parallel and Distributed Simulation, 1998, pp. 154-161.

54. Fujimoto R.M., Perumalla K.S., Morgan G. Network Simulation. Morgan & Claypool, 2007, 66p.

55. Kurkowski S., Camp Т., Colagrosso M. MANET Simulation Studies: The Incredibles Электронный ресурс. — Режим доступа: http://www.cl.cam.ac.uk/~sos22/p50-kurkowski.pdf

56. Basagni S., Conti M., Giordano S., Stojmenovic I. Mobile Ad Hoc Networking // IEEE Press and John Wiley & Sons, Inc., 2004, 46lp.

57. Воеводин B.B., Воеводин Вл.В. Параллельные вычисления БХВ-Петербург, 2002. — 608 с.

58. Замятина Е.Б. Современные теории имитационного моделирования: специальный курс. Пермский государственный университет. Учебное пособие, 2007.- 119 с.

59. Вентцель, Е.С. Теория случайных процессов и её инженерные приложения: Учеб. пособие для студ. втузов. / Е.С. Вентцель, JI.A. Овчаров. — Изд. 3-е, перераб. — М.: Издательский центр «Академия», 2003. — 432 с.

60. Aiello W., Chung F., Lu L. Random evolution in massive graphs // In Handbook of massive data sets. Massive Comput., Vol. 4. Kluwer Acad. Publ., Dordrecht, pp. 97-122.

61. Erdoes P., Gallai T. Graphen mit punkten vorgeschriebenen grades // Mat. Lapok, №11, 1960, pp. 264-274.

62. Blitzstein J.K., Diaconis P. A sequential importance sampling algorithm for generating random graphs with prescribed degrees. Электронный ресурс. — Режим доступа:http://www.people.fas.harvard.edu/~bHt2/BlitzsteinDiaconisGraphAlgorithm.pdf.

63. Евин И.А. Введение в теорию сложных сетей // Компьютерные исследования и моделирование, 2010, т. 2, № 2. — С. 121-141.

64. Беспроводные сенсорные сети Электронный ресурс. / Садков А. — Режим доступа: http://www.sumkino.com/wsn/course/.

65. Creditability of Network Simulation Электронный ресурс. / Somnuk Puangpronpitag — Режим доступа:http://www.isan.msu.ac.th/somnuk/Talks/20041126-IEEE-Malaysia-Creditability.pdf.

66. Qualitative Comparison of Network Simulation Tools Электронный ресурс. /Bjorn Schilling — Режим доступа: http://www.ipvs.uni-sfeitgail.de/abteilungen/vs/lehre/lehrveranstaltungeii/studienprojekte/CUBUStermi ne/dateien/schilling.pdf.

67. Franceschetti M. et al. Percolation in Multi-hop Wireless Networks. // Technical Report, California Institute of Technology, 2003 Электронный ресурс.

68. Режим доступа http.V/www.few.vu.nl/~rmeester/preprints/TITsubmission.pdf.

69. A. Reka A.-L. Barabasi Statistical Mechanics of Complex Networks // Technical Report, California Institute of Technology, 2003 Электронный ресурс.

70. Режим доступа http://arxiv.org/PScache/cond-mat/pdi70106/0106096v 1 .pdf.

71. Z. Kong, E. M. Yeh Connectivity, Percolation, and Information Dissemination in Large-Scale Wireless Networks with Dynamic Links // Электронный ресурс.

72. Режим доступа http://math.ucsd.edu/~fan/papers/yeh.pdf.

73. R. Parshani, M. Dickison, R. Cohen Dynamic networks and directed percolation // A Letters Journal Exploring the Frontiers of Physics, Vol. 90, 2010.

74. Э. Таненбаум, M. ван Стеен Распределенные системы. Принципы и парадигмы // Издательство «Питер», 2003 г. 880 стр. -ISBN 5-272-00053-6, 013-088893-1.

75. Э. Таненбаум Компьютерные сети // Издательство «Питер», 2007. 992 с. - ISBN 978-5-318-00492-6,5-318-00492-6.

76. Д. Бертсекас Сети передачи данных: пер. с англ. / Д. Бертсекас, Р. Галлагер М.: Мир, 1989. - 544 с. - ISBN 5-03-000639-7.

77. В.М. Вишневский Теоретические основы проектирования компьютерных сетей / В.М. Вишневский. — М.: Техносфера, 2003. — 512 с

78. М. Фродрих Мобильные сети произвольной структуры — искусство сетевизации без сетей / М.Фродих, П.Йоханссон, П.Ларсон // Мобильные телекоммуникации. — 2001. — №5. — С.49-55.

79. М. Шварц Сети связи: протоколы, моделирование и анализ. В 2 ч. Ч. 1: Пер с англ. / М. Шварц — М.: Наука, 1992. — 336 с.

80. Е. Н. Callaway Wireless Sensor Networks: Architectures and Protocols / E. H. Callaway. CRC Press, 2004. - 350 p.

81. JI. Разгуляев Перспективные мобильные адаптивные сети передачи информации для СВ США // Зарубежное военное обозрение. — 2008. — №1. — С. 35-39.