автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Математическое и программное обеспечение диспетчеризации беспроводных распределенных компьютерных систем

кандидата технических наук
Морозов, Игорь Андреевич
город
Москва
год
2007
специальность ВАК РФ
05.13.11
цена
450 рублей
Диссертация по информатике, вычислительной технике и управлению на тему «Математическое и программное обеспечение диспетчеризации беспроводных распределенных компьютерных систем»

Автореферат диссертации по теме "Математическое и программное обеспечение диспетчеризации беспроводных распределенных компьютерных систем"

На правах рукописи

МОРОЗОВ ИГОРЬ АНДРЕЕВИЧ

МАТЕМАТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ДИСПЕТЧЕРИЗАЦИИ БЕСПРОВОДНЫХ РАСПРЕДЕЛЕННЫХ КОМПЬЮТЕРНЫХ СИСТЕМ

Специальность 05 13 11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

^ 9 ШОП 2007

МОСКВА 2007

003064260

Диссертация выполнена на кафедре "Автоматизированные системы обработки информации и управления" (ИТ-7) Московского Государственного Университета Приборостроения и Информатики (МГУПИ)

Научный руководитель дтн,проф ПетровОМ

Официальные оппоненты дтн,проф ГливенкоЕВ

к т н , с н с Ярных В В

Ведущая организация Московский энергетический институт (технический университет)

Защита диссертации состоится «11» сентября 2007 года в 1330 часов на заседании диссертационного Совета № Д212119 02 Московского Государственного Университета Приборостроения и Информатики по адресу 107076, Москва, ул Стромынка, 20

С диссертацией можно ознакомиться в библиотеке Московского Государственного Университета Приборостроения и Информатики (МГУПИ)

Автореферат разослан «6> 2007 г

Ученый секретарь диссертационного Совета

1. Общая характеристика работы

1 1 Актуальность работы

Анализ литературных источников, посвященных вопросам построения беспроводных распределенных компьютерных систем и их программного обеспечения, показывает, что существующие подобные системы в основном обслуживают островные поселения или удаленные анклавы Обычно такие системы оснащены стандартным программным обеспечением и не предъявляют серьезных требований к параметрам информационного обмена

В данной работе рассматриваются проблемы построения распределенных компьютерных систем для объектов специального назначения с повышенными требованиями к быстродействию и надежности управления информационными потоками

К объектам такого типа относятся, например, промышленные сооружения и поселки по добыче нефти, газа и других полезных ископаемых, специальные системы экологического мониторинга и т д

При проектировании систем этого класса возникает ряд специфических вопросов, связанных с назначением данного промышленного объекта, особенностями местности, климатом, требованиями по объемам информации, быстродействию, надежности

В то же время математические методы и модели исследования структур программного обеспечения (ПО), способы их построения в значительной мере являются общими для распределенных компьютерных систем различного назначения

В данной работе эти вопросы исследуются на примере построения ПО для реальной системы производственного эколо1 ичееко! о монишринга (СПЭМ)

Сбор, обработка и накопление информации внутри СПЭМ организуется в виде локальной информационной сети, которая имеет возможность взаимодействия с автоматизированной системой управления технологическим процессом

Одной из основных составляющих локальной информационной сети является беспроводная компьютерная сеть (БКС) Именно на этот элемент системы ложится решение наиболее сложных задач, связанных с большой территориальной распределенностью, огромным количеством измерений, сложностью и спецификой технических требований и решений 1 2. Цель и основные задачи исследования

Целью данпой работы является исследование математических моделей и структур программного обеспечения для территориально распределенных беспроводных компьютерных сетей, анализ, разработка и верификация алгоритмов и программ диспетчеризации

В соответствии с поставленной целью решаются следующие задачи исследования

1 Постановка и анализ задач, которые должны решаться в распределенной беспроводной компьютерной сети, и определение требований к системе диспетчеризации

2 Построение математических моделей структур программного обеспечения системы и исследование их методами имитационного моделирования.

3 Исследование алгоритмов диспетчеризации информационных потоков в соответствии с требованиями к разрабатываемой системе

4 Разработка и верификация программного обеспечения диспетчеризации и рассмотрение вопросов практической реализации территориально распределенной беспроводной компьютерной системы

1 3 Методы исследования

Исследования выполнены с использованием методов сравнительного анализа, методов алгоритмирования, имитационного моделирования, теории оптимизации и теории массового обслуживания, эквивалентных преобразований и верификации

1 4 Научная новизна

Научная новизна диссертации состоит в том, что автором

- предложена новая структура программного обеспечения для построения компьютерной сети на основе использования двух различных видов сетей с целью повышения быстродействия и надежности

- разработаны модели, алгоритмы и программы диспетчеризации информационных потоков в беспроводных распределенных системах, обеспечивающие требуемые технические характеристики

1 5 Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием метода эквивалентных преобразований в процессе анализа, согласованностью результатов функциональных и имитационных моделей процессов работы системы, верификацией программного обеспечения Достоверность рекомендаций и выводов диссертации подтверждена полученными актами о положительных результатах внедрения

1 6 Практическая ценность и реализация результатов работы

Научные результаты, полученные в диссертации, доведены до практического использования на реальном объекте Предложенная структура ПО распределенной беспроводной компьютерной сети может быть использована для построения беспроводных локальных вычислительных систем различного назначения

Результаты диссертационной работы использованы при построении интеллектуальной территориально распределенной беспроводной компьютерной системы, которая обеспечивает функционирование СПЭМ объекта по уничтожению химического оружия

Разработанный программный комплекс «Диспетчер беспроводной вычислительной сети», обеспечивающий функционирование беспроводной компьютерной сети внедрен на этом объекте

1 7 Апробация работы

Содержание разделов и диссертации в целом было доложено и получило одобрение

- на семинарах лаборатории №29 Института проблем управления РАН им В А Трапезникова,

- на заседаниях кафедры АСОИУ в Московском госз'дарствешгом университете приборостроения и информатики

Совокупность научных положений, идей и практических результатов исследований при построении ПО территориально распределенной беспроводной компьютерной сет и, представляет новое решение проблем в области практической реализации локальных вычислительных систем промышленного мониторинга

1 8 Публикации

По результатам диссертационной работы опубликовано б статей На разработанное программное обеспечение «Диспетчер беспроводной вычислительной сети» получено свидетельство об официальной регистрации программ для ЭВМ в Федеральной службе по собственности, патентам и товарным знакам (РОСПАТЕНТ) № 2007610432

1 9 Структура и объем

Диссертационная работа состоит из введения, четырех глав основного материала, заключения, списка литературы, включающего в себя 53 наименования и приложения Она содержит 150 страниц текста, в том числе 34 рисунка и таблицы

2 Содержание работы

Структура работы cooiBeiciByer списку перечисленных задач, содержит описание разработанных методов, моделей, алгоритмов и структур

Во введении обосновывается актуальность работы Определяются основные понятия и задачи системы, в которой будут проводиться исследования

В первой главе диссертации проводится системный анализ предметной области Подробно рассматриваются требования к ПО компьютерной сети распределенного сбора и обработки данных па примере системы экологического мониторинга Определяются цели системы и решаемые ей задачи

Рассматриваемая система имеет название - система производственного экологического мониторинга (СПЭМ)

Сбор, обработку и накопление информации внутри системы целесообразно организовать в виде локальной компьютерной сети Сеть должна иметь возможность информационного взаимодействия с автоматизированной системой управления технологическим процессом

Мобильные элементы системы (передвижные лаборатории) и стационарные посты должны иметь возможность обмена информацией по каналам связи

Проводится обоснование размеров (площади) зоны защитных мероприятий вокруг комплекса объектов по хранению и уничтожению химического оружия Вводится понятие и дается определение зоны защитных мероприятий (ЗЗМ), устанавливаемой вокруг объектов по хранению и объектов по уничтожению химического оружия Следовательно, определяются размеры территории, на которой должна функционировать беспроводная распределенная ЛВС

Рассматривается выбор технических средств контроля

общепромышленных загрязнителей для использования в данной системе с использованием методики сравнительной оценки технических средств контроля общепромышленных загрязнителей

Предложена математическая модель оценки характеристик технических средств контроля

Определены базовые элементы системы производственного экологического мониторинга в зоне защитных мероприятий

- автоматический стационарный пост

- передвижная лаборатория контроля качества атмосферного воздуха

- передвижная лаборатория контроля качества воды и почвы

- информационно-аналитический центр системы производственного экологического мониторинга

Рассмотрены технические средства, параметры и функции базовых элементов системы

На основе проведенных исследований значимых параметров СПЭМ определены требования к основным характеристикам компьютерной сети

- в виду значительных размеров контролируемой территории и наличия как стационарных, так и передвижных пунктов контроля необходимо использование беспроводной связи при создании компьютерной се га;

- так как круглосуточно контролируется очень большое количество разнообразных производственных и метеорологических параметров, программный комплекс системы должен обеспечивать процессы коммутации и обработки информации с очень высоким быстродействием,

- исключительная надежность ПО и всей системы, так как могут возникать чрезвычайные ситуации,

Во второй главе диссертации рассматриваются методы беспроводной передачи данных, которые могут быть использованы для построения проектируемой системы Изучается современное состояние беспроводной передачи данных в компьютерных сетях

Беспроводные сети можно разбить на следующие категории

- беспроводные ЛВС (\VLAN),

- взаимодействующие системы,

- беспроводные глобальные сети (WWAN)

Проведено изучение и анализ стандартов беспроводных сетей

- Стандарты IEEE 802 11 (Radio Ethernet),

- Bluetooth,

- UWB (Ultra Wideband),

- WiMAX (Worldwide Interoperability for Microwave Axess),

- узкополосная радиосеть

Выявлены основные преимущества и недостатки, наилучшие варианты использования, перспективы развития

Далее исследуются вопросы построения территориально распределенной беспроводной компьютерной сети (БКС) системы экологического мониторинга

При оценке возможности использования некоторого типа беспроводной се1и для построения БКС, рассматривались основные исходные данные для ее проектирования И на основе технических характеристик, требований и функций, реализуемых БКС, определяется пригодность использования данчой структуры сети

Основные функции реализуемые БКС

- сбор информации от датчиков и сигнализаторов пунктов контроля,

- передача речевых сообщений по сети Ethernet,

- видеонаблюдение за обстановкой вокруг пунктов контроля (ПК),

- видеонаблюдение за внутренней обстановкой ПК,

- экстренная передача сообщений при нештатной ситуации

Технические требования к сети

- прозрачность для сети Ethernet ИАЦа,

- поддержка передачи данных в виде «пакетов»

- скорость передачи информации 10 Мбит/с,

- поддержка передачи данных с интеграцией 1Р-телефонии,

- стабильность работы и защита информации,

- мобильность (для использования передвижных лабораторий)

Исследуются основные параметры и различные технологии беспроводной

передачи данных и оценивается возможность их использования для построения данной сети Важно отметить, что при выборе стандарта следует учесть не просто наличие требуемых характеристик, но и максимально высокий уровень соотношения всех показателей вместе

Пропускная способность

1 G bps

100 M bps

iOMbps

Т.1УЛХ■J _■ .o-'-LiJj

ШВГ!- Щ g

з iSfciic^

. ^.rj^ri.i.^. Г. > Г —r--

жш

1 Mbps

10 m

Шт 12 km*

до 20 km

Радиус действии

Рис. 1 График значений пропускной способности и радиуса действия б с сир g водки х стандартов связи. *- при не пользовании штыревой антенны.

На графике {Ряс. 1) видно, что рассматриваемые стандарты беспроводной связи: 802.15х, 802.11х, 802.!6х и узкополосная радиосеть имеют большие различия а пропускной способности и расстоянии, на котором работают сети.

Таблица 1

Техно.» ги* Cwuip T î tatoua ftiafme Пропусти Рзсстмли* Ч«то» Мофуяац M Бсюааснос ть Моб яЯьч ОСТЬ Надежност ь Стоих,-кгп.

UW» 802,15,3 a WPAN ? 10-480 Mbps До 10 м ?.5 ОЬ, Mulub» ud О FDM Средни Да Высокая Низкая

fa «U2 15 1 wpan ) Mbps До ТО к ДсТоГа 2,4 Ghz 1 Ghs GFSK Среди** Да Высока* Низки

Wi-Fi «02.1 !a wlan До 54 Mbpi ofdm Hr.r.sas Да Средня* Суслим

Wi-fi wlan Л.6 1 1 Mbp ЛоШ^ До 12 ш " 2,4 Ûhi DSSS Средняя Д* Средня* Ниже среднего

Wi-Fi «02. Ut Wt.AN Ло 54 Mbps До 460 н ghz OFDM СрСдк»* Л« Средням Ниле среднего

Vi'iMnx R0? 16a wman До 75 Mbpi (20 Mltt HW j До 10 кн 2-11 Ghz OFDM ВЫСОКИ Нп Выедая Высоки

WiWfix Ш I6t Mobile wman До 15 Mbps {5 MbrBW ) До S ни DFDM ЬЫСОЬЩ д* Йысоь&л Высоки

Yîtûno nocitu ржлмосс Tb WLAN До 4800 bps До 50 •• IW-P4 Mb CUCIL ал гор ит к Средня« Да Высокая Ннзкдо

В таблице 1. представлены основные характеристики беспроводных стандартов связи, при использовании штыревой антенны, **- при использовании направленной антенны.

Однако необходимо учесть и такие важные аспекты, как безопасность, мобильность, надежность и стоимость.

На основе таблицы 1, построим график (Рис.2), Наиболее важные характеристики оценим но пятибалльной шкале, что позволит нам оптимизировать выбор подходящего беспроводного стандарта связи.

щ Пропускная способность ■ расстояние п Безопасность

'□Стоимость я Надежность 0Мобильность

в т

BQ2.1S.3a 802 16.1 002.11а 802.11Ь 302.119 802 16а 802 1 бе радиосеть

параметры стандартов

Рис.2. График оценок основных параметров беспроводных сетей. Па графике показано: по оси абсцисс - основные параметры беспроводных сетей; по оси ординат - шкала баллов, по которым оценены параметры

На основе графика (Рис.2) составим таблицу 2, где представлены соответствия баллов, оценок и их значений.

Таблица 2

Балльная шкала Оценка I Ьложительная опенка

0-1 Низкая Нет

1-2 Ниже среднего Нег

2-3 Средняя Да

3-4 Выше среднего Да

4-5 Высокая Да

Из анализа таблиц 1,2 и графика (Рис.2) можно сделать следующие выводы:

- стандарт 802.16а не имеет мобильности и не может быть нами использован;

- стандарты 802,15 имеют самую низкую оценку диапазона действия и не могут быть нами использованы;

- стандарт 802 16е имеет самую низкую оценку показателя стоимости, те наиболее дорогостоящий стандарт, и соответственно не целесообразен для использования,

- узкополосная радиосеть имеет очень низкую пропускную способность, которая не удовлетворяет техническим требованиям, однако надо отметить наивысшие показатели мобильности и расстояния,

- наилучшие средние оценки по всем показателям получили стандарты 802 11 и являются лучшим вариантом для использования в данной сети,

- надо отметить, что стандарт 802 11g получил оценки выше, чем 802 lib и 802 11а, но особого значения это не имеет, поскольку сетевые адаптеры Wi-Fi поддерживают одновременно несколько стандартов 802 11

В третьей главе диссертации разрабатываются принципы построения БКС и соответствующего программного обеспечения

Производится детальная оценка возможностей ЛВС Radio Ethernet К настоящему времени разработано уже целое семейство стандартов IEEE 802 11, описывающих требования к различным сетям группы Radio Ethernet Наиболее популярным на сегодняшний день является стандарт 802 lib или Wi-Fi (Wireless Fidelity)

Теоретические аспекты функционирования сетей Radio Ethernet регламентированы стандартами IEEE 802 11 и IEEE 802 lib Именно в этих стандартах определяется порядок организации беспроводных сетей на уровне доступа к среде передачи данных (МАС-уровень) и на физическом уровне (PHY-уровень)

Подводя итоги вышесказанного, отметим, что использование беспроводной ЛВС Radio-Ethernet для построения БКС является актуальным решением Ориентация на Radio-Ethernet обеспечивает реализацию всех функций данной системы Однако, в связи со сложной структурой построения сети, трудным рельефом, часто меняющимися погодными условиями, взаимодействием большого количества приборов и периодическими перемещениями клиентов сети, возникают важные проблемы А именно, слабая защищенность каналов связи, влияние различных помех, негарантированная пропускная способность, что, в свою очередь может привести к значительному снижению скорости в сети или обрыву связи Поскольку для восстановления нормальной работы сети понадобится длительное время, это неминуемо приведет к потере важных данных. Поэтому, необходимо найти пути решения данной проблемы Таким решением может стать взаимодействие двух различных сетей одновременно, одна из которых будет являться основной (Radio-Ethernet), а другая вспомогательной И в случае сбоя в работе основной системы, будет осуществляться автоматический переход на вспомогательную сеть и обратно, что обеспечит постоянное и бесперебойное функционирование всей системы Так как вспомогательная радиосеть будет работать небольшой промежуток времени, необходимый для оперативного устранения неполадки в основной сети, то ее основной функцией будет оповещения ИАЦа при возникновении критической ситуации Следовательно, вспомогательная сеть не

будет являться технически сложной и дорогостоящей, что, в свою очередь, показывает целесообразность такого межсетевого взаимодействия

Исходя из рассмотренной классификации беспроводных сетей, наилучшим вариантом вспомогательной сети является узкополоспая радиосеть

Следовательно, предложена оригинальная структура построения БКС системы экологического мониторинга, которая будет состоять из основной (Radio Ethernet) и вспомогательной (узкополосной) сетей, которые взаимодействуя друг с другом обеспечат необходимую надежность функционирования системы

Па основе разработанных принципов построения системы созданы основные математические схемы алгоритмов и программ

Структуры имитационного алгоритма зависят от закона функционирования исследуемой системы и выбранной для его описания математической схемы При моделировании информационных систем и других систем на основе современных компьютерных технологий в качестве таких схем удобнее всего использовать алгоритмирование, Марковские случайные процессы, системы массового обслуживания

Для предложенного варианта построения территориально распределенной системы разработан алгоритм программы- диспетчера БКС (рис 3) и проведена его верификация методом детерминированного имитационного моделирования

Постановка задачи

- Необходимо построить детерминированную имитационную модель алгоритма диспетчеризации распределенной беспроводной компьютерной сети

- Сеть состоит из двух взаимодействующих локальных вычислительных сетей основной широкополосной (Radio Ethernet) и всломо1атслыхой }зкополосной радиосети

- Основной радиоканал (ОРК) работает по протоколу стандарта IEEE 802 11 b/g Вспомогательная (узкополосная радиосеть) работает по специальному ал! оритму

- Сеть состоит из «л» стационарных ПК, «q» подвижных ПК и одною

ИАЦ

- Запрос на информационный обмен (ИО) по основной сети от ПК поступает в случайные моменты времени

- Поток требований (сообщений) на обслуживание от ПК к ИАЦу носит случайный характер

- Объем передаваемой информации является случайным

начало

> г

= 0

Рис 3 Алгоритм программы - диспетчера БКС

- В сети имеют место случайные ошибки Ошибки обнаруживаются и подсчитываются в ИАЦе При этом в течение времени подсчитывается

количество ошибок - в;, если в^О^, то происходит переключение с ОРК на узкополосный альтернативный радиоканал (АРК)

- При обычном режиме, ИО по ОРК с ПК инициирует ИАЦ При возникновении критической ситуации, инициатором ИО выступает ПК на АРК В этом случае сначала ИО состоит из одного цикла «запрос-ответ», потом ПК по команде от ИАЦа переходит на АРК и дальше продолжает ИО. Если при критической ситуации ПК выполняет запрос по ОРК, то ПК передает в ИАЦ пакет с сообщением об остановки выполнения запроса и переходит на АРК.

ПК [1 г /и] - пункты контроля

ШС [1 т] - широкополосная (основная) сеть

УС [1 т\ - узкополосная (вспомогательная) сеть

АРК [1 т\ - узкополосныи альтернативный радиоканал

ЗШС [1 т] - запрос на ИО от ПК по ШС к ИАЦ

РШС [1 т] - разрешение на ИО для ПК от ИАЦа по ШС

ЗАРК [1 т] - запрос от ПК на ОИ по узкополосному АРК

ЗУС [1 тп\ - запрос от ИАЦа на ИО по узкополосному ОРК

- текущее время передачи по ШС, ¡к - время, в течение которого контролируются ошибки по приему сообщений по ШС,

ССШС] - текущее состояние счетчика ошибок при приеме сообщения по ШС, СОД/Сшах- максимально-допустимое количество ошибок в счетчике при передаче данных по ШС, в] - текущая ошибка

Величины, которые могут определяться при детерминированном имитационном моделировании по алгоритму па рис 3

1 Количество ПК

2 Объемы передаваемой информации

3 время контроля, в течение которого гходсчитывается количество ошибок в,, где в, >

4 Требования к быстродействию ИАЦ

Исследование функционирования системы в динамических режимах выполнено с помощью методов теории массового обслуживания Для этой цели создан стохастический имитационный алгоритм моделирования (Рис 4) Постановка задачи

- Моделируется работа БКС, состоящей из N пунктов контроля (ПК) и информационно-аналитического центра (ИАЦ) От ПК поступают сообщения на ИАЦ

- Представим систему как одноканальную СМО, без потерь

- Поток сообщений от ПК обладает свойствами стационарности, отсутствия последствия, является простейшим и описывается законом Пуассона

(дл*

Р(к,{) = ±-1-е~и , где Я - среднее количество сообщений за единицу к1

времени, ? — время в секундах

- Время занятости ИАЦ определяется длиной очередного сообщения и является случайной величиной с законом распределения

= где р - средний интервал времени между соседними

сообщениями

- Если в момент поступления сообщения ИАЦ занят, то сообщение становится в очередь

- Сеть работает в условиях помех, при этом предъявляются высокие требования к достоверности передачи и контролю ошибок В связи с этим, вводится вероятность распределения ошибок в сообщениях Она определяется

как произведение длины сообщения в битах на вероятность ошибки в одном бите информации -Рошбит„

- Длины сообщений (количество бит) это независимые случайные величины с показательной функцией распределения /•'. (0 = 1- > где у -среднее количество бит в секунду

- Распределение вероятностей появления ошибок в сообщениях

Г(П = ^ (0. Рош еша = (1 - о •

- Во время моделирования определяются случайные значения ошибки в]-том сообщении - • где некоторая конкретная реализация функции Р,(г), длина (размер) в битах ^-того сообщения

- Одна реализация процесса моделирования выполняется в интервале от 0 до ?„

Исходные данные для моделирования

/т - время моделирования в г реализации, - момент поступления

заявки в систему, момент начала обслуживания сообщения, ¡с- момент освобождения канала от обработки предыдущего сообщения, г}о- время ожидания ] сообщения в очереди, ¡к - время контроля ошибок, г,- время обслуживания сообщения, тгки - время вычисления ошибки, цг счетчик количества обслуженных сообщений в г реализации, г - счетчик ошибок, д,о-количество необработанных сообщений в очереди, после окончания времени моделирования одной реализации, г,оч - момент выборки первого сообщения из очереди, п. — / состояние счетчика количества реализаций при моделировании, пзаданное количество реализаций, необходимое для обеспечения требуемой точности расчета, / — порядковый номер сообщения в 1 реализации, к - количество сообщений направленных в очередь

В результате моделирования могут быть получены характеристики качества обслуживания

- средний размер очереди за г-тую реализацию

I

= ~—, где /- количество случайных сообщений за реализацию и,;

- среднее время ожидания в очереди

'„«

- среднее количество ПК, сообщения от которых обрабатываются за время реализации,

- количество необработанных сообщений в очереди - qlo, после окончания времени моделирования в п, реализации;

Рис 4 Алгоритм имитационного вероятностного моделирования - среднее количество ошибок на одно сообщение

где / — количество случайных сообщений за реализацию и,

- средний интервал между моментами появления сообщений

_ н

-, где / - количество случайных сообщений за реализацию и,

- полное количество ошибок за время реализации

I

rx = /v,, где гj - количество ошибок при приеме j — того сообщения,

j-I

- количество сообщений, которое обработано за время моделирования

s, = 7 — q,o ,

- зависимость между длительностью времени моделирования и количеством обслуженных сообщений

Моделирование работы БКС по рассмотренному алгоритму выполнялось в системе GPSS На основе анализа результатов моделирования можно сделать выводы, характеризующие работу БКС

- средняя длина очереди и среднее время пребывания в очереди возрастает пропорционально среднему количеству сообщений,

- суммарное количество ошибок в сообщениях растет пропорционально увеличению пропускной способности (средней длинны сообщений,

- анализ показывает, что возможно подобрать параметры сообщений, которые позволят получить приемлемое качество передачи

В четвертой главе диссертации представ пены структурная и техническая реализация БКС и программного обеспечения.

На основе проведенных исследований системы, построения алгоритмов функционирования ПО, разработки имитационных моделей и проведенного моделирования, принята определенная структура БКС (Рис 5) и следующие основные технические параметры

- количество каналов — 14 в том числе

автоматизированные стационарные пункты контроля (АСПК) - 12

передвижные лаборатории (ПЛ) - 2,

- максимальное удаление источников информации от информационно-аналитического центра (ИАЦ) АСПК- 20км, ПЛ - 40км ,

- скорость передачи - 10 Мб/с

Как следует из исходных данных, в основу организации структуры сети Radio-Ethernet целесообразно положить метод "точка - много точек" (ИАЦ -пункты контроля) Решены задачи построения сети при отсутствии прямой видимости и подключения мобильных пользователей (передвижных лабораторий) Определены основные критерия выбора радиооборудования

- высокая скорость передачи информации (до 11 Мбит/с),

- функции роуминга,

- надежность радиосоединения,

- универсальный интерфейс к проводной сети и к мобильным компьютерам

- Основная сеть (]Шк> ЕАмтй)

- Вспомогательная сеть (Узкополисная радиосеть)

- Основное постоянное соединение

- Основное сеансовое соединение

- Вспомогательное сеансовое соединение

Рис.5. Структура территориально распределенной БКС,

Для данной системы очень важна правильная, быстрая и своевременная доставка сообщений от ПК в ИАЦ, а если такая доставка не возможна, то необходим своевременный переход на вспомогательную сеть (узкополосную радиосеть).

Отметим, что большими плюсами предложенной организации БКС" являются:

- простота функционирования уз к о полосы ой радиосети, что повышает надежность системы

- узкий частотный диапазон работы сети позволяет избежать помех от совместно функционирующих систем;

- узкополосная радиосеть может взаимодействовать со всеми элементами системы, проста в монтаже и использовании.

Для узкополосной радиосети сформулированы общие принципы информационного обмена ИАЦ и ПК. Узкополосная радиосеть организована с помощью радиомодемов, которые могут работать в системе «точка-точка» или

в радиосети Создан алгоритм и программа диспетчеризации вспомогательной сети

Технически функционирование обоих радиоканалов обеспечивается со стороны ПК возможностью перепрограммирования радиомодема (РМ) с одной частоты (основной) на другую (альтернативную) и обратно, а со стороны ИАЦ наличием в его аппаратурном составе двух РМ, один из которых постоянно работает на основной частоте, а дру1 ой - на альтернативной

Разработаны специальные алгоритмы функционирования

- алгоритм информационного обмена ИАЦ и ПК,

- алгоритм информационного обмена при запросе ПК

Пункты контроля соединены радиоканалами с ИАЦ Стационарные пункты контроля имеют постоянное сетевое подключение и равноправный доступ к сети, что обеспечивает бесперебойный и своевременный обмен информацией между АСПК и ИАЦ, а также экстренную передачу сообщений при возникновении нештатных ситуаций Передвижные лаборатории имеют сеансовое соединение с сетью Это обусловлено зоной покрытия сети Поскольку площадь территории, на которой обеспечивается экологический мониторинг, около 130 квадратных километров со сложным рельефом, то покрытие беспроводной сетью всей этой территории, является не целесообразным Сеть покрывает зоны, в которых расположены стационарные пункты контроля, а так же основные маршруты, по которым передвигаются передвижные лаборатории Однако так как передвижные лаборатории являются мобильными компонентами сети, то они могут перемещаться в нужную зону, где будет обеспечено гарантированное подключение к сети

В случае возникновения сбоев в работе основной сети, автоматически происходит переход на вспомогательную узкополосную радиосеть, которая позволяет выполнять самые основные функции БКС.

В обычном режиме работы узкополосной радиосети ИАЦ инициирует сеансовое соединение с пунктами контроля Передача информации происходит строго по запросу ИАЦ, что обеспечивает своевременный обмен информацией между пунктами контроля и ИАЦ Однако, при возникновении нештатной ситуации, пункты контроля могут сами инициировать передачу экстренною сообщения По истечению определенного промежутка времени происходит автоматическая попытка подключения обратно к основной сети Если неполадки в работе основной сети устранены, и она работает стабильно то, осуществляется автоматический переход на основную сеть Такое взаимодействие двух различных беспроводных ЛВС, обеспечивает стабильную к надежную работу БКС.

Итогом межсетевого взаимодействия Radio Ethernet и узкополосной радиосети является территориально распределенная БКС экологического мониторинга

На основе разработанного математическою обеспечения, алгоритмов функционирования и проведенного моделирования системы, создан комплекс программного обеспечения «Диспетчер беспроводной вычислительной

сети», обеспечивающий оптимальное функционирование важнейших элементов БКС

Получено свидетельство об официальной регистрации программы для ЭВМ в РОСПАТЕНТ №2007610432 Программа реализована с использованием инструментальных средств программного пакета MSDN Unvrsl Win32 All Languages Lic/SA Pack OLP NL AE Qualified, в частности языка объекно-ориентированного программирования Visual Basic 6 0, установлена на сервере ИАЦ HP ProLiant Server DL380 Family с операционной системой Windows Svr Ent 2003 English OLP NL AE Лицензия на использованные программные продукты № 17504888

В заключении представлены основные результаты работы

Приложение содержит документы об использовании результатов работы, акты внедрения, листинги программ, свидетельство о регистрации программы для ЭВМ

Основные выводы и результаты работы.

Диссертационная работа посвящена актуальной проблеме построения и практической реализации программного диспетчера беспроводной распределенной компьютерной системы Обобщая результаты проведенных теоретических и экспериментальных исследований, можно сформулировать основные выводы и результаты работы

1 Выполнена постановка задач исследования и разработки программного обеспечения диспетчера беспроводной распределенной компьютерной системы

2 Сформулированы принципы построения и требования к характеристикам программною обеспечения по структуре, объемам информационного обмена, быстродействию, надежности

3 Проведен сравнительный анализ различных протоколов беспроводных компьютерных сетей и обоснован выбор типа сети в данной системе

4 Разработаны детерминированная и стохастическая модели диспетчеризации с использованием различных математических методов

5 Проведено имитационное моделирование функционирования диспетчера беспроводной компьютерной сети с целью оценки основных параметров системы, обеспечивающих выполнение требований но быстродействию и надежности

6 Разработаны алгоритмы функционирования и организации взаимодействия информационных потоков в соответствии с требованиями к разрабатываемой системе

7 Разработана и внедрена программа «Диспетчер беспроводной вычислительной сети», обеспечивающая оптимальное функционирование БКС На программу получено свидетельство об официальной регистрации

программ для ЭВМ в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам (РОСПАТЕНТ) № 2007610432

8 Предложенные принципы построения, данные исследований и разработанное программное обеспечение внедрены при создании территориально распределенной беспроводной компьютерной сети системы экологического мониторинга объекта по уничтожению химического оружия в п Горный, Саратовской области

9 Получены два акта о внедрении результатов выполненных исследований от НИИАА им академика В С Семенихина и от ИПУ РАН им В А Трапезникова

Основные публикации по теме диссертации.

1 Морозов И А, Организация информационного обмена и формирование запросов в многоточечной цифровой радиосети/ Информационные технологии в задачах управления и обучения Часть 2 Сборник научных трудов - М МАДИ (ГТУ), 2003 - С 80-83

2 Морозов И А, Производственно-экологический мониторинг в райогге объектов уничтожения химического оружия / Информационные технологии в задачах управления и обучения Часть 2 Сборник научных трудов -М МАДИ (ГТУ), 2003 - С 76-79

3 Александриди Т М , Морозов И А., Выбор беспроводной сети при построении распределенной ЛВС / Новые техггологии в автоматизации управления Сборник научных трудов - М МАДИ (ГТУ), 2006 - С 4-10

4 Морозов И А, Принципы организации радиосети системы экологическою мониторинга (РСЭМ)/ Сборник трудов молодых ученых и специалистов МГАПИ - М . МГАПИ, 2003 - С 24-26

5 Морозов И А, Технологии передачи цифровой информации в радиосета экологическою мониторинга (РСЭМ)/ Сборник трудов молодых ученых и специалистов МГАПИ - М МГАПИ, 2003 - С 26-29

6 Александриди Т М , Морозов И А , Выбор типа беспроводной сети при построении системы экологического мониторинга / Приборы и системы Управление, контроль, диагностика 2006 №12 Научно-технический журнал -М Научтехлитиздат - С 23-28

7 Морозов И А, Ефремов А Ю., Диспетчер беспроводггой вычислительной сети / Свидетельство об официальной регистрации программ для ЭВМ Федеральная служба по интеллектуальной собственности, патентам и товарным знакам (РОСПАТЕНТ) № 2007610432, 2007 г

Морозов Игорь Андреевич

Автореферат диссертации на соискание ученой степени кандидата технических наук

Подписано в печать 3.07 2007 г Формат 60x90,1/16 Объем 1,25 п л Тираж 100 экз. Заказ № 405

Отпечатано в ООО "Фирма Блок" 107140, г. Москва, ул Краснопрудная, вл 13. т (499)264-30-73 www blokO 1 centre narod ru Изготовление брошюр, авторефератов, печать и переплет диссертаций.

Оглавление автор диссертации — кандидата технических наук Морозов, Игорь Андреевич

Введение.

Глава 1. Организация сети распределенного сбора данных систем экологического контроля.

1.1. Система производственного экологического мониторинга.

1.2.0боснование размеров (площади) зоны защитных мероприятий.

1.3. Определение перечня общепромышленных загрязнителей.

1.4. Технические средства контроля общепромышленных загрязнителей для использования в системе производственного экологического мониторинга.

1.5. Базовые элементы системы производственного экологического мониторинга в зоне защитных мероприятий.

1.5.1. Автоматический стационарный пост.

1.5.2. Передвижная лаборатория контроля качества атмосферного воздуха.

1.5.3. Передвижная лаборатория контроля качества воды и почвы.

1.5.4. Информационно-аналитический центр системы производственного экологического мониторинга.

1.6. Выводы.

Глава 2. Анализ и выбор методов беспроводной передачи данных.

2.1. Современное состояние беспроводной передачи данных в компьютерных сетях.

2.1.1. Беспроводные ЛВС.

2.1.2. Технология Bluetooth.

2.1.3. Сверхширокополосные системы.

2.1.3.1. Преимущества UWB.

2.1.4. Новые системы широкополосного доступа.

2.2. Выбор типа беспроводной сети при построении системы экологического 30 мониторинга

2.2.1. Основные исходные данные для проектирования.

2.2.2. Классификация основных беспроводных вычислительных сетей.

2.3. Выводы.

Глава 3. Принципы построения беспроводной компьютерной сети системы экологического мониторинга.

3.1. Оценка возможностей Radio Ethernet.

3.1.1. Стандарт IEEE 802.11 и его расширение 802.1 lb.

3.1.2. Физический уровень 802.

3.1.3. Методы передачи FHSS и DSSS.

3.1.4. Скорости передачи протокола IEEE 802.

3.1.5. Канальный (Data Link) уровень 802.

3.1.6. Подключение к сети.

3.1.7. Безопасность сети.

3.1.8. Безопасность для здоровья.

3.1.9. Перспективы увеличения скорости стандарта IEEE 802.

Введение 2007 год, диссертация по информатике, вычислительной технике и управлению, Морозов, Игорь Андреевич

Настоящая диссертационная работа посвящена задачам создания и диспетчеризации распределенных беспроводных компьютерных систем специального назначения, исследованию и построению соответствующего математического и программного обеспечения.

Изучение литературных источников, посвященных этим вопросам , анализ решаемых задач и программного обеспечения показывает, что существующие подобные системы, в основном, обслуживают островные поселения или удаленные анклавы.

Обычно такие компьютерные системы оснащены стандартным программным обеспечением и не предъявляют серьезных требований к параметрам информационного обмена.

Актуальность работы состоит в том, что рассматриваются проблемы построения беспроводных распределенных компьютерных систем специального назначения, с повышенными требованиями к быстродействию и надежности управления информационными потоками. К объектам такого типа относятся, например, промышленные сооружения и поселки по добыче нефти, газа и других полезных ископаемых, специальные системы экологического мониторинга и т.д., которые все чаще создаются в удаленных местах РФ.

При проектировании систем этого класса возникает ряд специфических вопросов, связанных с назначением данного промышленного объекта, особенностями местности, климатом, требованиями по объемам информации, быстродействию, надежности.

В то же время математические методы и модели исследования структур программного обеспечения (ПО), способы их построения в значительной мере являются общими для распределенных ЛВС различного назначения.

В данной работе эти вопросы исследуются на примере построения ПО для беспроводной распределенной компьютерной сети реальной системы производственного экологического мониторинга (СПЭМ).

Целью мониторинга на объектах по уничтожению химического оружия является постоянное получение оперативной информации о содержании отравляющих веществ, продуктов их детоксикации и общепромышленных загрязнителей в контролируемых зонах, о возможном их поступлении в окружающую среду, а также о динамике изменения уровня их концентраций. Эта информация необходима для контроля безопасности функционирования объекта по уничтожению химического оружия, для оперативного принятия решения по предотвращению поступления отравляющих веществ, продуктов их детоксикации и общепромышленных загрязнителей в окружающую природную среду при нарушениях технологического процесса, а также для оповещения работающего персонала объекта и населения в случае возникновения аварийных ситуаций.

Сбор, обработка и накопление информации внутри системы организуется в виде локальной информационной сети. Сеть имеет возможность информационного взаимодействия с автоматизированной системой управления технологическим процессом.

Одной из основных составляющих локальной информационной сети является территориально распределенная беспроводная компьютерная сеть (БКС) системы экологического мониторинга. Именно на этот элемент системы ложится решение наиболее сложных задач, связанных с большой территориальной распределенностью, огромным количеством измерений, сложностью и спецификой технических требований и решений.

Целью данной работы является исследование математических моделей и структур программного обеспечения для территориально распределенных беспроводных компьютерных систем, анализ, разработка и верификация алгоритмов и программ диспетчеризации.

В соответствии с поставленной целью решаются следующие задачи исследования:

1. Постановка и анализ задач, которые должны решаться в распределенной (БКС) и определение требований к системе диспетчеризации.

2. Построение математических моделей структур программного обеспечения системы и исследование их методами имитационного моделирования.

3. Исследование алгоритмов диспетчеризации информационных потоков в соответствии с требованиями к разрабатываемой системе.

4. Разработка и верификация программного обеспечения диспетчеризации и рассмотрение вопросов практической реализации территориально распределенной беспроводной компьютерной системы.

Исследования выполнены с использованием методов сравнительного анализа, метода алгоритмирования, имитационного моделирования, теории оптимизации и теории массового обслуживания.

Научная новизна диссертации состоит в том, что автором:

- предложена новая структура программного обеспечения для построения беспроводной распределенной компьютерной сети на основе использования двух различных видов сетей с целью повышения быстродействия и надежности.

- разработаны модели, алгоритмы и программы диспетчеризации информационных потоков в беспроводных распределенных системах, обеспечивающие требуемые технические характеристики.

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием различных математических методов и моделей, согласованностью результатов функциональных и имитационных моделей процессов работы системы. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения работы.

Научные результаты, полученные в диссертации, доведены до практического использования на объекте по уничтожению химического оружия. Предложенная территориально распределенная беспроводная компьютерная сеть может быть использована для построения локальных вычислительных систем промышленного мониторинга.

Результаты диссертационной работы использованы при построении территориально распределенной БКС, которая обеспечивает функционирование системы производственного экологического мониторинга (СПЭМ) объекта по уничтожению химического оружия, расположенного в п. Горный Саратовской области. Разработанный программный комплекс, обеспечивающий функционирование БКС внедрен на данном объекте.

Содержание разделов и всей диссертации обсуждалось и получило одобрение:

- на семинарах лаборатории №29 Института проблем управления РАН им. В.А.Трапезникова;

- на заседаниях кафедры АСОИУ в Московском государственном университете приборостроения и информатики.

Совокупность научных положений, идей и практических результатов исследований, изложенная в диссертации, представляет новое решение проблем в области практической реализации локальных вычислительных систем промышленного мониторинга.

По результатам диссертационной работы опубликовано 6 статей. На разработанное программное обеспечение «Диспетчер беспроводной вычислительной сети» получено свидетельство об официальной регистрации программ для ЭВМ в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам (РОСПАТЕНТ) № 2007610432.

Диссертационная работа состоит из введения, четырех глав основного материала, заключения, списка литературы, включающего в себя 53 наименования и приложения. Она содержит 150 страниц текста, в том числе 34 рисунка и таблицы.

Заключение диссертация на тему "Математическое и программное обеспечение диспетчеризации беспроводных распределенных компьютерных систем"

4.4. Выводы

1. На основе проведенных исследований предложена техническая реализация территориально распределенной компьютерной сети системы экологического мониторинга, состоящей из 14-ти стационарных и 2-х передвижных пунктов контроля и информационно-аналитического центра.

2. Беспроводная сеть предложенной системы построена на основе взаимодействия Radio-Ethernet (основная сеть) и узкополосной радиосети (вспомогательная), что обеспечивает необходимое быстродействие и надежность.

3. Рассмотрены вопросы организации беспроводной компьютерной сети, принята за основу структура «точка - много точек».

4. Разработан алгоритм покадрового приема кадра данных в основной сети с контролем ошибок.

5. Создан алгоритм управления информационным обменом для вспомогательной сети с обеспечением экстренной связи в случае возникновения критических ситуаций.

6. На основе разработанных алгоритмов функционирования создана программа «Диспетчер беспроводной вычислительной сети».

7. Определены характеристики и предложены варианты выбора технических средств для территориально распределенной БКС.

ЗАКЛЮЧЕНИЕ

Диссертационная работа посвящена актуальной проблеме построения и практической реализации программного диспетчера беспроводной распределенной компьютерной системы. Обобщая результаты проведенных теоретических и экспериментальных исследований, можно сформулировать основные выводы и результаты работы:

1. Выполнена постановка задач исследования и разработки программного обеспечения диспетчера беспроводной распределенной компьютерной сети.

2. Сформулированы принципы построения и требования к характеристикам ПО беспроводной компьютерной сети: структуре, объемам информационного обмена, быстродействию, надежности.

3. Проведен сравнительный анализ различных протоколов беспроводных компьютерных сетей и обоснован выбор типа сети в данной системе.

4. Разработаны детерминированная и стохастическая модели диспетчеризации с использованием различных математических методов.

5. Проведено имитационное моделирование функционирования диспетчера беспроводной компьютерной сети с целью оценки основных параметров системы, обеспечивающих выполнение требований по быстродействию и надежности.

6. Разработаны алгоритмы функционирования и организации взаимодействия информационных потоков в соответствии с требованиями к разрабатываемой системе.

7. Разработана и внедрена программа «Диспетчер беспроводной вычислительной сети», обеспечивающая оптимальное функционирование БКС. На программу получено свидетельство об официальной регистрации программ для ЭВМ в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам (РОСПАТЕНТ) № 2007610432.

8. Предложенные принципы построения, данные исследований и разработанное программное обеспечение внедрены при создании территориально распределенной беспроводной компьютерной сети системы экологического мониторинга объекта по уничтожению химического оружия в п. Горный, Саратовской области.

9. Получены два акта о внедрении результатов выполненных исследований от НИИАА им. академика B.C. Семенихина и от ИПУ РАН им. В.А. Трапезникова.

Библиография Морозов, Игорь Андреевич, диссертация по теме Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

1. Алгоритм и протокол информационного обмена информационно-аналитического центра с пунктами контроля атмосферного воздуха ПЛ-А1282 и АСПК-1282 в районе опытно-промышленного объекта уничтожения химического оружия, 2002 г.

2. Александриди Т.М., Морозов И.А., «Выбор типа беспроводной сети при построении системы экологического мониторинга». Приборы и системы. Управление, контроль, диагностика. 2006.№12. Научно-технический журнал. Москва: Научтехлитиздат, 2006.

3. Александриди Т.М., Морозов И.А., «Выбор беспроводной сети при построении распределенной ЛВС». Новые технологии в автоматизации управления. Сборник научных трудов. Москва: МАДИ (ГТУ), 2006.

4. Арбайтис В.-Б.Б., Аверьянов Н.Н., Белоус А.И. «Микропроцессоры и микропроцессорные комплекты интегральных микросхем: Справочник». М.: Радио и связь, 1988.- 368 с.

5. Гук М. «Аппаратные средства локальных сетей. Энциклопедия». -СПб.:2000.

6. Гук М. «Аппаратные средства IBM PC. Энциклопедия, 2-е изд.».- СПб.: Питер, 2002.- 928 с.

7. Капашин В.П. "Уничтожение химического оружия: система промышленного экологического мониторинга." Саратов, Изд-во Саратовского ун-та, 200.-300с.

8. Клейнрок Л. «Теория массового обслуживания». М.: Машиностроение, 1979.- 432 с.

9. Клейнрок Jl. «Вычислительные системы с очередями» Издательство «Мир», Москва 1979.11. "Конвенция о запрещении разработки, производства, накопления и применения химического оружия и его уничтожении". Организация Объединенных Наций, 1993.- 168с.

10. Корнеев В.В., Киселев А.В. «Современные микропроцессоры». М.: Нолидж, 1998.- 240 с.

11. Кузьминов А.Ю. «Интерфейс RS232: Связь между компьютером и микроконтроллером: От DOS к WINDOWS 98/ХР».- М.: Издательский дом «ДМК пресс», 2006.- 320 с.

12. Морозов И.А., «Организация информационного обмена и формирование запросов в многоточечной цифровой радиосети». Информационные технологии в задачах управления и обучения. Часть 2. Сборник научных трудов. Москва: МАДИ (ГТУ), 2003.

13. Морозов И.А., «Производственно-экологический мониторинг в районе объектов уничтожения химического оружия». Информационные технологии в задачах управления и обучения. Часть 2. Сборник научных трудов. Москва: МАДИ (ГТУ), 2003.

14. Морозов И. А., «Принципы организации радиосети системы экологического мониторинга (РСЭМ)». Сборник трудов молодых ученых и специалистов МГАПИ. Москва: МГАПИ, 2003.

15. Морозов И. А., «Технологии передачи цифровой информации в радиосети экологического мониторинга (РСЭМ)». Сборник трудов молодых ученых и специалистов МГАГТИ. Москва: МГАГТИ, 2003.

16. НСП Ol-99/MO РФ "Нормы специального проектирования объектов 1281, 1282, 1596, 1597, 1726, 1728, 1729 по уничтожению химического оружия", 1999 г.

17. Постановление Правительства Российской Федерации от 30 декабря 1994 г. № 1470 "Об организации работ по созданию объекта по уничтожению запасов отравляющих веществ, хранящихся на территории Саратовской области".

18. Постановление Правительства Российской Федерации от 24 02 99г. № 208 "Об утверждении Положение о зоне защитных мероприятий, устанавливаемой вокруг объектов по хранению химического оружия и объектов по уничтожению химического оружия"

19. Постановление заместителя Главного государственного санитарного врача Российской Федерации от 09.07.98г. № 2.

20. Постановление Правительства Российской Федерации от 21 января 2000 года № 52

21. Разработка рабочей документации для Информационно-аналитического центра системы производственно-экологического мониторинга объекта уничтожения химического оружия в п. Горный Саратовской области. Техническое задание.

22. Розенберг В.Я., Прохоров А.И. «Что такое теория массового обслуживания». М.: Советское радио, 1965.

23. Таненбаум Э. «Компьютерные сети. 4-е изд.». СПб.: Питер, 2005.

24. Техническое задание системы производственно-экологического мониторинга объекта уничтожения химического оружия в п. Горный Саратовской области, 2002 г.

25. Федеральная целевая программа "Уничтожение запасов химического оружия в Российской Федерации", М.,1996. 28с.

26. Федеральная целевая программа "Уничтожение запасов химического оружия в Российской Федерации", в редакции постановления Правительства Российской Федерации от 5 июля 2001 г. № 510, М.,2001. -41с.

27. Федеральный закон от 02.05.97г. № 76-ФЗ: "Об уничтожении химического оружия"41. 2004 Global Broadband Subscriber Report: Executive Summary. The Yankee Group, 2004.

28. Fellah A. WiMAX, NLOS and Broadband Wireless Access (Sub-11 Ghz): Worldwide Market Analysis 2004-2008. Maravedis Inc., 2004.

29. International Sales Review.Alvarion News Letter, March 2004.Alvarion Ltd., 2004.