автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Методы и средства учета и динамического регулирования уровня загрузки ресурсов телекоммуникационных сетей

кандидата технических наук
Шаройко, Олег Владимирович
город
Ростов-на-Дону
год
2006
специальность ВАК РФ
05.13.11
цена
450 рублей
Диссертация по информатике, вычислительной технике и управлению на тему «Методы и средства учета и динамического регулирования уровня загрузки ресурсов телекоммуникационных сетей»

Автореферат диссертации по теме "Методы и средства учета и динамического регулирования уровня загрузки ресурсов телекоммуникационных сетей"

На правах рукописи

ШАРОЙКО ОЛЕГ ВЛАДИМИРОВИЧ

МЕТОДЫ И СРЕДСТВА УЧЕТА И ДИНАМИЧЕСКОГО РЕГУЛИРОВАНИЯ УРОВНЯ ЗАГРУЗКИ РЕСУРСОВ ТЕЛЕКОММУНИКАЦИОННЫХ СЕТЕЙ

05.13. И - математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание ученой степени кандидата технических наук

Ростов-на-До ну — 2006

Работа выполнена на кафедре информатики и вычислительного эксперимента механико-математического факультета и о Южно-Российском региональном центе информатизации Ростовского государственного университета.

Научный руководитель:

кандидат технических наук, доцент Букатов Александр Алексеевич

Официальные оппоненты:

доктор технических наук, профессор Божич Владимир Иванович

кандидат технических наук, профессор Иванченко Александр Николаевич

Ведущая организация:

Федеральное государственное научное учреждение «Государственный научно-исследовательский институт информационньгх технологий и телекоммуникаци й»

Защита состоятся « 60 >» ь'ОЗО/ся 2006 г, в // часов на заседании диссертационного совета К.212.208.04 по физико-математическим и техническим наукам в Ростовском государственном университете по адресу: 344090, г, Ростов-на-Дону, пр. Стачки, 200/1, корпус 2, ЮПШФО РГУ, к. 206.

С диссертацией можно ознакомиться в научной библиотеке РГУ по адресу: г, Ростов-на-Дону, ул. Пушкинская, 148.

Автореферат разослан « » 2006 г.

Ученый секретарь диссертационного совета

кандидат физико-математических наук Муратова Г.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Телекоммуникации давно вошли в современную науку и образование и прочно заняли там свое место. Использование ресурсов сети Интернет в процессе обучения уже является принципиально необходимым средством, а научные исследования просто невозможно себе представить без анализа последних публикаций из электронных библиотек, обращения к мощным базам данных и обмена информацией с коллегами из других стран. Потребность в обеспечении науки и образования телекоммуникациями естественным образом привела к развитию научно-образовательных телекоммуникационных сетей (НОТС).

Для обеспечения эффективной работы каждой телекоммуникационной сети, в том числе и НОТС, большое значение имеет решение двух задач: задачи мониторинга того, как распределяются ресурсы сети между потребителями, и задачи управления этим распределением. Для решения первой задачи применяется специализированное программное обеспечение (ПО), ведущее учет распределения сетевых ресурсов, а для решения второй - специальные алгоритмы, реализуемые в ПО компьютеров, подключенных к сети, и в активных сетевых устройствах- Задача ведения учета того, как распределяются телекоммуникационные ресурсы в компьютерных сетях, исторически возникла первой и проблемам построения систем, решающих ее посвящено достаточно много работ. Среди ученых, занимавшихся данной проблематикой можно перечислить Н.Браунли, К.Клаффи, Д.Крюкова, М.Фоменкову, Б.С.Гольдштейна, А.БХольд-штейна. Задача управления распределением телекоммуникационных ресурсов в компьютерных сетях и, прежде всего, задача управления распределением пропускной способности каналов передачи данных между абонентами в последние годы приобрела особую важность в связи с активным ростом области применения компьютерных телекоммуникаций. Исследованиям в этой сфере посвящены работы С.Флойда, В,Якобсона, С.Шенкера, и других ученых.

Как показано в главе 1 диссертации, ни одно существующее средство учета использования телекоммуникационных ресурсов не удовлетворяет полному набору требований, предъявляемых к средствам учета использования ресурсов НОТС. В первую очередь к таким требованиям относится требование высокой степени открытости этих средств для обеспечения необходимого взаимодействия этих средств со средствами управлетм распределением ресурсов. Другими важными требованиями являются всестороннее и целостное решение задачи учета, возможность работы средств на всех программно-аппаратных платформах, используемых в качестве маршрутизаторов НОТС и относительно невысокая стоимость, доступная научно-образовательным организациям.

Существующие средства управления распределением коммуникационных ресурсов (емкости каналов) представлены в основном не конкретными программными решениями, а технологиями и протоколами резервирования канала с определенными параметрами качества сетевого обслуживания (QoS - Quality of Service). Среди основных средств данной категории следует отметить механизм формирования заданной формы трафика — Traffic Shaper, архитектуру Integrated Services и протокол RSVP, архитектуру Differentiated Services, а также механизмы управления распределением телекоммуникационных ресурсов тех-

нологии MPLS. Кроме того, среди технологий, обладающих возможностями обеспечения QoS, следует также упомянуть технологии передачи данных ATM и FrameRelay, которые, однако, в настоящее время по объективным причинам утратили свою популярность и применяются весьма редко. К сожалению, ни один из указанных механизмов не позволяет в полной мере решить задачу управления распределением телекоммуникационных ресурсов НОТС. Спектр доступных решений крайне мал, а каждое из них решает лишь часть задачи распределения телекоммуникационных ресурсов региональной НОТС в ее полной постановке. В частности, нет решений, которые бы одновременно позволяли и учитывать при распределении ресурсов особенности микропотоков и управлять распределением ресурсов в пограничных каналах сети. Между тем, и то и другое является необходимой частью рассматриваемой задачи распределения ресурсов.

Таким образом, актуальным является создание открытых систем для ведения учета того, как распределяются телекоммуникационные ресурсы сети между потребителями, и для управления этим распределением. Система учета должна обеспечивать возможность получения всех отчетов, необходимых администрации сети, и должна легко интегрироваться с другими программными системами. Система управления распределением телекоммуникационных ресурсов должна позволять администрации сети реализовывать различные политики распределения ресурсов между потребителями. Такие политики могут предусматривать резервирование ресурсов, установку индивидуальных параметров для отдельных ми!фОпотоков, установку верхних пределов на доступные потребителю ресурсы и динамическое перераспределение свободных ресурсов между активными потребителями в соответствии с их приоритетами.

Цель диссертационной работы заключается в разработке открытой системы ведения учета распределения телекоммуникационных ресурсов НОТС и системы управления этим распределением на основе заданной администратором сети политики. Поставленная цель достигается решением следующих задач:

1. На основе требований к системам учета и управления распределением телекоммуникационных ресурсов провести анализ существующих средств учета и управления распределением, выявить их достоинства и недостатки,

2. Провести анализ известных методов ведения учета и механизмов управления распределением телекоммуникационных ресурсов,

3. Разработать методы и алгоритмы ведения учета, алгоритмы распределения и механизмы управления распределением телекоммуникационных ресурсов.

4. Разработать открытые архитектуры систем учета и управления распределением телекоммуникационных ресурсов,

5. Выполнить реализацию системы учета и системы управления распределением телекоммуникационных ресурсов.

6. На основе исследования характеристик функционирования разработанных средств показать их эффективность.

Научная новизна работы определяется следующими основными результатами, полученными в ходе исследования:

1. Открытая архитектура распределенной системы учета использования телекоммуникационных ресурсов НОТС.

2. Открытая архитектура и объектно-ориентированная технология гибкой мультиконвейерной обработки потока информации.

3. Адаптивный метод управления распределением пропускной способности, основанный на настраиваемой политике распределения и динамическом учете текущего уровня загрузки.

4. Алгоритм вычисления ограничений пропускной способности для метода управления распределением пропускной способности.

5. Модульная архитектура системы управления распределением пропускной способности телекоммуникационных каналов.

Практическая значимость работы. Практическую значимость работы представляют разработанные система учета использования телекоммуникационных ресурсов и система управления распределением телекоммуникационных ресурсов.

Публикации. По теме диссертации опубликовано 19 печатных работ, включая 2 свидетельства об официальной регистрации программы для ЭВМ, 2 статьи в журналах, рекомендованных ВАК для публикации результатов диссертаций, 5 статей в других изданиях центральной печати и 10 тезисов в сборниках тезисов международных и всероссийских конференций.

Апробация результатов работы. Результаты работы докладывались и обсуждались на следующих научно-практических конференциях: Международная научно-методическая конференция «Телематика'2001», г. С.-Петербург, 2001 г.; VIII конференция представителей региональных научно-образовательных сетей «ReIarn-2001», г. Петрозаводск, 2001 г.; Всероссийская научно-методическая конференция «Телематика12002», г. Санкт-Петербург, 2002 г.; IX конференция «Relam-2002», г. Нижний Новгород, 2002 г.; Всероссийская конференция «Научный сервис в сети Интернет», г. Новороссийск, 2002 г.; Всероссийская научно-методическая конференция «Телематика*2003», г. Санкт-Петербург, 2003 г.; Научно-методическая конференция «Современные информационные технологии в образовании: Южный федеральный округ», г. Ростов-на-Дону, 2003 г.; Международная научно-технической конференция «Интеллектуальные и многопроцессорные системы - ИМС*2003», 2003 г.; III республиканская научно-практическая конференция «Информационные и телекоммуникационные системы: сетевые технологии», г. Махачкала, 2004 г.

Реализация работы и внедрение результатов. Результаты работы использовались при выполнении и составили существенную часть результатов следующих НИР: проект № В.0011 ФЦП «Интеграция»^ гос. регистрации 01.200.118684, проект № 4.3.3.(000)274.55 НТП Минобразования РФ Кг гос. регистрации 01.200,118683, проект № 423 программы Минобразования РФ № гос. регистрации 01.200.118681, грант РФФИ № 03-07-90365. Результаты работы внедрены в опытную эксплуатацию в ЮГИНФО РГУ для решения задач учета и распределения телекоммуникационных ресурсов в компьютерной сети РГУ, составляющей основу НОТС Южного федерального округа РФ.

Структура и объем. Диссертация состоит из введения, четырех глав, заключения и пяти приложений. Основной текст диссертации содержит 162 страницы, 14 рисунков и 2 таблицы. Список литературы насчитывает 143 наименования.

СОДЕРЖАНИЕ РАБОТЫ.

Во введении показана актуальность тематики работы, научная и практическая ценность. Сформулирована цель диссертационной работы, определен круг решаемых задач, приведено описание структуры работы.

В первой главе проводится анализ задач ведения учета и управления распределением телекоммуникационных ресурсов в региональных НОТС. Выполняется анализ типовой структуры региональной НОТС, исследуются особенности оборудования, используемого в НОТС. Рассматриваются основные схемы тарификации услуг связи. Исследуются отличительные особенности тарификации услуг в НОТС, обусловленные тем фактом, что НОТС, в отличие от сетей коммерческих операторов, ориентируется на повышение уровня доступности вычислительных и информационных ресурсов, требуемых для научно-образовательного процесса. Проводится анализ проблем, обуславливающих актуальность задач ведения учета и управления распределением телекоммуникационных ресурсов. На основе проведенного анализа формулируются основные требования к соответствующим системам учета и управления распределением телекоммуникационных ресурсов. С учетом сформулированных требований проводится аналитический обзор существующих систем и технологий и анализ их применимости для решения задач учета загруженности и управления распределением ресурсов в НОТС.

Большое количество существующих в настоящее время систем учета можно условно разбить на три категории: системы, ориентированные на ведение учета в сетях крупных операторов связи, например программная система Internet Usage Manager (IUM); системы, ориентированные на ведение учета в сетях небольших операторов связи, например, «Профессиональная биллинго-вая система UTM»; свободно распространяемые системы, ориентированные на небольших потребителей услуг связи.

Применение систем первой категории для решения задачи учета в региональной НОТС оказывается затруднительным в виду того, что данные системы ориентированы на автоматизацию финансовых взаиморасчетов, работают с коммерческим ПО, обладают высокой стоимостью и в свободной печати отсутствует подробная техническая документация. Основные недостатки систем второго класса: ориентация на автоматизацию финансовых взаиморасчетов, отсутствие открытых интерфейсов для доступа к данным. Основная проблема свободно распространяемых систем учета заключается в крайне узком подходе этих систем к задаче учета и невозможности решить с их помощью задачу учета в полном объеме.

Рассматриваемые средства управления распределением телекоммуникационных ресурсов: механизм Traffic Shaper, архитектура Integrated Services, архитектура Differential Services и соответствующие механизмы MPLS, по различным причинам, не позволяют решить поставленную задачу в НОСТ. Основные

недостатки рассмотренных средств - это отсутствие поддержки управления микропотоками (кроме ШЭеп/) и неприменимость на пограничных каналах сети.

Во второй главе исследуются базовые принципы построения средств учета и механизмы управления интенсивностью информационных потоков в 1Р сетях. На основе этого исследования выполнена разработка метода решения задачи учета и метода распределения емкости в телекоммуникационном канале.

В 1Р сети единственным источником информации о том, какое количество данных пересылается по сети и между какими компьютерами, являются сетевые пакеты. Учет в таких сетях строится по распределенной схеме, в соответствии с которой организуются точки сбора информации, охватывающие те части сети, по которым необходимо вести учет. Точки сбора выполняют анализ сетевых пакетов и извлекают из них необходимые для ведения учета данные, которые пересылаются на центральный север учета, объединяющий и обобщающий данные в единую базу данных. (БД) учетной информации (УИ). Важной функцией системы учета является агрегирование УИ, поступающей от точек сбора, которое позволяет существенно сократить объем учетной информации.

В разработанном методе решения задачи учета предлагается использовать информацию об адресе отправителя, адресе получателя и размере пакетов, пересылаемых по сети. Данная информация позволяет получить все требуемые от системы учета отчеты, используя тот или иной способ группировки и объединения данных.

Непосредственное управление интенсивностью информационных потоков в 1Р сети может осуществляться только узлами, отсылающими информацию, но предусмотрены механизмы, позволяющие получателям и промежуточным узлам воздействовать на интенсивность информационных потоков.

Для решения задачи управления распределением телекоммуникационных ресурсов в НОТС предлагается основанный на очередях с установленной максимальной скоростью передачи информации адаптивный метод распределения емкости в телекоммуникационном канале с возможностью динамического распределения свободной емкости и резервирования емкости с учетом индивидуальных особенностей работы отдельных прикладных протоколов. Основная идея метода заключается в том, чтобы для одного направления передачи данных одного телекоммуникационного канала разбить множество всех возможных информационных потоков на не пересекающиеся подмножества - классы информационных потоков (КИП), и каждому КИП назначить некоторое ограничение на доступную ему в канале полосу пропускной способности. Здесь под информационным потоком (ИП) понимается последовательность 1Р пакетов с фиксированными значениями полей адреса отправителя, адреса получателя, номера порта отправителя, номера порта получателя и типа протокола третьего уровня. После установки на некотором телекоммуникационном канале ограничений для всех КИП вся пропускная способность этого канала распределится между КИП в соответствии с установленными для них ограничениями.

Основное отличие предложенного метода от традиционного способа ограничения пропускной способности заключается в том, что устанавливаемые ограничения не являются постоянными во времени, а изменяются, в зависимо-

сти от того, как изменяется нагрузка на телекоммуникационный канал, создаваемая потоками различных КИП.

Главное достоинство разработанного метода заключается в том, что его можно использовать и в тех случаях, когда пропускная способность канала, ресурсы которого распределяются, превосходит суммарную потребность, создаваемую поступающей информацией. Данная особенность выгодно отличает разработанный метод от других решений, так как, позволяет применять разработанный метод и на той стороне «узкого» канала, которая находится ближе по сетевым меркам к получателю информации. Такая необходимость часто возникает для междугородних каналов региональной сети, потребность в управлении распределением емкости которых весьма велика.

В разработанном методе предусмотрена возможность резервировать некоторое количество пропускной способности канала для некоторого набора КИП. Для этого достаточно, во-первых, назначить этим КИП такие ограничения, чтобы их потоки смогли воспользоваться зарезервированной пропускной способностью, а, во-вторых, ограничить все остальные КИП так, чтобы необходимое количество пропускной способности осталось свободным. Резервирование пропускной способности может выполняться с учетом индивидуальных особенностей работы отдельных прикладных протоколов. Для обеспечения этого разработано два специальных метода резервирования пропускной способности:

• Метод независимого равного резервирования пропускной способности. Предназначен для резервирования пропускной способности равными долями между всеми активными информационными потоками некоторого КИП. Позволяет повысить эффективность работы протоколов файлового обмена, таких как потоки протоколов FTP и SCP.

• Метод резервирования на основе статистического мультиплексирования. Предназначен для повышения эффективности работы протоколов удаленного терминального доступа. Показано, что для N таких соединений достаточно зарезервировать общую полосу в канале передачи данных с пропускной способностью -tf+5) Kbps.

В третьей главе рассматривается архитектура и реализация разработанной системы учета трафика. Система учета обеспечивает сбор и хранение учетных данных с заданной детализацией. Общая схема архитектуры системы учета представлена на рисунке 1. В состав системы входят подсистема сбора первичной информации, подсистема обработки информации (ОИ), база данных (БД) и программные интерфейсы доступа к учетной информации.

Подсистема сбора первичной информации состоит из модулей взаимодействия с сетевым оборудованием (модулей ВСО), предназначенных для получения учетных данных с сетевых устройств. В системе учета одновременно может работать несколько модулей ВСО, для сбора информации с разнотипного оборудования и для распределения нагрузки по обработке учетной информации. В составе системы реализованы модули ВСО для опроса маршрутизаторов Cisco по протоколу SNMP, для работы с маршрутизаторами на базе ПК под управлением ОС FreeBSD и для обработки пакетов NetFlow,

Подсистема ОИ сводит учетную информацию, поступающую через модули ВСО от точек сбора в БД УИ. При этом выполняются такие операции, как

S

Маршрут»! ар Бм» Г* родуприлч—м ОС

м^ицкушмюрмбм ПК«ч>дугфип«нммОС

преобразование формата информации, ее фильтрация и агрегация. Данная процедура должна соответствовать требованиям конкретной сети, поэтому реализован механизм, позволяющий точно подстраивать процедуру обработки информации. Для достижения необходимого уровня гибкости в подсистеме ОИ реализовано разделение функциональных блоков и описа- ^ __

ния последовательно- Рис' °бщая схема архитектуры системы учета

сти и параметров применения этих блоков к учетным данным. Функциональные блоки вынесены в динамически подключаемые библиотеки, а описание последовательности применения и параметры блоков - в текстовый файл. Данный файл интерпретируется на этапе инициализации подсистемы ОИ и на его основе с использованием динамических библиотек функциональных блоков строится рабочая часть подсистемы ОИ, которая и выполняет обработку УИ. Такое разделение получено за счет применения в подсистеме ОИ оригинальной архитектуры мультиконвейерной обработки потока информации и технологии использования этой архитектуры. Указанные архитектура и технология были разработаны в процессе проектирования и реализации подсистемы ОИ,

Основная идея разработанной архитектуры, заключается в том, чтобы представить процесс обработки информации как процесс продвижения этой информации по некоторому ориентированному графу обработки информации (графу ОИ). Продвижение информации по графу выполняется по его дугам, а с каждой вершиной сопоставлен некоторый набор действий. Набор действий, сопоставленных вершине, выполняется над информацией, проходящей через эту вершину в момент прохождения информации через нее. Такой набор действий реализует какую-либо одну операцию по обработке данных и эта операция должна быть атомарной в контексте того программного средства, для построения которого применяется описываемая архитектура.

В разработанной архитектуре вершина с сопоставленным ей набором действий называется узлом графа ОИ. В состав каждого узла входят интерфейсные элементы, называемые слотами, используемые для организации связей между узлами. Слоты являются однонаправленными и типизированными. Связи могут организовываться по принципам один к одному, один ко многим, многие к одному и многие ко многим. Узлы могут получать информацию извне графа -

точки входа информации в граф, и могут выполнять передачу информации наружу графа - точки выхода информации из графа.

Разработана технология построения программных средств с применением архитектуры мультиконвейериой обработки потока информации. Технология является объектно-ориентированной, ее компоненты реализованы на языке С++ и собраны в отдельную библиотеку. Разработанная технология может быть использована при разработке достаточно широкого спектра программных средств.

Подсистема ОИ разработана в соответствии с архитектурой мультиконвейериой обработки потока информации. При создании подсистемы ОИ использована рассмотренная выше технология применения такой архитектуры. Подсистема ОИ выполнена в виде серверного процесса ОС UNIX и набора динамических библиотек. После запуска серверный процесс выполняет чтение конфигурационного файла, построение графа ОИ, и переходит к процессу обработки информации. Для построения подсистемы ОИ реализованы узлы для приема информации от модулей ВСО, для преобразования формата учетной информации, для фильтрации, агрегации и сохранения учетных данных в БД.

Построенную таким образом подсистему ОИ отличает высокая степень гибкости. Для незначительного изменения процесса обработки, выполняемой подсистемой ОИ, достаточно модифицировать параметры конфигурационного файла. Если же требуется внести в процедуру обработки существенные изменения, то имеется возможность достаточно легко добавить новые, а также, убрать или заменить существующие узлы обработки.

БД УИ предназначена для достаточно продолжительного хранения учетной информации и представляет собой плоскую таблицу, записи которой содержат информацию о том, как были загружены телекоммуникационные ресурсы сети тем или иным потребителем в течение некоторого времени. Для взаимодействия с БД используется открытый протокол ODBC. Формат записи базы данных предполагает сохранение идентификатора временного интервала (время начала интервала), идентификатора рабочего места (IP адрес), идентификатора телекоммуникационного канала и количества байт, прошедших по данному каналу к или от данного рабочего места. Запись информации в БД выполняется специальным узлом графа ОИ,

Программные интерфейсы доступа к УИ обеспечивают возможность доступа к данным, собираемым и сохраняемым средствами учета из различных программных пакетов. Разработанные и реализованные программные интерфейсы ориентированны на выполнение запросов, требующих обработки значительных объемов информации за некоторый период времени. И, хотя запросы информации о последних нескольких минутах, поддерживаются в полном объеме, однако, при этом возрастает доля накладных расходов в общем времени выполнения запроса. Поэтому предполагается, что в тех случаях, когда необходим частый оперативный доступ к текущей информации, приложения будут предоставлять собственные узлы для встраивания их в граф ОИ подсистемы ОИ. Программные интерфейсы доступа реализованы в виде CORBA-объекта, методы которого позволяют запрашивать учетную информацию.

Система учета трафика оснащена простейшими интерфейсными средствами, позволяющими получать наиболее востребованные отчеты о количестве информации, прошедшей через сеть. Функции этих средств сводятся к выполнению некоторого запроса к БД УИ и представлению ответа в той или иной визуальной форме. Для доступа к учетной информации интерфейсные компоненты используют программные интерфейсы системы учета.

В четвертой главе рассматривается система управления распределением телекоммуникационных ресурсов сети, основанная на адаптивном методе распределения емкости в телекоммуникационном канале с возможностью резервирования и динамического распределения свободной емкости, который рассматривается в главе 2 диссертации. Схема архитектуры системы управления распределением телекоммуникационных ресурсов сети представлена на рисунке 2.

Система состоит из модуля мониторинга текущего распределения телекоммуникационных ресурсов, модуля мониторинга микропотоков, внутренней БД, модуля вычисления ограничений, модулей резервирования и модулей управления маршрутизаторами. В состав системы также входит конфигурационный файл, хранящий параметры работы системы.

В конфигурационном файле содержатся описания телекоммуникационных кана- распределением телекоммуникационных ресурсов лов и описания КИП, задающие

политику распределения ресурсов. Конфигурационный файл является обычным текстовым файлом и настраивается администратором системы.

Определение множества ИП, формирующих КИП, осуществляется с помощью механизма списков доступа (СД). СД — это упорядоченная последовательность правил. Каждое правило в СД состоит из фильтра и признака включения или исключения ИП, соответствующих данному фильтру, во множество потоков, описываемое СД. Для проверки некоторого ИП на принадлежность какому-либо КИП производится последовательный просмотр правил СД, определяющего данный КИП. Для каждого правила выполняется проверка, соответствует ли исследуемый ИП фильтру правила. Если соответствует, то на основании значения признака включения или исключения, принимается решение о том, принадлежит ли данный ИП данному КИП или нет.

Модуль мониторинга текущего распределения телекоммуникационных ресурсов предназначен для определения того, как распределялись телекоммуникационные ресурсы между КИП в течение последнего интервала измерения. Модуль выполнен в виде двух узлов подсистемы ОИ системы учета, которые выделяют необходимую информацию и помещают ее во внутреннюю БД.

| МЩШРУПЩТО )

I м шмлмтчф__I (

| Мирщугими»1 |

I I I I

21-1

¿1—П

Рис. 2 Архитектура системы управления

Задача модулей мониторинга микропотоков — обнаруживать микропотоки, особенности которых могут быть учтены системой управления, и помещать информацию об обнаруженных микропотоках во внутреннюю БД системы управления. Под микропотоком понимается информация, пересылаемая от одной программы к некоторой другой программе, что в IP сетях соответствует множеству пакетов с фиксированными значениями полей IP адреса отправителя, номера порта отправителя и IP адреса и номера порта получателя. Разработано два метода мониторинга микропотоков: на выделенных серверах удаленного доступа и на основе анализа информации, проходящей через подсистему ОИ системы учета. Первый метод выполнен в виде агентов, выполняющих мониторинг микропотоков и сервера, на который агенты передают данные. Метод мониторинга, основанный на анализе информации, проходящей через подсистему ОИ, выполнен в виде трех узлов графа: узел выделения информации о микропотоках, узел мониторинга микропотоков и узел записи информации о микропотоках во внутреннюю БД системы управления.

Внутренняя БД системы управления предназначена для хранения информации о текущем распределении нагрузки на телекоммуникационные каналы и для хранения данных об активных микропотоках. Через внутреннюю БД системы управления осуществляется передача информации от модулей мониторинга в модуль вычисления ограничений, В качестве внутренней БД в системе управления используются таблицы в формате Berkeley DB.

Модуль вычисления ограничений рассчитывает значения ограничений и выдает модулям управления маршрутизаторами команды на установку этих отраничении. Для реализации метода распределения емкости в телекоммуникационном канале разработан алгоритм вычисления ограничений. На вход алгоритма поступает набор определений КИП, параметры КИП, определяющие политику распределения телекоммуникационных ресурсов, информация о текущем уровне потребления ресурсов каждым из КИП и информация об активных микропотоках, входящих в КИП.

Вычисление ограничений производится независимо для каждого канала. Блок-схема алгоритма вычисления ограничений представлена на рисунке 3. Обработка осуществляется в два этапа: на первом выполняется обработка, связанная с резервированием, а на втором - непосредственное вычисление ограничений. Резервирование выполняется путем установки таких ограничений, что резервируемая емкость оказывается доступна только тому КИП, для которого она резервируется и никакому другому.

При непосредственном расчете ограничений сначала каждому КИП выделяется пропускная способность в пределах минимально-необходимой этому КИП емкости. КИП, потоки которых используют меньше минимальной емкости, из дальнейшего рассмотрения исключаются. Для оставшихся КИП выполняется распределение оставшейся в канале емкости на основе назначенных администратором системы весов.

В модуле вычисления ограничений на языке программирования С++ реализован приведенный на рисунке 3 алгоритм. Для вычисления емкости, которая должна быть зарезервирована, модуль вычисления ограничений подгружает ту или иную библиотеку, соответствующую необходимому методу резерви-

рования. Разработаны библиотеки, реализующие метод «простого» резервирования, независимого равного резервирования и резервирования с использованием статистического мультиплексирования, «Простое» резервирование предусматривает резервирование в канале некоторой полосы пропускной способности. Метод независимого равного резервирования позволяет резервировать в канале равные полосы пропускной способности для каждого микропотока, входящего в КИП.

Метод резервирования с использованием статистического мультиплексирования позволяет резервировать пропускную способность в соответствии с математической моделью, называемой очередью М/М/1. Резервируемая емкость вычисляется по формуле У=/УЛа+а/т„ где V - это резервируемая пропускная способность (бит в секунду), N - количество микропотоков, Л - средний темп поступления пакетов (пакетов в секунду), « — средняя длина пакетов (биты), а т - максимально-допустимая задержка (секунды). Параметры А , а и т указываются в конфигурационном файле системы. Если данные параметры не указаны, то используются значения по-умолчанию А=20, «=512 и т=0,1, которые соответствуют резервированию для потоков интерактивной работы.

Задача модулей

управления маршрутизато-

ром - установка на маршрутизаторе ограничений, полученных в результате работы модуля вычисления ограничений. Единообразных для всех типов маршрутизаторов средств управления ограничением пропускной способности не существует. По этой причине модули управления маршрутизаторами реализованы в виде динамических библиотек для различных типов маршрутизаторов. К настоящему моменту реализован модуль управления маршрутизаторами Cisco Systems, работающими под управлением сетевой операционной системы Cisco IOS.

В процессе разработки система управления подвергалась постоянному тестированию. Первые тесты были выполнены

Рис, 3 Блок-схема алгоритма вычисления ограничений

вручную на еще не реализованном программно алгоритме. Первые же испытания показали правильную работу алгоритма, а дальнейшие - неоднократно подтверждали правильную работу всей системы управления.

Анализ функционирования системы управления распределением телекоммуникационных ресурсов сети заключался в исследовании того, как распределялись ресурсы сети между потребителями при выключенной системе управления, и как менялось это распределение при включении анализируемой системы. Для исследования распределения телекоммуникационных ресурсов сети между потребителями применялась система учета, также разработанная в рамках настоящей работы и рассмотренная в главе 3 диссертации.

Проводился анализ функционирования системы управления во всех основных режимах ее работы:

• распределение емкости канала передачи данных в пределах установленных администратором для КИП минимальных ограничений;

• динамическое распределение свободной емкости канала передачи данных в соответствии с весами, назначенными администратором для КИП;

• ограничение пропускной способности, максимально доступной КИП;

• выполнение «простого» резервирования пропускной способности для КИП;

• выполнение независимого равного резервирования пропускной способности для микропотоков КИП;

• выполнение резервирования с применением статистического мультиплексирования.

Тесты проводились на каналах НОТС Ростовской области и Южного федерального округа РФ.

На рисунке 4 представлен график, построенный по данным, собранным во время одного из испытаний системы управления. В данном случае исследовалась работа модуля резервирования с использованием статистического мультиплексирования. Как можно видеть на графике, открытие сеансов удаленной интерактивной работы приводило к тому, что при вычислении новых значений ограничений создавался резерв для терминальных соединений, позволивший обеспечить достаточное качество работы интерактивных сессий. После закры-

264000 256000 248000 240000 232000 224000 216000 203000 200000 192000 184000 176000 168000

09 ;30 09:43 10 ;00 10*. 15 10:30 10:45 И :00 11:15 11:30

Рис, 4 Загруженность канала при включенном модуле резервирования с использованием статистического мультиплексирования.

тия этих соединений зарезервированная пропускная способности предоставлялась другим потокам.

В заключении изложены выводы по основным результатам диссертационной работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ, ВЫНОСИМЫЕ НА ЗАЩИТУ.

1. Разработана открытая архитектура системы учета трафика, передаваемого по каналам распределенной телекоммуникационной сети.

2. Разработана открытая архитектура и технология мультиконвсйерной обработки потока информации.

3. Разработана открытая архитектура системы управления распределением телекоммуникационных ресурсов распределенной научно образовательной телекоммуникационной сети на основе настраиваемой политики распределения.

4. Разработан адаптивный метод управления распределением телекоммуникационных ресурсов, основанный на настраиваемой политике распределения и динамическом учете текущего уровня загруженности каналов.

5. Выполнены программные реализации систем учета и управления распределением телекоммуникационных ресурсов распределенной научно-образовательной телекоммуникационной сети.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ.

1. Букатов A.A., Шаройко О.В. Организация научно-образовательных сетей Ростовской области и Южного федерального округа: методы, технологии, службы И Педагогическая информатика, N° 1, 2003, с.55-66

2. Букатов A.A., Шаройко О.В. Методы и средства резервирования емкости каналов для служб удаленного доступа к вычислительным ресурсам регионального центра высокопроизводительных вычислений // Известия вузов. Северокавказский регион. Технические науки, № 2, 2004, с.3-6

3. Букатов A.A., Шаройко О.В. Методы и средства резервирования каналов удаленного доступа к вычислительным ресурсам регионального центра высокопроизводительных вычислений // Искусственный интеллект. Научно-технический журнал Академии наук Украины, № 3*2003, изд. «Наука i освгга», 2003, с.32-38

4. Букатов A.A., Шаройко О.В. Методы резервирования каналов удаленного доступа к вычислительным ресурсам регионального центра высокопроизводительных вычислений // Материалы Международной научно-технической конференции «Интеллектуальные и многопроцессорные системы -ИМС'2003», том 2, Изд. ТРТУ, 2003, с.83-86

5. Букатов A.A., Хачкинаев Г.М., Шаройко О.В. Методы и средства эффективного выполнения программ удаленных пользователей на многопроцессорных вычислительных системах регионального центра высокопроизводительных вычислений // Информационные и телекоммуникационные системы: сетевые технологии. Материалы 111 республиканской научно-практической конференции, Махачкала: ДНЦ РАН, 2004, с. 175184

6. Березовский А.Н., Шаройко О.В. Некоторые особенности разработки системы сбора и обработки статистической информации о функционнрова-

нии телекоммуникационной сети, развиваемой в соответствии с потребностями // Материалы Международной научно-технической конференции «Интеллектуальные и многопроцессорные системы», Том 2, Таганрог-Донецк-Минск: изд. ТРТУ, 2005, с.92-95

7. Березовский А.Н., Шаройко О.В. Реализация системы сбора и обработки статистической информации о функционировании телекоммуникационной сети и методы организации обработки потоков информации в этой системе Н Искусственный интеллект, журнал Института искусственного интеллекта Национальной Академии наук Украины, № 3,2005, с.708-715

8. Букатов A.A., Шаройко О.В. Программный комплекс учета загруженности информационных каналов IP сетей сложной топологии // Труды Международной научно-методической конференции «Телематика'2001)>, С.-Петербург, 2001, с.39

9. Букатов A.A., Шаройко О.В. Программный комплекс учета и регулирования уровня загрузки каналов IP-сетей сложной топологии // Материалы конференции «Relarn-2001», Петрозаводск, 2001, с.6-8

Ю.Букатов A.A., Шаройко О.В. Организация эффективного удаленного доступа к центру высокопроизводительных вычислений РГУ из региональной научно-образовательной сети И Труды Всероссийской научно-методической конференции «Телематика*2002», Санкт-Петербург, 2002, с.106

11.Букатов A.A. Шаройко О.В. Организация средств динамического резервирования каналов удаленного доступа к региональному центру высокопроизводительных вычислений // Материалы конференции «Relarn-2002», Нижний Новгород, 2002, с.17-18

12.Букатов A.A., Шаройко О.В. Средства резервирования емкости каналов для прикладных служб научно-образовательной сети // Труды всероссийской конференции «Научный сервис в сети Интернет», Новороссийск, 2002, с.221-223

13.Букатов A.A., Березовский А.Н., Шаройко О.В. Техническое обеспечение образовательного процесса: система контроля потребления внешнего трафика ЛВС ее пользователями // Тезисы докладов научно-методической конференции «Современные информационные технологии в образовании: Южный федеральный округ», Ростов-на-Дону, 2003, с.52-54

14.Букатов A.A., Березовский А.Н., Шаройко О.В. Система учета и регулирования объемов потребления внешнего трафика ЛВС ее пользователями И Труды Всероссийской научно-методической конференции «Телемати-ка*2003», Санкт-Петербург, 2003, с.276-277

15.Березовский А.Н., Букатов A.A.,. Шаройко О.В. Разработка модульной системы сбора статистической информации о работе телекоммуникационной сети // Материалы Международной научно-технической конференции Искусственный интеллект. Интеллектуальные и многопроцессорные системы>, Украина, Крым: Изд. ТРТУ, 2004, с.311-313

16. Березовский А.Н., Шаройко О.В. Создание системы обработки статистической информации о функционировании телекоммуникационной сети, развиваемой в соответствии с потребностями // Научный сервис в сети Интернет: технологии распределенных вычислений. Труды Всероссий-

ской научной конференции, Новороссийск, М.: Изд-во МГУ, 2005, с. 165166

П.Шаройко О.В. Методы адаптивного резервирования емкости каналов при удаленном доступе к информационным и вычислительным ресурсам сети // Материалы XIII конференции представителей региональных научно-образовательных сетей "RELARN-2006", Барнаул: Изд-во АлтГТУ, 2006, с.54

18.Шаройко О.В., Букатов A.A. и др. Комплекс программных средств TrafficAccounter для сбора и обработки качественных и количественных характеристик пакетов, прошедших через IP-сеть. Версия 1.1 // Свидетельство об официальной регистрации программы для ЭВМ № 2005612109, Федеральная служба по интеллектуальной собственности, патентам и товарным знакам - М., 19.08.2005

19.Шаройко О.В., Букатов A.A. и др. Комплекс программных средств TrafficPolicier для управления распределением пропускной способности телекоммуникационной сети между потребителями. Версия 1.3. // Свидетельство об официальной регистрации программы для ЭВМ № 2005612108, Федеральная служба по интеллектуальной собственности, патентам и товарным знакам - М., 19.08.2005

В работах, опубликованных в соавторстве, лично Шаройко О.В. Принадлежат следующие результаты:

• в [1] разработаны методы обеспечения качества сетевого обслуживания для специализированных научно-образовательных служб;

• в [2] разработаны и реализованы методы и средства повышения эффективности использования пропускной способности при использовании протоколов терминального доступа и файлового обмена;

• в [3] разработан метод резервирования пропускной способности для протоколов файлового обмена;

• в [4] разработай метод резервирования пропускной способности для протоколов интерактивной работы;

• в [5] разработаны и реализованы методы и средства создания оптимального резерва пропускной способности в каналах удаленного доступа;

• в [6] разработана концепция построения системы обработки информации на основе графа обработки информации;

• в [7] разработана архитектура и прототип реализации системы мульти-конвейерной обработки потока информации;

• в [8] разработаны механизмы взаимодействия с маршрутизаторами и получения учетной информации;

• в [9] разработаны механизмы программного управления маршрутизаторами для установки ограничений;

• в [10] исследован вопрос оптимизации пропускной способности телекоммуникационного канала, необходимой для эффективной работы протоколов интерактивного доступа;

• в [11] разработана архитектура средств динамического резервирования каналов удаленного доступа;

• в [12] разработаны средства резервирования емкости каналов для служб удаленного терминального доступа;

• в [13] разработана архитектура системы контроля за потреблением внешнего трафика ЛВС;

• в [14] разработана архитектура системы учета и регулирования объемов потребления внешнего трафика ЛВС;

• в [15] разработана схема модульного построения системы сбора статистической информации;

• в [16] разработаны принципы функционирования системы обработки информации на основе графа обработки информации;

• в [18] разработаны и реализованы архитектура и технология конвейерной обработки информации, разработана архитектура системы учета, разработана и реализована подсистема обработки информации;

• в [19] разработана архитектура системы управления, разработан и реализован алгоритм расчета ограничений, разработан и реализован модуль вычисления ограничений;

Печать цифровая. Бумага офсегная. Гарнитура «Тайме». Формат 60x84/16. Объем 1,0 уч.-изд.-л. Заказ № 1096. Тираж 100 экз. Отпечатано в КМЦ «КОПЛЦЕНТР» 344006, г. Ростов-на-Дону, ул. Суворова, 19, тел. 247-34-68

Оглавление автор диссертации — кандидата технических наук Шаройко, Олег Владимирович

Введение.

1. Анализ задач и методов учета загруженности и управления распределением телекоммуникационных ресурсов региональной научно-образовательной сети.

1.1. Типовая архитектура построения региональной научно-образовательной телекоммуникационной сети.

1.2. Анализ задач учета загруженности и управления распределением телекоммуникационных ресурсов региональной научно-образовательной сети.

1.3. Анализ и сравнение существующих средств учета телекоммуникационных ресурсов

1.4. Анализ и сравнение существующих средств управления распределением телекоммуникационных ресурсов.

1.5. Выводы по главе 1.

2. Методы организации учета и управления распределением телекоммуникационных ресурсов.

2.1. Традиционная схема построения средств учета в IP сетях.

2.2. Разработанный метод решения задачи учета телекоммуникационных ресурсов НОТС.

2.3. Способы управления интенсивностью информационных потоков в IP сетях.

2.4. Метод распределения емкости в телекоммуникационном канале с возможностью резервирования и динамического распределения свободной емкости.

2.5. Выводы по главе 2.

3. Архитектура и реализация системы учета трафика.

3.1. Архитектура системы учета трафика.

3.2. Назначение и организация подсистемы сбора первичной информации.

3.3. Назначение подсистемы обработки информации.

3.4. Открытая архитектура мультиконвейерной обработки потока информации, основанная на графе обработки информации.

3.5. Технология применения открытой архитектуры мультиконвейерной обработки потока информации на основе графа ОИ.

3.6. Сравнение с другими реализациями аналогичных подходов к мультиконвейерной обработке потока информации.

3.7. Организация подсистемы обработки информации.

3.8. Удобство применения разработанной архитектуры и технологии построения подсистемы обработки информации.

3.9. Назначение и организация базы данных учетной информации.

3.10. Программные интерфейсы доступа к учетной информации.

3.11. Выводы по главе 3.

4. Архитектура и реализация системы управления распределением телекоммуникационных ресурсов сети.

4.1. Архитектура системы управления распределением телекоммуникационных ресурсов сети.

4.2. Применение механизма «списков доступа» для определения классов информационных потоков.

4.3. Назначение и организация конфигурационного файла.

4.4. Назначение и организация модуля мониторинга текущего распределения телекоммуникационных ресурсов.

4.5. Назначение и организация модулей мониторинга микропотоков.

4.6. Назначение и организация внутренней базы данных.

4.7. Назначение и организация модуля вычисления ограничений.

4.8. Назначение и организация модулей управления маршрутизаторами.

4.9. Возможности разработанной системы управления по формированию политик распределения пропускной способности.

4.10. Анализ функционирования системы управления распределением телекоммуникационных ресурсов сети.

4.11. Выводы по главе 4.

Введение 2006 год, диссертация по информатике, вычислительной технике и управлению, Шаройко, Олег Владимирович

Актуальность темы. Телекоммуникации давно вошли в современную науку и образование и прочно заняли там свое место. Использование ресурсов сети Интернет в процессе обучения уже является принципиально необходимым средством, а научные исследования просто невозможно себе представить без анализа последних публикаций из электронных библиотек, обращения к мощным базам данных и обмена информацией с коллегами из других стран. Потребность в обеспечении науки и образования телекоммуникациями естественным образом привела к развитию научно-образовательных телекоммуникационных сетей (НОТС), удовлетворяющих эту потребность.

Для обеспечения эффективной работы каждой телекоммуникационной сети, в том числе и НОТС, большое значение имеет решение двух задач: задачи мониторинга того, как распределяются ресурсы сети между потребителями и задачи управления этим распределением. Для решения первой задачи применяется специализированное программное обеспечение (ПО), ведущее учет распределения сетевых ресурсов, а для решения второй - специальные алгоритмы, реализуемые в ПО компьютеров, подключенных к сети, и в активных сетевых устройствах. Задача ведения учета распределения ресурсов исторически возникла первой и проблемам построения таких систем посвящено достаточно много работ. Среди ученых, занимавшихся данной проблематикой можно перечислить Н.Браунли, К.Кпаффи, Д.Крюкова, М.Фоменков. Задача управления распределением ресурсов сети между абонентами в связи с активным ростом области применения компьютерных сетей в последние годы приобрела особую важность. Исследованиям в этой области посвящены работы С.Флойд, В.Якобсон, С.Шенкер, С. Джамин и других ученых.

Как показано в главе 1 диссертации, ни одно существующее средство учета использования телекоммуникационных ресурсов не удовлетворяет полному набору требований, предъявляемых к средствам учета использования ресурсов НОТС. В первую очередь к таким требованиям относится требование высокой степени открытости этих средств для обеспечения необходимого взаимодействия этих средств со средствами управления распределением ресурсов. Другими важными требованиями являются всестороннее и целостное решение задачи учета, возможность работы средств на всех программно-аппаратных платформах, используемых в качестве маршрутизаторов НОТС и относительно невысокая стоимость, доступная научно-образовательным учреждениям.

Существующие средства управления распределением коммуникационных ресурсов (емкости каналов) представлены в основном не конкретными программными решениями, а технологиями и протоколами резервирования канала с определенными параметрами качества сетевого обслуживания (QoS - Quality of Service). Среди основных средств данной категории следует отметить механизм формирования заданной формы трафика - TrafficShaper, архитектуру Integrated Services и протокол RSVP, архитектуру Differentiated Services, механизмы управления распределением телекоммуникационных ресурсов технологии MPLS. Кроме того, среди технологий, обладающих возможностями обеспечения QoS, можно также упомянуть технологии передачи данных ATM и FrameRelay, которые, однако, в настоящее время по объективным причинам утратили свою популярность и применяются весьма редко. К сожалению, ни один из указанных механизмов не позволяет в полной мере решить задачу управления распределением телекоммуникационных ресурсов НОТС. Спектр доступных решений крайне мал, а каждое из них решает лишь часть задачи распределения телекоммуникационных ресурсов региональной НОТС в ее полной постановке. В частности, нет решений, которые бы одновременно позволяли учитывать при распределении ресурсов особенности микропотоков и управлять распределением ресурсов в пограничных каналах сети. Между тем и то и другое является необходимой частью рассматриваемой задачи распределения ресурсов. Кроме того, система управления распределения ресурсов в НОТС должна основываться на политике предоставления услуг НОТС, существенно отличающейся от политики предоставления услуг коммерческими телекоммуникационными сетями. Целью такой политики является не получение максимальной прибыли, а повышение эффективности образовательного и научно-исследовательского процесса за счет повышения уровня доступности вычислительных и информационных ресурсов, требуемых для научно-образовательного процесса.

Таким образом, актуальным является создание открытых систем для ведения учета того, как распределяются телекоммуникационные ресурсы сети между потребителями, и для управления этим распределением на основании некоторой заданной политики. Система учета должна обеспечивать возможность получения всех отчетов, необходимых администрации сети, и должна легко интегрироваться с другими программными системами, ориентированными на решение смежных задач. Система управления распределением телекоммуникационных ресурсов должна позволять администрации сети реализовывать различные политики распределения ресурсов между потребителями. Такие политики, могут предусматривать резервирование ресурсов, установку индивидуальных параметров для отдельных микропотоков, установку верхних пределов на доступные потребителю ресурсы и динамическое перераспределение свободных ресурсов между активными потребителями в соответствии с их приоритетами.

Цель диссертационной работы заключается в разработке открытых систем ведения учета распределения телекоммуникационных ресурсов НОТС и управления этим распределением на основе заданной политики. Поставленная цель достигается решением следующих задач:

1. На основе требований к системам учета и управления распределением телекоммуникационных ресурсов провести анализ существующих средств учета и управления распределением, выявить их достоинства и недостатки.

2. Провести анализ известных методов ведения учета и механизмов управления распределением телекоммуникационных ресурсов.

3. Разработать методы ведения учета, алгоритмы распределения и механизмы управления распределением телекоммуникационных ресурсов.

4. Разработать открытые архитектуры систем учета и управления распределением телекоммуникационных ресурсов.

5. Выполнить реализацию системы учета и системы управления распределением телекоммуникационных ресурсов.

6. На основе исследования характеристик показать эффективность разработанных средств.

Научная новизна работы определяется следующими основными результатами:

1. Разработана открытая архитектура распределенной системы учета использования телекоммуникационных ресурсов НОТС.

2. Разработана открытая архитектура и объектно-ориентированная технология гибкой мультиконвейерной обработки потока информации.

3. Разработан адаптивный метод управления распределением пропускной способности, основанный на настраиваемой политике распределения и динамическом учете текущего уровня загрузки.

4. Разработан алгоритм вычисления ограничений для метода распределения пропускной способности.

5. Разработана модульная архитектура системы управления распределением пропускной способности.

Основные положения, выносимые на защиту:

1. Разработана открытая архитектура системы учета трафика, передаваемого по каналам распределенной телекоммуникационной сети.

2. Разработана открытая архитектура и технология мультиконвейерной обработки потока информации.

3. Разработана открытая архитектура системы управления распределением телекоммуникационных ресурсов распределенной научно образовательной телекоммуникационной сети на основе настраиваемой политики распределения ресурсов.

4. Разработан адаптивный метод управления распределением телекоммуникационных ресурсов, основанный на настраиваемой политике распределения и динамическом учете текущего уровня загруженности каналов.

5. Выполнены реализации систем учета и управления распределением телекоммуникационных ресурсов распределенной научно образовательной телекоммуникационной сети.

Практическая значимость работы. Практическую значимость работы представляют разработанные система учета использования телекоммуникационных ресурсов и система управления распределением телекоммуникационных ресурсов.

Применение разработанных систем позволяет организовать учет и повысить эффективность использования телекоммуникационных ресурсов сети.

Апробация результатов работы. Результаты работы докладывались и обсуждались на следующих научно-практических конференциях: Международная научно-методическая конференция «Телематика'2001», г. С.-Петербург, 2001 г.; VIII конференция представителей региональных научно-образовательных сетей «Relarn-2001», г. Петрозаводск, 2001 г.; Всероссийская научно-методическая конференция «Телематика'2002», г. Санкт-Петербург, 2002 г.; IX конференция «Relarn-2002», г. Нижний Новгород, 2002 г.; Всероссийская конференция «Научный сервис в сети Интернет», г. Новороссийск, 2002 г.; Всероссийская научно-методическая конференция «Телематика'2003», г. Санкт-Петербург, 2003 г.; Научно-методическая конференция «Современные информационные технологии в образовании: Южный федеральный округ», г. Ростов-на-Дону, 2003 г.; Международная научно-технической конференция «Интеллектуальные и многопроцессорные системы -ИМС'2003», 2003 г.; III республиканская научно-практическая конференция «Информационные и телекоммуникационные системы: сетевые технологии», г. Махачкала, 2004 г.

Результаты работы использовались при выполнении и составили существенную часть результатов следующих НИР:

• проект № В.0011 ФЦП «Интеграция» «Развитие центра высокопроизводительных вычислений для нужд вузовской и академической науки. Развитие сетевой инфраструктуры доступа к суперкомпьютерному центру Ростовского государственного университета», № гос. регистрации 01.200.118684;

• проект № 4.3.3.(000)274.55 «Создание системного проекта телекоммуникационной среды высокопроизводительных вычислений Южно-Российского региона» (в рамках подпрограммы «Информационные технологии в образовании» НТП Минобразования РФ «Научное, научно-методическое, материально-техническое и информационное обеспечение системы образования»), №гос. регистрации 01.200.118683;

• проект № 423 «Создание проекта создания научно-образовательной и административно-хозяйственной сети Ростовской области на базе телекоммуникационных узлов Ростовского государственного университета» (в рамках подпрограммы «Высшая школа как важнейший государственный ресурс развития научно-технического потенциала регионов» программы Минобразования РФ «Государственная поддержка региональной научно-технической политики высшей школы и развитие ее научного потенциала»), № гос. регистрации 01.200.118681;

• грант РФФИ № 03-07-90365 «Развитие научно-образовательной телекоммуникационной сети Ростовской области и Южного федерального округа Российской Федерации».

Публикации. По теме диссертационной работы имеется 17 публикаций, включая 2 статьи в журналах, рекомендованных ВАК для публикации результатов диссертаций [1,2], 5 статей в других изданиях центральной печати [3-7], 10 тезисов в сборниках тезисов международных и всероссийских конференций [8-17] и 2 свидетельства об официальной регистрации .программы для ЭВМ [18,19].

Структура и объем диссертационной работы. Материал основной части диссертационной работы изложен на 162 страницах машинописного текста. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 143 наименований, 14 рисунков, 2 таблиц и 5 приложений.

Заключение диссертация на тему "Методы и средства учета и динамического регулирования уровня загрузки ресурсов телекоммуникационных сетей"

4.11. Выводы по главе 4

• Разработан алгоритм вычисления ограничений пропускной способности, доступной классам информационных потоков в телекоммуникационном канале. Разработанный алгоритм рассчитывает ограничения, позволяющие управлять распределением телекоммуникационных ресурсов сети в соответствии с методом распределения емкости в телекоммуникационном канале с возможностью резервирования и динамического распределения свободной емкости. Параметры алгоритма позволяют реализовать гибкие политики, с помощью которых можно решить задачу управления распределением телекоммуникационных ресурсов в региональной НОТС.

• Разработана модульная архитектура системы управления распределением телекоммуникационных ресурсов сети, позволяющая легко расширять систему управления новыми методами резервирования и поддержкой новых типов маршрутизаторов.

• Выполнена реализация [19] системы управления распределением телекоммуникационных ресурсов сети, в соответствии с политикой распределения ресурсов, определяемой администратором сети. Разработанная система реализуют метод распределения емкости в телекоммуникационном канале с возможностью резервирования пропускной способности, необходимой определенным соединениям или множествам соединений, и динамического распределения свободной емкости.

Заключение

Основные научные результаты диссертации заключаются в следующем:

Разработана открытая архитектура системы учета трафика, передаваемого по каналам распределенной телекоммуникационной сети. Разработанная архитектура позволяет в полной мере решить задачу учета телекоммуникационных ресурсов в региональной НОТС. Открытость архитектуры позволяет достаточно легко адаптировать ее к условиям и требованиям конкретной сети, а также расширять и модернизировать ее.

Разработана открытая архитектура мультиконвейерной обработки потока информации на основе графа обработки информации, в соответствии с которой процесс обработки информации рассматривается как процесс продвижения этой информации по некоторому ориентированному графу. Данная архитектура позволяет сделать процедуру обработки информации более наглядной, а, следовательно, и более понятной, повысить модульность разрабатываемых программных средств и степень повторного использования кода.

Реализована объектно-ориентированная технология применения открытой архитектуры мультиконвейерной обработки потока информации. При этом технология предусматривает отделение функциональных блоков, вынесенных в динамически загружаемые библиотеки, от описания параметров и последовательности применения этих блоков к обрабатываемым данным. Технология позволяет легко и удобно применять открытую архитектуру мультиконвейерной обработки информации при разработке различных программных средств и делает разрабатываемые средства более гибкими, расширяемыми и легко развиваемыми.

Разработан адаптивный метод управления распределением телекоммуникационных ресурсов с возможностью резервирования и динамического перераспределения свободной емкости, основанный на настраиваемой политике распределения и динамическом учете текущего уровня загруженности каналов. Данный метод позволяет повысить эффективность использования телекоммуникационных каналов сети и улучшить качество доступа к тем или иным службам. Метод хорошо параметризован, что позволяет реализовывать гибкие политики, с помощью которых можно решить задачу управления распределением телекоммуникационных ресурсов в региональной НОТС.

Разработана открытая модульная архитектура системы управления распределением телекоммуникационных ресурсов распределенной научно образовательной телекоммуникационной сети на основе настраиваемой политики распределения. Модульность и открытость архитектуры позволяют с минимальными трудозатратами расширять систему управления новыми методами резервирования и добавлять в нее поддержку новых типов маршрутизаторов.

Практическим результатом диссертационной работы являются созданные на базе разработанных архитектур реализации систем учета и управления распределением телекоммуникационных ресурсов распределенной научно образовательной телекоммуникационной сети ЮФО.

Библиография Шаройко, Олег Владимирович, диссертация по теме Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

1. Букатов А.А., Шаройко О.В. Организация научно-образовательных сетей Ростовской области и Южного федерального округа: методы, технологии, службы //Педагогическая информатика, № 1,2003, с.55-66

2. Букатов А.А., Шаройко О.В. Программный комплекс учета загруженности информационных каналов ГР сетей сложной топологии // Труды Международной научно-методической конференции «Телематика'2001», С.-Петербург, 2001, с.39

3. Букатов А.А., Шаройко О.В. Программный комплекс учета и регулирования уровня загрузки каналов IP-сетей сложной топологии // Материалы конференции «Relam-2001», Петрозаводск, 2001, с.6-8

4. Букатов А. А. Шаройко О.В. Организация средств динамического резервирования каналов удаленного доступа к региональному центру высокопроизводительных вычислений // Материалы конференции «Relarn-2002», Нижний Новгород, 2002, с.17-18

5. Букатов А.А., Шаройко О.В. Средства резервирования емкости каналов для прикладных служб научно-образовательной сети // Труды всероссийской конференции «Научный сервис в сети Интернет», Новороссийск, 2002, с.221-223

6. Букатов А.А., Березовский А.Н., Шаройко О.В. Система учета и регулирования объемов потребления внешнего трафика ЛВС ее пользователями // Труды Всероссийской научно-методической конференции «Телематика'2003», Санкт-Петербург, 2003, с.276-277

7. Шаройко О.В., Букатов А.А. и др. Комплекс программных средств

8. Андерсон Т., Статистический анализ временных рядов, М.: Мир, 1976

9. Бендат Дж., Пирсол А., Измерение и анализ случайных процессов. Пер. с англ. МатушевскогГ.В. и Привальского В.Е., М.: «Мир», 1974

10. Бокс Дж., Дженкинс Г., Анализ временных рядов, прогноз и управление, М.: Мир, 1974

11. Кендалл М. Дж., Стьюарт А., Многомерный статистический анализ и временные ряды, М.: Наука, 1976

12. Березовский А.Н. Система выявления аномальных режимов работы телекоммуникационных каналов // Труды XIII Всероссийской научно-методической конференции "Телематика 2006" Том 1, Санкт-Петербург, 2006, с.242-243

13. Usage Manager. Overview and Features, http://www.openview.hp.com/products/usage/index.html

14. Management Software: HP Open View, http://openview.hp.com/

15. Cisco IOS NetFlow Introduction,http ://www.cisco.com/en/US/products/ps660 l/productsiosprotocolgrouphome.ht ml31 .Netflow Introduction, http://ww.cisco.com/en/US/tech/tk812/tsdtechnologysupportprotocolhome.html

16. P. Phaal, S. Panchen, N. McKee, InMon Corporation's sFlow: A Method for Monitoring Traffic inSwitched and Routed Networks, RFC3176, September 2001, http://tools.ietf.org/html/rfc3176

17. Корпорация СиБОСС ™ Интернет-платформа, http://www.cboss.ru/products/cbossip.html

18. Барсум оператор, http://www.barsum.ru/index.cfm?tid=26

19. Буеръ-Телесеть, http://www.buer.wsnet.ru/36.«ABACS» биллинговая система, http://www.abacs.ru/

20. Профессиональная биллинговая система UTM, http://www.netup.ru/

21. Биллинговая система "Билл-Мастер", http://www.bill-master.ru/

22. Биллинговая система TIZONA, http://www.tizona.ru/

23. ФАСТКОМ, http://www.fastcom.su/

24. NeTAMS traffic accounting, http://www.netams.com/

25. Promiscuous mode IP accounting package, http://www.pmacct.net/

26. NeTraMet a Network Traffic Flow Measurement Tool, http://www.caida.org/tools/measurement/netramet/

27. IPA — Pluggable Accounting System, http://ipa-system.sourceforge.net/

28. Traffic shaping, http://en.wikipedia.org/wiki/Trafficshaping

29. R. Braden, D. Clark, S. Shenker, Integrated Services in the Internet Architecture: an Overview, RFC1633, June 1994, http://tools.ietf.org/html/rfcl633

30. Zhang, L., Deering, S., Estrin, D., Shenker, S., D. Zappala RSVP: A New Resource ReSerVation Protocol // IEEE Network, 1993

31. Zhang, L., Braden, R., Estrin, D., Herzog, S., S. Jamin, Resource ReSerVation Protocol (RSVP) Version 1 Functional Specification, 1993

32. K. Nichols, S. Blake, F. Baker, D. Black, Definition of the Differentiated Services Field (DS Field) in the IPv4 and IPv6 Headers, RFC2474, December 1998, http://tools.ietf.org/html/rfc2474

33. S. Blake, D. Black, M. Carlson, E. Davies, Z. Wang, W. Weiss, An Architecture for Differentiated Services, RFC2475, December 1998, http://tools.ietf.org/html/rfc2475

34. E. Rosen, A. Viswanathan, R. Callon, Multiprotocol Label Switching Architecture, RFC3031, January 2001, http://tools.ietf.org/html/rfc3031

35. Виктор Олифер, Наталья Олифер Искусство оптимизации трафика // LAN, №12, 2001

36. McDysan, D., Sphon, D., ATM Theory and Application, McGraw Hill, 1995

37. Minoli, D., Vitella, D., ATM & Cell Relay Service for Corporate Environments, McGraw-Hill, 1994

38. De Prycker, M., Asynchronous Transfer Mode Solution for Broadband ISDN, 2nd Edition, Ellis Horwood, 199356.0лифер В.Г., Олифер H.A., Компьютерные сети. Принципы, технологии, протоколы, СПб.: Питер, 2001

39. Стив Штайке ATM и альтернативы на магистрали глобальной сети // LAN, №9, 1999

40. S. Shenker, С. Partridge, R. Guerin, Specification of Guaranteed Quality of Service, RFC2212, September 1997, http://tools.ietf.org/html/rfc2212

41. J. Wroclawski, Specification of the Controlled-Load Network Element Service, RFC2211, September 1997, http://tools.ietf.org/html/rfc2211

42. Clark, D., Shenker, S., L. Zhang Supporting Real-Time Applications in an Integrated Services Packet Network: Architecture and Mechanisms // Proc. SIGCOMM '92, Baltimore, MD, 1992

43. Floyd, S. Issues in Flexible Resource Management for Datagram Networks // Proceedings of the 3rd Workshop on Very High Speed Networks, Maryland, 1992

44. Jacobson, V., Private Communication, 1991

45. Jamin, S., Shenker, S., Zhang, L., D. Clark An Admission Control Algorithm for Predictive Real-Time Service // Proc. Third International Workshop on Network and Operating System Support for Digital Audio and Video, San Diego, CA, 1992, c.73-91

46. Shenker, S., Clark, D., L. Zhang A Scheduling Service Model and a Scheduling Architecture for an Integrated Services Packet Network // ACM/IEEE Trans, on Networking, 1993

47. Shenker, S., Clark, D., L. Zhang, A Service Model for the Integrated Services Internet, 1993

48. Partridge, C., A Proposed Flow Specification, RFC1363, July 1992, http://tools.ietf.org/html/rfcl 363

49. D. Awduche, J. Malcolm, J. Agogbua, M. O'Dell, J. McManus, Requirements for Traffic Engineering Over MPLS, RFC2702, September 1999, http://tools.ietf.org/html/rfc2702

50. Umesh Lakshman, Lancy Lobo, MPLS Configuration on Cisco IOS Software, Cisco Press, 2005

51. D. Awduche, J. Malcolm, J. Agogbua, M. O'Dell, J. McManus, Requirements for Traffic Engineering Over MPLS, RFC2702, September 1999, http://tools.ietf.org/html/rfc2702

52. J. Moy, OSPF Version 2, RFC2328, April 1998, http://tools.ietf.org/html/rfc2328

53. R. Coltun, D. Ferguson, J. Moy, OSPF for IPv6, RFC2740, December 1999, http://tools.ietf.org/html/rfc2740

54. The ATM Forum Technical Committee, Private Network-Network Interface Specification Version 1.1 (PNNI 1.1), af-pnni-0055.002, April 2002, http://www.mfaforum.org/ftp/pub/approved-specs/af-pnni-0055.002.pdf

55. C. Mills, D. Hirsh, G. Ruth, INTERNET ACCOUNTING: BACKGROUND, RFC 1272, November 1991, http://tools.ietf.org/html/rfcl272

56. J. Postel, INTERNET CONTROL MESSAGE PROTOCOL, RFC792, September 1981, http://tools.ietf.org/html/rfc792

57. Дж. Уолрэнд, Телекоммуникационные и компьютерные сети. Вводный курс., Постмаркет, 2001

58. L. Brakmo, S. O'Malley, L. Peterson TCP Vegas: New techniques for congestion detection and avoidance // Proceedings of the ACM SIGCOMM '94 Conference on Communications Architectures, Protocols and Applications, London, UK., ACM, 1994, c.24-35

59. L. Brakmo, L. Peterson TCP Vegas: End to End Congestion Avoidance on a Global Internet // IEEE Journal on Selected Areas in Communication, № 8, 1995, c. 1465-1480

60. L. Brakmo, L. Peterson Performance Problems in BSD4.4 TCP // Computer Communication Review, № 5,1995, c.69-86

61. Van Jacobson Congestion Avoidance and Control // ACM Computer Communication Review, Proceedings of the Sigcomm '88 Symposium in Stanford, CA, August 1998, Stanford, CA, 1988, c.314-329

62. V.Jacobson, Modified TCP Congestion Control and Avoidance Algorithms, 1990

63. S. Floyd, T. Henderson, A. Gurtov, The NewReno Modification to TCP's Fast Recovery Algorithm, RFC3782, April 2004, http://tools.ietf.org/html/rfc3782

64. J. Postel, User Datagram Protocol, RFC768, August 1980, http://tools.ietf.org/html/rfc768

65. W. Richard Stevens, UNIX Network Programming, Prentice Hall, 1998

66. J. Postel, Transmission Control Protocol, RFC893, September 1981, http://www.ietf.org/rfc/rfc0793.txt

67. V. Cerf, IAB Recommendations for the Development of Internet Network Management Standards, RFC1052, April 1998, http://tools.ietf.org/html/rfcl052

68. M. Rose, K. McCloghrie, Structure and Identification of Management Information for TCP/IP-based Internets, RFC1155, May 1990, http://tools.ietf.org/html/rfcl 155

69. M. Rose, K. McCloghrie, Concise MIB Definitions, RFC1212, March 1991, http://tools.ietf.org/html/rfcl 212

70. J. Case, M. Fedor, M. Schoffstall, J. Davin, A Simple Network Management Protocol (SNMP), RFC 1157, May 1990, http://tools.ietf.org/html/rfcl 157

71. J. Case, K. McCloghrie, M. Rose, S. Waldbusser, Structure of Management Information for Version 2 of the Simple Network Management Protocol (SNMPv2), RFC 1902, January 1996, http://tools.ietf.org/html/rfcl902

72. J. Case, K. McCloghrie, M. Rose, S. Waldbusser, Textual Conventions for Version 2 of the Simple Network Management Protocol (SNMPv2), RFC 1903, January 1996, http://tools.ietf.org/html/rfcl 903

73. J. Case, K. McCloghrie, M. Rose, S. Waldbusser, Conformance Statements for Version 2 of the Simple Network Management Protocol (SNMPv2), RFC1904, January 1996, http://tools.ietf.org/html/rfcl904

74. J. Case, K. McCloghrie, M. Rose, S. Waldbusser, Protocol Operations for Version 2 of the Simple Network Management Protocol (SNMPv2), RFC 1905, January 1996, http://tools.ietf.org/html/rfc 1905

75. J. Case, K. McCloghrie, M. Rose, S. Waldbusser, Transport Mappings for Version 2 of the Simple Network Management Protocol (SNMPv2), RFC 1906, January 1996, http://tools.ietf.org/html/rfcl 906

76. J. Case, К. McCloghrie, M. Rose, S. Waldbusser, Management Information Base for Version 2 of the Simple Network Management Protocol (SNMPv2), RFC1907, January 1996, http://tools.ietf.org/html/rfcl907

77. J. Case, K. McCloghrie, M. Rose, S. Waldbusser, Coexistence between Version 1 and Version 2 of the Internet-standard Network Management Framework, RFC 1908, January 1996, http://tools.ietf.org/html/rfcl908

78. J. Case, R. Mundy, D. Partain, B. Stewart, Introduction and Applicability Statements for Internet Standard Management Framework, RFC3410, December 2002, http://tools.ietf.org/html/rfc3410

79. D. Harrington, R. Presuhn, B. Wijnen, An Architecture for Describing Simple Network Management Protocol (SNMP) Management Frameworks, RFC3411, December 2002, http://tools.ietf.org/html/rfc3411

80. J. Case, D. Harrington, R. Presuhn, B. Wijnen, Message Processing and Dispatching for the Simple Network Management Protocol (SNMP), RFC3412, December 2002, http://tools.ietf.org/html/rfc3412

81. D. Levi, P. Meyer, B. Stewart, Simple Network Management Protocol (SNMP) Applications, RFC3413, December 2002, http://tools.ietf.org/html/rfc3413

82. U. Blumenthal, B. Wijnen, User-based Security Model (USM) for version 3 of the Simple Network Management Protocol (SNMPv3), RFC3414, December 2002, http://tools.ietf.org/html/rfc3414

83. B. Wijnen, R. Presuhn, K. McCloghrie, View-based Access Control Model (VACM) for the Simple Network Management Protocol (SNMP), RFC3415, December 2002, http://tools.ietf.org/html/rfc3415

84. R. Presuhn, J. Case, K. McCloghrie, M. Rose, S. Waldbusser, Version 2 of the Protocol Operations for the Simple Network Management Protocol (SNMP), RFC3416, December 2002, http://tools.ietf.org/html/rfc3416

85. IEEE Computer Society, IEEE Standards for Local and metropolitan area networks. Virtual Bridged Local Area Networks., IEEE Std 802.1Q™, 2003 Edition., 7 May 2003, http://standards.ieee.org/getieee802/download/802.1 Q-2003.pdf

86. S. Kent, R. Atkinson, Security Architecture for the Internet Protocol, RFC2401, November 1998, http://tools.ietf.org/html/rfc2401

87. Paul Vixie, cron ~ daemon to execute scheduled commands (Vixie Cron), CRON(8) FreeBSD System Manager's Manual

88. Paul Vixie, crontab ~ maintain crontab files for individual users (V3), CRONTAB(l) FreeBSD General Commands Manual

89. Paul Vixie, crontab tables for driving cron, CRONTAB(5). FreeBSD File Formats Manual1 lO.Matt Welsh, Matthias Kalle Dalheimer, Тепу Dawson, Lar Kaufman, Running Linux, O'REILLY, 2002

90. Steven McCanne, Van Jacobson The BSD Packet Filter:

91. A New Architecture for User-level Packet Capture // Winter USENIX conference, San Diego, CA, 1993, c.

92. Julian Elischer, Archie Cobbs, netgraph — graph based kernel networking subsystem, FreeBSD Kernel Interfaces Manual. NETGRAPH(4)

93. Van Jacobson, Craig Leres, Steven McCanne, pcap Packet Capture library, PCAP(3)

94. Programming languages С++, INCITS/ISO/IEC 14882-2003, 2003

95. Бьерн Страуструп, Язык програмимрования С++. Специальное издание. Перевод с английского С.Анисимова и М Кононова. Под редакцией Ф.Андреева и А.Ушакова., М.: BINOM Publishers, СПб.: Невский диалект, 2001

96. Айра Пол, Объектно-ориентированное программирование на С++. Второе издание. Перевод с английского Д.Ковальчука., М.: BINOM Publishers, СПб.: Невский диалект, 1999

97. Bruce Eckel, Chuck Allison, Thinking in С++ volume two: practical programming, Prentice Hall, 2003

98. Erich Gamma, Richard Helm, Ralph Johnson, John Vlissides, Design Patterns: Elements of Reusable Object-Oriented Software, Addison-Wesley, 1994

99. The Single UNIX® Specification, Version 3, http://www.unix.org/version3/online.html

100. GStreamer: open source multimedia framework, http://gstreamer.freedesktop.org/

101. D. Crocker, P. Overell, Augmented BNF for Syntax Specifications: ABNF, RFC2234, November 1997, http://tools.ietf.org/html/rfc2234

102. Information Technology Database Language SQL- Part 3: Call Level Interface (SQL/CLI), INCITS/ISO/ffiC 9075-3, 1999

103. Information Technology Database Languages - SQL - Part 1: Framework (SQL/Framework), INCITSflSO/IEC 9075-1, 1999

104. PostgreSQL: The world's most advanced open source database, http://Avww.postgresql.org/

105. Berkeley DB 4.4, http://www.sleepycat.com/products/bdb.html126.0bject Management Group, Inc., Common Object Request BrokerArchitecture: Core Specification, formal/04-03-12, March 2004, http://www.omg.org/cgi-bin/doc?formal/04-03-12

106. Michi Henning, Steve Vinoski, Advanced CORBA® Programming with С++, Addison Wesley Professional, 1999

107. R. Srinivasan, RPC: Remote Procedure Call Protocol Specification Version 2, RFC1831, August 1995, http://tools.ietf.org/html/rfcl831

108. COM: Component object model technologies, http://www.microsoft.com/com/default.mspx

109. William Grosso, Java RMI, O'Reilly, 2001

110. XML-RPC Specification, http://www.xmlrpc.com/spec