автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Оперативное управление распределением нагрузки в неоднородных информационных системах

На правах рукописи

ОПЕРАТИВНОЕ УПРАВЛЕНИЕ РАСПРЕДЕЛЕНИЕМ НАГРУЗКИ В НЕОДНОРОДНЫХ ИНФОРМАЦИОННЫХ СИСТЕМАХ

Специальность 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Воронеж - 2005

Работа выполнена в Воронежском государственном техническом университете

Научный руководитель

доктор технических наук, профессор Кравец Олег Яковлевич

Официальные оппоненты:

доктор технических наук, профессор Ландсберг Сергей Евгеньевич;

кандидат физико-математических наук, доцент Кустов Андрей Игоревич

Ведущая организация

Липецкий государственный технический университет

Защита состоится 17 ноября 2005 г. в 11 30 часов в конференц-зале на заседании диссертационного совета Д 212.037.01 Воронежского государственного технического университета по адресу: 394026, г. Воронеж, Московский просп., 14.

С диссертацией можно ознакомиться в библиотеке Воронежского государственного технического университета.

Автореферат разослан 17 октября 2005 г.

Ученый секретар"

диссертационног совета

Питолин В.М.

200&-4 20013

¿¿//Г/0

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность темы. Одним из главных факторов, обеспечивающих успешное функционирование крупной современной компании, является внедрение в хозяйственную деятельность достижений в области информационных технологий. На сегодняшний день особо следует отметить широкое применение электронных каналов передачи информации - будь то локальные сети или глобальная сеть Интернет. Тем не менее, создание больших информационных систем сопряжено с рядом проблем: необходимость анализа сетевого трафика и ожидаемой загрузки сервера; выбор архитектуры распределенной системы; маршрутизация пакетов внутри системы; функциональность распределителей нагрузки; выбор серверов и методов распределения хранимой информации; учет неоднородности используемого оборудования, программного обеспечения и каналов связи.

Одним из способов решения перечисленных проблем является создание мультиагентной информационной системы. Привлекательность мультиа-гентных систем состоит в их гибкости, многофункциональности и вместе с тем легком изменении архитектуры, возможность без болезненного добавления новых серверов или целых сегментов системы; без остановки работы системы текущий ремонт либо плановая замена отдельных ее частей; при пиковых нагрузках возможность подключения дополнительных серверов, для стабилизации работы системы.

Повысить производительность информационной системы возможно путем увеличения количества серверов и размещения на них "зеркальных" копий материалов, что позволит распределить общую нагрузку по всем компонентам системы и сократить время возврата информации при выполнении сервером внутренних процедур обработки клиентских запросов. При этом сохранятся и существующие серверы, поскольку выводить их из эксплуатации и заменять новыми не придется.

Таким образом, актуальность темы диссертационной работы продиктована необходимостью создания алгоритмов оперативного управления входящим потоком клиентских запросов для обеспечения наилучшей работы информационной системы.

Тематика диссертационной работы соответствует научному направлению Воронежского государственного технического университета "Вычислительные системы и программно-аппаратные комплексы".

Целью работы является разработка алгоритмов и программных компонентов оперативного управления распределением нагрузки в неоднородных информационных системах для повышения производительности территориально распределенных серверных систем.

Задачи исследования. В соответствии с поставленной целью сформулированы следующие основные задачи исследования:

1. Выполнить сравнительный анализ алгоритмов распределения нагрузки, способных работать с распределенной серверной системой.

РОС. НАЦИОНАЛЬНАЯ I БИБЛИОТЕКА^, [

С 08

БЛИОТЕКА^,

"•да®

2. Разработать математическую модель распределенной информационной системы с применением теории массового обслуживания.

3. Разработать алгоритм динамического управления распределением потока заявок и создать алгоритм взаимодействия объектов в неоднородной информационной системе.

4. Провести анализ эффективности предложенных алгоритмов распределения нагрузки и реализовать вычислительный эксперимент с использованием предложенных алгоритмов.

Методы исследования. В работе использованы методы теории массового обслуживания, имитационного моделирования, объектно-ориентированного программирования.

Научная новизна исследования. К основным результатам работы, отличающимся научной новизной, относятся:

аналитическая модель многосерверной системы, обеспечивающая получение характеристик соответствующей системы массового обслуживания с параллельными каналами различной интенсивности и отличающаяся учетом бесконечной очереди; алгоритм управления распределением запросов в неоднородной информационной системе, отличающийся использованием аналитической управляющей функции и обеспечивающий выравнивание нагрузки на серверы распределенной серверной системы; структура и алгоритмы функционирования мультиагентной распределенной системы, обеспечивающие отказоустойчивость управления информационной системой и отличающиеся наличием подсистемы краткосрочного прогнозирования состояния; структура программного комплекса моделирования процессов распределения нагрузки, учитывающая применение аналитической управляющей функции и обеспечивающая экспериментальное исследование и сравнительный анализ алгоритмов распределения нагрузки.

Практическая значимость работы. Практическая значимость результатов диссертации заключается в создании алгоритма оперативного управления входящим потоком запросов в неоднородных информационных системах, а также алгоритмов распределения запросов, использующих аналитическую управляющую функцию.

Реализация и внедрение результатов работы. Теоретические и практические результаты работы реализованы в программном комплексе, выполняющем моделирование работы неоднородной информационной системы. С его использованием разработана программная система, обеспечивающая решение задач оптимизации управления запросами к распределенным элементам базы данных с использованием оригинальных алгоритмов и принята к внедрению в практическую деятельность государственного учреждения Регионального отделение Фонда социального страхования РФ. Программный комплекс моделирования используется в учебном процессе Воронежского

государственного технического университета на кафедре автоматизированных и вычислительных систем при подготовке студентов специальности 230100, «Вычислительные машины комплексы системы и сети».

Апробация работы. Основные результаты работы докладывались и обсуждались на Всероссийской научно-практической конференции «Актуальные проблемы профессионального образования: подходы и перспективы» (Воронеж, 2004); Всероссийской научно-методической конференции «Теле-матика-2004» (Санкт - Петербург, 2004); Международной научно-практической конференции «Актуальные проблемы информатики и информационных технологий» (Тамбов, 2004); международной конференции «Наука на рубеже тысячелетий» (Тамбов, 2004); научно-практической конференции «Современные сложные системы управления» (Воронеж, 2005); всероссийской научно-практической конференции «Актуальные проблемы профессионального образования: подходы и перспективы» (Воронеж, 2005).

Публикации. Основные результаты диссертации опубликованы в 12 научных работах, в том числе 2 без соавторов. В работах, опубликованных в соавторстве и приведенных в конце автореферата, лично соискателю принадлежит: в [2,3] - методы связи, используемые в многосерверных комплексах; в [1,5] - основные принципы распределения процессов обслуживания применяемые в серверных системах; в [4] - метод оперативного управления распределением нагрузки; в [6,7] - методика перераспределения нагрузки в многосерверных системах; в [8,11] - моделирование систем распределения нагрузки; в [12] - особенности реализации системы распределения потока заявок.

Структура и объем работы. Работа состоит из введения, четырех глав, заключения, списка литературы, включающего в себя 101 наименование, и двух приложений. Основная часть работы изложена на 143 страницах, содержит 19 таблиц и 28 рисунков.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность исследования диссертации, дана ее краткая характеристика, раскрыты цель и задачи исследования, его научная новизна и практическая значимость основных результатов, приведены сведения об апробации и внедрении работы.

В первой главе представлены результаты проведенного сравнительного анализа алгоритмов распределения нагрузки, способных работать с распределенной серверной системой, сделан вывод о перспективности разработки алгоритмов оперативного управления распределением запросов в неоднородных информационных системах. В результате проведенного обзора алгоритмов распределения нагрузки предложено разработать алгоритм работы мультиагентной системы.

Информационная серверная система представляет собой ряд территориально распределенных серверов, связанных между собой каналами связи. Пропускная способность каналов связи для каждого сервера индивидуальна,

как и аппаратное обеспечение, из-за чего сервера обладают различной произ-водител ьностью.

Разделение работы между компьютерами помогает ускорить получение результата. Во многих случаях обработку информации можно приблизить к месту ее возникновения. Распределенная система имеет высокую надежность информационного обслуживания: отказы отдельных частей независимы, а следовательно, вероятность того, что откажут сразу все или даже несколько элементов весьма мала. Поэтому после обнаружения отказавшего сервера и перераспределения его функций среди оставшихся, распределенная система способна продолжать с некоторой степенью деградации свое функционирование. Такие действия могут быть выполнены автоматически после автоматического же обнаружения отказа. Здесь главной проблемой является создание алгоритмов взаимодействия объектов в распределенной информационной системе.

Таким образом, выявлена необходимость создания новых алгоритмов и программных компонент оперативного управления входящим потоком запросов в неоднородных информационных системах, построенных на базе многосерверных систем.

На основе проведенного анализа сформулирована цель исследования и определены задачи для ее выполнения.

Во второй главе с использованием теории массового обслуживания разработана математическая модель распределенной серверной системы. Предложен механизм использования функции распределения нагрузки. Проведен эксперимент по исследованию влияния распределяющей функции на работу системы распределения нагрузки.

Распределенная серверная система описана как система массового обслуживания с числом каналов и и очередью .у. Граф состояний приведен на рис. 1.

Рис. 1. Граф состояний «-канальной системы массового обслуживания, с параллельными каналами и очередью

Вероятности состояний системы обозначены как

Х0,Хх,Хг,Х„...,Хя.

Для гибкого распределения входящего потока заявок между каналами обслуживания введена распределяющая функция f(j,tp), где j равно номеру канала обслуживания, а в зависимости от значения параметра ср, определяется нагрузка на тот или иной канал обслуживания.

Получено выражение для вероятностей состояний каналов при 1<к<п

тл

Рок

л.

1=1 Мпр

^ Мак

+--

СО V Л"'

Л J+1

Мпр

2

Мпр

(1)

Мок+ЯкП

и далее для состояний очереди при s> 1

Pn+s ="

со -¡1+1

ZA

1=1 Мпр

(2)

</+х пр

Полученные формулы (1) и (2) дают предельный закон распределения числа занятых каналов в зависимости от характеристик потока заявок и производительности системы обслуживания.

Построенная многоканальная система массового обслуживания характеризуется следующими параметрами: интенсивностью потока заявок Л, числом каналов обслуживания л и производительностью каналов Мп ■ Можно получить ряд характеристик работы системы: коэффициент загрузки системы; среднее количество заявок в системе; среднее время пребывания заявки в системе; абсолютную пропускную способность; вероятность возникновения очереди.

Коэффициент загрузки многоканальной системы массового обслуживания:

р = ——. п

Среднее число к заявок, находящихся в системе:

¿4,

(3)

*=1

/<0Л

X| л

■*=' Мпр Мпр

71 и'*1 + М

«=1 г*ПО г*пр

-Л

(4)

м0 ,+/№

со 1 3

ЕЛ Л

—+—

'=1 Mm

Мт

т~г мт

Среднее время пребывания заявки в системе Тпр :

¿/"о,

Абсолютная пропускная способность системы А:

¿2Х

1=1

(6)

Вероятность возникновения очереди:

п

(7)

Разработанный алгоритм распределения потока заявок между каналами обслуживания позволяет использовать любую аналитическую функцию в качестве управляющей. Разработана аналитическая распределяющая функция:

где) = {1 п} (порядковый номер канала), т = п + 1, п- число каналов.

Идея распределения нагрузки сводится к загрузке каналов обслуживания в соответствии с их возможностями. Для эффективной работы механизма распределения нагрузки каналы должны бьггь упорядочены по возрастанию (убыванию) интенсивностей обслуживания. Порядок каналов зависит от значения величины <р. Например, при <р - 1 максимум входящего потока заявок направляется на первый канал, на второй канал распределяется меньшее значение нагрузки и так далее. Параметр (р может принимать любое значение от О до 1.

На рис. 2 показано распределение потока заявок между каналами обслуживания при нескольких значениях д>(\, 0.5 и 0).

Для проверки работы алгоритма распределения потока заявок под управлением аналитической распределяющей функции (8) был проведен эксперимент. Исходные данные эксперимента: число каналов п = 10, интенсивности обслуживания каналов ц = {1, 3, 5, 7, 9, 11, 13, 15, 17, 19}, интенсивность входящего потока заявок Л = 50.

Результаты эксперимента представлены на рис.3. На рис. За показаны вероятности загрузки каналов обслуживания при (р = 0 и вероятность возникновения очереди составляет: роч = 0,0624.

На рис. 36 вероятности загрузки каналов обслуживания при <р = 1 и вероятность возникновения очереди составляет: рт = 0,0842. Сравнительный анализ показывает, что при <р = 1 число заявок в очереди больше на 2,18% по сравнению с ф = 0. Таким образом, изменение значения <р действительно позволяет управлять распределением нагрузки.

ЗОг--—г---1--г—•

а

I ^

! /0,<р)при<р=1 28- .

2015Г •

/0,<р) при <р =0,5

10^-

\ +

1 ^

+

V ..

/0,<р)при

9=0 I

I

I-

/ /-

8 10 12 14 16 18 20

Рис. 2. Распределение потока заявок между каналами системы

б) 0.14

0.13

рО) 0.11

0.09

0.07

2468 10 0246

] ]

Рис. 3. Вероятности загрузки каналов обслуживания

10

В третьей главе разработан алгоритм оперативного управления распределением нагрузки в неоднородной информационной системе на основе мультиагентной среды. Создан механизм взаимодействия объектов в предложенной системе управления. Отличительной особенность созданного алгоритма, является учет неоднородности каналов обслуживания, что позволило уменьшить среднее время пребывания заявок в системе.

Сервера системы разделяются на два типа: информационные сервера и Демон серверов. Информационные сервера обслуживают заявки клиентов, на каждом из них выполняется программа - агент информационного сервера.

Демон серверов выполняет сбор данных о системе и принимает решения по

Рис. 5. Структура системы распределения нагрузки

Агенты информационных серверов имеют собственное представление об окружающей их среде, построенное исходя из собственных данных и данных, полученных от других агентов информационных серверов.

Задачей агента является сбор информации о нагрузке на свой информационный сервер и формировании отчетных данных в какой-либо форме. Координатором работы серверной системы выступает выделенный сервер -Демон серверов. Он собирает информацию от агентов информационных серверов, анализирует ее и принимает решения по распределению потока заявок клиентов между информационными серверами системы.

Поступающие заявки обрабатываются Демоном серверов, который анализирует состояние системы и передает запрос клиента на один из информационных серверов. Информационный сервер, в свою очередь, получая переадресованный запрос клиента, обрабатывает его, формирует пакет отчетных данных по запросу и отправляет его клиенту. В дальнейшем, если связь клиента с информационным сервером не прерывалась, то все запросы, сформированные клиентом, обрабатываются данным информационным сервером.

Демон серверов выполняет ряд функций реализующих разработанные алгоритмы: распределение потока заявок, анализ состояния информационных серверов, формирование таблицы приоритетов, краткосрочное прогнозиро-

вание состояния системы Демон серверов состоит из модуля распределения нагрузки и анализатора состояния системы.

Модуль распределения нагрузки состоит из: блока выбора информационного сервера из таблицы приоритетов; блока переадресации запроса клиента информационному серверу; блока прогнозирования состояния системы. Первые два блока выполняют функции непосредственного распределения заявок клиентов между информационными серверами системы. Блок прогнозирования состояния системы выполняет следующие функции: оценка сложности поступающих заявок; сопоставление заявки с возможностями выбранного информационного сервера; формирование краткосрочного прогноза относительно загрузки информационного сервера в момент поступления на него заявки клиента.

Демон динамически формирует таблицу приоритетов в соответствии с закономерностью, по которой происходит распределение нагрузки, определяемой распределяющей функцией. Таблица приоритетов - это сводная таблица данных обо всех информационных серверах. В нее заносится информация, получаемая от агентов информационных серверов и весовой коэффициент информационного сервера.

Пример таблицы приоритетов приведен в табл. 1.

Таблица 1

№ п.п. (либо идентификационный номер информационного сервера) Центральный процессор, % Жесткий диск, % Канал связи, % ОЗУ, % Весовой коэффициент информационного сервера

1 20 35 50 60 165

2 50 60 80 50 240

На основании динамически сформированной таблицы приоритетов Демон выбирает фактический адрес сервера и переправляет запрос клиента на него, после этого Демон обращается к запросу следующего клиента.

Формирование таблицы приоритетов происходит каждый раз, когда Демон получает отчеты от агентов о состоянии информационных серверов.

Примером работы информационного сервера может служить обработка одной заявки, поступившей от клиента. Клиент отправляет запрос к системе, тот после переадресации попадает на информационный сервер. Клиент переходит в состояние ожидания ответа на свой запрос. Информационный сервер обрабатывает заявку клиента, формирует выходной пакет данных, содержащий результат операции, и отправляет его клиенту. Информационный сервер вслед за запросом клиента получает запрос к агенту от Демона серверов. Агент по запросу анализирует состояние сервера: загрузку центрального процессора, оперативной памяти, каналов связи, жесткого диска; обобщает полученные данные в виде пакета и отправляет Демону серверов (рисунок 7).

Агенты информационных серверов, кроме участия в диалоге с Демоном серверов, должны взаимодействовать между собой. Это обусловлено необходимостью под держания целостности информации, ее актуальности.

Рис. 7. Структура информационного сервера системы

Каждый агент имеет уникальное идентификационное имя, которое не может быть изменено, а также имеет один или несколько транспортных протоколов, которые используются для отправления другими агентами транспортных сообщений. Каждый транспортный протокол должен иметь уникальную транспортную форму, например: smtp, http.

На рисунке 8 представлена структура программного комплекса моделирования процессов распределения нагрузки, реализованного с использованием объектно-ориентированного языка программирования Borland Delphi

Итоговые значения работы программных продуктов, в численном выражении, передавались в Microsoft Excel 2003 на основе которых, с использованием стандартных средств, Microsoft Office 2003, были сформированы визуальные результаты работы моделирующего программного обеспечения.

Создание программного комплекса обусловлено необходимостью практической проверки эффективности оперативного распределения нагрузки под управлением аналитической распределяющей функции.

Таким образом, разработанный алгоритм оперативного управления распределением нагрузки в неоднородной информационной системе на основе мультиагентной среды позволяет учитывать сложность заявок и на основании полученных данных производить краткосрочный прогноз состояния информационной системы.

В четвертой главе разработаны программные средства экспериментального анализа эффективности применения разработанного алгоритма распределения нагрузки в распределенных серверных системах.

Было выполнено две серии экспериментов. Первая серия - моделирование работы оперативного управления системой распределения нагрузки при участии распределяющей функции.

Вторая серия — сравнительный анализ оперативного управления системой распределения нагрузки при участии разработанной распределяющей функции и алгоритма круговой балансировки нагрузки.

Практическая значимость заключается в определении эффективности предложенного алгоритма работы системы распределения нагрузки с применением распределяющей функции. В качестве критерия оценки эффективности, выбрана производительность системы.

Рассмотрим результаты проведения первой серии экспериментов по аналитическому моделированию работы распределяющей функции. Созданный программный продукт моделировал работу распределенной серверной системы. В качестве информационных серверов взяты абстрактные каналы обслуживания. За один цикл работы каждый из каналов может обслужить количество заявок соответствующее его производительности (например, канал с интенсивностью 5 может обработать 5 заявок).

Таблица 2

№ сервера I 2 3 4 5 б 7 8 9 10

Интенсивность об-

служивания, за 1 цикл работы сис- 1 4 7 10 13 16 19 22 25 28

темы

Каналы обслуживания были упорядочены по возрастанию интенсивностей обслуживания каждого из них. Число каналов N взяли равным 10. Интенсивности обслуживания заявок каждым из каналов приведены в таблице 2.

В качестве распределяющей функции использована функция (8). Величина (р регулирует направление распределения нагрузки на каналы обслужи-

вания. Упорядочим каналы обслуживания в порядке увеличения их интенсивности обслуживания, в соответствии с этим возьмем (р = 0. Полученные результаты приведены в табл. 3.

Таблица 3

№ канала Количество выполненных заявок Интенсивность обслуживания, за 1 цикл работы системы Загрузка канала, %

шт. получено % рассчитано, %

1. 995 2 3,41 1 99,5

2. 2396 5 3,79 4 59,9

3 2633 5 4,27 7 37,61

4 2880 6 4,88 10 28,8

5 3303 7 5,69 13 25,41

6 3855 8 6,83 16 24,09

7 4699 9 8,54 19 24,73

8 6073 12 11,38 22 27,60

9 8812 18 17,07 25 35,25

10. 13727 28 34,14 28 49,03

Из приведенной таблицы можно сделать вывод, что интенсивность входящего потока заявок на каждый из каналов обслуживания соответствовала его производительности.

На рисунке 9 представлено количество выполненных заявок каждым из каналов обслуживания под управлением распределяющей функции и без ее применения.

О -I-,--1-,-,-,-1-,-,

123456789 10 Номер канала

Рис. 9. Среднее количество выполненных заявок, %

На графике, показывающем распределение нагрузки без применения распределяющей функции, видно, что распределение заявок между каналами было неравномерным: каналы обслуживания были выстроены по увеличению интенсивности, поэтому процент выполненных заявок должен увеличиваться от первого канала к последнему. Тем не менее, виден всплеск количества выполненных заявок, пиком которого является пятый канал обслуживания, а с

шестого по десятый каналы наблюдается постепенное уменьшение процента выполненных заявок.

На рисунке 10 представлена средняя загрузка каналов обслуживания при использовании распределяющей функции и без нее.

%

без использования распределяющей функции

с использованием распределяющей функции

100 -• 90 ■• 80 -■ 70 -60 -50 -40 -30 -20 •10 --

1234 56789 10

Номер канала Рис. 10. Средняя загрузка каналов обслуживания, %

Из гистограммы, показывающей среднюю загрузку каналов в результате работы системы без использования распределяющей функции, можно сделать вывод, что загрузка каналов обслуживания неравномерна. Первые три канала обслуживания работали на грани перехода в режим перегрузки, их запас мощности был менее 10%. Следующие три канала обслуживания использовали свой ресурс более чем на половину и в случае возникновения пиковых нагрузок может возникнуть вероятность перегрузки этой части сети. Оставшиеся каналы, по номерами с 7 по 10, работали в режиме простоя, на них пришлось менее четверти всех выполненных заявок, при том, что они имели максимальную производительность из всех представленных каналов обслуживания.

Вторая серия экспериментов позволила проверить эффективность работы алгоритма распределения нагрузки. В качестве альтернативного способа был выбран известный алгоритм круговой балансировки нагрузки с незначительными изменениями, касающимися мониторинга состояния серверов (в классическом алгоритме круговой балансировки нагрузки не предусмотрен учет состояний информационных серверов). Еще один недостаток касается невозможности учета неоднородности каналов обслуживания, что ведет к несоблюдению последовательности при выполнении заявок и как следствие к увеличению среднего времени пребывания заявки в системе.

В качестве обслуживающих информационных серверов были взяты десять серверов с различными интенсивностями обслуживания. Интенсивности обслуживания серверов приведены в табл. 4.

При моделировании учитывали отказы каналов обслуживания, при которых Демону серверов необходимо произвести полное перераспределение

входящего потока, что позволило проверить эффективность работы в таком режиме.

Таблица 4

№ п.п. 1 2 3 4 5 6 7 8 9 10

Интенсивность

обслуживания, за 1 цикл работы 30 27 24 21 18 15 12 9 6 3

системы

В процессе моделирования работы системы распределения нагрузки было выполнено 43200 циклов (работа системы в течение 12 часов).

Эксперимент проходил в три этапа.

Первый этап: все каналы обслуживания работают нормально, распределение нагрузки происходит в соответствии с начальными параметрами системы (количество каналов обслуживания).

123456789 10

Номер канала

Расчетное распределение заявок до момента ' отказа канала обслуживания Расчетное распределение заявок после отказа * канала обслуживания Среднее количество выполненных заявок в -♦ результате эксперимента

Рис. 12. Среднее количество выполненных заявок, %

Второй этап: один канал обслуживания перестает выполнять заявки, происходит перераспределение нагрузки между оставшимися каналами.

Третий этап: нерабочий канал обслуживания возвращается к выполнению заявок, нагрузки возвращаются в прежнее значение.

В процессе моделирования один из каналов обслуживания был выведен из строя. В результате нагрузка между каналами распределилась следующим образом, рис. 12. Общее количество выполненных заявок составило 627322,

что составляет около 99% входящего потока данных. Общее количество поступивших заявок равно 633760.

Изменение нагрузки, вызванное выходом из строя одного из каналов обслуживания, незначительно повлияло на работу системы: не произошло большого колебания числа отказов в системе распределения нагрузки. Запас производительности каналов обслуживания позволил им справиться с увеличенным объемом заявок.

Для сравнения работы системы под управлением распределяющей функции был проведен эксперимент, где в качестве алгоритма распределения заявок использовался алгоритм круговой балансировки нагрузки.

30,00 25,00 20,00 15.00 10,00 5,00 0,00

с использованием распределяющей функции |

без использования г-1

распределяющей функции у

ИлшкШ

8 9 10

Номер канала Рис. 13. Средняя загрузка каналов обслуживания

По результатам эксперимента средняя загрузка каналов обслуживания представлена на рисунке 13. При использовании кругового метода балансировки загрузка системы составила 7,85%, а число заявок в очереди 29% от общего объема входящего потока. При использовании распределяющей функции, средняя загрузка системы 8,92%, число заявок в очереди составило 1% от общего объема входящего потока. Таким образом, предложенный алгоритм оперативного управления распределением нагрузки в неоднородной информационной системе, оказался более эффективным.

Результаты научно-исследовательской работы были приняты к внедрению в деятельность государственного учреждения Регионального отделения Фонда социального страхования РФ в составе корпоративной информационной системы и в учебном процессе Воронежского государственного технического университета на кафедре автоматизированных и вычислительных систем при подготовке студентов специальности 230100.

Программная система обеспечивает решение задач оптимизации управления обслуживанием запросов к распределенным элементам базы данных с использованием оригинальных моделей и алгоритмов, а также эффективное использование в контуре принятия решений по управлению сетевыми потоками на основе многоагентной технологии.

Эффект от внедрения программной системы состоит в обеспечении более равномерной загрузки коммуникационной подсистемы и создании резервной производительности корпоративной информационно-вычислительной сети.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Получена аналитическая модель многосерверной системы, обеспечивающая получение характеристик соответствующей СМО с параллельными каналами различной интенсивности и отличающаяся учетом бесконечной очереди.

2. Разработан алгоритм управления распределением запросов в неоднородной информационной системе, отличающийся использованием аналитической управляющей функции и обеспечением выравнивания нагрузки на компьютерные системы.

3. Созданы структура и алгоритмы функционирования мультиагентной распределенной системы, обеспечивающие отказоустойчивость управления информационной системой и отличающиеся наличием подсистемы краткосрочного прогнозирования состояния.

4. Разработан комплекс алгоритмов анализа процессов распределения нагрузки, учитывающий применение аналитической управляющей функции и обеспечивающий сравнительный анализ методов распределения нагрузки.

5. Разработан программный комплекс моделирования процессов распределения нагрузки, обеспечивающий экспериментальное исследование и сравнительный анализ алгоритмов распределения нагрузки.

6. Алгоритмы оперативного управления распределением запросов, приняты к внедрению в деятельность государственного учреждения Регионального отделения Фонда социального страхования РФ в составе корпоративной информационной системы и в учебном процессе Воронежского государственного технического университета на кафедре автоматизированных и вычислительных систем при подготовке студентов специальности 230100.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ ОПУБЛИКОВАНЫ В СЛЕДУЮЩИХ РАБОТАХ:

1. Абсатаров P.A., Кравец О.Я., Моисеев Т.Н. Аналитическое моделирование распределения процессов обслуживания в серверных системах/ Вестник Воронежского государственного технического университета. - Воронеж: ВГТУ, 2005. Т.1. №5. С. 33-39.

2. Кравец О.Я., Моисеев Т.Н. Особенности использования многосерверных комплексов в Internet-ориентированных системах/Современные проблемы информатизации в системах моделирования, программирования и телекоммуникациях: Сб. тр. Воронеж: Изд-во "Научная книга", 2004. Вып. 9. С. 334-335.

3. Кравец О.Я., Моисеев Т.Н. Резервная производительность многосерверных систем дистанционного обучения/Технологии Интернет - на службу обществу: Сб. статей. - Саратов: СГТУ, 2004. С. 158-161.

4. Кравец О.Я., Моисеев Т.Н. Обеспечение равномерной загрузки распределенных компонент системы дистанционного обучения/ "Телематика-2004": Труды XI Всерос. науч.-метод. Конф. СПб., М., 2004. С. 95-96.

5. Кравец О .Я., Моисеев Т Н. Распределение информационных потоков данных в распределенных многосерверных системах/Современные проблемы информатизации в системах моделирования, программирования и телекоммуникациях: Сб. тр. Воронеж: Изд-во "Научная книга", 2005. Вып. 10. С. 249-250.

6. Кравец О.Я., Моисеев Т.Н. Модели распределения вычислительных процессов в серверных системах/Современные сложные системы управления (СССУ/HTCS 2005): Сб. науч тр. VII Междунар. Конф. Воронеж: 2005. Т.2. С. 28-36.

7. Кравец О.Я., Моисеев Т.Н Методика перераспределения нагрузки в многосерверных системах/Сети и системы связи: Сб. тр. Рязань: РГРА, 2005. С. 215-217.

8. Кравец О.Я., Моисеев Т.Н. Моделирование систем распределения нагрузки/Сб. науч. статей. - Тамбов, 2004. С. 211-213.

9. Моисеев Т.Н. Системы оперативного управления потоками данных в распределенных серверных системах/Шаг в будущее, Центральная Россия: Региональная молодежная научная и инженерная конф. - Липецк: 2004. С. 26-27.

10. Моисеев Т.Н. Особенности планирования равномерной нагрузки в многосерверных информационных системах/ Новые технологии в научных исследованиях, проектировании, управлении, производстве: Труды Всероссийской конф. - Воронеж: 2005. С. 30-31.

11. Моисеев Т.Н., Кравец О .Я. Исследование механизма балансировки нагрузки многосерверной сетевой системы на основе теории Марковских процессов/Информационные технологии моделирования и управления. № 3(21). - Воронеж, 2005. С. 428-435.

12. Моисеев Т.Н., Сергеева Т.И. Программный модуль АРМ оператора рабочей базы. - М.: ФАП ВНТИЦ, 2002. - Per. № 50200200301 от 31.05.2002.

Подписано в печать 13.10.05. Формат 60x84/16. Бумага для множительныхатов. Усл. печ. л. 1,0. Тираж 90 экз. Заказ №

Воронежский государственный технический университет 394026 Воронеж, Московский просп., 14

г

»

-ч

Í

»19437

РНБ Русский фонд

2006-4 20013

г*

Введение.

1. Построение неоднородных информационных систем.

1.1 Проблемы построения мультиагентных систем.

1.2. Понятие протокола. Стандартная семиуровневая модель протокола ISO.

1.3. Сравнительный анализ методов распределения нагрузки в распределенной серверной сети.

1.2.1 Размещение информации в распределенной серверной сети.

1.2.2. Алгоритмы без распределения нагрузки.

1.3. Разработки в области распределителей нагрузки.

1.3.1. Аппаратное распределение нагрузки.

1.3.2. Программное распределение нагрузки.

1.3.3. Кластерное соединение.

1.4 Постановка задачи.

2. Разработка метода распределения вычислительных процессов в серверных системах

2.1. Построение и анализ аналитической модели для двух канальной системы.

2.2 Обобщение модели для n-канальной системы.

2.3 Расчет характеристик n-канальной системы массового обслуживания.

2.5 Выводы.

3. Эвристические алгоритмы динамического управления распределением потока заявок

3.1 Механизм распределения нагрузки между серверами сети.

3.2 Механизмы работы демона серверов и информационного сервера.

3.4 Агенты системы и методы взаимодействия между ними.

3.5 Выводы.

4. Анализ эффективности распределения нагрузки с помощью.

4.1. Моделирование работы функции распределения нагрузки.

4 4.2. Аналитическое моделирование работы функции распределения нагрузки.

4.2.1 Работа системы распределения нагрузки с использованием функции распределения.

4.2.2 Работа системы распределения нагрузки без использования функции распределения.

4.3. Построение имитационной модели распределенной серверной сети.

4.3.1 Исследование работы системы распределения нагрузки в.

4.3.2. Имитационное моделирование работы системы распределения нагрузки с использованием пользовательской функции распределения нагрузки.

4.3.3. Имитационное моделирование работы системы распределения нагрузки в случае отказа одного из каналов обслуживания.

4.3.4 Внедрение результатов научно-исследовательской работы.

4.4. Выводы.

Актуальность темы. Одним из главных факторов, обеспечивающих успешное функционирование крупной современной компании является внедрение в хозяйственную деятельность достижений в области информационных технологий. На сегодняшний день особо следует отметить широкое применение электронных каналов передачи информации - будь то локальные сети или глобальная сеть Интернет. Тем не менее, создание крупных информационных систем сопряжено с рядом проблем: возможность анализа сетевого трафика и ожидаемой загрузки сервера; выбора архитектуры распределенной системы; маршрутизации пакетов внутри системы; функциональности распределителей нагрузки; методы выбора сервера; распределения хранимой информации.

Существует несколько способов повышения быстродействия Интернет ресурса: можно увеличить полосу пропускания, установить высокопроизводительное сетевое оборудование, разработать эффективные сетевые приложения, оптимизировать и модернизировать программные и аппаратные компоненты сервера, а также взять на вооружение технологию кэширования.

Еще один способ повышения производительности узла состоит в том, чтобы увеличить количество серверов и размещать на них "зеркальные" копии материалов. Таким образом, можно распределить общую нагрузку по всем компонентам системы и сократить время возврата информации при выполнении сервером внутренних процедур обработки клиентских запросов. При этом сохраняются и существующие серверы, поскольку выводить их из эксплуатации и заменять новыми не придется.

Распределение, или выравнивание нагрузок, приходящихся на несколько серверов, позволяет избежать такой ситуации, когда передаваемые по сети пакеты перегружают один сервер, в то время как другие простаивают. Для распределения нагрузки между серверами обычно используется функция DNS, именуемая циклической выборкой (round-robin), которая предусматривает возможность круговой передачи IP-адреса любого сервера, составляющего сайт, любому клиенту; в итоге нагрузка равномерно распределяется между всеми серверами. Однако этот механизм недостаточно эффективен в тех случаях, где возможности аппаратных и программных компонентов отдельных серверов неравнозначны. С точки зрения процедуры циклической выборки службы DNS между этими системами нет никакой разницы. Кроме того, данная функция не имеет представления о доступности того или иного сервера.

Таким образом, актуальность темы диссертационной работы продиктована необходимостью создания рабочего механизма системы распределения нагрузки, для обеспечения наилучшей работы информационных систем.

Тематика диссертационной работы соответствует научному направлению Воронежского государственного технического университета "Вычислительные системы и программно-аппаратные электротехнические комплексы".

Целью работы является разработка алгоритмов оперативного управления распределением нагрузки в неоднородных информационных системах для повышения производительности территориально распределенных серверных систем.

Задачи исследования. В соответствии с поставленной целью сформулированы следующие основные задачи исследования:

1. Выполнить сравнительный анализ алгоритмов распределения нагрузки, способных работать с распределенной серверной системой.

2. Разработать математическую модель распределенной информационной системы с применением теории массового обслуживания.

3. Разработать алгоритм динамического управления распределением потока заявок и создать алгоритм взаимодействия объектов в неоднородной информационной системе.

4. Провести анализ эффективности предложенных алгоритмов распределения нагрузки и реализовать вычислительный эксперимент с использованием предложенных алгоритмов.

Методы исследования. В работе использованы методы теории массового обслуживания, имитационного моделирования, объектно-ориентированного программирования.

Научная новизна исследования. К основным результатам работы, отличающимся научной новизной, относятся: аналитическая модель многосерверной системы, обеспечивающая получение характеристик соответствующей системы массового обслуживания с параллельными каналами различной интенсивности и отличающаяся учетом бесконечной очереди; алгоритм управления распределением запросов в неоднородной информационной системе, отличающийся использованием аналитической управляющей функции и обеспечивающий выравнивание нагрузки на серверы распределенной серверной системы; структура и алгоритмы функционирования мультиагентной распределенной системы, обеспечивающие отказоустойчивость управления информационной системой и отличающиеся наличием подсистемы краткосрочного прогнозирования состояния; структура программного комплекса моделирования процессов распределения нагрузки, учитывающая • применение аналитической управляющей функции и обеспечивающий экспериментальное исследование и сравнительный анализ алгоритмов распределения нагрузки.

Практическая значимость работы. Практическая значимость результатов диссертации заключается в создании алгоритма оперативного управления системой распределения нагрузки, внедренного в практическую деятельность государственного учреждения «Региональное отделение Фонда социального страхования РФ».

Реализация и внедрение результатов работы. Основные теоретические и практические результаты работы реализованы в программном комплексе выполняющем моделирование работы неоднородной информационной системы. С его использованием разработана программная система обеспечивающая решение задач оптимизации управления запросами к распределенным элементам базы данных с использованием оригинальных моделей и алгоритмов.

Апробация работы. Основные результаты работы докладывались и обсуждались на Всероссийской научно-практической конференции «Актуальные проблемы профессионального образования: подходы и перспективы» (Воронеж, 2004); Всероссийской научно-методической конференции «Телематика-2004» (Санкт - Петербург 2004); Международной научно-практической конференции «Актуальные проблемы информатики и информационных технологий» (Тамбов 2004); международной конференции «Наука на рубеже тысячелетий» (Тамбов 2004); научно-практической конференции «Современные сложные системы управления» (Воронеж 2005); всероссийской научно-практической конференции «Актуальные проблемы профессионального образования: подходы и перспективы» (Воронеж 2005).

Публикации. Основные результаты диссертации опубликованы в 14 научных работах, в том числе 1 без соавторов. В работах, опубликованных в соавторстве и приведенных в конце автореферата, лично соискателю принадлежит: в [27,29,30] многосерверные комплексы Internet-ориентированных систем, [1,28] распределения процессов обслуживания в серверных системах, [31,33,34] применение распределенных систем в учебном процессе, [32,33] методы перераспределения нагрузки в многосерверных системах, [35,49] моделирование систем распределения нагрузки, [50] особенности реализации системы распределения потока заявок.

Структура и объем работы. Работа состоит из введения, четырех глав, заключения, списка литературы, включающего в себя 101 наименование и трех приложений. Основная часть работы изложена на 144 страницах, содержит 19 таблиц и 28 рисунков.

Основное содержание работы. В первой главе проведен сравнительный анализ методов распределения нагрузки, способных работать с распределенной серверной системой. Сделан вывод о перспективности разработки методов оперативного управления маршрутизацией запросов в неоднородных информационных системах. В результате проведенного обзора методов распределения нагрузки было предложено разработать механизм работы мультиагентной системы.

Привлекательность мультиагентных систем состоит в их гибкости, многофункциональности и легком изменении архитектуры. Возможность без болезненного добавления новых элементов, серверов или целых сегментов. Текущий ремонт либо плановая замена отдельных частей, практически без полной остановки работы системы. При пиковых нагрузках возможность подключения дополнительных серверных элементов, для стабилизации работы.

Разделение работы между компьютерами помогает ускорить получение результата, и такое ускорение получается значительно дешевле, чем использование одного, но более мощного компьютера. Во многих случаях обработку информации можно приблизить к месту ее возникновения. Распределенная имеет высокую надежность информационного обслуживания: в распределенной системе отказы отдельных частей независимы, а следовательно, вероятность того, что откажут сразу все или даже несколько элементов распределенной системы весьма мала. Поэтому после обнаружения отказавшего сервера и перераспределения его функций среди оставшихся, распределенная система способна продолжать с некоторой степенью деградации свое функционирование. Такие действия могут быть выполнены автоматически после автоматического же обнаружения отказа.

На основе проведенного обзора сформулирована цель исследования и определены задачи для ее выполнения.

Во второй главе решена задача разработки метода распределения вычислительных процессов в распределенных серверных системах.

С использованием теории массового обслуживания получены формулы, дающие предельный закон распределения числа занятых каналов в зависимости от характеристик потока заявок и производительности системы обслуживания, для случая с бесконечным числом не одинаковых приборов и очередью.

В рамках решения поставленной задачи предложена функция управления информационными потоками данных в «-канальной сети массового обслуживания с ожиданием - сеть территориально распределенных серверов. Приведены способы использования функции в системах массового обслуживания, серверных системах реального времени. Рассчитаны оценочные характеристики системы массового обслуживания.

Приводится обоснование распределения информационных потоков (входящего потока заявок) между серверами сети (каналами обслуживания системы).

В заключительной части второй главы полученные результаты проанализированы. Приведена оценка производительности работы системы.

В третьей главе сформулирован механизм работы распределенной серверной сети. Получен эвристический алгоритм обмена данными клиента с распределенной серверной сетью. Описана иерархическая модель распределенной серверной сети. Сформулированы общие принципы взаимодействия между объектами системы, дают обобщенное представление о методах обмена данными в системе в связках: клиент -сервер, демон - информационный сервер.

Предложены механизмы управления потоками в распределенной серверной сети, такие как: возможность использования любой, наиболее подходящей функции распределения входящего потока заявок; формирование сводной таблицы приоритетов серверной сети; предусмотрен блок краткосрочного прогнозирования состояния системы.

Описана схема обмена сообщениями между объектами распределенной серверной системы, на примере связи между агентами рассматриваемой системы. Предложены конкретные механизмы реализации обмена информации между агентами.

Выработан механизм защиты пересылаемых сообщений, предложена концепция по использованию защитных механизмов при формировании сообщения, а также по способам его транспортировки и приема, между агентами неоднородной информационной системы.

В четвертой главе произведена реализация комплекса аналитического и имитационного моделирования системы распределения нагрузки между распределенными информационными серверами.

Было проведено практическое исследование работы механизма распределения нагрузки под управлением функции распределения.

В рамках аналитического моделирования работы системы распределения нагрузки, разработан программный комплекс, позволяющий определить эффективность работы модуля распределения нагрузки. Доказана эффективность использования предложенных механизмов распределения нагрузки. Определены узкие места в работе модуля распределения нагрузки под управлением функции распределения.

В рамках имитационного моделирования проверена возможность применения конечным пользователем системы, оригинальных настроек. В качестве параметров распределения нагрузки показана возможность использовать значения, полученные с использованием оригинальной функции распределения.

Получены результаты работы системы распределения нагрузки при изменении количества каналов обслуживания. Было проведено несколько экспериментов по работе системы распределения нагрузки: штатная работа системы, выход из строя одного из каналов обслуживания, возвращение к работе отключившегося канала обслуживания. Показано перераспределение нагрузки между всеми доступными каналами обслуживания, режим работы системы распределения нагрузки при уменьшении количества каналов обслуживания. Возврат системы к исходному состоянию.

4.4. Выводы

В четвертой главе произведена реализация комплекса моделирования системы оперативного управления распределением нагрузки в информационной системе. Было проведено практическое исследование работы механизма распределения нагрузки под управлением функции распределения. Получены следующие результаты:

1. В рамках аналитического моделирования работы системы распределения нагрузки, разработан программный комплекс, позволяющий определить эффективность работы модуля распределения нагрузки. Доказана эффективность использования предложенных механизмов распределения нагрузки. Определены узкие места в работе модуля распределения нагрузки под управлением функции распределения.

2. Для проведения имитационного моделирования работы системы распределения нагрузки, был создан программный комплекс, моделирующий работу системы на одном вычислительном устройстве. В результате проведенного опыта получены результаты, доказывающие эффективность предложенного механизма распределения нагрузки.

3. В рамках имитационного моделирования проверена возможность применения конечным пользователем системы, оригинальных настроек. В качестве параметров распределения нагрузки показана возможность использовать значения, полученные с использованием оригинальной функции распределения.

4. Смоделирована работа системы распределения нагрузки при изменении количества каналов обслуживания. Было проведено несколько экспериментов по работе системы распределения нагрузки. Показано перераспределение нагрузки между всеми доступными каналами обслуживания, режим работы системы распределения нагрузки при уменьшении количества каналов обслуживания. Возврат системы к исходному состоянию.

Заключение

В результате рассмотрения проблем разработки методов оперативного управления распределением нагрузки в неоднородных информационных системах на основе системы территориально распределенных серверов получены следующие результаты:

1. Получена аналитическая модель многосерверной системы, обеспечивающая получение характеристик соответствующей СМО с параллельными каналами различной интенсивности и отличающаяся учетом бесконечной очереди.

2. Разработан алгоритм управления распределением запросов в неоднородной информационной системе, отличающийся использованием аналитической управляющей функции и обеспечением выравнивания нагрузки на компьютерные системы.

3. Созданы структура и алгоритмы функционирования мультиагентной распределенной системы, обеспечивающие отказоустойчивость управления информационной системой и отличающиеся наличием подсистемы краткосрочного прогнозирования состояния.

4. Разработан комплекс алгоритмов анализа процессов распределения нагрузки, учитывающий применение аналитической управляющей функции и обеспечивающий экспериментальное исследование и сравнительный анализ процессов распределения нагрузки.

5. Алгоритмы оперативного управления распределением запросов, приняты к внедрению в деятельность государственного учреждения Регионального отделения Фонда социального страхования РФ в составе разработанной программной системы принятия решений.

1. Абсатаров Р.А., Кравец О.Я., Моисеев Т.Н. Аналитическое моделирование распределения процессов обслуживания в серверных системах. - Вестник Воронежского государственного технического университета. Том 1 вып. 5 - Воронеж: ВГТУ, 2005. С. 33-39.

2. Авен О.И. Турин Н.Н. Коган А.Я. Оценка качества и оптимизация вычислительных систем. М.: Наука, 1982. -464 С.

3. Альянах И.Н. Моделирование вычислительных систем. Л.: Машиностроение. Ленингр. отд., 1988. - 223 С.

4. Барфилд Э., Уолтере Б. Программирование клиент-сервер в локальных вычислительных сетях. М.: Филинъ, 1997. 424 С.

5. Башарин Г.П., Бочаров П.П., Коган Я.А. Анализ очередей в вычислительных сетях. Теория и методы расчета. — М.: Наука. Гл. ред. физ.-маш. лит., 1989. 336с.

6. Блэк Ю. Сети ЭВМ: протоколы, стандарты и интерфейсы// М., "Мир", 1990.

7. Бройдо В.Л. Вычислительные системы, сети и телекоммуникации. Спб.: Питер, 2002. 688 С.

8. Бэйкер P. Oracle 8i. Создание Web-приложений М.: ЛОРИ, 2001. -723 С.

9. Вентцель Е.С. Теория вероятностей, М.: государственное издательство физико-математической литературы, 1962. - 564 С.

10. Ю.Вентцель Е.С., Овчаров Л.А. Задачи и упражнения по теории вероятностей, М.: Высшая школа, 2000. - 366 С.

11. И.Волков Д. Как оценить рабочую станцию / Открытые системы, №2, 1994, С. 44-48.

12. Волокитин А.В., Маношкин А.П. и др. Электронная коммерция. М.: Омега, 2002, 272 С.

13. Генри Д. Java Server Pages. Библиотека профессионала. М.: Вильяме, 2002. 464 С.

14. Н.Гешвинде Э., Шенинг Г.Ю. Разработка WEB-приложений на РНР и PostgreSQL. М.: ДиаСофт, 2003.- 608 С.

15. Дейтел X., Дейтел П., Нието Т. Как программировать для Internet & WWW М.: Бином, 2002, 1184 С.

16. Дэвис Д., Барбер Д., Прайс У., Соломонидес С. Вычислительные сети и сетевые протоколы М.: Мир, 1980. - 563 С.

17. Джонсон М. Харт. Системное программирование в среде Win32 2-е издание. М.: Вильяме, 2001. 464 С.

18. Жожикашвили В.А., Вишневский В.М. Сети массового обслуживания. Теория и применение к сетям ЭВ. М.: Радио и связь, 1988. - 192 е.: ил.

19. Иванов П. Управление информационными системами: базовые концепции и тенденции развития. / Открытые системы, №4, 1999, С. 37-43.

20. Камер Д. Компьютерные сети и Internet М.: Вильяме, 2002.- 640 С.

21. Кёниг Д., Штоян Д. Методы теории массового обслуживания, М.: Радио и связь, 1981.

22. Киллелиа П. Тюнинг WEB-сервера Спб.: Питер, 2003. 528 С.

23. Когаловский М.Р. Энциклопедия технологий баз данных. М.: Финстат, 2002. 800 С.

24. Кокс Д. Р., Смит У. JI. Теория очередей: Пер. с англ. М.: Мир, 1966 -218 С.

25. Колесов Ю.Б., Сениченков Ю.Б., Визуальное моделирование, Спб.:Мир и Семья, 2000. 256 С.

26. Кофман А., Крюон Р. Массовое обслуживание. Теория и приложения, М.: Мир, 1965. - 302 С.

27. Кравец О.Я., Моисеев Т.Н. Резервная производительность многосерверных систем дистанционного обучения. Технологии Интернет - на службу обществу: Сб. статей. - Саратов: СГТУ, 2004. С. 158-161.

28. Кравец О.Я., Моисеев Т.Н. Многосерверные комплексы в Internet-ориентированных образовательных системах. Актуальные проблемы профессионального образования: подходы и перспективы; Материалы Всеросс. НПК. - Воронеж: ВФ РАГС, 2004. - С. 166-167.

29. Кравец О.Я., Моисеев Т.Н. Обеспечение равномерной загрузки распределенных компонент системы дистанционного обучения. -Труды XI Всероссийской научно-методической конференции "Телематика-2004": СПб, М, 2004. С. 95-96.

30. Кравец О.Я., Моисеев Т.Н. Методика перераспределения нагрузки в многосерверных системах. Сети и системы связи: Материалы семинара всероссийский научно-практический семинар. - Рязань: РГРА, 2005. С. 215-217.

31. Кравец О.Я., Моисеев Т.Н. Распределенные серверные системы в образовании. Актуальные проблемы информатики и информационных технологий: Материалы Международной (VIII Тамбовской межвузовской) научно-практической конференции. -Тамбов: ТГУ, 2004. С. 68-69.

32. Кравец О.Я., Моисеев Т.Н. Моделирование систем распределения нагрузки. Международная конференция «Наука на рубеже тысячелетий»: Сборник научных статей по материалам конференции 29-30 октября 2004 года. - Тамбов, 2004. С. 211-213.

33. Куроуз Джеймс Ф., Росс Кит В. Компьютерные сети. 2-е изд. СПб.: Питер, 2004. - 765 С.

34. Ларионов A.M., Майоров С.А., Новиков Г.И. Вычислительные комплексы, системы и сети. JI.: Энергоатомиздат, 1987. 256 С.

35. Лебедев А.Н., Чернявский Е.А. Вероятностные методы в вычислительной технике. М.: Высшая школа, 1986. 312 С.

36. Либман Л. Философия распределения нагрузки. Журнал сетевых решений LAN, 2000.

37. Липский Н. Комбинаторика для программистов. М.: Мир, 1985. -374 С.

38. Лобачев С.Л., Солдаткин В.И. Дистанционные образовательные технологии: информационный аспект. М.: МЭСИ, 1998. 104 С.

39. Матвеев В.Ф., Ушаков В.Г. Системы массового обслуживания. М.: Изд-во МГУ, 1984. 240 С.

40. Мальцева С.В. Информационное моделирование WEB-ресурсов Интернет. М.: Глобус, 2003. 216 С.

41. Мещеряков Е.В., Хомоненко А,Д. Публикация баз данных в Интернете Спб.: BHV-Санкт-Петербург, 2001. 560 С.

42. Минзов А.С., Грачев В.В. Оценка эффективности системы дистанционного обучения / Дистанционное образование №3, М., 1999-С. 37-41.

43. Минзов А.С. Дистанционное обучение: взгляд изнутри / Открытое образование №2, М., 2001 С. 61-64.

44. Моисеев Т.Н. Системы оперативного управления потоками данных в распределенных серверных системах. Региональная молодежная научная и инженерная выставка «Шаг в будущее, Центральная Россия»: Сборник тезисов докладов. - Липецк: ЛГТУ, 2004. С. 26-27.

45. Павловский Ю. Н. Имитационные модели и системы. М.: ФАЗИС, 2000. 144 С.

46. Перегудов Ф.П., Тарасенко Ф.П. Введение в системный анализ. М: Высшая школа, 1989. 367 С.

47. Саати Т.Д. Элементы теории массового обслуживания и ее приложения, М.: Советское радио, 1971. - 448 С.

48. Свами М., Тхуласираман К. Графы, сети и алгоритмы: Пер. с англ. М.: Мир, 1984. 455 С.

49. Советов Б.Я., Яковлев С.А. Построение сетей интегрального обслуживания. JL: Машиностроение, 1990. - 332 с.

50. Советов Б.Я., Яковлев С.А. Моделирование систем //3-е изд., М:Высшая школа, 2001. 344 С.

51. Стрелкова Е. Интеграция данных предприятия / Открытые системы, №4, 2003, С. 58-60.

52. Теория вероятностей и математическая статистика: Учебное пособие / Под ред. В.И. Ермакова. М.: ИНФРА-М, 2004. - 287 С.

53. Томашевский В.Н., Жданова Е.Г. Имитационное моделирование в среде GPSS. Серия "Факультет". М.: Бестселлер, 2003. 400 С.

54. Феррари Д. Оценка производительности вычислительных систем: пер. с англ. А.И. Горлина, Ю.Б. Котова и JI.B. Ухова / под ред. В.В. Мартынюка. М.: Мир, 1981.

55. Французов Д. Оценка производительности вычислительных систем. Открытые системы, №2, 1996, С. 58-66.

56. Фролов А.В. Фролов Г.В. Локальные сети персональных компьютеров. М.: ДИАЛОГ-МИФИ, 1993.- 176 С.

57. Хилайер С., Мизик Д. Программирование Active Server Pages М.: Русская редакция. 2000. 320 С.

58. Храмцов П.Б., Брик С.А. и др. Основы web-технологий. М.: ИНТУИТ.ру, 2003. 512 С.

59. Чистяков В.П. Курс теории вероятностей 5-е изд. М.: Агар, 2000. -255 С.

60. Шагурина Н. Web-службы: новая парадигма интеграции? / Сетевой журнал №2, М, 2003 С. 14-17.

61. Шарма В, Шарма Р. Разработка Web-серверов для электронной коммерции. М.: Вильяме, 2000. 400 С.Шварц М. Сети ЭВМ. Анализ и проектирование: пер. с англ.; под ред. В.А. Жожикашвили. - М.: Радио и связь, 1982. 335 с.

62. Шилдт Г. MFC: основы программирования. Киев: BHV Киев, 1997. -560 С.

63. Шнепс М.А. Системы распределения информации. Методы расчета.: Справочное пособие. М.: Связь, 1979. - 344с.

64. Шэннон Р. Имитационное моделирование систем. М.: Мир, 1978. -418 С.

65. Яшков С.Ф. Анализ очередей в ЭВМ. М.: Радио и связь, 1989. - 216 е.: ил. - ISB№ 5-256-00304-6.

66. Arlitt M.F, Williamson C.L. Web Server Workload Characterization: The Search for Invariants. In Proceedings of the ACM SIGMETRICS '96 Conference, Philadelphia, PA, 1996. Apr.

67. Baskett F, Chandy K.M, Muntz R.R, Palacios F.G. Open, Closed and Mixed Networks of Queues with Different Classes of Customers//.!. Assoc. Comput. Mach. 1975. - Vol. 22, N 2. - P. 248 - 260.

68. Beiluer H.S. On the construction of computing system simulators. Experimental computer performance evaluation, North-Holland, 1981, P. 1-32.

69. Buzen J.P. Computational Algorithms of Closed Queuing Networks with Exponential Servers//Commun. ACM. 1973 - Vol. 16, N 9. - P. 527531.

70. Cardellini V., Casalicchio E., Colajanni M., Yu P.S. The State of the Art in Locally Distributed Web-server Systems. IBM Research Report, RC22209 (WO 110-048), 2001, October.

71. Cardellini V., Colajanni M., Yu P.S. High-Performance Web-server Systems. IEEE, Internet Computing, 1999, May-June.

72. Chen H., Yao D. Fundamentals of Queueing Networks. Springer Verlag; 1st edition, 2001. 424 p.

73. Crovella M. E., Taqqu M.S., Bestavros A. Heavy-Tailed Probability Distributions in the World Wide Web. In A Practical Guide To Heavy Tails, chapter 1, Chapman & Hall, New York.

74. Friedman H.P. Statistical methods in computer perfomance evaluation. Experimental computer performance evaluation, North-Holland, 1981, P. 79-105.

75. Galagan, P. Getting started with e-learning. Training and Development 54 (4), 2000. P. 62-64.

76. Gotschall, M. E-learning strategies for executive education and corporate training. Fortune, 141 (10) 2000 P. 5-59.

77. Gray J. The Benchmark Handbook for Database and Transaction Processing Systems, Second Edition. Morgan-Kaufmann, 1993. 592 P.

78. Gross D. Harris C. Fundamentals of Queueing Theory. Wiley-Interscience; 3rd edition, 1998. 439 P.

79. Hackathorn R.D. Web Farming for the Data Warehouse. Morgan Kaufmann, 1998. 368 P.

80. Harchol-Balter M., Crovella M., Murta C. To queue or not to queue?: When FCFS is better than PS in a distributed system. Technical Report, CS Department, Boston University, Number 1997-017, 1997 October 31.

81. Hunt G., Goldszmidt G., King R., Mukherjee R. Network Dispatcher: a connection router for scalable Internet service. Computer Networks and ISDN Systems, Vol. 30, 1998.

82. Hunt G., Nahum E., Tracey J. Enabling content-based load distribution for scalable services. Technical report, IBM T.J. Watson Research Center, May 1997.

83. Linthicum D.S. B2B Application Integration. e-Business-Enable Your Enterprise. Addison Wesley, 407 P.

84. Majdalany M. TPC Announces New E-Commerce Benchmark Standard/TPC Press release, San Jose, CA 2000.

85. Moor F.R. Computational Model of a Closed Queuing Network with Exponential Servers//IBM J.Res. and Dev. -1972. Vol. 16, N 6. - P. 567-573.

86. Paxson V., Floyd S. Wide-area Traffic: The Failure of Poisson Modeling. IEEE/ACM Transactions on Networking, 1995 June.

87. Ousterhout J. et.al. MEDUSA: an experiment in distributed operating structure // Comm. ACM, v.23, N2, 1980, p.92-105.

88. Shaikh A., Tewari R., Agrawal M. On the Effectiveness of DNS-based Server Selection. Proceedings of IEEE INFOCOM '01, Anchorage, Alaska, 2001 April.

89. Smith W.D. TPC-W: Benchmarking An Ecommerce Solution. Intel Corporation. 2000.

90. Wooldridge M., Jennings N.R. Intelligent agents: Theory and practice. -The Knowledge Engineering Review, 10(2):115-152, 1995.

91. Whalen Т., Wright D. Methodology for cost-benefit analysis of web-based tele-learning: Case study of the bell institute. The American Journal of Distance Education, 13(1), 1999. P. 24-44.

92. Zahm, S. No question about it e-learning is here to stay: A quick history of the e-learning evolution. E-learning, 1 (1) 2000. P. 44-47.101. http://www.citforum.ru/cfin/algobwebser/citforum.rucfinalgobwe b ser.html