автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы и технологии доступа к видеоинформации системы дистанционного обучения с использованием распределенной базы данных

На правах рукописи

1

МЕТОДЫ И ТЕХНОЛОГИИ ДОСТУПА К ВИДЕОИНФОРМАЦИИ СИСТЕМЫ ДИСТАНЦИОННОГО ОБУЧЕНИЯ С ИСПОЛЬЗОВАНИЕМ РАСПРЕДЕЛЕННОЙ БАЗЫ ДАННЫХ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (образование, муниципальное управление)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Дубна, 2006

Работа выполнена в Международном университете природы, общества и человека «Дубна» на кафедре системного анализа и управления.

Научный руководитель: ,

кандидат технических наук АНШЦЕНКО

Николай Григорьевич \

Официальные оппоненты:

доктор технических наук, профессор ТРОФИМОВ

Александр Терентьевич

кандидат физико-математических наук ЗАИКИН

Николай Семенович

Ведущее научно-исследовательское учреждение:

Московский государственный университет приборостроения и информатики (МГУПИ), г. Москва

Защита диссертации состоится 21 апреля 2006 года в 16:00 в аудитории 1-300 на заседании диссертационного совета К800.017.01 при Международном университете природы, общества и человека «Дубна», по адресу: Московская обл., г. Дубна, ул. Университетская, д. 19.

С диссертацией можно ознакомиться в библиотеке Международного университета природы, общества и человека «Дубна».

Автореферат разослан 2006 года.

Ученый секретарь диссертационного совету кандидат физико-математических наук

Токарева Н.А.

М/<{

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы

За последние годы в системах образования развитых стран стали играть значительную роль дистанционные методы обучения, основанные на современных компьютерных информационных технологиях.

В настоящее время созданы многочисленные курсы дистанционного обучения (ДО), большинство из которых содержат электронные учебники, состоящие из текста, таблиц и рисунков. Но для повышения качества обучения необходимо наполнять эти курсы мультимедийной информацией, облегчающей воспринимаемость теоретического материала. Кроме того, существует большое число дисциплин, изучение которых невозможно без проведения лабораторных работ. Однако часто создать лабораторную установку учреждение не может по финансовым или иным причинам. В качестве решения данной проблемы можно использовать видеоматериалы, представляющие собой виртуальный лабораторный практикум.

Обычно объем мультимедийных данных в электронных курсах ДО превышает размер текстовой информации. Требования к условиям передачи мультимедийных данных по сети значительно отличаются от требований, предъявляемых к передаче любой другой информации, но при этом все виды трафика передаются по одним и тем же каналам.

При наличии одного централизованного сервера ДО довольно сложно организовать высокую доступность видеоматериалов одновременно большому числу обучающихся, поскольку пропускная способность выходного канала сервера ограничена. Рано или поздно наступает момент, когда выходной канал сервера перестает справляться с нагрузкой, тем самым ограничивая доступ к учебным материалам даже тем пользователям, которые хотят, например, просмотреть электронный учебник, не содержащий мультимедийные данные.

Для хранения видеоматериалов, обеспечивающих множество курсов, необходимо располагать значительным объемом ресурсов на жестком диске, что не всегда возможно.

Концепция распределенного хранения видеоматериалов системы ДО должна обеспечить более высокую доступность и повышение скорости доставки видеоматериалов, улучшить качество видеоинформации за счет получения возможности создавать файлы большего объема, а также повысить сохранность видеоматериалов за счет многократного дублирования и территориального распределения.

Цель работы

Целью данного исследования является разработка методов и технологий создания распределенной базы данных видеоинформации системы ДО на основе множества устройств хранения и организации оптимизированного доступа к видеоинформации с использованием нескольких источников и каналов связи.

В соответствии с целью исследования в работе были поставлены следующие задачи:

1) Методами системного анализа провести исследование современных технологий ДО, распределенного хранения и сбора видеоинформации.

2) На основе проведенного анализа разработать модель распределения и последующего доступа к фрагментам базы данных видеоинформации системы ДО в распределенной системе хранения.

3) Разработать методику анализа сетевой инфраструктуры, что необходимо для расчета параметров системы распределенного хранения и доступа к видеоинформации системы дистанционного обучения.

4) Внедрить разработанные методы и технологии на примере одного из курсов ДО с большим объемом видеоинформации.

Методы исследования

Для решения поставленных задач использовались методы системного анализа, методы и модели теории управления, принципы и основные положения теории вероятностей, математической статистики, концепции GRID и распределенного хранения информации, модели построения систем телекоммуникаций.

Научная новизна

• Предложена новая адаптивная модель распределенного хранения базы данных видеоматериалов системы ДО. Новая модель основана на совмещении концепций «клиент-сервер», GRID и моделей построения одноранговых сетей с предварительным распределением фрагментов файлов по вторичным серверам.

• Предложены новые методы для распределенного хранения и передачи видеоинформации большого объема. Новизна состоит в том, что способ передачи основан не на множестве приоритетов, а на множестве источников и каналов связи. Это позволяет перейти к иной модели организации хранения и доставки видеоинформации, отличающейся улучшенными пользовательскими характеристиками, такими как общая скорость доставки мультимедийных данных и доступность сервера ДО.

• Создано специальное математическое и программное обеспечение системы ДО, предоставляющее новые возможности доставки мультимедийной информации одновременно большому числу пользователей с минимальными временными задержками.

Практическая значимость

Практическая значимость проведенных исследований состоит в разработке новой технологии создания практически неограниченных ресурсов хранения данных, отличающихся следующими характеристиками:

• автономное обновление аппаратного обеспечения в сторону увеличения производительности;

• автономное устранение неисправностей;

• масштабируемость;

• высокая надежность данных за счет дублирования видеоинформации и распределения ее между элементами системы, территориально удаленных друг от друга;

• более высокая доступность системы в целом за счет распределения функций по доставке мультимедийных данных между всеми элементами системы.

Апробация диссертации и результатов исследования

Основные положения и результаты работы докладывались и обсуждались на научных семинарах кафедры системного анализа и управления и кафедры распределенных информационных вычислительных систем университета «Дубна», а также на российских и международных конференциях, в том числе:

• Научной конференции молодых ученых и специалистов ОИЯИ, Дубна, 2003;

• Международной учебно-методической конференции «Современный физический практикум», Москва, 2004;

• Научной конференции студентов, аспирантов и молодых специалистов, Дубна, 2004;

• Научно-практической конференции «Современные проблемы и перспективы развития систем дистанционного образования», Дубна, 2004;

• Международной научно-практической Интернет-конференции «Дистанционное образование: области применения, проблемы и перспективы развития», Дубна, 2005;

• Международной научной конференции «VIII Энгельмейеровские чтения: Интернет - Культура - Этика», Дубна, 2005;

• Совещании заведующих кафедрами физики технических ВУЗов России «Физика в системе инженерного образования России», Москва, 2005.

Структура и объем диссертации

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 97 наименований, приложений. Общий объем диссертации 123 страницы, в том числе 11 страниц списка литературы, 12 страниц приложений. Таблиц 2, рисунков 27.

Личный вклад и публикации

По результатам исследований, составивших основу диссертации, опубликовано 11 работ, выполненных автором в течение 2001-2005 гг., из них 6 статей, 5 докладов, 6 в соавторстве. В работах, опубликованных в соавторстве, личный вклад автора диссертации состоит в разработке модели системы распределенного хранения и доставки видеоинформации. Создание распределенной базы данных видеоинформации системы ДО Университета «Дубна», а также разработка и реализация системы доступа к ней производились при непосредственном участии автора.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы, формулируется цель и задачи исследования, отражается научная новизна и практическая ценность работы.

В первой главе проведен сравнительный анализ современных технологий систем ДО, описана типичная структура систем дистанционного обучения на примере системы дистанционного обучения Университета «Дубна».

В настоящее время выделяют три технологии, используемые в ДО:

- кейс-технология, когда учебно-методические материалы комплектуются в специальный набор (кейс) и передаются (пересылаются) обучаемому для самостоятельного изучения (с периодическими консультациями у назначенных тьюторов);

- ТВ-технология, которая базируется на использовании телевизионных лекций с периодическими очными консультациями у тьюторов;

- сетевая технология, построенная на использовании сети Интернет, как для обеспечения обучаемого учебно-методическим материалом, так и для интерактивного взаимодействия с тьюторами.

Среди существующих систем ДО в настоящее время наиболее развиты системы с использованием сетевой технологии, которая является для учебного заведения экономически наиболее выгодной. Однако такие системы не позволяют наполнять учебные курсы большим количеством мультимедийной информации, поскольку в этом случае возникают сложности по ее хранению и доставке к обучающимся.

На примере функционирующей в настоящее время в университете «Дубна» системы ДО рассматривается типичная структура системы, построенной на основе сетевой технологии. Подобные системы состоят из следующих модулей: электронный учебник, содержащий теоретический материал; задачник, содержащий задачи, предназначенные для самостоятельного решения; вопросы для самоконтроля; тесты; модуль взаимодействия между всеми участниками учебного процесса и т.д.

В любом из перечисленных модулей для обеспечения учебного процесса может понадобиться включение мультимедийной информации для улучшения качества воспринимаемости материала.

В подавляющем числе случаев все учебные материалы, включая мультимедийные данные большого объема, находятся на одном центральном сервере, выполняющим одновременно функции не только хранения, но и обработки поступающих к системе запросов по поиску и дальнейшему предоставлению информации. Таким образом, центральный сервер становится узким местом всей системы, поскольку при выходе его из строя неработоспособной становится вся система.

Проводится обзор и анализ существующих технологий, использующихся для хранения больших массивов данных, и более подробно анализируются модели распределенного хранения данных.

В ходе проведенного анализа выявлены основные требования к системам распределенного хранения с точки зрения возможности их применения в дистан-

ционном обучении: доступность информации, надежность хранения, совокупная стоимость владения, масштабируемость, централизованное управление доступом.

С точки зрения удовлетворения перечисленным требованиям рассмотрены следующие современные технологии: файловый сервер, RAID, сети хранения данных, GRID, одноранговые сети.

Основным результатом первой главы является вывод о том, что наиболее перспективной и экономически выгодной технологией организации системы ДО, предусматривающей потенциально неограниченное количество обучающихся, является сетевая технология Другой вывод по первой главе: наиболее перспективным решением по организации системы хранения больших массивов данных и одновременного совместного доступа к файлам множества пользователей является совмещение одноранговых сетей с элементами концепции GRID.

Во второй главе подробно анализируются модели распределенного хранения данных, строящиеся на базе одноранговых сетей, исследуется природа сетевого трафика одноранговых сетей и проводится классификация известных одноранговых сетей.

Выделяются четыре топологии построения одноранговых сетей: централизованная, иерархическая, децентрализованная, гибридная.

Приводится результат их сравнительного анализа с точки зрения семи основных применимых к ним характеристик: управляемости, информационной согласованности, расширяемости, устойчивости к сбоям, безопасности, устойчивости к внетехнологичским воздействиям, масштабируемости.

Существующие одноранговые сети (Napster, BitTorrent, Avalanche, Gnutella, Overnet, FreeNet, KaZaA, eDonkey) анализируются с точки зрения возможности их использования при построении системы распределенного хранения и доступа к видеоинформации системы ДО. Приводятся результаты статистических исследований по объему и типу трафика в наиболее популярных одноранговых сетях.

Анализируются особенности трафика одноранговых сетей. Указываются проблемы, возникающие при передаче трафика одноранговых сетей по существующим сетевым каналам с помощью использования современного сетевого оборудования. В частности, приводятся сравнительные характеристики обычного WEB-трафика и трафика одноранговых сетей.

На основании результатов статистических исследований делается вывод о том, что распространение видео и других объемных файлов наиболее эффективно осуществляется по одноранговым сетям, имеющим централизованную, либо иерархическую топологию.

Однако, проведенный анализ показал, что ни одна из существующих одноранговых сетей, независимо от топологии, не подходит для использования в системах ДО. Тем не менее, существует возможность создания новой модели одноранговой сети, построенной на принципах централизованной или иерархической топологии, которая учитывала бы особенности систем ДО, а также устраняла бы проблемы передачи трафика одноранговых сетей с использованием современного сетевого оборудования.

В третьей главе на основе проведенного системного анализа предлагается новая вероятностная модель организации системы распределенного хранения ви-

деоинформации. Предлагаемая модель совмещает в себе элементы архитектуры «клиент-сервер» и одноранговых сетей.

Согласно идее одноранговых сетей каждый из компьютеров, входящих в локальную сеть, одновременно является и клиентом, и сервером. Такие компьютеры можно назвать вторичными серверами. Клиентская часть системы на таких компьютерах доступна владельцу персонального компьютера (ПК), а серверная часть доступна только для системы распределенного хранения. Для реализации разделения прав доступа указанным образом предполагается установка двух операционных систем, одна из которых контролируется пользователем ПК, а вторая -системой распределения и доступа к видеоинформации.

Элементы архитектуры «клиент-сервер» проявляются следующим образом: клиентом является компьютер, запрашивающий файл, а роль сервера играют центральный сервер, содержащий информацию о местоположении фрагментов требуемых файлов, и вторичные сервера, содержащие сами фрагменты файлов.

Метод распределенного хранения видеоинформации можно описать следующим образом:

1. Проводится первичный анализ сетевой инфрастуктуры, при котором определяются: количество вторичных серверов; интенсивность обработки запросов среднего вторичного сервера; объем хранилища, доступного для размещения видеоинформации на каждом из вторичных серверов.

2. Определяются первичные требования, предъявляемые к создаваемой распределенной базе данных. В число первичных требований входят: потенциальная интенсивность запросов (количество запросов на получение видеоинформации в единицу времени); объем видеоинформации, который необходимо разместить в создаваемой базе данных.

3. На основе имеющихся исходных данных производится первичное размещение видеоинформации в распределенной базе данных. Процесс размещения видеоинформации подразумевает разделение исходной видеоинформации на фрагменты и копирование фрагментов на вторичные серверы. Для определения количества фрагментов, на которые необходимо разделить исходную видеоинформацию, в данной работе предлагается метод определения рационального размера фрагмента файла. В процессе размещения видеоинформации используется вероятностный метод определения количества копий каждого фрагмента. Этот метод и его математическое обеспечение также описаны в работе.

После выполнения описанных выше этапов процесс первичного создания распределенной базы данных видеоинформации считается завершенным. Однако в процессе функционирования системы существует возможность пополнения базы данных видеоинформации, для чего могут повторяться шаги с 1 по 3.

Метод доставки видеоинформации в распределенной одноранговой сети можно описать следующим образом (рис. 1):

1. Обучающийся при помощи специальной программы-клиента посылает запрос к центральному серверу системы ДО для получения информации о месторасположении фрагментов искомого файла.

2. При получении необходимой информации от центрального сервера программа-клиент организует параллельные соединения с теми вторичными серверами, где хранятся фрагменты файлов.

3. После этого происходит доставка фрагментов файлов на ПК пользователя системы дистанционного обучения.

4. Если процесс доставки фрагмента был прерван в результате отключения вторичного сервера, являющегося в этот момент источником фрагмента видеоинформации, либо в результате отказа канала связи, то программа-клиент автоматически обращается к центральному серверу для получения нового адреса местоположения копии требуемого фрагмента файла.

5. По окончании процесса доставки всех фрагментов они соединяются в единый файл, после чего проверяется целостность полученного файла.

6. При успешном завершении перечисленных выше этапов полученный файл открывается на ПК пользователя программой, предназначенной для просмотра цифрового видео.

вторичные сервера

фрагмент 1 фрагмент 2

й—И

фрагмент N-1 фрагмент N

Клиент

1 - запрос к центральному серверу

2 - информация« местоположении фрагментов 3-запрос к вторичным серверам на получение фрагментов

4 - потоки получения фрагментов Рис. 1. Метод доставки видеоинформации В соответствии с моделью одноранговой сети разработан метод определения рационального размера фрагментов базы данных видеоинформации, который заключается в следующем:

1. Файл, содержащий мультимедийные данные, целиком помещается на произвольный вторичный сервер.

2. При помощи специального программного обеспечения, реализованного в рамках данной диссертационной работы, осуществляется доставка файла на произвольно выбранный компьютер, соединенный при помощи сетевой инфрастуктуры с вторичным сервером, на котором расположен мультимедийный файл.

3. Доставка осуществляется последовательно сначала на 1 компьютер, потом одновременно на большее количество компьютеров (например, на 3, 6,9).

4. После завершения процесса доставки фиксируется время, затраченное на доставку всех фрагментов на все компьютеры, запросившие файл.

5. Далее файл, содержащий мультимедийные данные, последовательно разделяется на разное количество фрагментов. Количество фрагментов подбирается произвольно, исходя из априорных предположений. Все фрагменты распределяются по вторичным серверам, исходя из принципа «один фрагмент на один вторичный сервер».

6. Повторяются шаги с 2 по 4.

7. Время доставки большего числа фрагментов сравнивается со временем доставки меньшего числа фрагментов. Как только разница во времени доставки становится незначительной, размер фрагмента файла можно принять наиболее рациональным.

В работе разработана вероятностная математическая модель, основанная на модели системы массового обслуживания с потерями. В соответствии с моделью вероятность успешной доставки одного фрагмента файла рассчитывается по формуле:

1 рт

= 1— 7Г*. — 1 —

успеха т т <

Е— £ а

т\ , (1)

где т - это вероятность того, что ни один из вторичных серверов, на которых находятся копии запрашиваемого фрагмента, не окажется доступным; р -это параметр, равный отношению интенсивности поступления вызовов к интенсивности обслуживания вызовов системой; т - количество вторичных серверов, на которых находятся копии запрашиваемого фрагмента.

Для расчета вероятности успешной доставки всех фрагментов файлов используется формула:

Ж — Жп

успехаобщая успеха' (2)

где п - количество фрагментов, на которые разделен файл.

Описанная математическая модель используется в методе определения необходимого количества копий фрагментов для гарантированной доставки видеоинформации. Суть метода:

1. С использованием специального программного обеспечения проводится мониторинг сетевой инфрастуктуры, которую планируется использовать для распределенного хранения видеоинформации. Результатом мониторинга становится информация о доступности в течение исследуемого периода времени каждого из вторичных серверов, входящих в состав сети.

2. Период мониторинга выбирается исходя из того, насколько часто меняется структура и состав сети. В общем случае, мониторинг сети проводится непрерывно и только при наличии уверенности в том, что структура и состав сети меняется незначительно, мониторинг временно прекращается.

3. Важной характеристикой мониторинга является интенсивность поступления запросов к вторичным серверам. Интенсивность запросов определяется априорно и также зависит от частоты изменения сетевой инфраструктуры.

4. Некоторые из опрашиваемых в течение исследуемого периода вторичных серверов могут бьггь либо выключены, либо активны в течение очень малого количества времени. Поскольку данные вторичные сервера не могут рассматриваться как потенциальные хранилища видеоинформации, они не включаются в статистический анализ, как слишком ненадежные элементы. Для отсечения ненадежных элементов из статистического анализа используется величина, называемая порогом обрезания. Величина порога обрезания выбирается априорно и может в дальнейшем изменяться.

5. После полного или частичного проведения мониторинга при помощи специального программного обеспечения, разработанного в рамках данной работы, определяется усредненная доступность среднего вторичного сервера в течение периода наблюдения. Данную величину называют средней интенсивностью обработки запросов. Она определяет количество запросов, которое успешно обрабатывается вторичным сервером в единицу времени. Для расчета средней интенсивности обработки запросов предварительно определяется средняя характеристика среднего вторичного сервера, составляющего сетевую инфраструктуру распределенного хранения видеоинформации. Данная величина равна математическому ожиданию распределения вероятности доступности (успешной обработки запроса) среднего вторичного сервера в исследуемый период. Вместе с математическим ожиданием вероятности доступности среднего вторичного сервера рассчитывается также дисперсия для оценки погрешности.

6. Далее, на основе рассчитанных интенсивностей поступления и обработки запросов в соответствии с описанной выше математической моделью строится поверхность, которая используется для определения необходимого числа фрагментов файла в зависимости от количества фрагментов и требуемой вероятности успешной доставки файла.

Описанная в третьей главе новая вероятностная модель распределения и совместного доступа к видеоинформации системы ДО обеспечивает высокую

надежность хранения данных за счет дублирования видеоинформации и распределения между элементами системы, территориально удаленными друг от друга, а также более высокую доступность всей системы в целом за счет распределения функций по доставке видеоинформации между всеми элементами системы. Разработанную модель от уже существующих моделей одноранговых сетей отличает то, что прежде чем файлы станут доступны для клиентов, они должны быть предварительно разбиты на фрагменты.

Предложенный в работе новый метод распределенного хранения видеоинформации системы ДО предусматривает динамический анализ сетевой инфра-стуктуры и вычисление таких параметров, как рациональный размер файла и количество копий каждого фрагмента.

Для расчета рационального размера фрагмента файла, а также количества копий каждого фрагмента необходимо проводить постоянный мониторинг сети, используя описанные в данной главе методику анализа сетевой инфраструктуры и методику расчета вероятности успешной доставки видеоинформации, основанную на модели системы массового обслуживания с потерями.

На основе предложенной модели построения одноранговой сети, используемой для распределенного хранения видеоинформации системы ДО, был предложен метод доступа к распределенной видеоинформации, основанный на динамически изменяющемся количестве источников и каналов связи.

В четвертой главе приведены результаты экспериментов, служащих доказательством успешной апробации методов и технологий доступа к видеоинформации с использованием распределенной базы данных, описанных в данной работе.

Для апробации метода были использованы оцифрованные выпуски новостей, предоставленные телеканалом «Дубна».

В соответствии с изложенным методом определения рационального размера фрагмента файла, оцифрованный мультимедийный файл размером 30 Мб, содержащий выпуск новостей телеканала «Дубна», был последовательно разделен на 1, 4, 8 и 11 частей и распределен на соответствующее количество вторичных серверов. Далее при помощи специального программного обеспечения, разработанного в рамках данной работы, была осуществлена доставка всех фрагментов файла сначала на один, а потом одновременно на 3,6 и 9 пользовательских компьютера. В ходе эксперимента фиксировалось время доставки всех фрагментов файла на все пользовательские компьютеры. Результаты эксперимента приведены- на рис. 2 и рис. 3.

На графике (рис. 2) видно, что для файла объемом 30 Мб, разделенного последовательно на 1, 4, 8 и 11 фрагментов и распределенного на соответствующее количество вторичных серверов, прослеживается обратная зависимость между скоростью доставки и количеством одновременных запросов (сначала 1, потом одновременно 3, 6 и 9) на получение файла. Выигрыш в скорости и времени доставки видеоинформации до конечного пользователя очевиден, если сравнить скорость доставки файла, расположенного целиком на одном сервере, со скоростью доставки файла, распределенного на 11 вторичных серверов: например, в прове-

денном эксперименте при осуществлении доставки одновременно девяти получателям скорость возросла в 20 раз._

30

О -I-Г-1- I I -

О 2 4 6 8 10

Количество одновременных запросов

Рис. 2 Зависимости скорости доставки от количества одновременных запросов при разбиении файла на 1,4, 8 и II фрагментов (размер файла 30 Мб) Практическая ценность результата данного эксперимента заключается в том, что при использовании множества распределенных источников и множества каналов связи появляется возможность использования более качественной мультимедийной информации. Двадцатикратный выигрыш в скорости доставки видеоинформации позволит заменить мультимедийную информацию, представленную в формате MPEG и размере окна 320 на 480, на полноэкранное видео с тем же содержанием с качественным стереозвуком.

Проанализируем другой график (рис. 3), отображающий зависимость между скоростью доставки и количеством фрагментов, на которые был разделен мультимедийный файл. Видно, что значительный выигрыш в скорости наблюдается уже при распределении файла на 4-х вторичных серверах. При этом размер файла равен примерно 7.5 Мб. Данный размер можно признать наиболее рациональным, поскольку при дальнейшем дроблении файла на фрагменты выигрыш оказывается незначительным.

Рис. 3. Зависимости скорости доставки от количества фрагментов при I, 3, б и 9 одновременных запросах на получение файла (размер файла 30 Мб)

Для апробации методов и технологий доступа к видеоинформации в городских сетях была использована городская компьютерная сеть «ЬапроНв», на момент проведения эксперимента состоящая из 1020 домашних компьютеров. Экспериментально исследовался временной ряд количества доступных компьютеров этой сети объемом 10 суток (с 28 сентября по 7 октября 2005 г.) (рис. 4).

Время суток

Рис. 4. График доступности вторичных серверов в сети «ЬАИроШ» Полученная таким образом информация о доступности компьютеров позволила произвести дальнейшую обработку методом статистического анализа.

Гистограммы на рис. 5 и 6 иллюстрируют распределение числа доступных компьютеров по общей продолжительности работы в течение периода эксперимента (рис. 5), а также характеристику среднего компьютера сети (рис. 6).

Вероятность одиоеремеююй доступности компьютеров

Рис. 5 Распределение числа доступных вторичных серверов в сети «ЬАИроШ» На рис. 5 видно, что с большей вероятностью доступно меньшее число компьютеров. Отсюда делается вывод о том, что при распределении фрагментов файлов, прежде всего, будут задействованы компьютеры, доступные большую часть времени. Но поскольку количество этих компьютеров относительно общего числа незначительно (2%), объемов имеющихся у них хранилищ данных будет недостаточно. Необходимо максимизировать количество задействованных компьютеров,

но при этом придется увеличивать количество копий одного и того же фрагмента, чтобы гарантировать его доступность в любой момент времени.

В выполненном эксперименте средняя интенсивность поступления запросов к вторичному серверу составляла 12 запросов в час. Из гистограммы на рис. 6 видно, что большая часть компьютеров доступна с вероятностью 0.06-0.46 (математическое ожидание = 0.26, дисперсия = 0.2). Согласно данным расчетам, средний вторичный сервер доступен в течение 15 минут в час. За это время он успева-

«И 1М III 1Л «Л I» и м и и «л и* м* и* «в *а>

Вероятность достулмосгмпмгыотара

Рис. 6. Характеристика среднего вторичного сервера в сети «ГЛЫроШ»

Рис 7. Зависимость вероятности успешной доставки файла от количества фрагментов и количества копий каждого фрагмента в сети «ЬАИроШ»

В соответствии с методом определения количества копий дня гарантированной доставки видеоинформации была построена поверхность (рис. 7). Из диаграммы на рис. 7 видно, что для успешной доставки 100 фрагментов с вероятностью 0.94 необходимо создать 12 копий каждого фрагмента. При большем количестве копий вероятность общего успеха будет увеличиваться незначительно.

В то же время, из гистограммы на рис. 4 видно, что большая часть компьютеров доступна в дневное и вечернее время (с 16:00) до 1:00 ночи. Если наибольшая интенсивность поступления запросов на получение файлов будет наблюдаться в эти же часы, количество копий можно будет сократить.

В работе приводятся результаты аналогичного эксперимента по созданию системы распределенного хранения и доступа к видеоинформации в корпоративной сети университета «Дубна».

Результатом четвертой главы является обоснование вывода о том, что разработанные методы и технологии могут быть использованы как в городских, так и корпоративных компьютерных сетях с коммутацией пакетов. Разработанная методика анализа сетевой инфраструктуры, а также методы создания распределенной базы данных учитывают особенности компьютерных сетей и позволяют эффективно использовать свободные ресурсы хранилищ компьютеров, составляющих сеть, для ускорения доставки видеоинформации более высокого качества.

В заключении сформулированы основные результаты проведенных исследований:

• Методами системного анализа проведено исследование технологий распределенного хранения и сбора информации, удовлетворяющих требованиям доступности информации, надежности хранения данных, совокупной стоимости владения, масштабируемости и централизованного управления доступом.

• В рамках проведенного системного анализа построена модель и разработано технологическое решение распределения и последующего доступа к фрагментам базы данных видеоинформации в распределенной системе хранения, позволяющее значительно увеличить скорость доставки видеоматериалов и повысить доступность системы для обработки новых запросов.

• Разработана методика анализа сетевой инфраструктуры с целью расчета параметров системы распределенного хранения и доступа к' видеоинформации на примере базы данных учебных материалов системы ДО университета «Дубна».

• На основе построенной модели разработано специальное программное обеспечение, позволяющее одновременно по требованию большого числа пользователей обеспечивать доставку мультимедийных данных с минимальными временными задержками.

Результаты исследования могут быть эффективно использованы при построении систем хранения данных, критичных к параметрам надежности, масштабируемости, а также скорости доступа и получения данных.

Методические разработки по созданию систем распределенного хранения и сбора данных, изложенные в настоящей диссертации, могут применяться в городских, корпоративных, а также глобальных сетях.

Изложенные в диссертации методы и технологии позволяют снизить общие затраты на создание и обслуживание информационных массивов большой емкости по таким ключевым характеристикам как высокая скорость поиска и получения информации.

Результаты диссертационной работы внедрены в городскую локальную сеть «ЬАЫроНб», развитием которой в г. Дубне занимается ООО «Лаборатория сетевых технологий». Описанные в работе методические разработки позволили повысить эффективность процесса доставки оцифрованного видео до конечного пользователя данной сети.

Разработанные методы и технологии были также использованы для создания распределенной системы хранения мультимедийных данных системы дистанционного обучения Университета «Дубна», что позволило увеличить размеры хранилища видеоинформации, повысить качество видеоматериалов учебных курсов «Информатика», «Методология проектирования развития в системе «природа-общество-человек», «Теоретические основы электротехники», «Электротехника и электроника».

Результаты диссертационной работы также успешно используются для трансляции выпусков новостей телеканала «Дубна» в корпоративную сеть университета «Дубна», в городскую сеть «ЬАЫроКв» и глобальную сеть Интернет.

Все результаты внедрения подтверждены соответствующими актами внедрения.

Основные результаты диссертации опубликованы в работах:

1. Васильев П. М., Иванов В.В., Кореньков В.В., Крюков Ю.А., Купцов С.И. Система сбора, анализа и управления сетевым трафиком фрагмента сети ОИЯИ на примере подсети университета «Дубна». Препринт - Д11-2001-266. Дубна: ОИЯИ, 2001. - 11 с.

2. Васильев П. М., Иванов В.В., Кореньков В.В., Крюков Ю.А., Купцов С.И. Основные принципы обеспечения безопасности локальной сети на основе ССАУ «Трафик». Препринт - Д11-2002-292. Дубна: ОИЯИ, 2002. - 28 с.

3. Васильев П. М. Дистанционное обучение: место в современной системе образования в контексте реализации СДО в Университете «Дубна» // Материалы седьмой научной конференции молодых ученых и специалистов ОИЯИ. Дубна, январь 2003 г. -Дубна: ОМУС ОИЯИ, 2003. - с. 327.

4. Васильев П. М. Система дистанционного обучения в университете «Дубна» // Сборник научных трудов кафедры системного анализа и управления. Вып. 2. - Дубна: Международный университет природы, общества и человека «Дубна», 2003. - с. 26-32.

5. Анищенко Н.Г., Васильев П. М., Крюков Ю.А. О дистанционном электротехническом обучении // Вестник. - Дубна: Международный университет природы, общества и человека «Дубна», 2004. - №1. - с. 9-15.

6. Анищенко Н.Г., Васильев П. М., Граменицкий И. М., Дорожкина С. В., Журавель Д. В., Клюева Е. В., Крюков Ю. А., Мельникова О. И, Шевчук И. И. Компьютерный практикум в системе дистанционного обучения // Труды докладов VIII международной учебно-методической конференции. Современный физический практикум. - Москва, 2004. - с. 100-101.

7. Анищенко Н.Г., Васильев П. М., Граменицкий И. М., Дорожкина С. В., Журавель Д. В., Клюева Е. В., Крюков Ю. А., Мельникова О. И, Шевчук И. И. Компьютерный практикум в системе дистанционного обучения // Физическое образование в вузах, 2005. - T.l 1, №1. - с. 90-97.

8. Васильев П. М. Технологии, модели дистанционного обучения. Сравнение существующих систем дистанционного обучения с СДО Университета "Дубна" // Материалы 11-й научной конференции студентов, аспирантов и молодых специалистов, Дубна, 19-20 марта 2004 г. - Дубна: Международный университет природы, общества и человека «Дубна», 2004. - с. 31-42.

9. Анищенко Н.Г., Васильев П. М., Крюков Ю.А. Применение концепции Grid для реализации распределенной базы данных системы дистанционного обучения // Тезисы докладов совещания заведующих кафедрами физики технических ВУЗов России. Открытое образование. - Москва. №1. - 2005. - с. 6675.

10. Васильев П. М. Организация компьютерного практикума в системе дистанционного обучения университета «Дубна» на примере курса «Системные методы в электротехнике и электронике» // Труды летней конференции «Современные проблемы и перспективы развития дистанционного образования в России». Сборник информационно-аналитических материалов. -Дубна: Центр дистанционного обучения Университета «Дубна», 2004. - с. 179-185.

11. Васильев П. М. Использование Р2Р-сетей для хранения и доступа к видеоинформации системы дистанционного обучения. Дистанционное образование: области применения, проблемы и перспективы развитая И Труды Международной научно-практической Интернет-конференции «Дистанционное образование: области применения, проблемы и перспективы развития». -М.: Московский государственный областной университет, 2005. - с. 82-86.

>

h

I- 61 1 /

Отпечатано методом прямого репродуцирования с оригинала, предоставленного автором.

Подписано в печать 09.03.2006. Формат 60 х 90/16. Бумага офсетная. Печать офсетная. Усл. печ. л. 1,25. Уч.-изд. л. 1,67. Тираж 130 экз. Заказ № 55252.

Издательский отдел Объединенного института ядерных исследований 141980, г. Дубна, Московская обл., ул. Жолио-Кюри, 6. E-mail: publish@pds.jinr.ru www.jinr.ru/publish/

СПИСОК ТЕРМИНОВ, УСЛОВНЫХ ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ.

ВВЕДЕНИЕ.

ГЛАВА 1. ОБЗОР И СРАВНИТЕЛЬНЫЙ АНАЛИЗ СОВРЕМЕННЫХ ТЕХНОЛОГИЙ СИСТЕМ ДИСТАНЦИОННОГО ОБУЧЕНИЯ И ТЕХНОЛОГИЙ ХРАНЕНИЯ ДАННЫХ.

1.1. Актуальность дистанционной формы обучения в современной системе образования.

1.2. Современные технологии дистанционного обучения.1 б

1.3. Модели организации дистанционного обучения.

1.4. Современное состояние дистанционного обучения в России.

1.5. Типовая схема построения системы дистанционного обучения.

1.6. Основные требования к системам хранения данных.

1.7. Сети хранения данных.

1.8. Использование Grid для хранения больших массивов данных.

1.9. Одноранговые сети.

1.10. Выводы.

ГЛАВА 2. КЛАССИФИКАЦИЯ И ВЫБОР ОПТИМАЛЬНОЙ ТОПОЛОГИИ ПОСТРОЕНИЯ ОДНОРАНГОВОЙ СЕТИ ДЛЯ СИСТЕМЫ ДИСТАНЦИОННОГО ОБУЧЕНИЯ.

2.1. топологии построения одноранговых сетей.

2.2. Классификация существующих одноранговых сетей.

2.2.1. Централизованные одноранговые сети.

2.2.2. Децентрализованные одноранговые сети.

2.2.3. Гибридные одноранговые сети.

2.3. Измерение тра фика одноранговых сетей.

2.4. Анализ особенностей трафика одноранговых сетей.

2.5. Выводы.

ГЛАВА 3. МЕТОДЫ РАСПРЕДЕЛЕННОГО ХРАНЕНИЯ И ДОСТУПА К ВИДЕОИНФОРМАЦИИ СИСТЕМЫ ДИСТАНЦИОННОГО ОБУЧЕНИЯ

3.1. Общее описание методов распределенного хранения и доступа к видеоинформации.

3.2. Модель одноранговой сети для хранения и доступа к видеоинформации СДО.

3.3. Метод определения рационального размера фрагментов распределенной базы данных видеоинформации.

3.4. Математическая модель расчета оптимального количества копий фрагмента файла для гарантированной доставки видеоинформации.

3.5. Метод определения необходимого числа копий фрагментов для гарантированной доставки видеоинформации.

3.6. Выводы.

ГЛАВА 4. ПРИМЕНЕНИЕ МЕТОДОВ И ТЕХНОЛОГИЙ ДОСТУПА К ВИДЕОИНФОРМАЦИИ С ИСПОЛЬЗОВАНИЕМ РАСПРЕДЕЛЕННОЙ БАЗЫ ДАННЫХ.

4.1. Использование метода определения рационального размера фрагмента видеоинформации на примере новостных выпусков телеканала

Дубна».

4.2. Использование методов и технологий доступа к видеоинформации СДО на примере городской сети города Дубна.

4.3. Использование методов и технологий доступа к видеоинформации на примере корпоративной сети университета «Дубна».

4.4. Выводы.

Актуальность темы. За последние годы в системах образования развитых стран стали играть значительную роль дистанционные методы обучения, основанные на современных компьютерных информационных технологиях. Этому способствовал целый ряд факторов, среди которых особо можно выделить следующие: для успешной конкурентной борьбы на рынке высококвалифицированных кадров требуются знания, соответствующие высшему образованию; телекоммуникационные системы и компьютерные сети становятся все более доступны широким массам населения; в мире накоплен определенный опыт в организации дистанционного обучения; на основе классической технологии образования переобучить всех желающих не представляется невозможным.

В настоящее время в той или иной форме созданы курсы дистанционного обучения по очень большому числу дисциплин. Для формирования электронных курсов дистанционного обучения используются современные информационные технологии (ИТ), которые играют все более существенное значение в образовании. Большинство электронных курсов состоит из электронных учебников, содержащих гипертекст, таблицы и рисунки. Но для повышения качества обучения необходимо наполнять курсы мультимедийной информацией, которая значительно увеличивает воспринимаемость теоретического материала. Кроме того, существует большое число дисциплин, изучение которых невозможно без проведения лабораторных работ. При этом довольно часто встречаются ситуации, когда создать лабораторную установку для проведения того или иного опыта учебное учреждение просто не в состоянии по финансовым или иным причинам. В качестве решения данной проблемы можно использовать видеоматериалы, содержащие описание и демонстрацию проведения лабораторной работы.

Объем мультимедийных данных значительно превышает размер текстовой информации, визуально преобладающей в электронных курсах дистанционного обучения. Требования к условиям передачи мультимедийных данных по сети значительно отличаются от требований, предъявляемым к передаче любой другой информации, но при этом все виды трафика передаются по одним и тем же каналам.

При наличии одного централизованного сервера дистанционного обучения довольно сложно организовать высокую доступность видеоматериалов одновременно большому числу обучающихся, поскольку пропускная способность выходного канала сервера ограничена. Рано или поздно наступает момент, когда выходной канал сервера перестает справляться с нагрузкой, тем самым ограничивая доступ к учебным материалам даже тем пользователям, которые хотят, например, просмотреть электронный учебник, не содержащий мультимедийные данные.

Кроме этого, поскольку объем видеоматериалов, достаточных для обеспечения даже одного какого-либо курса, занимает значительное место на жестком диске сервера, для хранения видеоматериалов, обеспечивающих множество курсов, необходимо располагать значительным объемом ресурсов на жестком диске, что не всегда возможно.

Все существующие системы распределенного хранения и доступа к видеоинформации по разным причинам не удовлетворяют требованиям, предъявляемым к подобным средствам системами дистанционного обучения.

Таким образом, для обеспечения высокой степени доступности видеоинформации системы дистанционного обучения, а также улучшения их качества за счет повышения скорости доставки, актуальным является создание новой модели распределенного хранения и доступа к видеоматериалам системы дистанционного обучения, которая обеспечивала бы также высокую надежность хранения видеоматериалов за счет многократного дублирования и территориального распределения.

Целью данного исследования является разработка методов и технологий создания распределенной базы данных видеоинформации системы дистанционного обучения на основе множества устройств хранения и организации оптимизированного доступа к видеоинформации с использованием нескольких источников и каналов связи.

В соответствии с целью исследования в работе были поставлены следующие задачи:

1) Методами системного анализа провести исследование современных технологий дистанционного обучения, распределенного хранения и сбора видеоинформации.

2) На основе проведенного анализа разработать модель распределения и последующего доступа к фрагментам базы данных видеоинформации системы дистанционного обучения в распределенной системе хранения.

3) Разработать методику анализа сетевой инфраструктуры с целью расчета и оптимизации параметров системы распределенного хранения и доступа к видеоинформации системы дистанционного обучения.

4) Внедрить разработанные методы и технологии распределения и доступа к видеоинформации на примере одного из курсов дистанционного обучения с большим объемом видеоинформации.

Методы исследования. Для решения поставленных задач использовались методы системного анализа, методы и модели теории управления, принципы и основные положения теории вероятностей, математической статистики, концепции Grid и распределенного хранения информации, модели построения систем телекоммуникаций.

Научная новизна данной диссертационной работы заключается в следующем:

• Предложена новая адаптивная модель распределенного хранения базы данных видеоматериалов системы ДО. Новая модель основана на совмещении концепций «клиент-сервер», GRID и моделей построения одноранговых сетей с предварительным распределением фрагментов файлов по вторичным серверам.

• Предложены новые методы для распределенного хранения и передачи видеоинформации большого объема. Новизна состоит в том, что способ передачи основан не на множестве приоритетов, а на множестве источников и каналов связи. Это позволяет перейти к иной модели организации хранения и доставки видеоинформации системы дистанционного обучения, отличающейся улучшенными пользовательскими характеристиками, такими как общая скорость доставки мультимедийных данных и доступность сервера дистанционного обучения.

• Создано специальное математическое и программное обеспечение системы дистанционного обучения, предоставляющее новые возможности доставки мультимедийной информации одновременно большому числу пользователей с минимальными временными задержками.

В работе защищаются следующие положения:

1. Наиболее эффективной моделью распределенного хранения и доставки видеоинформации системы дистанционного обучения в условиях локальных корпоративных и городских сетей, построенных на основе коммутации пакетов, с точки зрения надежности, масштабируемости, совокупной стоимости владения, скорости поиска и доступа к информации, является модель одноранговой сети с предварительным распределением фрагментов файлов по вторичным серверам.

2. Для обеспечения высокой степени доступности системы дистанционного обучения и скорости доставки видеоинформации необходим динамический расчет параметров модели - рационального размера фрагмента файла и количества копий фрагмента файла - на основе анализа сетевой инфраструктуры, используемой для распределенного хранения видеоинформации системы дистанционного обучения.

3. При распределении видеоинформации в локальных корпоративных и городских сетях, построенных на основе коммутации пакетов, для расчета необходимого количества копий фрагментов применимы формулы Эрланга, описывающие математическую модель системы массового обслуживания с потерями. и

Практическая значимость проведенных исследований состоит в разработке новой технологии создания практически неограниченных ресурсов хранения данных, отличающихся следующими характеристиками:

• автономное обновление аппаратного обеспечения в сторону увеличения производительности;

• автономное устранение неисправностей;

• масштабируемость;

• высокая надежность данных за счет дублирования видеоинформации и распределения между элементами системы, территориально удаленных друг от друга;

• более высокая доступность системы в целом за счет распределения функций по доставке мультимедийных данных между всеми элементами системы.

Апробация работы. Основные положения и результаты работы докладывались и обсуждались на научных семинарах кафедры системного анализа и управления и кафедры распределенных информационных вычислительных систем университета «Дубна», а также на российских и международных конференциях, в том числе:

• Научной конференции молодых ученых и специалистов ОИЯИ, Дубна, 2003;

• Международной учебно-методической конференции «Современный физический практикум», Москва, 2004;

• Научной конференции студентов, аспирантов и молодых специалистов, Дубна, 2004;

• Научно-практической конференции «Современные проблемы и перспективы развития систем дистанционного образования», Дубна, 2004;

• Международной научно-практической Интернет-конференции «Дистанционное образование: области применения, проблемы и перспективы развития», Дубна, 2005;

• Международной научной конференции «VIII Энгельмейеровские чтения: Интернет - Культура - Этика», Дубна, 2005;

• Совещании заведующих кафедрами физики технических ВУЗов России «Физика в системе инженерного образования России», Москва, 2005.

Личный вклад и публикации. По результатам исследований, составивших основу диссертации, опубликовано 11 работ, выполненных автором в течение 2001-2005 гг., из них 6 статей, 5 докладов, 6 в соавторстве. В работах, опубликованных в соавторстве, личный вклад автора диссертации состоит в разработке концепции системы распределенного хранения и доставки видеоинформации [3, 4, 5, 6]. Создание распределенной базы данных видеоинформации системы дистанционного обучения Университета «Дубна», а также разработка и реализация системы доступа к ней производились при непосредственном участии автора [22, 23].

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 97 наименований, приложений. Общий объем диссертации 123 страницы, в том числе 11 страниц списка литературы, 12 страниц приложений. Таблиц 2, рисунков 27.

Результаты исследования могут быть эффективно использованы при построении систем хранения данных, критичных к параметрам надежности, масштабируемости, а также скорости доступа и получения данных.

Изложенная в работе модель распределенного хранения и доступа к видеоинформации учитывает все основные особенности пиринговых сетей, обычно состоящих из узлов, представляющих собой домашние персональные компьютеры, а значит обладает следующими характеристиками:

• автономное обновление аппаратного обеспечения в сторону увеличения производительности (пользователи домашних персональных компьютеров сами заинтересованы в том, чтобы увеличивать производительность своих компьютеров для решения новых задач, поддержки новых игр и т.д.);

• автономное устранение неисправностей (пользователи домашних персональных компьютеров сами заинтересованы в их работоспособности);

• масштабируемость (при подключении новых пользователей к сети, их домашние компьютеры автоматически становятся частью системы распределенного хранения видеоинформации).

Методические разработки по созданию систем распределенного хранения и сбора данных, изложенные в настоящей диссертации, могут применяться в городских и корпоративных сетях. Областью применения описанных методов и технологий могут также являться глобальные сети при условии максимального распределения вторичных серверов между сегментами и отсутствия скопления вторичных серверов в различных сегментах сети.

Изложенные в диссертации методы и технологии позволяют снизить общие затраты на создание и обслуживание информационных массивов большой емкости по таким ключевым характеристикам как высокая скорость поиска и получения информации.

Результаты диссертационной работы внедрены в городскую локальную сеть «LANpolis», развитием которой в г. Дубне занимается ООО «Лаборатория сетевых технологий». Описанные в работе методические разработки позволили повысить эффективность процесса доставки оцифрованного видео до конечного пользователя данной сети.

Разработанные методы и технологии были также использованы для создания распределенной системы хранения мультимедийных данных системы дистанционного обучения Университета «Дубна», что позволило увеличить размеры хранилища видеоинформации, повысить качество видеоматериалов учебных курсов «Информатика», «Методология проектирования развития в системе «природа-общество-человек», «Теоретические основы электротехники», «Электротехника и электроника».

Результаты диссертационной работы также успешно используются для трансляции выпусков новостей телеканала «Дубна» в корпоративную сеть университета «Дубна», в городскую сеть «LANpolis» и глобальную сеть Интернет.

Все результаты внедрения подтверждены соответствующими актами внедрения.

Заключение

В диссертационной работе были получены следующие основные теоретические и практические результаты:

• Методами системного анализа проведено исследование технологий распределенного хранения и сбора информации, удовлетворяющих требованиям доступности информации, надежности хранения данных, совокупной стоимости владения, масштабируемости и централизованного управления доступом.

• В рамках проведенного системного анализа построена модель и разработано технологическое решение распределения и последующего доступа к фрагментам базы данных видеоинформации в распределенной системе хранения, позволяющее значительно увеличить скорость доставки видеоматериалов и повысить доступность системы для обработки новых запросов.

• Разработана методика анализа сетевой инфраструктуры с целью расчета и оптимизации параметров системы распределенного хранения и доступа к видеоинформации на примере базы данных учебных материалов системы дистанционного обучения университета «Дубна».

• На основе построенной модели разработано специальное программное обеспечение, позволяющее одновременно по требованию большого числа пользователей обеспечивать доставку мультимедийных данных с минимальными временными задержками.

1. Агапонов С. В. Джалиашвили 3. О., Кречман Д. Л., Никифоров И. С., Чено-сова Е. С., Юрков А. В. Средства дистанционного обучения. Методика, технология, инструментарий. / Под ред. 3. О. Джалиашвили. СПб.: БХВ-Петербург, 2003. - 336 с.

2. Андреев JL А., Солдаткин В. И. Дистанционное обучение: сущность, технология, организация. М.: МЭСИ, 1999.

3. Анищенко Н. Г., Васильев П. М., Крюков Ю.А. О дистанционном электротехническом обучении // Вестник. Дубна: Международный университет природы, общества и человека «Дубна», 2004. - №1. - с. 9-15.

4. Анни П. Этот Grid — неспроста. // Открытые системы, № 1 (2003), с. 4346.

5. Антонов А. В. Системный анализ. М.: Высшая школа, 2004. - 454 с.

6. Анфилатов В. С., Емельянов А. А., Кукушкин А. А. Системный анализ в управлении: Учеб. пособие / Под ред. А.А. Емельянова. М.: Финансы и статистика, 2003. - 368 с.

7. Базы данных: модели, разработка, реализация / Под ред. Т. С. Карповой. -СПб.: Питер, 2001. 304 с.

8. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. М.: Информационно-издательский дом «Филинъ», 2003.-616 с.

9. Белов М. А. Проект системы дистанционного обучения по курсу «Теория систем» // Сборник трудов пятой научной конференции молодых ученых и специалистов ОИЯИ. Дубна: ОИЯИ, 2001.

10. Борланд Дж. RIAA подала в суд на 261 участника обмена файлами Электронный ресурс. // ZDNet.ru: русская версия интернет-ресурса CNet.com. -Режим доступа: http://www.zdnet.ru/?ID=306502. Загл. с экрана.

11. Боровков А.А. Вероятностные процессы в теории массового обслуживания. -М: «Наука», 1971.-368 с.

12. Бутырин Г. Н., Ефимов Н. Н., Нечаев В. Я. Дистанционное образование по оценкам экспертов // Дистанционное образование, №4, 1997.

13. Васильев П. М. Система дистанционного обучения в университете «Дубна» // Сборник научных трудов кафедры системного анализа и управления. Вып. 2. Дубна: Международный университет природы, общества и человека «Дубна», 2003. - с. 26-32.

14. Васильев П. М., Иванов В.В., Кореньков В.В., Крюков Ю.А., Купцов С.И. Основные принципы обеспечения безопасности локальной сети на основе ССАУ «Трафик». Препринт Д11-2002-292. Дубна: ОИЯИ, 2002. - 28 с.

15. Васильев П. М., Иванов В.В., Кореньков В.В., Крюков Ю.А., Купцов С.И. Система сбора, анализа и управления сетевым трафиком фрагмента сети ОИЯИ на примере подсети университета «Дубна». Препринт Д11-2001-266. Дубна: ОИЯИ, 2001. - 11 с.

16. Гейн К., Сарсон Т. Системный структурный анализ: средства и методы. -М.: «Эйтекс», 1992.

17. Голицина О. Д., Максимов Н. В., Попов И. И. Базы данных: Учебное пособие. М.: ФОРУМ: ИНФРА-М, 2004. - 352 с.

18. Голубев Д., Лобанов А. Сети хранения данных Электронный ресурс. // Информационный бюллетень Jet Info, №9, 2002 г. / Компания Джет Инфо1. Паблишер. Режим доступа:http://www.jetinfo.rU/2002/9/l/articlel.9.2002.html#AEN15. Загл. с экрана.

19. Гореткина Е. Grid-технологию в жизнь! Электронный ресурс. // PCWeek, компьютерная неделя, 18-24 февраля 2004 г., №5 (371). Режим доступа: http://www.pcweek.ru/Year2003/N5/CP1251/TematicReviews/chaptl.htm. -Загл. с экрана.

20. Гусева А. И. Технология межсетевых взаимодействий. М.: Диалог-МИФИ, 1997.

21. Дистанционное образование: открытые и виртуальные среды // Материалы Седьмой международной конференции по дистанционному образованию, Москва, 17-18 июня, 1999 / Под ред. В. П. Тихомирова, В. И. Солдаткина, Д. Э. Клосова. М.: МЭСИ, 1999.

22. Дистанционное обучение в МИЭТ Электронный ресурс.: Факультет дополнительного и дистанционного образования / Московский государственный институт электронной техники (МИЭТ). Режим доступа: http://do.miee.ru/. - Загл. с экрана.

23. Домарев В. Защита информации и безопасность компьютерных систем. -СПб.: ДиаСофт, 1999.

24. Драница А. Peer-2-peer на весь мир? Электронный ресурс. // Компьютерра-Онлайн: интернет-приложение к еженедельному журналу «Компьютерра», 21 мая 2002 г. / ИД «Компьютерра». Режим доступа: http://offline.computerra.ru/2002/444/17936/. - Загл. с экрана.

25. Дубова Н. Учет и контроль для «коммунальных вычислений» // Открытые системы, № 1 (2003), с. 34-37.

26. Ефремова А. Расчет количества операторских мест контакт-центра Электронный ресурс. // «SALES business/Продажи»: профессиональный журнал для ТОР-менеджеров. Режим доступа:http://www.salespro.ru/idpage12/do2/idg19/idst177.htm. Загл. с экрана.

27. Замуруев С. Системы хранения: базовые понятия Электронный ресурс. // BYTE/Россия: электронная версия журнала / С. Замураев. Режим доступа: http://www.bytemag.ru/Article.asp?id=596. - Загл. с экрана.

28. Каменов Г. Н. Методы и средства системного структурного анализа и проектирования. М.: НИВЦ МГУ, 1996.

29. Коваленко В., Корягин Д. Эволюция и проблемы Grid // Открытые системы, 2003, № 1, с. 27-33.

30. Компьютерные сети. Принципы, технологии, протоколы / В.Г. Олифер, Н.А. Олифер. СПб.: Питер, 2002.

31. Красоткин А. Файлообмен: eDonkey Электронный ресурс. // Компьютерра-Онлайн: интернет-приложение к еженедельному журналу «Компьютерра», 17 февраля 2004 г. / ИД «Компьютерра». Режим доступа: http://www.computerra.ru/softerra/net/32145/. - Загл. с экрана.

32. Красоткин А. Файлообмен: KaZaA Электронный ресурс. // Компьютерра-Онлайн: интернет-приложение к еженедельному журналу «Компьютерра», 16 февраля 2004 г. / ИД «Компьютерра». Режим доступа: http://www.computerra.ru/softerra/net/32143/. - Загл. с экрана.

33. Кульгин М. Технологии корпоративных сетей. Энциклопедия. СПб.: Питер, 2000.

34. Ладыженский Г.М. Базы данных: коротко о главном / Под ред. В. Б. Бете-лина. М.: НИИСИ РАН, 2000.

35. Левин В.И. Элементы матричной теории надежности автоматов / В. И. Левин. -Рига: «Зинатне», 1973.

36. Лившиц Б. С., Пшеничников А. П., Харкевич А. Д. Теория телетрафика. -М.: Связь, 1979.-224 с.

37. Лобанов А.К. Методы построения систем хранения данных Электронный ресурс. // Электронная библиотека портала CITForum.ru / А. К. Лобанов. -Режим доступа: http://www.citforum.ru/hardware/data/db/. Загл. с экрана.

38. Марьянович Т.П. Обобщение формул Эрланга на случай, когда приборы могут выходить из строя и восстанавливаться // Украинский мат. журнал, Т. XII, №3.-Киев, 1960.

39. Найк Д. Стандарты и протоколы Интернета. М.: Channel Trading Ltd., 1999.

40. Наша стратегия Электронный ресурс. // Интернет-сайт компании ООО «Лаборатория сетевых технологий». Режим доступа: http://lan.du/about/team/. - Загл. с экрана.

41. Фон Нейман Дж. Вероятностная логика и синтез надёжных организмов из ненадёжных компонент. В сб.: Автоматы. - М.: ИЛ, 1956, с. 68-139.

42. Николаевич В. Цунами Электронный ресурс. // Компьютерра-Онлайн: интернет-приложение к еженедельному журналу «Компьютерра», 14 декабря 2004 г. / ИД «Компьютерра». Режим доступа: http://www.computerra.ru/hitech/37124/. - Загл. с экрана.

43. Образование и XXI век: Информационные и коммуникационные технологии.-М.: Наука, 1999. 191 с.

44. Панасюк М. И., Радченко В. В. Космофизический практикум / Под ред. А. С. Ковтюха. М.: УНЦ ДО, 2005.

45. Панчук Р. Клиенты Peer-to-Peer Электронный ресурс. // ITC Online: интернет-ресурс издательского дома ITC. Домашний ПК, апрель 2004. - Режим доступа: http://itc.ua/article.phtml?ID=17079&IDw=29&pid=18. - Загл. с экрана.

46. Пиринговые сети Электронный ресурс. // ComputerLibrary.info: библиотека статей на тему компьютеров. / Ю. Земсков. Режим доступа: http://computerlibrary.info/view/article35/. - Загл. с экрана.

47. Пирогов В. Ю. MS SQL Server 2000: управление и программирование. -СПб.: БХВ-Петербург, 2005. 608 с.

48. Полат Е.С. и др. Дистанционное обучение. — М.: ВЛАДОС, 1998.

49. Развитие дистанционного образования в мире // Дистанционное образование, №2, 1997.

50. Рейли Д. Создание приложений Microsoft ASP.NET / Пер. с англ. М.: Из-дательско-торговый дом «Русская редакция», 2002. - 480 е.: ил.

51. Ривкин М. ORACLE и коммерческая GRID Электронный ресурс. // Электронная библиотека портала CITForum.ru / М. Ривкин. Режим доступа: http://www.citforum.ru/database/oracle/commercialgrid/. - Загл. с экрана.

52. Риордан Дж. Вероятностные системы обслуживания / Под ред. А. Д. Хар-кевича. М.: «СВЯЗЬ», 1966.

53. Романов А.Н., Торопцов B.C., Григорович Д.Б. Технология дистанционного обучения в системе заочного экономического образования. М.: ЮНИТИ-ДАНА, 2000. - 303 с.

54. Русский Институт Управления Электронный ресурс.: сайт ВУЗа / Русский Институт Управления. Режим доступа: http://www.tantal.ru/. - Загл. с экрана. '

55. Севастьянов Б.А. Эргодическая теорема для марковских процессов и ее приложение к телефонным системам с отказами // Теория вероятностей и ее применение. Т. II, вып. 1, 1957.

56. Синепол В. С., Цикин И. А. Системы компьютерной видеоконференцсвязи. -М.: Мобильные коммуникации, 1999.

57. Системный анализ и принятие решений: Словарь-справочник: Учеб. пособие для вузов / Под ред. В. И. Волковой, В. Н. Козлова. М.: Высшая школа, 2004.-616 с.

58. Советов Б. Я., Яковлев С. А. Моделирование систем: практикум. М.: Высшая школа, 1999.

59. Современная Гуманитарная Академия Электронный ресурс.: сайт ВУЗа / Современная Гуманитарная Академия. Режим доступа: http://www.muh.ru/, свободный. - Загл. с экрана.

60. Технология создания распределенных систем. Для профессионалов / А. А. Цимбал, М. JI. Аншина. СПб.: Питер, 2003. - 576 с.

61. Тихомиров В. П. Технологии ДО в России // Дистанционное образование, №1, 1996.

62. Тихомиров В. П., Солдаткин В. И., Лобачев С. JI. Виртуальная образовательная среда: предпосылки, принципы, организация. Международная Академия Открытого Образования. -М.: МЭСИ, 1999.

63. Тихомиров Ю. В. Microsoft SQL Server 7.0 . СПб.: БХВ, 1999.

64. Тихонов A.M., Иванников А.Д. и др. Управление современным образованием: социальные и экономические аспекты. -М.: Вита-Пресс, 1998.

65. Ульман Д. Основы систем баз данных / Пер. с англ. М.: Финансы и статистика, 1983.-334 с.

66. Университетский-Татьяна (КА) Электронный ресурс. // ВикипедиЯ. Свободная энциклопедия: бесплатная энциклопедия, создаваемая совместными усилиями добровольцев. Режим доступа:

67. Ьир://ги.ш1к1ресИа.ог§^1к1/Университетский-Татьяна(КА). Загл. с экрана.

68. Фостер Я., Кессельман К., Ник Дж., Тюкье С. Grid-службы для интеграции распределенных систем // Открытые системы, № 1 (2003), с. 20-26.

69. Хинчин А.Я. Математические методы теории массового обслуживания // Труды математического института им. В. А. Стеклова, Т. 49. Изд. АН СССР,М., 1995.

70. Хинчин А.Я. О формулах Эрланга в теории массового обслуживания // Работы по математической теории массового обслуживания / Под ред. Б. В. Гнеденко. Изд. 2-е, стереотипное. М.: Едиториал УРСС, 2004. - 204 с.

71. Чавкин A.M. Некоторые вопросы обслуживания требований в многофазной системе с ненадежными приборами // Теория надежности и массовое обслуживание / Под ред. Б. В. Гнеденко. М.: «Наука», 1969.

72. Черемисина Е. Н., Добрынин В. Н. Метазнаниевые технологии основа системы дистанционного обучения в университете «Дубна» // Сборник научных трудов конгресса конференций «ИГО-2003». - Москва, 2003.

73. Шпеник М., Следж О. Руководство администратора баз данных Microsoft SQL Server 7.0 / Пер. с англ. М.: Издательский дом «Вильяме», 1999. -912 с.

74. Foster I. Internet Computing and the Emerging Grid Electronic resource. // Nature Web Matters, 2000. Mode of access:http://www.nature.com/nature/webmatters/grid/grid.html. Title from screen.

75. Foster I., Kesselman C., Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations // International Journal of High Performance Computing Applications, № 15 (3). p. 200-222. - 2001.

76. Gartner Electronic resource. // Gartner website: the world's leading provider of research and analysis about the global information technology industry. Mode of access: http://www.gartner.com/. - Title from screen.

77. How to BBS! Electronic resource. // BBS Promotion Team. Mode of access: http://www.fanciful.org/bbs-promotion/how-to-bbs/bbs.htm.-Title from screen.

78. Kingsbury A. Federal court lands Napster blow Electronic resource. // U-WIRE: a free membership organization for the college press. Mode of access: http://www.uwire.com/content/topnews021301001.html. - Title from screen.

79. Moore M., Kearsley G. Distance education: a system view / Edited by T. Evans, D. Nation. L.-NY.: Routledge, 1996.

80. Oracle8. Энциклопедия пользователя / Пер. с англ. / Компания Advanced Information Systems и др. К.: ДиаСофт, 1999. - 864 с.

81. Overnet Электронный ресурс. // ВикипедиЯ. Свободная энциклопедия: бесплатная энциклопедия, создаваемая совместными усилиями добровольцев. Режим доступа: http://ru.wikipedia.org/wiki/Overnet. - Загл. с экрана.

82. Porter L. Creating the virtual classroom: distance learning with the Internet. -NY.: Wiley&Sons, 1997.