автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка инструментальных средств оценки качества Интернет-ориентированных систем управления данными

На правах рукописи

НЕПРИКОВ Антон Алексеевич

РАЗРАБОТКА ИНСТРУМЕНТАЛЬНЫХ СРЕДСТВ ОЦЕНКИ КАЧЕСТВА ИНТЕРНЕТ-ОРИЕНТИРОВАННЫХ СИСТЕМ УПРАВЛЕНИЯ ДАННЫМИ

Специальность 05.13.11 -

I

Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Воронеж - 2003

Работа выполнена в Воронежском государственном техническом университете

Научный руководитель: доктор технических наук, профессор

Кравец Олег Яковлевич

Официальные оппоненты: доктор технических наук, профессор

Подвальный Евгений Семенович

кандидат технических наук, доцент Свиридов Андрей Станиславович

Ведущая организация: Липецкий государственный

технический университет

Защита состоится "25" сентября 2003г. в Ю00 в конференц-зале на заседании диссертационного совета Д 212.037.01 Воронежского государственного технического университета по адресу: 394026, г. Воронеж, Московский проспект, 14.

С диссертацией можно ознакомиться в библиотеке Воронежского государственного технического университета.

Автореферат разослан "11" июля 2003 г.

Ученый секретарь ^

диссертационного совета ¡/) В.М.Питолин

12ЫО

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Задача оценки качества вычислительных систем фактически существует с момента появления первых вычислительных машин. В то же время постоянное развитие аппаратных средств, программного обеспечения, средств телекоммуникаций приводит к постоянному появлению новых сложнейших вычислительных систем, для которых известные методы исследования зачастую становятся неприменимыми.

В последние годы стремительное развитие получили web-технологии, под которыми понимают группу форматов и технологий передачи мультимедийных документов, используемых в крупнейшей электронной информационной системе World Wide Web, входящей в глобальную сеть Интернет. WWW является распределенной средой существования разнородных информационных ресурсов, обмен информацией между которыми возможен только благодаря web-технологиям. В последние годы бурное развитие Web привело к тому, что web-технологии все больше ассоциируются с Интернет. Web-технологии нашли применение в локальных сетях и интегрированных многопользовательских информационных системах, где выполняют роль универсального посредника между различными типами информационных ресурсов.

В результате синтеза информационных систем и web-технологий возник новый класс систем - Интернет-ориентированные системы управления данными (ИОСУД). Оказалось, что для систем данного класса в силу архитектуры, отличной от обычных информационных систем, и появления новых форматов хранения данных и способов передачи информации, старые методы и средства исследования и оценки качества функционирования оказались недостаточно эффективными.

Таким образом, актуальность темы диссертационной работы продиктована необходимостью повышения качества функционирования Интернет-ориентированных систем управления данными за счет усовершенствования технологий и инструментов их разработки.

Тематика диссертационной работы соответствует научному направлению Воронежского государственного технического университета "Вычислительные системы и программно-аппаратные электротехнические комплексы".

Целью работы является разработка инструментальных средств оценки качества Интернет-ориентированных систем управления данными, представляющих собой сложную комбинацию web-серверов, клиентских приложений и систем управления данными на примере систем дистанционного обучения. Для достижения указанной цели необходимо решить следующие задачи:

1. Провести системный анализ . Интернет-ориентированных систем управления данными;

2. Сформулировать требования к инструментальным средствам исследования ИОСУД;

Sr НАЦИОНАЛЬНАЯ ¡

БИБЛИОТЕКА

3. Разработать модели обобщенной Интернет-ориентированной системы управления данными, обеспечивающие расчет основных технических показателей качества исследуемых систем;

4. Разработать программно-алгоритмические методы оценки качественных характеристик реальных программно-аппаратных средств, на которых предполагается использование исследуемых ИОСУД;

5. Создать специальное программное обеспечение комплексного исследования и оценки качества подкласса Интернет-ориентированных систем управления данными - систем дистанционного обучения (СДО).

Методы исследования. В работе использованы методы системного анализа, теории сетей массового обслуживания, имитационного моделирования, реляционной алгебры, теории графов, объектно-ориентированного программирования.

Научная новизна исследования. К основным результатам работы, отличающимся научной новизной, относятся:

• аналитическая модель обобщенной Интернет-ориентированной системы управления данными как замкнутая смешанная стохастическая сеть массового обслуживания с экспоненциальным распределением времен поступления заявок и обслуживания, отличающаяся возможностью изменения класса сообщений и учетом множества \уеЬ-серверов и сервера баз-данных;

• алгоритмические средства оценки качества обобщенной Интернет-ориентированной системы управления данными на основе имитационного моделирования, отличающиеся учетом параллельной обработки очередной заявки \!УеЬ-приложением и сервером СУБД;

• алгоритмические и программные средства исследования Интернет-ориентированных систем управления данными на примере систем дистанционного обучения, отличающиеся возможностью идентификации параметров программно-аппаратных ресурсов, являющихся конструктивными элементами реальных серверов и обеспечивающие оценку качества функционирования систем в случае произвольных законов распределения времен поступления и обслуживания заявок;

• программная система генерации пользовательской нагрузки, отличающаяся инвариантностью к исследуемому объекту, программно-аппаратным платформам и режимам нагрузки.

Практическая значимость работы. Практическая значимость результатов диссертации заключается в создании специального программного комплекса исследования и оценки качества Интернет-ориентированных систем управления данными, внедренного в практическую деятельность научно-производственного предприятия РЕЛЭКС и в учебный процесс Воронежского государственного технического университета в области систем дистанционного обучения.

Реализация и внедрение результатов работы. Основные теоретические и практические результаты- работы реализованы в виде комплекса программных средств полунатурного моделирования и оценки качества функционирования специализированных Интернет-ориентированных систем об-

работки данных. Эффект от внедрения заключается в совершенствовании механизмов функционирования ядра СУБД ЛИНТЕР на основе анализа производительности системы в области исполнения операций языка манипулирования данными, операций с большими двоичными объектами, в области поисковых запросов с агрегатными функциями.

Апробация работы. Основные положения и результаты диссертационной работы докладывались на IX международной конференции-выставке "Информационные технологии в образовании - ИТ099" (Москва, 1999), 13-й международной научной конференции "Математические методы в технике и технологиях" (Санкт-Петербург; 2000), межвузовской научно-технической конференции "Управляющие и вычислительные системы" (Вологда, 2000), Всероссийской научно-методической конференции "Опыт разработки и внедрения в учебный процесс вуза новых образовательных технологий" (Липецк, 2000), Всероссийской научной конференции "Интеллектуализация управления в социальных и экономических системах" (Воронеж, 2002), V-VIII Республиканских научных конференциях "Современные проблемы информатизации" (Воронеж, 2000-2003), а также на научных семинарах кафедры ABC ВГТУ (Воронеж, 2000-2003).

Публикации. По результатам исследований опубликовано 23 печатные работы, в том числе 4 без соавторов. В работах, опубликованных в соавторстве и приведенных в конце автореферата, лично соискателем предложены: в [1, 3, 4, 5] - показатели качества СДО; [7, 8, 9] - принципы разработки инструментальных средств исследования СДО и ИОСУД; в [15, 16, 19] - программно-алгоритмические методы полунатурного моделирования; в [7, 10, 11, 18] - алгоритмизация имитационной и полунатурной моделей; в [17, 23] -инфологическая и даталогическая модели данных СДО; в [20, 21, 22] - принципы применения комплексного метода исследования ИОСУД при проектировании СДО.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 114 наименований, изложена на 140 страницах, содержит 46 рисунков, 11 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении показана актуальность работы, сформулированы цели и задачи исследования, представлены основные научные результаты, приведено краткое содержание работы по главам.

В первой главе диссертационной работы осуществлен обзор основных методов, используемых при решении проблемы исследования и оценки качества вычислительных систем, области и рамки их применения. Рассмотрены методы построения аналитических моделей в рамках теории массового обслуживания и теории сетей массового обслуживания, методы имитационного моделирования, оценки качества функционирования реальных вычислительных систем.

Произведен анализ архитектуры и механизмов функционирования Интернет-ориентированных систем управления данными, выделены особенности систем данного класса, связанные с применением новейших web-технологий. Осуществлена классификация ИОСУД и произведен анализ подклассов систем данного класса. Рассмотрены особенности систем электронной коммерции, систем управления ресурсами предприятия, систем дистанционного обучения. Показана актуальность задачи исследования и оценки качества Интернет-ориентированных систем управления данными на различных этапах жизненного цикла систем.

Основными показателями качества Интернет-ориентированных систем управления данными являются технические, экономические и функциональные характеристики эффективности. Поскольку функциональные характеристики могут быть получены лишь в результате экспертных оценок конкретного подкласса систем, а экономические характеристики косвенно являются следствием технических, в целом работа направлена на получение важнейших технических параметров систем данного класса, свертка которых дает оценку качества функционирования системы. Анализируются такие технические показатели, как загрузка и простой элементов системы, времена обслуживания заявок узлами, времена ожидания заявок в очередях, общая производительность с учетом трудоемкости и частоты появления заявок различных классов.

Наличие множества настроек и показателей функционирования программно-аппаратных средств ставит задачу исследования характеристик ИОСУД как на этапе разработки системы, так и на этапе ее внедрения. Это в свою очередь требует наличия методов и средств исследования систем данного класса.

Во второй главе решена задача разработки методов оценки качества Интернет-ориентированных систем управления данными.

В рамках решения задачи разработана аналитическая модель обобщенной Интернет-ориентированной системы управления данными как замкнутая смешанная стохастическая сеть массового обслуживания с экспоненциальным распределением времен поступления заявок и обслуживания, отличающаяся возможностью изменения класса сообщений и учетом множества web-серверов и сервера баз данных. Определены маршруты информационных потоков в сети.

Исходя из анализа ИОСУД, произведенного в первой главе данный класс систем отнесен к классу динамических стохастических систем, дискретных по состояниям и непрерывных по времени.

Представим вычислительную сеть, образуемую сервером и множеством клиентов, в виде смешанной стохастической сети, состоящей из М центров с дисциплинами обслуживания FIFO (First In First Out), PS (Processor Sharing), IS (Immediately Served), в которой обслуживается N заявок R классов (рис.1).

Моделирование пользовательских терминалов в исследуемой сети осуществлено группой одноканальных центров с дисциплиной обслуживания

ТБ. Многоканальный центр, предназначенный для моделирования задержки, связанной с передачей результирующей информации клиенту, задан как центр с дисциплиной обслуживания 18. Число приборов в этом центре больше или равно максимально возможному числу сообщений в этом центре.

Рис. 1. Представление ИОСУД в виде стохастической сети

Для моделирования работы распределителя нагрузки по web-серверам введен одноканальный центр с дисциплиной обслуживания FIFO. Для моделирования ЭВМ, на которых работают web-серверы и web-приложения, введено множество одноканальных центров с дисциплиной обслуживания PS. Вычислительный комплекс, на котором запускается СУБД, описывается как одноканальный центр с дисциплиной обслуживания PS.

Таким образом, общее количество обслуживающих устройств в сети М будет складываться из количества пользовательских терминалов Mj, количества web-серверов Mw, устройства балансировки, сервера СУБД, устройства, эмулирующего задержку передачи информации по сети.

Пусть в сети обслуживаются заявки R классов. Каждую заявку можно охарактеризовать ее источником или номером пользовательского терминала, откуда пришла заявка и типом запроса к серверу. Классификация по источнику очевидна, поскольку заявка по окончании обслуживания должна возвращаться в него. Классификация по типу запроса к серверу обусловлена тем, что различные запросы - как к web-cepeepy, так и к серверу СУБД, - могут иметь различную трудоемкость. Общее количество классов заявок в сети определим как:

R = MT-RW, (1)

где Я — общее количество классов заявок, Мт - количество пользовательских терминалов; Иду - количество специфических типов запросов к серверу.

Разобьем множество классов сообщений Я' = {1,2, ..., Я} на такие непересекающиеся подмножества, что элементами каждого подмножества Як будут все классы заявок, источником которых был к-й терминал (к= 1, Мт):

Такое разбиение на подмножества гарантирует, что трансформация классов сообщений будет происходить только внутри классов подмножества Як, и общее число сообщений в любом подмножестве остается постоянным. В дальнейшем подмножество Як будет называться "укрупненным классом к-го терминала"(к= 1 ,М7).

Маршрут в смешанной сети с несколькими классами сообщений зададим матрицей маршрутов Р = ¡Р1Г,к51|, где Р,Г1к5 - вероятность того, что сообщение класса г, закончившее обслуживание в ¡-м центре, перейдет в к-й центр и станет сообщением класса б (¡,к-1,Л/, Я ).

Внутри сервера ИОСУД обслуживаемая заявка не меняет свой класс и маршрут, а изменение класса заявки из подмножества Як происходит только при переходе из пользовательского терминала Т]< (к= 1 ,МТ) в устройство балансировки. Поэтому целесообразно представить процесс перехода заявок по узлам сети и процесс трансформации заявок внутри каждого укрупненного класса по отдельности. Для этого общую маршрутную матрицу разобьем на множество маршрутных матриц для каждого укрупненного класса и множество матриц трансформации. Соответственно каждому укрупненному классу

Як будет соответствовать своя матрица маршрутов Р*^ = Цр,^ |, где Р,^ -вероятность того, что сообщение укрупненного класса Як, уходящее из 1-го центра, перейдет в ]-центр (у=1,с ) и

м

где 1=1,с

Специфику заявок пользователя к-го терминала зададим матрицей

. рКк-ЦрИкЦ рЯк

трансформации гт - ||гг,$ ||, где гГ5 - вероятность того, что сообщение укрупненного класса Як из г-класса перейдет в Б-класс (г,б к= 1 ,М,) и при этом выполняется условие:

(2)

(3)

где г=

Введем функцию //(¡, /Щ, представляющую собой вероятность перехода для к-го терминала:

f,U,Ri) =

\,j = k\j,k = \,M1

(5)

[О,) Ф к; },к = 1, М,

Допуская, что вероятности поступления заявок любого класса из устройства распределителя в к-й \vcb-cepBep, где к=1 ,М „ , одинаковы и равны 1 /Мю определим вид маршрутной матрицы укрупненных классов (табл. 1).

Таблица 1. Маршрутная матрица для укрупненных классов

К т, т2 Tmi в Wi w2 Wm„ D N

Т! 0 0 0 /т 0 0 0 0 0

Т2 0 1 0 0 /г 0 0 0 0 0

Тм, 0 0 0 ]т 0 0 0 0 0

В 0 0 0 0 им. им. им. 0 0

W, 0 0 0 0 0 0 0 1 0

w2 0 0 0 0 0 0 0 ] 0

W„„ 0 0 0 0 0 0 0 I 0

D 0 0 0 0 1 0 0 0 0 1

N /г h /г 0 | 0 0 0 0 0

Показано, что исследуемая система может быть представлена с помощью смешанной стохастической сети, состоящей из М устройств с дисциплинами обслуживания FIFO, PS,.IS, с заданным множеством классов сообщений и матрицей маршрутов, что позволяет ее отнести к классу ВСМР-сетей, стационарные вероятности состояний которых имеют мультипликативную форму. Применив алгоритм свертки для расчета нормализующей константы G(N„) для полученной сети, получим основные параметры функционирования системы.

1) Поскольку центры сети не зависят от нагрузки, то пропускную способность i-ro центра для клиента класса г можно рассчитать как:

4(N„) =

g„G(N„-lr) C(N„)

(6)

где С - нормализующая константа, е1г - коэффициент передачи интенсивности потока сообщений г-го класса в ¡-й центр сети, N.. = (N1, N2, ... ,N,0; 1г -

вектор, у которого г-я координата равна единице, а остальные — нулю, г=1,Л, \=\М.

2) Загрузка ¡-го центра сети:

= (7)

где

3) Средняя длина очереди в ¡-м центре (при начальных условиях

£.(0г)=0):

А(*„) = £^г(к„)[1+А(я,,-и], (8)

где г=1,Л, [=1,М ; 0Г- нулевой вектор.

4) Среднее время пребывания сообщения г-класса в ¡-м центре (формула Литгла для исследуемой системы): т

_ (9)

гдег=1,Л, \=\,М.

Полученные выражения для основных параметров сети дают возможность получения общего индекса производительности системы, с учетом структуры системы, трудоемкости и частоты появления заявок различных классов, показателя загрузки системы и5:

Р, = Р{МгЛ„,Т>г,и,), (10)

где вид функционала Р определяется экспертным путем в зависимости от значимости отдельных параметров при оценке качества конкретных систем; Мт - количество пользовательских терминалов; - количество специфических типов запросов к серверу ИОСУД; Т'г - среднее время обслуживания заявки класса г сервером ИОСУД, V,.- частота появления заявки класса г.

К ограничениям аналитической модели можно отнести допущение об экспоненциальном распределении времен поступления заявок и времени обслуживания. Другим ограничением аналитической модели является допущение о том, что обработка заявок \уеЬ-приложениями и СУБД-сервером является последовательной, и не учитывается тот факт, что работа с СУБД может быть асинхронной.

Далее во второй главе предложены алгоритмические средства оценки качества Интернет-ориентированной системы управления данными на основе имитационного моделирования, отличающиеся учетом параллельной обработки очередной заявки Web-пpилoжeниeм и сервером СУБД. На рис. 2 представлена 0-схема разработанной имитационной модели ИОСУД.

> Я,

а,

в»

- ню

с,

О') РБ

18

С,

г-> РБ

; Ст

!

Ш-1

Рис. 2. ()-схема имитационной модели ИОСУД

Структурная схема алгоритма работы имитационной модели представлена на рис. 3. Отличительной особенностью алгоритма является учет параллельной обработки очередной заявки Web-пpилoжeниeм и сервером СУБД.

С целью обеспечения возможности идентификации параметров программно-аппаратных ресурсов, являющихся конструктивными элементами реальных серверов, разработаны, программно-алгоритмические методы полунатурного моделирования.

Полученные результаты реализованы в комплексном методе оценки качества Интернет-ориентированных систем управления данными. Сущность данного метода состоит в применении разработанных моделей и программно-алгоритмических методов в зависимости от этапа жизненного цикла системы и изначально поставленных целей (рис. 4).

На этапе проектирования ИОСУД метод предлагает комплексное или выборочное применение аналитической, имитационной и полунатурной модели. Аналитическая модель может быть использована для предварительной оценки характеристик системы, поиска узких мест. Имитационная модель может служить для легального исследования системы. С помощью полунатурной модели можно оценить параметры реальных программно/аппаратных средств, необходимых для функционирования системы.

На этапе этапа внедрения ИОСУД целесообразно предварительно использовать имитационную модель для формулирования требований к узлам системы и полунатурную модель для оценки возможностей и формулирования требований к аппаратному комплексу, на котором будет эксплуатироваться реальная система.

<

Возврат результата от СУБД к \уеЬ-приложению

Выдача общей статистики

С

Конец

3

Рис.3. Структурная схема алгоритма работы имитационной модели

Рис.4 Применение комплексного метода оценки качества ИОСУД

В третьей главе разработанные алгоритмические и программные методы полунатурного моделирования применяются к конкретному подклассу Интернет-ориентированных систем управления данными - системам дистанционного обучения. Задача разработки полунатурной модели систем дистанционного обучения разбивается на две подзадачи - разработку сервера полунатурной модели СДО и комплекса моделирования пользовательской нагрузки.

Графическое представление структуры \уеЬ-сайта полунатурной модели системы дистанционного обучения представлено на рис. 5.

В рамках разработки сервера выполнено исследование особенностей предметной области, осуществлена процедура создания базы данных полунатурной модели СДО, включающей в себя решение задач разработки инфоло-гической и даталогической моделей данных. Реализация инфологической модели данных позволила отразить особенности и характер информации в исследуемой предметной области независимо от параметров среды хранения данных. Трансформация инфологической модели в даталогическую модель обеспечила представление информации в виде множества связанных таблиц.

• В рамках разработки сервера определены правила расчета объема данных базы данных и особенности загрузки экспериментальных данных, определены классы заявок к серверу и соответственно модули обработки пользовательских заявок, предложены алгоритмы модулей, реализующих обработку пользовательских запросов. Предложен алгоритм моделирования сценариев

пользовательской нагрузки и определены характеристики каждого сценария, использующий конкретные компоненты формулы (10) для графа на рис. 5 (табл. 2).

ф Перйупп rm гсыпке ня страницу -> Переход по ссылке (href)

"Выход из системы"

-------------> Автоматический переход

< Название > Название кнопки (submit) s"--—-

-► Переход по кнопке (submit) С__ __J Защищенная страница

_________

J Общедоступная страница

Рис. 5. Структура web-сайта полунатурной модели СДО

Разработана структура системы моделирования пользовательской нагрузки, отличающаяся инвариантностью к исследуемому объекту, программно-аппаратным платформам и режимам нагрузки, обеспечивающая возможность создания среды исследования показателей производительности, как отдельных узлов ИОСУД, так и системы в целом. Инвариантность обеспечивается за счет декомпозиции алгоритма функционирования системы с исполь-

зованием графовой модели с последующим синтезом сценариев, не зависящих от природы объекта.

Таблица 2. Параметры пользовательских сценариев

Группы страниц Сценарий

Смешанный Изучение Контроль

Стандартный сервис 45% 30% 20%

Главная страница Г/о 1% Г/о

Страница авторизации Г/о 1% 1%

Окончание сеанса работы Г/о 1% Г/о

Список дисциплин 10% 6% 4%

Информация о пользователе 4% 2% 1%

Состав группы слушателей дисциплины 8% 3% 2%

Информация о студентах, входящих в группу 4% 2% !%

Содержимое дисциплины 10% 10% 5%

Статистика по дисциплине 3% 2% 2%

Полная статистика 3% 2% 2%

Обучение 25% 50% 10%

Выдача содержимого электронной лекции 25% 50% 10%

Тестирование 30% 20% 70%

Страница генерации теста 15% 10% 35%

Результаты тестирования 15% 10% 35%

В рамках создания подсистемы моделирования пользовательской нагрузки предусмотрены компоненты сбора статистики и управления виртуальными пользователями (ВП, рис. 6).

Предложены алгоритмы работы как всего комплекса в целом, так и отдельных модулей.

Рис. 6. Структура комплекса моделирования

В четвертой главе осуществлена реализация программного комплекса полунатурного моделирования. В состав комплекса входят:

• Программное средство "Терминал сбора статистики", реализующее процедуры управления процессом моделирования, процедуры сбора стати-

стики и генерации отчетов. Программа разработана на языке С++ с использованием классов библиотеки MFC и предназначена для работы на платформе Win32, На рис. 7 представлен внешний вид главного окна программы.

Не -Hdp

joaseTхТмЩщаiн t$Ti« я иriffTli

sLsil

Jnlgyactlon

Scenario settings

MAIN_PAGE LOGIN_PAGE LOGOUT_PAGE COURSE J.IST_PA€E USER_PROFHE_PAGE ®OUP_CONTENT_PAGE STUDEWTJNFO_PAGE COURSE CONT?NT_PAGE LECTURE_EJECT_PAGE TE5T_GEN_PAGE TE5MiE5UlT PAGE !

COURSE_STATJ>AGE RAL_5IAT.PME

-t- suMtmiy j

I

r Common----------------

1 Staring page URLttfocm. http /^[hos»| fpo»tj/[path] jhttp //bcalho$t/di3tedu/inde>c.php Database scale facta (count-cf courses]:

VB sÄaabrvevefadge duration (mm)

Check .

|20

Г Ignore lh"nk tone delay

New piofect created Checking new station status ERROR Unable to connect to New station added fccalhost (< Checking new station status ERROR Unable to connect to New station added №22 [offtn

naui »lalin^

p Special—------

J f? Standard loading

f

I, Г ^ ч-jn г '/ют 'c:di f.

Advarvoed ||

ok ]

Ready.

Status J VB started /

online offline offline offline

"wjk 1

Рис. 7. Окно терминала сбора статистики

Для анализируемого класса систем получено конкретное аналитическое выражение функционала (10):

V юо

'-1 е • ^

Р _ _Г = 1

м, — (»)

• Программное средство "Менеджер виртуальных пользователей", реализующее процедуры создания и управления ВП, а также реализующее алгоритмы сценариев пользовательской нагрузки. Программа разработана на языке С и предназначена для работы на платформе \Vin32.

В рамках реализации сервера полунатурной модели систем дистанционного обучения осуществлена разработка подсистемы генерации и загрузки тестовых данных, а также программных модулей \уеЬ-сайта системы дистанционного обучения.

Подсистема генерации и загрузки тестовых данных реализована на языке С с использованием функций библиотеки ODBC. Модули Web-сайта реализованы с помощью технологии PHP.

Основные программные модули прошли регистрацию в Государственном фонде алгоритмов и программ.

Был проведен сравнительный анализ производительности различных СУБД на группе запросов полунатурной модели СДО (рис. 8).

Сравнительная производительность СУБД

fnipt i

Рис. 8. Диаграмма сравнительной производительности СУБД

В диаграмме приводятся результаты для главной страницы (№1 по оси абсцисс), страницы формирования списка студентов группы, соответственно №2, страницы выдачи электронной лекции №3 и страницы генерации теста №4. Анализ результатов исследования позволил усовершенствовать механизмы функционирования ядра промышленной СУБД ЛИНТЕР на основе анализа производительности системы в области исполнения операций языка манипулирования данными, операций с большими двоичными объектами, в области поисковых запросов с агрегатными функциями.

Основные теоретические и практические результаты работы реализованы в виде комплекса программного обеспечения полунатурного моделирования и оценки качества функционирования специализированных Интернет-ориентированных систем обработки данных.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработана аналитическая модель Интернет-ориентированных систем управления данными как замкнутая смешанная стохастическая сеть массового обслуживания с экспоненциальным распределением времен поступления заявок и обслуживания, отличающаяся возможностью изменения класса сообщений и учетом множества \уеЬ-серверов и сервера баз данных.

2. Созданы алгоритмические средства оценки качества Интернет-ориентированных систем управления данными на основе имитационного мо-

делирования, отличающиеся учетом параллельной обработки очередной заявки Web-приложением и сервером СУБД.

3. Разработаны алгоритмические и программные средства исследования Интернет-ориентированных систем управления данными на примере систем дистанционного обучения, отличающиеся возможностью идентификации параметров программно-аппаратных ресурсов, являющихся конструктивными элементами реальных серверов и обеспечивающие оценку качества функционирования систем в случае произвольных законов распределения времен поступления и обслуживания заявок;

4. Разработана программная система генерации пользовательской нагрузки, отличающаяся инвариантностью к исследуемому объекту, программно-аппаратным платформам и режимам нагрузки, позволяющая создавать среду для исследования показателей производительности ИОСУД.

5. Результаты работы реализованы в виде комплекса программного обеспечения полунатурного моделирования и оценки качества функционирования специализированных Интернет-ориентированных систем обработки данных. Эффект от внедрения заключается в совершенствовании механизмов функционирования ядра промышленной СУБД ЛИНТЕР на основе анализа производительности системы в области исполнения операций языка манипулирования данными, операций с большими двоичными объектами, в области поисковых запросов с агрегатными функциями.

6. Основные программные модули прошли регистрацию в Государственном фонде алгоритмов и программ.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ ОПУБЛИКОВАНЫ В СЛЕДУЮЩИХ РАБОТАХ:

1. Неприков A.A., Кравец О.Я. Автоматизация межсессионного контроля знаний в системе ДО / Информационные технологии в образовании ИТ99. Часть III: Сб. тр. М.: МИФИ, 1999. С. 83-84.

2. Неприков A.A. Автоматизированное рабочее место преподавателя / Перспективные технологии автоматизации: Сб. тр. Вологда: ВоГТУ, 1999. С. 163.

3. Кравец О.Я., Неприков А.А, Малышев М.В. Локально-дистанционная технология обучения старшекурсников / Перспективные технологии автоматизации: Сб. тр. Вологда: ВоГТУ, 1999. С. 172.

4. Кравец О..Я., Неприков A.A. Транспортные компоненты системы локально-дистанционного контроля знаний / Новые технологии в образовании: Сб. тр. Воронеж: ВГПУ 1999. С. 13-14.

5. Кравец О.Я, Лейкин М.А, Неприков A.A. Информационная подсистема системы локально-дистанционного обучения с рубежным контролем знаний / Образовательные технологии: Сб. тр. Воронеж: ВГПУ, 1999. С. 6063.

6. Неприков А.А., Кравец О.Я. Защита данных в ИС ДО с рубежным контролем знаний / Современные проблемы информатизации V: Сб. тр. Воронеж: ЦЧКИ, 2000. С. 120-121.

7. Неприков А.А., Кравец О.Я. Автоматизированный межсессионный контроль в системах ДО / Математические методы в технике и технологиях ММТТ-2000: Сб. тр. Спб.: СпбГТУ, 2000. С. 115-116.

8. Неприков А.А., Кравец О.Я. Механизм обмена данными в ИС ДО с рубежным контролем знаний / Управляющие и вычислительные системы: Сб. тр. Вологда: ВоГТУ, 2000. С. 159-160.

9. Кравец О.Я, Подвальный C.JI., Лейкин М.А., Неприков А.А., Малышев М.В. Организация локально-дистанционного обучения по специальности 'Вычислительные машины, комплексы, системы и сети' / Дистанционное образование №4, 2000. С. 28-34.

10. Неприков А.А., Кравец О.Я. Статистический модуль рейтинговой оценки системы ДО / М.:ФАП ВНТИЦ, 2000, №50200000037.

11. Неприков А.А., Кравец О.Я. Генератор случайных тестовых последовательностей системы ДО / М.:ФАП ВНТИЦ, 2000, №50200000038.

12. Неприков А.А. Клиентский модуль в системе ДО с рубежным контролем знаний / Современные проблемы информатизации VI: Сб. тр. Воронеж: ВЭПИ, 2001. С. 21.

13. Неприков А.А. Концептуальная и полунатурная модели систем дистанционного обучения / Системы управления и информационные технологии: Сб. тр. Воронеж: ЦЧКИ, 2001. С. 2-6.

14. Неприков А.А. Оценка производительности аппаратной части систем в задаче построения модели системы дистанционного обучения / Современные проблемы информатизации VII: Сб. тр. Воронеж: ЦЧКИ, 2002. С. 8384.

15. Неприков А.А., Кравец О.Я. Разработка системы дистанционного обучения на базе полунатурной модели систем данного класса / Прикладные проблемы образовательной деятельности: Сб. тр. Воронеж: ЦЧКИ, 2002. С. 200-204.

16. Кравец О.Я., Неприков А.А., Глеков М.А., Зубарев И.В. Методические, программно-алгоритмические и технологические основы internet-based системы дистанционного обучения / Проблемы качества подготовки специалистов: Вестник ВГТУ. Вып.: 6.2. Воронеж: ВГТУ, 2002. С. 67-74.

17. Глекова Н.Л., Кравец О.Я., Неприков А.А. Internet-Based система дистанционного обучения для среднего профессионального образования / Перспективы развития дистанционных технологий в системе среднего профессионального образования: Сб. тр. М.: МЭСИ, 2002. С. 46-51.

18. Неприков А.А., Кравец О.Я., Шишлов М.А. Модуль автоматической загрузки тестовых заданий подсистемы тестирования для системы дистанционного обучения на базе Интернет-технологий / М.:ФАП ВНТИЦ, 2000, №50200200293.

19. Кравец О.Я, Подвальный C.JL, Неприков А.А, Федорков Е.Д. Концепция полунатурного моделирования систем дистанционного обучения / Открытое образование №1,2003. С. 39-46.

20. Кузнецов К.В, Неприков A.A. Создание сайта системы открытого образования технического университета / Новые технологии в научных исследованиях, проектировании, управлении, производстве: Сб. тр. Воронеж: ВГТУ, 2003. С. 204.

21. Глекова H.J1., Кравец О.Я., Неприков A.A. Особенности управления системой открытого образования на основе internet-ориентированной системы дистанционного обучения / Современные сложные системы управления: Сб. тр. Воронеж: ВГАСУ, 2003. С. 426-428.

22. Кузнецов К.В, Неприков A.A. Зубарев И.В. Проблемы создания сайта системы открытого образования технического университета / Современные проблемы информатизации в непромышленной сфере и экономике VIII: Сб. тр. Воронеж: ЦЧКИ, 2003. С. 18-19.

23. Неприков A.A., Глекова Н.Л. Управление данными в полунатурных моделях систем дистанционного обучения / Социально-экономическое развитие регионов: реальность и перспективы: Сб. тр. Воронеж: Новый Взгляд,

2003. С. 398-403.

ЛР № 066815 от 25.08.99. Подписано в печать 09.07.03. Формат 60x84/16. Бумага для множительных аппаратов. Усл. печ. л. 1,0. Тираж 90 экз. Заказ №

Воронежский государственный технический университет 394026 Воронеж, Московский просп., 14

I

I

I 2ЫО

P1 2 О 10

Введение

1. Проблемы оценки качества Интернет-ориентированных систем управления данными

1.1. Обзор методов исследования и оценки качества распределенных вычислительных систем

1.2. Типовая архитектура Интернет-ориентированных систем управления данными

1.3. Классификация Интернет-ориентированных систем управления данными

1.4. Проблемы оценки качества Интернет-ориентированных систем управления данными

1.5. Постановка задач работы

2. Разработка методов оценки качества Интернет-ориентированных систем управления данными

2.1. Построение аналитической модели

2.2. Характеристики аналитической модели сети

2.3. Алгоритмизация полунатурного моделирования Интернет-ориентированных систем управления данными

2.4. Выводы

3. Разработка полунатурной модели систем дистанционного обучения

3.1. Разработка сервера полунатурной модели систем дистанционного обучения

3.2. Организация системы моделирования пользовательской нагрузки

3.3. Выводы

4. Реализация программного комплекса полунатурного моделирования 107 ♦ 4.1. Реализация системы моделирования пользовательской нагрузки

4.2. Реализация сервера полунатурной модели систем дистанционного обучения

4.3. Результаты работы программного комплекса полунатурного моделирования

4.4. Выводы

Актуальность темы. Задача оценки качества вычислительных систем фактически существует с момента появления первых вычислительных машин. В то же время постоянное развитие аппаратных средств, программного обеспечения, средств телекоммуникаций приводит к постоянному появлению новых сложнейших вычислительных систем, для которых известные методы исследования зачастую становятся неприменимыми.

В последние годы стремительное развитие получили web-технологии, под которыми понимают группу форматов и технологий передачи мультимедийных документов, используемых в крупнейшей электронной информационной системе World Wide Web, входящей в глобальную сеть Интернет. WWW является распределенной средой существования разнородных информационных ресурсов, обмен информацией между которыми возможен только благодаря web-технологиям. В последние годы бурное развитие Web привело к тому, что web-технологии все больше ассоциируются с Интернет. Web-технологии нашли применение в локальных сетях и интегрированных многопользовательских информационных системах, где выполняют роль универсального посредника между различными типами информационных ресурсов.

В результате синтеза информационных систем и web-технологий возник новый класс систем - Интернет-ориентированные системы управления данными (ИОСУД). Оказалось, что для систем данного класса в силу архитектуры, отличной от обычных информационных систем, и появления новых форматов хранения данных и способов передача информации, старые методы и средства исследования и оценки качества функционирования оказались недостаточно эффективными.

Таким образом, актуальность темы диссертационной работы продиктована необходимостью повышения качества функционирования Интернет-ориентированных систем управления данными за счет усовершенствования технологий и инструментов их разработки.

Тематика диссертационной работы соответствует научному направлению Воронежского государственного технического университета "Вычислительные системы и программно-аппаратные электротехнические комплексы".

Целью работы является разработка инструментальных средств оценки качества Интернет-ориентированных систем управления данными, представляющих собой сложную комбинацию \veb-cepBepoB, клиентских приложений и систем управления данными на примере систем дистанционного обучения. Для достижения указанной цели необходимо решить следующие задачи:

1. Провести системный анализ Интернет-ориентированных систем управления данными;

2. Сформулировать требования к инструментальным средствам исследования ИОСУД;

3. Разработать модели обобщенной Интернет-ориентированной системы управления данными, обеспечивающие расчет основных технических показателей качества исследуемых систем;

4. Разработать программно-алгоритмические методы оценки качественных характеристик реальных программно-аппаратных средств, на которых предполагается использование исследуемых ИОСУД;

5. Создать специальное программное обеспечение комплексного исследования и оценки качества подкласса Интернет-ориентированных систем управления данными - систем дистанционного обучения (СДО).

Методы исследования. В работе использованы методы системного анализа, теории сетей массового обслуживания, имитационного моделирования, реляционной алгебры, теории графов, объектно-ориентированного программирования.

Научная новизна исследования. К основным результатам работы, отличающимся научной новизной, относятся:

• аналитическая модель обобщенной Интернет-ориентированной системы управления данными как замкнутая смешанная стохастическая сеть массового обслуживания с экспоненциальным распределением времен поступления заявок и обслуживания, отличающаяся возможностью изменения класса сообщений и учетом множества \уеЬ-серверов и сервера баз данных;

• алгоритмические средства оценки качества обобщенной Интернет-ориентированной системы управления данными на основе имитационного моделирования, отличающиеся учетом параллельной обработки очередной заявки \¥еЬ-приложением и сервером СУБД;

• алгоритмические и программные средства исследования Интернет-ориентированных систем управления данными на примере систем дистанционного обучения, отличающиеся возможностью идентификации параметров программно-аппаратных ресурсов, являющихся конструктивными элементами реальных серверов и обеспечивающие оценку качества функционирования систем в случае произвольных законов распределения времен поступления и обслуживания заявок;

• программная система генерации пользовательской нагрузки, отличающаяся инвариантностью к исследуемому объекту, программно-аппаратным платформам и режимам нагрузки.

Практическая значимость работы. Практическая значимость результатов диссертации заключается в создании специального программного комплекса исследования и оценки качества Интернет-ориентированных систем управления данными, внедренного в практическую деятельность научно-производственного предприятия РЕЛЭКС и в учебный процесс Воронежского государственного технического университета в области систем дистанционного обучения.

Реализация и внедрение результатов работы. Основные теоретические и практические результаты работы реализованы в виде комплекса программных средств полунатурного моделирования и оценки качества функционирования специализированных Интернет-ориентированных систем обработки данных. Эффект от внедрения заключается в совершенствовании механизмов функционирования ядра СУБД ЛИНТЕР на основе анализа производительности системы в области исполнения операций языка манипулирования данными, операций с большими двоичными объектами, в области поисковых запросов с агрегатными функциями.

Апробация работы. Основные положения и результаты диссертационной работы докладывались на IX международной конференции-выставке "Информационные технологии в образовании - ИТ099" (Москва, 1999), 13-й международной научной конференции "Математические методы в технике и технологиях" (Санкт-Петербург, 2000), межвузовской научно-технической конференции "Управляющие и вычислительные системы" (Вологда, 2000), Всероссийской научно-методической конференции "Опыт разработки и внедрения в учебный процесс вуза новых образовательных технологий" (Липецк, 2000), Всероссийской научной конференции "Интеллектуализация управления в социальных и экономических системах" (Воронеж, 2002), V-VIII Республиканских научных конференциях "Современные проблемы информатизации" (Воронеж, 2000-2003), а также на научных семинарах кафедры ABC ВГТУ (Воронеж, 2000-2003).

Публикации. По результатам исследований опубликовано 23 печатные работы, в том числе 4 без соавторов. В работах, опубликованных в соавторстве и приведенных в конце диссертации, лично соискателем предложены: в [39, 40, 41, 58] - показатели качества СДО; [42, 61, 62] - принципы разработки инструментальных средств исследования СДО и ИОСУД; в [43, 44, 68] - программно-алгоритмические методы полунатурного моделирования; в [63, 64, 69] - алгоритмизация имитационной и полунатурной моделей; в [16, 70] - инфологическая и даталогическая модели данных СДО; в [17, 45, 46] - принципы применения комплексного метода исследования ИОСУД при проектировании СДО.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 114 наименований, изложена на 140 страницах, содержит 46 рисунков, 11 таблиц.

5. Результаты работы реализованы в виде комплекса программного обеспечения полунатурного моделирования и оценки качества функционирования специализированных Интернет-ориентированных систем обработки данных. Эффект от внедрения заключается в совершенствовании механизмов функционирования ядра промышленной СУБД ЛИНТЕР на основе анализа производительности системы в области исполнения операций языка манипулирования данными, операций с большими двоичными объектами, в области поисковых запросов с агрегатными функциями.

6. Основные программные модули прошли регистрацию в Государственном фонде алгоритмов и программ.

Заключение

В результате рассмотрения проблем разработки инструментальных средств оценки качества Интернет-ориентированных систем управления данными в работе получены следующие результаты:

1. Разработана аналитическая модель Интернет-ориентированных систем управления данными как замкнутая смешанная стохастическая сеть массового обслуживания с экспоненциальным распределением времен поступления заявок и обслуживания, отличающаяся возможностью изменения класса сообщений и учетом множества шеЬ-серверов и сервера баз данных.

2. Созданы алгоритмические средства оценки качества Интернет-ориентированных систем управления данными на основе имитационного моделирования, отличающиеся учетом параллельной обработки очередной заявки \УеЬ-приложением и сервером СУБД.

3. Разработаны алгоритмические и программные средства исследования Интернет-ориентированных систем управления данными на примере систем дистанционного обучения, отличающиеся возможностью идентификации параметров программно-аппаратных ресурсов, являющихся конструктивными элементами реальных серверов и обеспечивающие оценку качества функционирования систем в случае произвольных законов распределения времен поступления и обслуживания заявок;

4. Разработана программная система генерации пользовательской нагрузки, отличающаяся инвариантностью к исследуемому объекту, программно-аппаратным платформам и режимам нагрузки, позволяющая создавать среду для исследования показателей производительности ИОСУД.

1. Авен О.И. Гурин H.H. Коган А.Я. Оценка качества и оптимизация вычислительных систем. М.: Наука, 1982. - 464 С.

2. Альянах И.Н. Моделирование вычислительных систем. JL: Машиностроение. Ленингр. отд., 1988. - 223 С.

3. Баженова И.Ю. Visual С++ 6.0. М.: Диалог-МИФИ, 1999,- 416 С.

4. Барфилд Э., Уолтере Б. Программирование клиент-сервер в локальных вычислительных сетях. М.: Филинъ, 1997. 424 С.

5. Башарин Г.П., Бочаров П.П., Коган А.Я. Анализ очередей в вычислительных сетях. М.: Наука, 1989. 335 С.

6. Бочаров П.П., Печинкин A.B. Теория массового обслуживания. М.: РУДН, 1995. 529 С.

7. Бройдо В.Л. Вычислительные системы, сети и телекоммуникации. Спб.: Питер, 2002. 688 С.

8. Бэйкер P. Oracle 8i. Создание Web-приложений М.: ЛОРИ, 2001. 723 С.

9. Велихов С. Справочник по HTML 4. М.: Оверлей, 2001. 416 С.

10. Вентцель Е. С. Теория вероятностей 7-е изд. стер. М: Высшая школа, 2001. - 575 С.

11. Волков Д. Как оценить рабочую станцию / Открытые системы, №2, 1994, С. 44-48.

12. Волков Д., Французов Д., Новое поколение тестов SPEC. / Открытые системы, №4, 1996, С. 73-74.

13. Волокитин A.B., Маношкин А.П. и др. Электронная коммерция. М.: Омега, 2002, 272 С.

14. Генри Д. Java Server Pages. Библиотека профессионала. М.: Вильяме, 2002. 464 С.

15. Гешвинде Э., Шенинг Г.Ю. Разработка WEB-приложений на PHP и PostgreSQL. М.: ДиаСофт, 2003,- 608 С.

16. Глекова Н.Л., Кравец О.Я., Неприков A.A. Особенности управления системой открытого образования на основе internet-ориентированной системы дистанционного обучения / Современные сложные системы управления: Сб. тр. Воронеж: ВГАСУ, 2003. С. 426-428.

17. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания, 2-е изд., М.:Наука, 1987. 336 С.

18. ГОСТ 28806-90 Качество программных средств. Термины и определения. Введен 01.01.92. 12 С.

19. ГОСТ 28195-89 Оценка качества программных средств. Общие положения. Введен 01.07.90. 39 С.

20. ГОСТ Р ИСО/МЭК 9126-93 Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению. Введен 01.07.94. 19 С.

21. Дейт К. Введение в системы баз данных 6-е изд. - Киев: Диалектика, 1998. - 784 С.

22. Дейтел X., Дейтел П., Нието Т. Как программировать для Internet & WWW М.: Бином, 2002, 1184 С.

23. Денисов A.A., Колесников Д.Н. Теория больших систем управления. Л.: Энергоиздат, 1982. 288 С.

24. Джонсон М. Харт. Системное программирование в среде Win32 2-е издание. М.: Вильяме, 2001. 464 С.

25. Диго С.М. Проектирование и использование баз данных. М.: Финансы и статистика, 1995. -208 С.

26. Елашкин М. Кто сильнее кит или слон? / СЮ №2(12), М., 2003 -С. 72-75.

27. Жожикашвили В.А., Вишневский В.М. Сети массового обслуживания. Теория и применение к сетям ЭВМ. М.: Радио и связь, 1988. -192 С.

28. Золотовский Ю.Л., Кравец В.В., Кравец О.Я. Проблемы создания дистанционной образовательной сети муниципального Вуза с представительствами в регионе / Открытое образование №1 М., 2001 С. 62-69.

29. Иванов П. Управление информационными системами: базовые концепции и тенденции развития. / Открытые системы, №4, 1999, С. 37-43.

30. Камер Д. Компьютерные сети и Internet М.: Вильяме, 2002,640 С.

31. Кастаньетто Д. и др. Профессиональное PHP программирование. М.: Символ Плюс, 2001. - 912 С.

32. Киллелиа П. Тюнинг WEB-сервера Спб.: Питер, 2003. 528 С.

33. Клейнрок JI. Вычислительные системы с очередями: Пер. с англ. М.: Мир, 1979-600 С.

34. Клейнрок JI. Теория массового обслуживания: Пер. с англ. М.: Машиностроение, 1979 432 С.

35. Когаловский М.Р. Энциклопедия технологий баз данных. М.: Финстат, 2002. 800 С.

36. Кокс Д. Р., Смит У. J1. Теория очередей: Пер. с англ. М.: Мир, 1966 -218 С.

37. Колесов Ю.Б., Сениченков Ю.Б., Визуальное моделирование, Спб.:Мир и Семья, 2000. 256 С.

38. Кравец О.Я., Неприков А.А, Малышев М.В. Локально-дистанционная технология обучения старшекурсников / Перспективные технологии автоматизации: Сб. тезисов. Вологда: ВоГТУ, 1999. С. 172.

39. Кравец О.Я., Неприков A.A. Транспортные компоненты системы локально-дистанционного контроля знаний / Новые технологии в образовании: Сб. тезисов. Воронеж: ВГПУ 1999. С. 13-14.

40. Кравец О.Я, Лейкин М.А, Неприков А.А. Информационная подсистема системы локально-дистанционного обучения с рубежным контролем знаний / Образовательные технологии: Сб. тр. Воронеж: ВГПУ, 1999. С. 60-63.

41. Кравец О .Я, Подвальный С.Л., Лейкин М.А., Неприков А.А., Малышев М.В. Организация локально-дистанционного обучения по специальности 'Вычислительный машины, комплексы, системы и сети' / Дистанционное образование №4, 2000. С. 28-34.

42. Кравец О.Я, Подвальный С.Л., Неприков А.А, Федорков Е.Д. Концепция полунатурного моделирования систем дистанционного обучения / Открытое образование №1, 2003. С. 39-46.

43. Кузнецов К.В, Неприков А.А. Зубарев И.В. Проблемы создания сайта системы открытого образования технического университета / Современные проблемы информатизации в непромышленной сфере и экономике VIII: Сб. тр. Воронеж: ЦЧКИ, 2003. С. 18-19.

44. Кузнецов К.В, Неприков А.А. Создание сайта системы открытого образования технического университета / Новые технологии в научных исследованиях, проектировании, управлении, производстве: Сб. тр. Воронеж: ВГТУ, 2003. С. 204.

45. Ларионов A.M., Майоров С.А., Новиков Г.И. Вычислительные комплексы, системы и сети. Л.: Энергоатомиздат, 1987. 256 С.

46. Лебедев А.Н., Чернявский Е.А. Вероятностные методы в вычислительной технике. М.: Высшая школа, 1986. 312 С.

47. Липский Н. Комбинаторика для программистов. М.: Мир, 1985. -374 С.

48. Лобачев С.Л., Солдаткин В.И. Дистанционные образовательные технологии: информационный аспект. M.: МЭСИ, 1998. 104 С.

49. Мазуркевич А., Еловой Д. PHP: настольная книга программиста. М.: Новое знание 2003. -480 С.

50. Матвеев В.Ф., Ушаков В.Г. Системы массового обслуживания. М.: Изд-во МГУ, 1984. 240 С.

51. Мальцева C.B. Информационное моделирование WEB-ресурсов Интернет. М.: Глобус, 2003. 216 С.

52. Мельтцер К., Михальски Б. Разработка CGI-приложений на Perl. M.: Вильяме, 2001. 400 С.

53. Мещеряков Е.В., Хомоненко А,Д. Публикация баз данных в Интернете Спб.: BHV-Санкт-Петербург, 2001. 560 С.

54. Минзов A.C., Грачев В.В. Оценка эффективности системы дистанционного обучения / Дистанционное образование №3, М., 1999 С. 37-41.

55. Минзов A.C. Дистанционное обучение: взгляд изнутри / Открытое образование №2, М., 2001 С. 61-64.

56. Неприков A.A., Кравец О.Я. Автоматизация межсессионного контроля знаний в системе ДО / Информационные технологии в образовании ИТ99. Часть III: Сб. тр. М.: МИФИ, 1999. С. 83-84.

57. Неприков A.A. Автоматизированное рабочее место преподавателя / Перспективные технологии автоматизации: Сб. тезисов. Вологда: ВоГТУ, 1999. С. 163.

58. Неприков A.A., Кравец О.Я. Защита данных в ИС ДО с рубежным контролем знаний / Современные проблемы информатизации V: Сб. тр. Воронеж: ЦЧКИ, 2000. С. 120-121.

59. Неприков A.A., Кравец О .Я. Автоматизированный межсессионный контроль в системах ДО / Математические методы в технике и технологиях ММТТ-2000: Сб. тр. Спб.: СпбГТУ, 2000. С. 115-116.

60. Неприков A.A., Кравец О.Я. Механизм обмена данными в ИС ДО с рубежным контролем знаний / Управляющие и вычислительные системы: Сб. тезисов. Вологда: ВоГТУ, 2000. С. 159-160.

61. Неприков A.A., Кравец О.Я. ПС Статистический модуль рейтинговой оценки системы ДО / М.: ФАП ВНТИЦ, 2000, №50200000037.

62. Неприков A.A., Кравец О.Я. ПС Генератор случайных тестовых последовательностей системы ДО / М.: ФАП ВНТИЦ, 2000, №50200000038.

63. Неприков A.A. Клиентский модуль в системе ДО с рубежным контролем знаний / Современные проблемы информатизации VI: Сб. тр. Воронеж: ВЭПИ, 2001. С. 21.

64. Неприков A.A. Концептуальная и полунатурная модели систем дистанционного обучения / Системы управления и информационные технологии: Сб. тр. Воронеж: ЦЧКИ, 2001. С. 2-6.

65. Неприков A.A. Оценка производительности аппаратной части систем в задаче построения модели системы дистанционного обучения / Современные проблемы информатизации VII: Сб. тр. Воронеж: ЦЧКИ, 2002. С. 83-84.

66. Неприков A.A., Кравец О.Я. Разработка системы дистанционного обучения на базе полунатурной модели систем данного класса / Прикладные проблемы образовательной деятельности: Сб. тр. Воронеж: ЦЧКИ, 2002. С. 200-204.

67. Неприков A.A., Кравец О.Я., Шишлов М.А. ПС Модуль автоматической загрузки тестовых заданий подсистемы тестирования для системы дистанционного обучения на базе Интернет-технологий / М.: ФАП ВНТИЦ, 2000, №50200200293.

68. Неприков A.A., Глекова H.JI. Управление данными в полунатурных моделях систем дистанционного обучения / Социально-экономическое развитие регионов: реальность и перспективы: Сб. тр. Воронеж: Новый Взгляд, 2003. С. 398-403.

69. Олафсен Ю., Скрайбнер К., Дэвид К. MFC и Visual С++ 6. Энциклопедия программиста. М.: ДиаСофтЮП , 2003. 992 С.

70. Олифер В. Г., Олифер H.A. Компьютерные сети. Принципы, технологии, протоколы.// 2-изд. СПб: Питер-пресс, 2002. 864 С.

71. Павловский Ю. Н. Имитационные модели и системы. М.: ФАЗИС, 2000. 144 С.

72. Перегудов Ф.П., Тарасенко Ф.П. Введение в системный анализ. М: Высшая школа, 1989. 367 С.

73. Свами М., Тхуласираман К. Графы, сети и алгоритмы: Пер. с англ. М.: Мир, 1984. 455 С.

74. Советов Б.Я., Яковлев С.А. Моделирование систем //3-е изд., М:Высшая школа, 2001. 344 С.

75. Стрелкова Е. Интеграция данных предприятия / Открытые системы, №4, 2003, С. 58-60.

76. Томашевский В.Н., Жданова Е.Г. Имитационное моделирование в среде GPSS. Серия "Факультет". М.: Бестселлер, 2003. 400 С.

77. Уемов А.И. Системный подход и общая теория систем. М.: Мысль, 1978,- 272 С.

78. Феррари Д. Оценка производительности вычислительных систем. М.: Мир, 1981. 576 С.

79. Французов Д. Оценка производительности вычислительных систем. Открытые системы, №2, 1996, С. 58-66.

80. Фролов A.B. Фролов Г.В. Локальные сети персональных компьютеров. М.: ДИАЛОГ-МИФИ, 1993.- 176 С.

81. Харари Ф. Теория графов. М.: Мир, 1973. 300 С.

82. Харрингтон Дж. Проектирование реляционных баз данных. М: Лори-Пресс, 2000. 230 С.

83. Хилайер С., Мизик Д. Программирование Active Server Pages М.: Русская редакция. 2000. 320 С.

84. Храмцов П.Б., Брик С.А. и др. Основы web-технологий. М.: ИНТУИТ.ру, 2003. 512 С.

85. Цаленко М.Ш. Моделирование семантики в базах данных. М.: Наука, 1989. 287 С.

86. Чистяков В.П. Курс теории вероятностей 5-е изд. М.: Агар, 2000. - 255 С.

87. Шагурина Н. Web-службы: новая парадигма интеграции? / Сетевой журнал №2, М., 2003 С. 14-17.

88. Шарма В., Шарма Р. Разработка Web-серверов для электронной коммерции. М.: Вильяме, 2000. 400 С.

89. Шилдт Г. MFC: основы программирования. Киев: BHV Киев, 1997.-560 С.

90. Шмидт Д., Хьюстон С. Программирование сетевых приложений наС++.Том1. М.: Бином-Пресс, 2003. 304 С.

91. Шэннон Р. Имитационное моделирование систем. М.: Мир, 1978.-418 С.

92. Bar, Francois: The Construction of Marketplace Architecture. Tracking a Transformation. E-commerce and the Terms of Competition in Industry. The BRIE-IGCC E-conomy Project. Washington, Brookings, 2001. P. 27-50.

93. Baskett F„ Chandy K.M., Muntz R.R., Palacios F.G. Open, Closed and Mixed Networks of Queues with Different Classes of Customers//.!. Assoc. Comput. Mach. 1975. - Vol. 22, N 2. - P. 248 - 260.

94. Beiluer H.S. On the construction of computing system simulators. Experimental computer performance evaluation, North-Holland, 1981, P. 1-32.

95. Buzen J.P. Computational Algorithms of Closed Queuing Networks with Exponential Servers//Commun. ACM. 1973 - Vol. 16, N 9. - P. 527-531.

96. Chen H., Yao D. Fundamentals of Queueing Networks. Springer Verlag; 1st edition , 2001. 424 p.

97. Fingar P., Smith H. Business Process Management Systems, Internet World, 2002, May

98. Friedman H.P. Statistical methods in computer perfomance evaluation. Experimental computer performance evaluation, North-Holland, 1981, P. 79-105.

99. Galagan, P. Getting started with e-learaing. Training and Development 54 (4), 2000. P. 62-64.

100. Gotschall, M. E-learnins strategies for executive education and corporate training. Fortune, 141 (10) 2000 P. 5-59.

101. Gray J. The Benchmark Handbook for Database and Transaction Processing Systems, Second Edition. Morgan-Kaufmann, 1993. 592 P.

102. Gross D. Harris C. Fundamentals of Queueing Theory. Wiley-Interscience; 3rd edition, 1998. 439 P.

103. Hackathorn R.D. Web Farming for the Data Warehouse. Morgan Kaufmann, 1998. 368 P.

104. Hatcher T., Mungania P. A Matrix for the Development of Instruments to Evaluate Web-Based Courses and Programs. 18th Annual Conference on Distance Teaching and Learning. Madison, Wisconsin 2002.

105. Linthicum D.S. B2B Application Integration. e-Business-Enable Your Enterprise. Addison Wesley, 407 P.

106. Majdalany M. TPC Announces New E-Commerce Benchmark Standard/TPC Press release, San Jose, CA 2000.

107. Mamrak S.A., Amer P.D. Statistical procurement methodologies. Experimental computer performance evaluation, North-Holland, 1981, P. 118132.

108. Moor F.R. Computational Model of a Closed Queuing Network with Exponential Servers//IBM J.Res. and Dev. -1972. Vol. 16, N 6. - P. 567573.

109. Smith W.D. TPC-W: Benchmarking An Ecommerce Solution. Intel Corporation. 2000.

110. Weinstein, M. B. Thirty three world-class competencies. Training and Development 54 (5) 2000. P. 20 -23.

111. Whalen T., Wright D. Methodology for cost-benefit analysis of web-based tele-learning: Case study of the bell institute. The American Journal of Distance Education, 13(1), 1999. P. 24-44.

112. Zahm, S. No question about it e-learning is here to stay: A quick history of the e-learning evolution. E-learning, 1 (1) 2000. P. 44-47.

113. УТВЕРЖДАЮ неральный директор НПП «РЕЛЭКС»

114. И.А. Бойченко / преля 2003 г.1. Актвнедрения результатов диссертационного исследования

115. Неприкова Антона Алексеевича

116. Руководитель PCP Ермаков M .В.наименование должности *"~Ттодпись ""S Ф.И.О.

117. Дата подписи: « 14 » апреля 2003 г.1. УТВЕРЖДАЮ чый про&ектор

118. А, X г. В. Макаров 2000 г.

119. Начальник учебного управления Железный В.С.1. СПРАВКАоб использовании результатов НИР в учебномпроцессе

120. Результаты дипломного проекта студента группы ВМ-951наименование .результатов)

121. АВС^ в курсовых, НИР студентов,1. Декан факультета1. Бурковский В.Л1. Заведующий кафедрой1./? ппппо niUL.fl л лподпись)1. Ответственный исполнительподпись)и