автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Моделирование процессов управления качеством предоставления сервисов в системах дистанционного обучения, использующих технологии Интернет

На правах рукописи

ЖУКОВ АРТЕМ ВЛАДИМИРОВИЧ

/Яг*^

МОДЕЛИРОВАНИЕ ПРОЦЕССОВ УПРАВЛЕНИЯ КАЧЕСТВОМ ПРЕДОСТАВЛЕНИЯ СЕРВИСОВ В СИСТЕМАХ ДИСТАНЦИОННОГО ОБУЧЕНИЯ, ИСПОЛЬЗУЮЩИХ ТЕХНОЛОГИИ ИНТЕРНЕТ

Специальность 05.13.18 — Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Петрозаводск 2006

Работа выполнена на кафедре прикладной математики и кибернетики Петрозаводского государственного университета.

Доктор физико-математических наук, профессор А. М. Камачкин Кандидат технических наук, ст. преподаватель И. М. Шабалина

Карельский государственный педагогический университет

Защита состоится 3 марта 2006г. в 14 часов на заседании диссертаг ционного совета Д 212.190.03 в Петрозаводском государственном университете по адресу: 185910, г. Петрозаводск, пр. Ленина, 33.

С диссертацией можно ознакомиться в Научной библиотеке Петрозаводского государственного университета.

Научный руководитель:

Кандидат технических наук, доцент, В. В. Поляков

Официальные оппоненты:

Ведущая организация:

2006 года.

Ученый секретарь диссертационного совета Д212.190.03

В. В. Поляков

¿ooeft

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В последнее время широкое распространение получили Интернет-системы дистанционного обучения, в которых реализованы основные функции обучения и сопровождения учебного процесса. Практика показывает, что существуют некоторые проблемы, связанные с их эксплуатацией.

Одна из них, исследуемая в данной работе, выявилась при эксплуатации созданной автором Системы Дистанционного Обучения (СДО), предназначенной для обучения и контроля знаний по языку Structure Query Language, используемому для манипулирования данными в реляционных СУБД.

Проблема заключается в том, что при проведении групповых занятий с большим количеством обучаемых нередки случаи, когда вместо нормального ответа на свои действия обучаемый получал сообщение об ошибке, т. е. отказ. Как выяснилось в ходе исследований, такая ситуация может возникать в любой системе дистанционного обучения, использующей технологии Интернет.

Ошибки возникают по двум причинам - низкое качество сетевого соединения и перегрузка серверного аппаратного обеспечения. Повлиять на качество каналов связи сложно, поэтому внимание было сосредоточено на второй, более значимой причине, и в связи с этим исследовались способы повышения качества обслуживания веб-сервера с целью предотвращения его перегрузки.

Целью исследования являлась разработка и практическое применение математических моделей и алгоритмов, предназначенных для управления качеством обслуживания в системах дистанционного обучения.

Научная новизна результатов работы, выносимых на защиту, состоит в:

• исследовании процессов функционирования образовательных веб-серверов и решении проблемы повышения качества обслуживания поступающих на веб-сервер запросов;

• разработке математических моделей, применимых для управления выполнением поступающих на веб-сервер запросов и идентификация параметров предложенных моделей;

• разработке алгоритмов управления выполнением поступающих

на веб-сервер запросов;

• создании программных средств для управления выполнением поступающих запросов образовательным веб-сервером.

В результате работы были сформулированы математические модели, описывающие дифференцированное управление качеством обслуживания, при решении задачи идентификации параметров моделей изучено наличие свойств самоподобия в трафике образовательных веб-серверов, проведено исследование времени обработки поступающих запросов.

Методика исследований. В диссертационной работе использованы методы математического моделирования, математической статистики, теории вероятностей, математического программирования, а также методы проектирования информационных систем.

Практическая ценность. Описанные в работе математические модели и алгоритмы могут быть применены для повышения качества обслуживания поступающих запросов в корпоративных Интернет-порталах, серверах электронной коммерции и др.

Апробация работы. Основные результаты обсуждались на следую-

щих международных конференциях:

• международная конференция "Интернет в обучении и Интернет-обучение", Москва, апрель 2002 г.;

• международный научный семинар "Неделя Финской Информатики в Петрозаводском Университете - Передовые методы информационных технологий", Петрозаводск, июнь 2004, 2005 г.г.;

• IV, V, VI международные научно-технические конференции "Новые информационные технологии в ЦБП и энергетике", Петрозаводск, сентябрь 2000, 2002, 2004 г.г.;

• международная научная конференция "5th St. Petersburg Workshop on Simulation", июнь 2005 г.

• международная научная конференция "XXVth International Seminar on Stability Problems for Stochastic Models", Италия, Май-ори, сентябрь 2005 г.

Работа частично поддерживается грантами РФФИ Л"8 04-07-90115, 04-01-00671.

Публикации. По теме диссертации опубликовано 11 работ.

Структура и объем работы. Диссертация состоит ич введения, четырех глав, заключения и приложений. Объем диссертационной работы составляет 110 страниц. Список литературы включает 76 наименований.

Краткое содержание работы

Во введении обосновывается актуальность темы исследования, формируются цели, а также научные положения, выносимые на защиту.

В Главе 1 даны основные определения дистанционного обучения, описаны проблемы функционирования Интернет-систем дистанционного обучения, а также проанализирован опыт использования Интернет-систем дистанционного обучения (ИСДО).

В течение 1999 - 2005 гг. в ходе эксплуатации ИСДО, разработанной автором, был выявлен ряд проблем, связанных с недостаточной производительностью серверного аппаратного обеспечения.

Любая Интернет-система представляет собой реализацию клиент-серверной архитектуры. В ходе взаимодействия клиент формирует запросы на предоставление ресурсов сервера, а сервер, получив запрос, немедленно начинает его обработку, причем возможна одновременная обработка нескольких запросов. Важно, чтобы запрос был обслужен за некоторое заданное на сервере время — в противном случае он отбрасывается, а клиент вместо ответа получает сообщение об ошибке.

В моменты совместной обработки нескольких запросов происходит разделение аппаратных ресурсов (памяти, жесткого диска, процессора и др.). Поэтому даже при поступлении небольшого количества трудоемких в выполнении запросов на сервере могут возникать перегрузки, в результате чего практически все остальные запросы, поступившие в систему, могут остаться не обслуженными за заданное время. Практика эксплуатации подобных систем показывает, что если ответ не был получен сразу, то, скорее всего, пользователю придет сообщение об ошибке.

Процессы поступления запросов и процессы обработки поступающих запросов на образовательных веб-серверах носят стохастический характер, который определяет применение методов теории массового обслуживания для анализа функционирования веб-серверов. Модели сетей массового обслуживания могут быть применены для оценки характеристик аппаратных компонентов, требуемых для качественной обработки поступающих запросов.

Время ожидания клиентом ответа на запрос складывается из нескольких составляющих:

- времени прохождения запроса по сети от клиента к серверу ;

- времени обработки запроса на сервере;

- времени прохождения ответа от сервера к клиенту.

Прохождение запросов и ответов на них по сети зависит лишь от

производительности, загруженности и качества сети - параметры, на значение которых повлиять затруднительно. Поэтому наибольший интерес представляет процесс обработки запроса на сервере. Время, потраченное на обработку запроса, зависит от нескольких факторов:

- сложности формирования ответа на запрос клиента;

- количества поступивших в систему запросов, ответы на которые формируются в данный момент;

- ресурсов сервера - быстродействия центрального процессора, объемов оперативной и внешней памяти и др.

Для снижения влияния перегрузок сервера может быть использовано управление обработкой поступающих запросов. Таким образом, возникает задача управления качеством обслуживания на образовав тельном веб-сервере.

В Главе 2 предложены математические модели управления качеством обслуживания запросов, поступающих на образовательный вебсервер.

Предположим, что на веб-сервере установлена СДО с некоторым набором сервисов. Для обеспечения работы пользователей с СДО необходимо так организовать обработку запросов веб-сервером, чтобы максимизировать число обработанных запросов в соответствии с их приоритетами. В таких ситуациях необходимо предотвратить выполнение менее приоритетных заявок с целью резервирования достаточной мощности веб-сервера для выполнения более приоритетных.

Различные сервисы имеют различные показатели по сложности выполнения запросов. Например, некоторые приложения осуществляют обработку больших объемов данных (сервисы составления отчетов), другим требуются в основном вычислительные мощности сервера, третьим - большие объемы оперативной памяти.

Для каждого образовательного веб-сервера можно определить круг первоочередных сервисов, выполнение которых является наиболее важной задачей. Например, при выполнении контрольного тестирования запросы, поступающие от студентов, работающих с системой тести-

рования, являются наиболее приоритетными по отношению к другим классам запросов.

Пусть К - число независимых аппаратных ресурсов сервера, используемых для формирования ответа на запросы.

Аппаратные ресурсы, необходимые для обработки запроса, определяют сложность запроса. Пусть 5, = (5,1,5,2,..., Б^) - вектор сложности запроса к сервису 1, где - количество единиц ресурса j, необходимое для выполнения запроса к сервису г, г = 1,.., М, ] = 1,..., К.

Такое рассмотрение процесса обработки запроса влечет за собой описание производительности сервера как вектора, состоящего из характеристик производительности отдельных его ресурсов.

Пусть V — (V1, V2,..., Ук), где V-7 - объем ] ресурса веб-сервера, ] = 1,... ,К, а Ргп, Рг12 - приоритеты сервисов ц и ¿2, Ргг1,Рг^ > О, причем соотношение Ргч > Рг12 означает, что сервис г\ имеет более высокий приоритет по отношению к сервису ¿2, ¿2 Ф ¿ъ Ч, Н = 1 ,...,М.

Пусть Л1 - интенсивность входного потока запросов на сервис г, при этом различные потоки будем считать независимыми, г — 1,..., М.

Таким образом, каждый сервис г можно характеризовать набором

ДЛ^Р'ЧЛ}.

Введем переменные х% е [0,1], г = 1, ..,М. Переменные ж; характеризуют долю запросов, обрабатываемых сервисом г, по отношению к общему числу поступивших запросов в интервале времени [О,!1]. Значение Т выбирается в зависимости от скорости изменения интенсивности входного потока.

А. Модель управления качеством обслуживания на образовательном веб-сервере с векторной характеристикой сложности входящего запроса.

Целевая функция имеет следующий вид:

м

/(хь... ,хм) = ^А* • Ртг • хг'у »=1

/(XI ,...,Хм)—>тпах (1)

и требует максимизации числа выполненных запросов в соответствии с их приоритетами.

Введем ограничения на расходование аппаратных ресурсов:

м

^Па, ■ б? ■ X, < V*, для всех ] = 1,...,К; (2)

1=1

€ [0,1], г = 1,...,М. (3)

Поиск оптимального решения на интервале времени |0,Т] для заг дач, описанных моделью (1)-(3), позволит построить дифференцированное управление обслуживанием на образовательном веб-сервере. Заметим, что в общем случае являются случайными величинами.

Рассмотрим частный детерминированный случай модели А. Выделим три основные составляющие сложности выполнения запросов:

• — математическое ожидание вычислительной сложности формирования ответа на запрос клиента на сервисе г (времени обработки запроса);

• — средний объем оперативной памяти, необходимый для формирования ответа на запрос клиента к сервису г;

• — средний объем внешней (дисковой) памяти, необходимый для формирования ответа на запрос клиента к сервису г, г — 1 ,...,М.

Таким образом, вектор сложности выполнения запроса запроса к сервису г имеет вид 5, = (5^, 5\ 115™), г = 1,..., М.

Аналогично рассмотрим три основных ресурса веб-сервера, т. е. где

• Ув — время процессора, которое может быть потрачено на обработку поступающих запросов;

• У011 - доступный объем оперативной памяти;

• Кпп — доступный объем постоянной памяти.

Получаем математическую модель следующего вида:

м

1=1

f(x 1,...,хм)—>max. (4)

Расход аппаратных ресурсов веб-сервера при обработке запросов учитывается в следующих ограничениях:

м

(5)

г—1

М

(6)'

»=1

м

Х> (7)

t=i

Xi 6 [0,1], i = 1,...,M. (8)

Времена обработки запросов Sf и входной поток (моменты поступления запросов) к сервису i являются случайными величинами. Методы оценки их характеристик приведены в главе 3.

В системах, устойчивых к отказам, возможно использование клаг стерных технологий. Под кластером будем понимать группу вычислительных машин, которые связаны между собой и функционируют как один узел обработки информации.

Пусть в веб-кластере используется N серверов, V — ((V11,..., V1K), ..., (VNl,..., VNK)), где Vlj - объем ресурса j на кластере I, j = 1 , I = 1,..., N.

На каждом сервере I установлено программное обеспечение со сложностью выполнения запроса на сервисе г, S[3.

Пусть xi, € [0,1] - доля запросов к сервису г, исполняемых на сервере I, по отношению к числу пришедших в интервале [0, Т], г = 1,... ,М, I = 1,... ,N. Пусть х = ((iUl. ..,xiM),..., (xNi,... ,xNM))-

В. Математическая модель управления качеством обслуживания запросов, поступающих на образовательный веб-кластер.

Целевая функция имеет вид

N М

f(x) = j2Y2x*Pr'xi*> (э)

(=1 г=1

f(x) —* max; (10)

Ограничения на расходование аппаратных ресурсов каждым вебсервера в кластере примут вид:

м

г-^-хцКУ", 1 = (11)

1=1

Кроме того, в данном случае требуется ограничение, запрещающее резервирование ресурсов сверх необходимого для выполнения поступающих к сервисам запросов:

N

5>ь<1 • (12)

1=1

Хн € [0,1], » = 1 ,...,М, 2 = 1.....ЛГ. (13)

Использование предложенных моделей для управления обслуживанием потока заявок на образовательных веб-серверах позволяет улучшить качество предоставления необходимых ресурсов в ситуациях, когда поток запросов превышает возможности сервера, а наращивание производительности затруднительно. При этом следует помнить, что управление с дифференцированным обслуживанием не повышает производительности сервера в целом, но позволяет снизить негативное влияние перегрузок сервера до появления возможности наращивания аппаратных ресурсов.

В модели (4)-(8) входной поток к сервису 1 и вычислительная сложность запроса к сервису г = 1,... ,М имеют случайный характер. В главе 3 приведена оценка их распределений и характеристик.

Развитие исследований трафиков вычислительных сетей в последнее время показывает, что классические предположения о Пуассонов-ском распределении и независимости данных являются неприменимыми для моделирования трафика.

Одним из современных подходов к моделированию сетевого трафика является исследование его самоподобной структуры. Свойство самоподобия означает, что при изменении шкалы времени корреляционная структура самоподобного процесса остается неизменной. Более того, поток данных в вычислительной сети обладает свойством долговременной зависимости, т. е. свойством сохранения зависимости на длительных интервалах времени.

Возникает вопрос о наличии самоподобия и долговременной зависимости в процессах, происходящих на образовательных веб-серверах. Исследования показывают, что времена обработки запросов на предоставление сервисов имеют, как правило, распределения с тяжелым хвостом.

Рис. 1: График оригинального(вверху) и график агрегированного процесса при т=3(внизу)

Было проведено исследование сетевого трафика образовательного веб-сервера pmik.petrsu.ru на наличие свойства самоподобия (на данном сервере установлена и эксплуатируется СДО, используемая на математическом, экономическом и историческом факультетах Петрозаводского государственного университета).

В качестве исследуемого процесса мы рассматриваем число запросов поступивших в течение дня на образовательный веб-сервер. На рисунке 1 изображен график исходного процесса поступления запросов (трафика) за 1 год и агрегированного процесса, полученного усреднением исходного по 3 дня.

Для выявления свойства самоподобия достаточно оценить параметр Херста Н, который определяет степень самоподобия процесса.

На рисунке 2 приведен дисперсионно-временной график зависимости дисперсии агрегированного процесса от т в логарифической шкале. С помощью метода наименьших квадратов строится прямая, угол наклона которой - оценка параметра 2Н~ 1. В данном случае угол наклона составляет 0.4, следовательно, параметр Херста Н = 0.7. Значение Н € (1/2,1) говорит также о наличии долговременной зависимости, т. е. если процесс имеет тенденцию к увеличению (уменьшению) в прошлом, то с большой вероятностью он будет иметь тенденцию к увеличению (уменьшению) в будущем.

1_5 -,-,-,-,-,-

0 0.в 1 1,5 2 2.5 3

Рис. 2: Дисперсионно-временной график числа поступающих запросов в логарифмической шкале

Как уже упоминалось выше, одной из возможных причин, объясняющих самоподобную структуру и долговременную зависимость сетевого трафика, является тот факт, что времена обработки пользовательских запросов и количество одновременных подключений имеют распределение с тяжелым хвостом. Это означает, что эти данные принимают большие значения с достаточно большими вероятностями, что может приводить к отказам и замедлению работы сервера.

Предположим, что времена обработки запросов имеют распределение с тяжелым хвостом, т. е. хвост функции распределения имеет вид

1 -Р(х) = х~", х > 1,1/ > 1.

Для оценки индекса и были использованы следующие методы: оценка Хилла, сглаженная оценка Хилла, (^-график и построена эмпирическая функция распределения.

На рис. 3 приведен график хвоста эмпирической функции распределения 1-Р(х) в логарифмической шкале, где в качестве исходных данных рассматривалось времена обработки поступающих запросов за период с августа 2003 г. по июль 2004 г. Угол наклона прямой, построенной методом наименьших квадратов дает оценку индекса и

\б 11 16 21 26 31 36 41 46 51 ЗД 61 66 71 76 81 86 91 96

\

Рис. 3: Хвост эмпирической функции распределения (по времени обработки поступающих запросов)

Для хвоста эмпирической функции распределения времени обработки поступающих запросов индекс получился равным 2.3.

Оценка Хилла и сглаженная оценка Хилла в этом случае являются малоинформативными для оценки индекса и, поскольку невозможно выделить зону, в которой график ведет себя как прямая.

На рис. 4 построен (^-график, по точкам которого построена прямая методом наименьших квадратов, угол наклона которой 2.3. Таким образом, индекс и = 2.3 был определен двумя способами. Чтобы убедиться в оценке параметра и с помощью критерия согласия Колмогорова, была проверена статистическая гипотеза Но о том, что времена обработки запросов имеют функцию распределения вида Е(х) = 1 - х~",х > 1 с индексом и = 2.3 (на уровне значимости 0.05).

Статистика Колмогорова имеет значение:

£>„ = \/птах |^„(а;) - = 1.09,

Рис. 4: (^-график

где Рп{х) и - эмпирическая и теоретическая функции распределения соответственно. Поскольку £>„ принимает значение, меньшее, чем критическая точка 21-0.05 = 1-2, то оснований отвергнуть гипотезу Н0 нет.

Теперь можно оценить математическое ожидание времени обработки запросов, 5® = — 1).

Таким образом, оценка математического ожидания времени обработки запросов для образовательного веб-сервера pmik.petrsu.ru 5® = 1.7.

Аналогично были проведены исследования времен обработки отдельно по каждому сервису на образовательном веб-сервере pmik.petrsu.ru. Получены оценки для индексов и, а также оценка математического ожидания времени обработки запросов для каждого сервиса (см. Таблицу 1).

Таблица 1: Оценки математического ожидания для различных сервисов (в сек.)

Модуль генерации отчетов успеваемости Я? = 5.2

Модуль проверки индивидуальных тестов студентов = 4.0

Демонстрация лекционного материала 5? = 1.7

Поиск термина в глоссарии = 1.9

Оценки математического ожидания времени обработки запросов, поступающих к различным образовательным сервисам необходимы для работы алгоритма управления обработкой запросов, предотвра-

щающего перегрузку сервера и повышающего качество обслуживания запросов.

В Главе 4 описывается разработанная автором Интернет-система дистанционного обучения с функцией управления качеством обслуживания. Приведены алгоритмы управления качеством обслуживания, основанные на математических моделях главы 2 и применимые для использования в ИСДО.

Тестовая эксплуатация ИСДО показала наличие перегрузок серверного аппаратного обеспечения, поэтому для их предотвращения была разработана и включена в ИСДО подсистема управления обработкой поступающих к системе запросов. Подсистемой управления обработкой запросов проводится анализ текущего состояния аппарат-пых компонентов: объем свободной оперативной и постоянной памяти, загруженность процессора, интенсивность потока поступающих к системе запросов, и прогнозируется дальнейшее поступление запросов к серверу. На основании имеющихся данных подсистемой управления принимается решение о продолжении обработки запроса или отказе в дальнейшем обслуживании. Запросы, поступающие на веб-сервер и адресованные на предоставление образовательных сервисов, перехватываются подсистемой управления обработкой поступающих запросов.

При реализации подсистемы управления качеством обслуживания был использован следующий алгоритм, предотвращающий перегрузку серверного аппаратного обеспечения, в основу которого положен механизм взвешенного превентивного отбрасывания запросов.

Алгоритм управления обработкой поступающих на веб-сервер запросов с постоянной длиной интервала управления.

Пусть для каждого сервиса 1 задан приоритет Рг,, построены оценки сложности 5, = (5',..., Б^) и известны производительности аппаратных ресурсов V = (V1,..., Ук).

Предлагаемый алгоритм состоит из двух частей. В первой части описывается поведение системы на интервале [Т^,^+1], связанной с реализацией политики отбрасывания части запросов от общего количества запросов, поступивших на этом интервале. Другая часть алгоритма выполняется в момент поступления первого запроса на интервале [Тк,Т/ь+1]. Длина интервала управления [7*, Т^+г] постоянна, равна г и не зависит от номера интервала к. В этот момент решается задача (1)-(3) на основе информации об интенсивности поступления запросов на предыдущем интервале.

Опишем алгоритм управления обработкой запросов образовательного веб-сервера, состоящий из следующих шагов:

1. Инициализация алгоритма управления во время поступления первого запроса:

(a) фиксируем начало первого интервала к=1;

(b) полагаем х1 = 1 для всех сервисов г — 1, • ■ •, М, т.е. разрешаем выполнение всех поступающих на первом интервале запросов.

2. Фиксируем поступление нового запроса:

(a) фиксируем время поступления Ь;

(b) если поступивший запрос является первым на интервале [Тк,Т)£+1], то задаем начальные значения:

1. при к > 1 решаем оптимизационную задачу (1)-(3) и

получаем решения хг, г = 1,..., М; п. полагаем число обработанных запросов каждым сервисом г, Ы?бсл = 0; ш. полагаем число пришедших запросов на сервис г, = 0;

IV. полагаем оценку интенсивности входного потока на сервис г, А, = 0, г = 1,..., М\

(c) определяем класс поступившего запроса, т.е. номер сервиса, к которому он обратился. Пусть запрос предназначен для обработки на сервисе ¿о;

((1) увеличиваем счетчик числа запросов, поступивших для обслуживания на сервис ¿о, Лгг1''5 = + 1; (е) пересчитываем оценку интенсивности входного потока го-го

сервиса по формуле Л,0 = ^ .

3. Проверяем условие

дгобсл , 1

">Р ^ <14>

го

Если условие (14) не выполнено, то запрос получает отказ, переходим на шаг 2.

4. Обрабатываем поступивший запрос, увеличиваем счетчик числа обработанных запросов на сервисе «о, = Лг°®сл + 1.

5. Переходим на шаг 2.

Для оценки целесообразности и эффективности функционирования системы обеспечения качества обслуживания в составе ИСДО было проведено тестирование производительности веб-сервера путем искусственного создания потока запросов с заданными параметрами к соответствующим сервисам, а также измерение показателей производительности и скорости обработки посылаемых запросов как со стороны сервера, так и со стороны генерирующего этот поток клиента.

При исследовании функционирования сервера основными показателями являются загруженность сервера и его способность обслуживать обращения к сервисам. Кроме того, интенсивная загрузка способна выявить недостатки проектирования или реализации веб-приложения.

Таблица 2: Результаты сравнительного тестирования сервера с функцией управления качеством обслуживания и без нее

Без управления С управлением

Среднее время получения первого байта ответа (мс) 1180.43 200.25

Среднее время получения последнего байта ответа (мс) 1510.72 251.12

Количество ошибок перегрузки сервера 11 (2.93%) 61 (1.39%)

В таблице 2 приведены результаты тестирования образовательного веб-сервера, которые показывают уменьшение среднего времени ответа на запрос, а также снижение процента ошибок перегрузки серверного аппаратного обеспечения. Таким образом, реализация предложенного алгоритма управления повышает качество обслуживания поступающих к ИСДО запросов.

Программная реализация основных функций ИСДО проведена с использованием технологии Active Server Pages (ASP) на веб-сервере Microsoft Internet Information Services под управлением операционной системы Microsoft Windows 2000 Server, для хранения и доступа к данным была выбрана СУБД Microsoft SQL 2000 Server. Подсистема управления обработкой запросов реализована с использованием технологии ASP и системы визуального программирования Borland С++.

Итак, в данной диссертационной работе рассматривались вопросы, связанные с организацией процесса обучения при помощи современных СДО, основанных на Интернет-технологиях. Выявлены и проанализированы технические проблемы, возникающие при эксплуатации ИСДО, и предложены решения, позволяющие повысить качество обслуживания в образовательных веб-серверах.

В ходе исследования были получены следующие результаты:

1. Разработаны математические модели, применимые для управления качеством обслуживания запросов на отдельном образовав тельном веб-сервере и на веб-кластере.

2. Проведено исследование самоподобной структуры сетевого трафика образовательного веб-сервера и определен параметр самоподобия Я = 0.7.

3. Доказано, что время обработки сервером поступающих запросов имеет распределение с тяжелым хвостом с индексом и = 2.3. Получены оценки математических ожиданий для времен обработки запросов для различных сервисов ИСДО.

4. Предложены и апробированы на практике алгоритмы управления качеством обслуживания образовательного веб-сервера и веб-кластера.

5. Разработана и внедрена в учебный процесс Петрозаводского государственного университета ИСДО с функцией управления качеством обслуживания.

Результаты диссертации могут быть применены в образовательных веб-серверах для повышения качества обслуживания. Возможно использование результатов диссертации в создании систем управления качеством обслуживания для других Интернет/интранет-серверов, в

том числе для веб-серверов электронной коммерции, корпоративных порталов и т.п.

По теме диссертации опубликованы следующие работы:

1. Поляков В. В. Об использовании средств дистанционного образования для обучения и тестирования персонала/ В. В. Поляков, А. В. Жуков// Материалы 4-й научно-технической конференции "Новые информационные технологии в ЦБП и энергетике". Петрозаводск, 2000. С. 60-62.

2. Поляков В. В. Современные возможности и проблемы использования систем дистанционного образования/ В.В. Поляков, A.B. Жуков// Материалы 5-й научно-технической конференции "Новые информационные технологии в ЦБП и энергетике". Петрозаводск, 2002. С. 70-72.

3. Жуков А. В. Исследование сетевого трафика web-pecypca www.energy-links.com/ А. В. Жуков, И. В. Аминова// Материалы 5-й научно-технической конференции "Новые информационные технологии в ЦБП и энергетике". Петрозаводск, 2002. С. 67-69.

4. Арефьева И. В. Опыт разработки дистанционного курса по истории первобытного общества/ И. В. Арефьева, А. В. Жуков, А. А. Кожанов, В. В. Поляков // Открытое образование. 2003. №3. С. 65-70.

5. Жуков А. В. Проблема адекватной оценки производительности веб-серверов в корпоративных сетях на предприятиях ЦБП/ А. В. Жуков, О. В. Гусев, В. В. Поляков, С. В. Поляков// Материалы 6-й научно-технической конференции "Новые информационные технологии в ЦБП и энергетике". Петрозаводск, 2004. С. 84-87.

6. Жуков А. В. Некоторые модели оптимального управления входным потоком заявок в интранет-системах/ А. В. Жуков// Материалы 6-й научно-технической конференции "Новые информационные технологии в ЦБП и энергетике". Петрозаводск, 2004. С. 87-90.

аообА »-2 8 9в^3€

7. Аминова И. В. О некоторых механизмах предотвращения перегрузок на веб-серверах/ И. В. Аминова, А. В. Жуков, В. В. Поляков; Петр. гос. ун-т. - Петрозаводск, 2005. 26 с. Библиогр.: 15 назв. Деп. в ВИНИТИ 04.05.05, №654-В2005.

8. Жуков А. В. О задаче управления обработкой запросов на образовательном веб-сервере/ А. В. Жуков; Петр. гос. ун-т. - Петрозаводск, 2005. 7 с. Библиогр.: 4 назв. Деп. в ВИНИТИ 04.05.05, W653-B2005.

9. Zhukov А. V. One model of managing incoming requests of web-based applications/ A. V. Zhukov, I. V. Aminova // Proceedings of FDPW'04, Petrozavodsk State University, 2005. pp. 125-127.

10. Zhukov A. V. On the quality of service management in web-based educational systems/ A. V. Zhukov, I. V. Aminova //Proceedings of the Fifth Workshop on Simulation. S.-Peterburg, 2005. pp. 765-768.

11. Zhukov A. V. Optimization Of Client-Server Systems Operation/ A. V. Zhukov, I. V. Aminova // Proceedings of the XXVth International Seminar on Stability Problems for Stochastic Models. Italy. Maiori, 2005. pp. 297-299.

Подписано в печать 23.01.06. Формат 60x84 '/, Бумага офсетная. Уч.-изд. л. 1. Тираж 100 экз. Изд. № 11.

Государственное образовательное учреждение высшего профессионального образования ПЕТРОЗАВОДСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Типография Издательства ПетрГУ 185910, г. Петрозаводск, пр. Ленина, 33

Введение

1 Системы дистанционного обучения

1.1 Основные понятия и определения

1.2 Технологии и аппаратно-программные средства организа

• циии дистанционного обучения.

1.3 Опыт организации обучения с применением систем дистанционного обучения. 2 Математические модели процессов управления качеством обслуживания в образовательных веб-серверах

2.1 Понятие качества обслуживания.'.

Ф 2.2 Известные механизмы управления качеством обслуживания

2.3 Модели управления качеством обслуживания в образовательных веб-серверах

3 Статистическое исследование процесса работы образовательных веб-серверов

3.1 Основные понятия и определения

3.2 Исследование сетевого трафика образовательного веб-сервера pmik.petrsu.ru.

4 Интернет-система дистанционного обучения с функцией обеспечения качества обслуживания поступающих запро

4.1 Описание системы дистанционного обучения.

4.2 Алгоритмы обеспечения качества обслуживания в Интернет-системах дистанционного обучения.

4.3 Результаты использования системы обеспечения качества облуживания на образовательном веб-сервере.

Основной идеей методики дистанционного обучения является создание учебной информационной среды, включающей компьютерные информационные источники, электронные библиотеки, видео и аудиотеки. Составной частью такой учебной среды являются как обучаемые, так и преподаватели, взаимодействующие с использованием современных телекоммуникационных средств.

В дистанционном обучении используются традиционные печатные средства обучения наряду со средствами, использующими новые информационные технологии. Специфика новых информационных систем заключается в том, что они предоставляют пользователю громадные возможности выбора источников получения знаний: разнообразные базы данных, обучающие программы и др.

В настоящее время широкое распространение в организации процесса обучения получили системы дистанционного обучения (СДО), основанные на Интернет-технологиях. Они обладают рядом достоинств, среди которых можно выделить следующие:

• простота настройки пользовательского рабочего места;

• интуитивно понятный пользовательский интерфейс;

• мобильность, которая позволяет подключаться к ресурсу, находясь на значительном удалении;

• нетребовательность к аппаратуре, на которой устанавливается клиентское рабочее место;

• нетребовательность к скорости соединения между клиентом и сервером - зачастую важен лишь сам факт установки соединения;

• широкие возможности по предоставлению гипертекстовой и мультимедиа информации.

Однако, именно в Интернет-системах дистанционного обучения могут возникать проблемы, связанные с недостаточной производительностью серверного аппаратного обеспечения. Например, необходимое расширение функциональности системы дистанционного обучения может привести к росту сложности и, как следствие, к снижению качества обслуживания поступающих запросов в моменты интенсивного обращения к ресурсам веб-сервера. Часть запросов, поступающих от клиентов, не может быть обработана за положенное время, а каждый новый запрос на предоставление сервиса только ухудшает положение. Возникают ситуации перегрузки сервера, в результате которых пользователи, работающие с Интернет-системой, вместо ожидаемых ответов получают сообщения об ошибках, возникающих на веб-сервере.

Подобные ситуации наблюдались автором во время проведения занятий с использованием Интернет-систем дистанционного обучения со студентами экономического и математического факультетов Петрозаводского государственного университета. Для устранения проблем требовалось прекращение работы студентов на некоторое время, а иногда остановка и повторный запуск сервера.

Таким образом, возникла необходимость в разработке механизмов управления качеством предоставления сервисов в Интернет-системах дистанционного обучения. Основная цель данной работы - разработать математические модели, использование которых для управления выполнением запросов, позволяет повысить качество услуг, предоставляемых системами дистанционного обучения, построенных на базе веб-сервисов.

Под сервисом будем понимать информационный ресурс, установленный на веб-сервере и реализующий одну из функций информационной системы.

В соответствии с целью были поставлены следующие задачи:

• изучить существующие системы дистанционного обучения, проанализировать их основные достоинства и недостатки, выявить проблемы, связанные с их функционированием;

• изучить характеристики СДО, влияющие на возможность управления качеством обслуживания в образовательных Интернет-системах;

• изучить существующие математические модели управления качеством обслуживания в сетях;

• разработать математические модели, описывающие процессы управления качеством предоставления сервисов в образовательных Интернет-системах;

• исследовать вероятностные характеристики функционирования образовательных веб-серверов;

• разработать алгоритмы управления качеством обслуживания в Интернет-системах дистанционного обучения;

• провести апробацию алгоритмов управления в действующей Интернет-системе дистанционного обучения.

В основу работы положены теоретические труды В.М. Вишневского, В.А. Ивницкого, М. Кровеллы, Ш. Вегешны и других ученых [13, 27, 10, 57, 56]. В публикациях, доступных к 2005 году, математические модели управления качеством обслуживания в веб-серверах не рассматривались.

Данное исследование в настоящий момент является, по-видимому, одной из первых работ, в которой рассмотрены проблемы обеспечения качества обслуживания в Интернет-системах дистанционного обучения, а также предложены модели оптимального предоставления сервисов в образовательных серверах на основе приоритетов.

Диссертация состоит из введения, четырех глав, заключения и приложений.

Выводы по главе

Таким образом, в четвертой главе

• Спроектирована и разработана Интернет-система дистанционного обучения с возможностью проверки знаний по информационным дисциплинам.

• Спроектирован и реализован компонент СДО, управляющий входным потоком запросов к системе дистанционного обучения на основе приоритетов для обеспечения функций качества обслуживания.

• Предложена методика проведения тестирования образовательных веб-серверов, на основе которой проведено сравнительное тестирование системы дистанционного обучения как с механизмами обеспечения качества обслуживания, так и без них для различных аппаратных конфигураций веб-сервера, на котором функционирует СДО.

Заключение

В данной диссертационной работе рассматривались вопросы, связанные с организацией процесса обучения при помощи современных СДО, основанных на Интернет-технологиях. Выявлены и проанализированы технические проблемы, возникающие при эксплуатации СДО, и предложены решения, позволяющие повысить качество обслуживания в образовательных веб-серверах.

В ходе исследования были получены следующие результаты:

1. Разработаны математические модели, применимые для управления качеством обслуживания образовательного веб-сервера.

2. Идентифицированы параметры математической модели (времени обработки, интенсивности входного потока запросов) на основе статистических данных, полученных в результате исследования функционирования образовательного сервера.

3. Предложен и апробирован на практике алгоритм управления качеством обслуживания образовательного веб-сервера.

4. Разработана и внедрена в учебный процесс Петрозаводского государственного университета Интернет-система дистанционного обучения с возможностью контроля знаний студентов в заданиях со свободно-конструируемыми ответами со встроенной функцией управления качеством обслуживания.

Результаты диссертации могут быть применены в образовательных веб-серверах для повышения качества обслуживания. Возможно использование результатов диссертации в создании систем управления качеством обслуживания для других Интернет/интранет серверов, в том числе для веб-серверов электронной коммерции, корпоративных порталов и т.п.

В дальнейшем следует продолжить исследования в следующих направлениях:

1. Разработка математических методов и моделей оценки сложности входного потока запросов к Интернет-системам;

2. Разработка математических моделей и алгоритмов сглаживания всплесков входного потока заявок на образовательные веб-сервера для повышения качества обслуживания;

3. Усовершенствование программного обеспечения качества обслуживания веб-сервера.

1. Аминова И.В. О доверительном оценивании некоторых слабо регенерирующих сетей/ И.В. Аминова, Е.В. Морозов// Труды КНЦ РАН N 3. 2002. Петрозаводск, 2002. С. 13-27.

2. Арефьева И.В. Опыт разработки дистанционного курса по истории первобытного общества/ И.В. Арефьева, А.В. Жуков, А.А. Кожанов, В.В. Поляков //Открытое образование. 2003. №3. С. 65-70.

3. Боровков А.А. Вероятностные процессы в теории массового обслуживания/ А.А. Боровков. Москва: Наука, 1972. 367 с.

4. Боровков А.А. Теория вероятностей/ А.А. Боровков. Москва: Наука, 1984. 432с.

5. Боровиков В. Statistica. Искусство анализа данных на компьютере: Для профессионалов/ В. Боровиков. СПб.: Питер, 2003. 688с.

6. Бромберг И. Автоматизация тестирования/ И. Бромберг// Открытые системы. СУБД. 2002. №5. С. 45-47.

7. Брязгии Д. WSRP: интеграция портлетов в порталы/ Д. Брязгин// Открытые системы. СУБД. 2003. №12. С. 54-57.

8. Бычков И. Подводные камни Web-служб/ И. Бычков// Открытые системы. СУБД. 2002. №11. С. 49-51.

9. Вегешна Ш. Качество обслуживания в сетях IP. / Ш. Вегешиа. М.: Издательский дом "Вильяме", 2003. 368 с.

10. Вентцель Е.С. Теория вероятностей/ Е.С. Вентцель. М.: Высш. шк., 2002. 575 с.

11. Вентцель Е.С. Теория случайных процессов и ее инженерные приложения/ Е.С. Вентцель, JI.A. Овчаров. М.: Высш. шк., 2000. 383 с.

12. Вишневский В.М. Теоретические основы проектирования компьютерных сетей/ В.М. Вишневский. Москва: Техносфера, 2003. 512 с.

13. Волков И.К. Исследование операций/ И.К. Волков, Е.А. Загоруйко. М.: Издательство МГТУ им. Н.Э. Баумана, 2002. 436 с.

14. Гаркуша В.З. Система дистанционного обучения "Прометей", версия 4.0: Электронный ресурс]/ В.З. Гаркуша, О.А. Богомолов. Материалы конференции "Телематика", 2002. Режим доступа: http : / jtm Лfmo.ru/tm2002/db/doc/getthes.php.

15. Гмурмап В.Е. Теория вероятностей и математическая статистика/

16. B.Е. Гмурман. Москва: Высшая Школа, 1977. 478 с.

17. Гнеденко Б.В. Введение в теорию массового обслуживания / Б.В. Гнеденко, И.Н. Коваленко. Москва.: Наука.Гл.ред.физ.-мат.лит., 1966. 431с.

18. Дистанционное обучение. Учебник под ред. Е.С.Полат. М., 1998. 191с.

19. Ермаков С.М. Математический эксперимент с моделями сложных систем/ С.М. Ермаков, В.Б. Мелас. Санкт-Петербург: Санкт-Петербургский университет, 1993.

20. Жуков А.В. Исследование сетевого трафика web-pecypca www.energy-links.com/ А.В.Жуков, И.В.Аминова// Материалы 5-й научно-технической конференции "Новые информационные технологии в ЦБП и энергетике". Петрозаводск, 2002. С. 67-69.

21. Жуков А.В. О задаче управления обработкой запросов на образовательном веб-сервере/ А.В. Жуков. Петр. гос. ун-т. Петрозаводск, 2005. 7 с. Библиогр.: 4 назв. Деп. в ВИНИТИ 04.05.05, №653-В2005.

22. Жуков А.В. О некоторых механизмах предотвращения перегрузок на веб-серверах/ И.В. Аминова, А.В. Жуков, В.В. Поляков. Петр, гос. ун-т. Петрозаводск, 2005. 26 с. Библиогр.: 15 назв. Деп. в ВИНИТИ 04.05.05, ДО654-В2005.

23. Жуков А.В. Некоторые модели оптимального управления входным потоком заявок в интранет-системах/ А.В. Жуков // Материалы 6-й научно-технической конференции "Новые информационные технологии в ЦБП и энергетике". Петрозаводск, 2004. С. 87-90.

24. Иванов К. К вопросу о масштабируемости информационных систем с высокой нагрузкой/ К.К. Иванов Электронный ресурс]// Byte Россия. 2001. №8, Режим доступа http : //www.bytemag.ru/Article.asplID = 1541

25. Ивницкий В.А. Теория сетей массового обслуживания/ В.А. Ив-ницкий. Москва: Издательство Физико-Математической литературы, 2004. 772с.

26. Краткая характеристика наиболее популярных обучающих виртуальных сред /Режим доступа: http : / / users.kpi.kharkov.ua/Ire / bde / media / vie / vie 1 .htm

27. Концепция создания и развития единой системы дистанционного образования в России/ Институт общего среднего образования Российской академии образования: Электронный ресурс]/ Режим доступа: http : //de.unicor.ru/science/groundwork/concept.html.

28. Кучерявый Е.А. Управление трафиком и качество обслуживания в сети Интернет/ Е.А. Кучерявый. СПб.: Наука и техника, 2004. 336 с.

29. Мандель И.Д. Кластерный анализ/ И.Д. Мандель. М.: Финансы и статистика, 1988. 176 с.

30. Менаске Д. Производительность Web-служб. Анализ, оценка и планирование// Д. Менаске, В. Алмейда. М.: Диасофт, 2004. 480 с.

31. Об 'узких' местах автоматизации оперативно-диспетчерского управления/ В.В. Поляков, А.В. Жуков, Т.С. Терновская, С.В. Шато-хин// Труды Петрозаводского государственного унверситета: Сер. Прикладная математика и информатика. 2000. №9. С. 47-56.

32. Обзор специальных инструментальных средств и оболочек для создания курсов ДО // Междисциплинарного центра дополнительного профессионального образования СПбГУ: Электронный ресурс] /Режим доступа: http : //dl.nw.ru/software/review.

33. Петровски М. Internet Information Server 4.0/ М. Петровски. Киев: BHV, 1998. 624с.

34. Программное обеспечение для системы дистанционного обучения: Электронный ресурс] /Режим доступа: http : //dl.nw.ru/software.

35. Рогов А.А. Моделирование эксплуатационной эффективности технического объекта. Статистический анализ и проверка адекватности/ А.А. Рогов. Петрозаводск: Издательство ПетрГУ, 2001. 215 с.

36. Рогов С. Тестирование производительности Web-серверов/ С. Рогов, Д. Намиот// Открытые системы. СУБД. 2002. №12. С. 55-64.

37. Романов А.Н. Технология дистанционного обучения в системе заочного экономического образования / А.Н. Романов, B.C. Торопцов, Д.Б. Григорович. М.: Юнити, 2000. 303 с.

38. Руководство по использованию ВСО ("Виртуальная среда обучения"), версия 3.0, для разработчиков курсов.

39. Русский плагин WebCT 3.1.3: Электронный ресурс]/ Технологии образовательных ресурсов /Режим доступа: http : //www.webuniversity.ru/webct.

40. Система создания мультимедийных дистанционных курсов. СПб, ИОО. 2000.

41. Создание Web-решений высокой доступности на основе Microsoft Windows 2000 Server. Учебный курс MCSE/ М.: Издательско-торговый дом "Русская редакция", 2002. 576с.

42. Сокольский М.В. Все об Intranet и Internet/ М.В. Сокольский. М.: Элиот, 1998. 256с.

43. Соломон Д. Внутреннее устройство Microsoft Windows 2000. Мастер-класс. / Д. Соломон, М. Руссинович. СПб.: Питер, М.: Издательско-торговый дом "Русская редакция", 2001. 752с.

44. Таха X. Введение в исследование операций, 7-е издание./ X. Таха. // М.:Издательский дом "Вильяме", 2005. 912 с.

45. Тихонов И.А. Инструментальные средства для создания Web— ИПСУН: Электронный ресурс] / И.А. Тихонов /Режим доступа: http : //twt.mpei.ac.ru/ochkov/SSO/WebToolsTichonov.html.

46. Труб И. Алгоритмическое обеспечение распределенных Web-серверов/ И. Труб// Открытые системы. СУБД. 2003. №5. С. 49-54.

47. Фергюссон Д. Отладка в ASP / Д. Фергюссон. М.: ЗАО "Издательство БИНОМ", 2001. 400с.

48. Чернецкий В.И. Математическое моделирование стохастических систем/ В.И. Чернецкий. Петрозаводск: Издательство ПетрГУ, 1994. 485 с.

49. Черняк J1. Адаптируемость и адаптивность/ JI. Черняк// Открытые системы. СУБД. 2004. №9. С. 30-35.

50. Черняк J1. Снова о тестах ТРС/ JI. Черняк// Открытые системы. СУБД. 2000. Ml. С. 45-48.

51. Aminova I.V. Queueing Networks Simulation: Artificial Regeneration and Heavy Tail Phenomena / I.V. Aminova Proceedings of FDPW'99 "Developments in Distributed Systems and data Communications", Vol. 2, 1999. pp. 125-136.

52. Crovella M. Change in Web Client Access Patterns. Characteristics and Caching Implications/ Mark E. Crovella, Azer Bestavros, Paul Baarfor, Adam Bradley, Computer Science Department Boston University, 1999.

53. Crovella M. Heavy Tailed-Probability distributions in the World Wide Web / Mark E. Crovella, Murad Taqqu and Azer Bestavros, 5(6): pp. 835-846, December 1997.

54. Crovella M., Self-Similarity in World Wide Web Traffic: Evidence and Possible Causes in IEEE/ACM Transactions on Networking / Mark E. Crovella and Azer Bestavros , 5(6): pp. 221-232, December 1997.

55. Drees H. How to make a Hill Plot/ Holger Drees, Laurents de Haan, and Sidney Resnick /AMS, Sept. 1998.

56. Norros I. Simulation of Fractional Browniam Motion with midpoint displacement./I.Norros, P.Mannersalo, S.L.Wang// A journal of Teletraffic theory and performance analysis of communication systems and networks. 1999. V. 2. N. 1.

57. Floyd S. Random Early Detection Gateways for Congestion Avoidance S. Floyd, V. Jacobson / IEEE/ACM TRansactions on Networking, V.l N.4 August 1993.

58. Leland W. High Time-Resolution Measurement and Analysis of LAN Traffic: Implications for LAN Interconnection / Will Leland and Daniel Wilson, IEEE INFOCOM 1991.

59. Leland W. On the Self-Similar Nature of Ethernet Traffic/ Will Leland, Murad Taqqu, Walter Willinger, and Daniel Wilson, IEEE/ACM Transactions on Networking, Vol. 2, No. 1, pp. 1-15, February 1994.

60. Morozov E.V. "Self-Similarity and Long-Range Dependce in Network Traffic Modeling"/ E.V. Morozov Proceedings of FDPW'99 "Developments in Distributed Systems and data Communications", Vol. 2, pp. 32-40, 1999.

61. Paxson V. Wide-Area Traffic: The Failure of Poisson Modeling/ Vern Paxson and Sally Floyd IEEE/ACM Transactions on Networking, Vol. 3 No. 3, pp. 226-244, June 1995.

62. Paxson V. Fast, Approximate Synthesis of Fractional Gaussian Noise for Generating Self-Similar Network Traffic. Computer Communications Review, V. 27 N. 5, October 1997, pp. 5-18.

63. Ryu B.K. Fractal network traffic: from understanding to implications/ B.K Ryu/ Columbia University. 1996.

64. Ryu B.K. Fractal network traffic modeling: past, present, and future/ B.K Rui/ Columbia University. 1997.

65. Resnick S.I. Heavy tail modeling and teletraffic data. Ann. Statist. 25:pp.l805-1869. 1997.

66. Resnick S. Heavy traffic approximation for workload processes with heavy tailed service requirements/ S.I.Resnick., G.Samorodnitsky. Management Science. 46:pp. 1236-1248. 2000.

67. Stewens W. TCP Slow Start, Congestion Avoidance, Fast Retransmit, and Fast Recovery Algorithms / NOAO, RFC 2001.

68. Zhukov A.V. One model of managing incoming requests of web-based applications/ A.V. Zhukov, I.V. Aminova. Proceedings of FDPW'04, Petrozavodsk State University, 2005. pp. 125-127.

69. Zhukov A.V. On the quality of service management in web-based educational systems/ A.V. Zhukov, I.V. Aminova. Proceedings of the Fifth Workshop on Simulation, 2005. pp. 765-768.

70. Zhukov A.V. Optimization Of Client-Server Systems Operation/ A.V. Zhukov, I.V. Aminova Proceedings of the XXVth International Seminar on Stability Problems for Stochastic Models. Italy. Maiori, 2005. pp. 297-299.