автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Управление качеством электронных обучающих систем

На правах рукописи

ВОРОБКАЛОВ ПАВЕЛ НИКОЛАЕВИЧ

УПРАВЛЕНИЕ КАЧЕСТВОМ ЭЛЕКТРОННЫХ ОБУЧАЮЩИХ СИСТЕМ

Специальность 05.13.10 - «Управление в социальных и экономических

системах»

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

□□34537ЭО

Волгоград - 2008

003453790

Работа выполнена на кафедре «Системы автоматизированного проектирования и поискового конструирования» Волгоградского государственного технического университета

Научный руководитель:

доктор технических наук, профессор Камаев Валерий Анатольевич

Официальные оппоненты:

доктор технических наук, профессор Глушань Валентин Михайлович

доктор экономических наук Солопов Вячеслав Юрьевич

Ведущая организация: Исследовательский центр проблем качества

подготовки специалистов Московского государственного института стали и сплавов (технологического универсшеш)

Защита состоится 13 декабря 2008 года в 13.00 часов на заседании диссертационного совета ДМ 212.009.03 при Астраханском государственном университете по адресу: 414056, Астрахань, ул.Татищева,20а, конференц-зал.

С диссертацией можно ознакомиться в библиотеке Асфаханскою государственного университета.

Автореферат разослан 11 ноября 2008 г.

Ученый секретарь

диссертационного совета, к.т.н. L^^f О.В. Щербинина

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В настоящее время происходит активное развитие электронных форм обучения. Это обуславливает появление большого количества электронных обучающих систем и других инструментальных средств. Электронная обучающая система представляет пользователю обучающие материалы и затем производит контроль его знаний с использованием тестовых заданий. С учетом современных требований, предъявляемых к специалистам, процесс обучения все более усложняется, требования к используемым средствам обучения повышаются. Технологии электронного обучения развиваются, в электронных обучающих системах появляется возможность построения стратегии обучения и отображения обучающих материалов индивидуально для каждого обучаемого (т.н. адаптивные обучающие системы)- Ввиду постоянного повышения требований и увеличения затрат на разработку и внедрение электронных обучающих систем становятся необходимыми оценка и управление их качеством. Существующие на настоящий момент методы оценки качества автоматизированных систем не позволяют оценивать обучающие системы с точки зрения результатов процесса обучения. Кроме того, данные методы являются частными и не позволяют управлять качеством на различных этапах жизненного цикла электронных обучающих систем.

Таким образом, актуальной является задача разработки метода и критериев оценки качества электронных обучающих систем, которые бы позволили осуществлять управление качеством с точки зрения результата процесса обучения на стадиях их разработки, внедрения и эксплуатации.

Цель и задачи работы. Целью работы является повышение эффективности обучения с использованием электронных обучающих систем за счет управления качеством на стадиях их разработки, внедрения и эксплуатации.

Для достижения поставленной цели были выделены следующие задачи:

1) Провести анализ процесса жизненного цикла электронных обучающих систем, процесса управления качеством электронных обучающих систем, современных подходов и методов оценки качества электронных обучающих систем.

2) Разработать метод оценки качества электронных обучающих систем, в том числе адаптивных, позволяющий управлять их качеством на различных стадиях их жизненного цикла.

3) Разработать критерии для оценки качества обучающих систем на стадиях их разработки, внедрения и эксплуатации, и алгоритмы их расчета.

4) Реализовать предложенный метод и алгоритмы расчета критериев качества в автоматизированной системе оценки качества обучающих систем.

Объектом исследования являются электронные обучающие системы.

Предметом исследования являются способы повышения эффективности обучения с использованием электронных обучающих систем.

Гипотеза исследования. Если процесс жизненного цикла электронной обучающей системы является управляемым процессом с обратной связью, то формируемые на основе адекватной оценки качества управляющие воздействия позволят повысить качество электронной обучающей системы.

Методы исследования. Для решения поставленных задач были использованы методы системного анализа, теории управления, математического моделирования, искусственного интеллекта.

Научная новизна заключается в разработке нового метода, позволяющего управлять качеством электронных обучающих систем на стадиях их разработки, внедрения и эксплуатации, а именно:

1) разработаны критерии, позволяющие производить оценку качества как на ранних этапах разработки системы (априорные критерии), так и на стадиях внедрения и эксплуатации (апостериорные критерии);

2) разработана имитационная модель процесса обучения, учитывающая значимые с точки зрения результатов обучения характеристики процесса обучения и позволяющая моделировать процесс обучения в различных электронных обучающих системах;

3) разработана концептуальная модель автоматизированной системы оценки качества, поддерживающей процесс управления качеством электронных обучающих систем на стадиях их разработки, внедрения и эксплуатации

Положения, выносимые на защиту:

1) априорные и апостериорные критерии оценки качества электронных обучающих систем;

2) имитационная модель процесса обучения, учитывающая значимые для оценки качества обучения характеристики процесса обучения, и позволяющая моделировать процесс обучения в различных электронных обучающих системах;

3) метод оценки качества электронных обучающих систем, позволяющий управлять качеством электронных обучающих систем на стадиях их разработки, внедрения и эксплуатации.

Практическая ценность работы состоит в разработке автоматизированной системы оценки качества электронных обучающих систем, реализующей предложенный метод оценки качества и алгоритмы расчета априорных и апостериорных критериев качества.

Реализация результатов работы. Разработанный метод оценки качества, априорные и апостериорные критерии качества и автоматизированная система оценки качества были внедрены в ВолгГТУ, университете Глазго-Каледония г. Глазго, ООО «КСИ» (компания, специализирующаяся на разработке обучающих игр). Априорные критерии использованы для оценки качества адаптивной обучающей системы в процессе ее разработки, что позволило внести изменения в модель обучаемого системы и повысить ее качество. С помощью апостериорных критериев произведена оценка качества обучающей системы «CALMAT», используемой в университете Глазго-Каледония, и адаптивной обучающей

системы «АНА!», в результате были идентифицированы недостатки данных систем и сформулированы рекомендации по их исправлению. После внесения изменений тестирование показало увеличение среднего уровня знаний студентов после обучения в соответствующих системах. Применение метода оценки качества для управления качеством адаптивных обучающих игр позволило выявить и устранить недопустимые последовательности игровых обучающих заданий, приводящие к снижению результатов обучения.

Апробация работы. Основные положения и материалы диссертационной работы докладывались на Международной научно-технической конференции ИННОВАТИКА-2008 (1-12 октября 2008 г.), Международной научно-технической конференции AIS'08 (3-10 сентября 2008 г.), Международной научно-технической конференции ИННОВАТИКА-2007 (1-12 октября 2007 г.), XI Региональной конференции молодых исследователей Волгоградской области (8-10 ноября 2006 г.), Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» (г.Москва, 2-3 марта 2006 г.), Международной конференции «Информационные технологии в образовании, технике и медицине» (г. Волгоград, 23-26 октября 2006 г.), смотре-конкурсе научных, конструкторских и технологических работ студентов ВолгГТУ (г. Волгоград, 11-13 мая 2005 г.), VI Всероссийской конференции Прогрессивные технологии в обучении и производстве (г. Камышин, 18-20 октября 2006 г.), Всероссийской конференции студен гов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» (г. Москва, 17-18 февраля 2005 г.) и других научно-технических и научно-практических конференциях.

Работа «Модель процесса адаптивного обучения» удостоена 1 -го места на XI Региональной конференции молодых исследователей Волгоградской области, работа «Автоматизация оценки качества адаптивных обучающих систем» удостоена 1-го места на Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» 2006 г., «Анализ и синтез адаптивных обучающих систем» удостоена второй премии на смотре-конкурсе НИРС ВолгГТУ 2005 г.

Публикации. По теме диссертации опубликовано 16 печатных работ общим объемом 3,5 п.л., в том числе 3 публикации в журналах, рекомендованных ВАК РФ.

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложений. Работа содержит 153 страниц основного текста, 53 рисунка, 14 таблиц и список литературы из 122 наименований. Общий объем работы 207 страниц.

Соискатель выражает особую благодарность доценту кафедры «САПР и ПК» ВолгГТУ, к.т.н. Шабалиной Ольге Аркадьевне за оказанную помощь и консультации в ходе выполнения диссертационной работы.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, дана общая характеристика работы.

В первой главе проведен анализ процесса жизненного цикла, процесса управления качеством электронных обучающих систем, выделены достоинства и недостатки существующих подходов, методов и автоматизированных систем, применяемых для оценки качества электронных обучающих систем.

Анализ современных подходов к проектированию показал, что разработка электронных обучающих систем производится в соответствии со спиральной моделью жизненного цикла. При использовании данной модели жизненного цикла оценка качества особенно важна, так как ее результаты используются на каждом следующем витке спирали.

Большой вклад в исследование понятия качества внесли отечественные ученые A.B. Гличев, В.П. Панов, Г.Г. Азгальдов, проблемами качества обучения и образования занимаются такие российские ученые как H.A. Селезнева, A.M. Новиков, А.Г. Гриценко, М.И. Нежурина, А.И. Гусева и др. Разработку методов оценки качества электронных и адаптивных обучающих систем проводят известные исследователи в области электронного обучения П. Брусиловский, X. Караганнидис и Д. Сампсон, С. Вайбельзаль, А. Парамизис, К. Стефанидис, Д. Чин и Е. Гердер. В современных подходах под качеством объекта понимается совокупность характеристик, относящихся к его способности удовлетворять установленные и предполагаемые потребности.

Применительно к обучающим системам под качеством будем понимать совокупность характеристик системы, определяющих способность системы обеспечить требуемый уровень знаний обучаемого. Для оценки качества используются значения этих характеристик. Под управлением качеством электронной обучающей системы будем понимать процесс воздействия на ее характеристики (за счет изменения обучающих материалов, механизмов функционирования) с целью достижения требуемого уровня знаний обучаемых после применения данной системы для их обучения. Процесс управления качеством электронных обучающих систем показан на рис. 1.

Требования к обучающей системе

Разработчик Оболочка СИС16МЫ, обучающий курс , Обучаемые

Среда разработки. Электронная обучающая система /

Знания

| обучаемых

Оценки по критериям

Рисунок

Оценка качества _¿1

Знания

обучаемых

Процесс управления качеством обучающих систем 6

Существующие методы оценки качества электронных обучающих систем делят на две группы. Методы первой группы используют подход к оценке качества электронной обучающей системы в целом (as a whole approach). Модель системы в данном случае представляет собой модель «черного ящика». Оценка качества обучающей системы в целом осуществляется на основе определения значений наиболее общих критериев качества (производительность, безопасность и т.д.), анализа отзывов пользователей и на основе проверки соответствия стандартам (сертификации). У данного подхода имеется два недостатка: оценка качества в нем производится только на этапе внедрения системы, когда уже существует тестовая версия программного продукта; предоставляемой информации часто недостаточно для улучшения системы.

Методы второй группы («многослойный» подход, layered approach) были разработаны для оценки качества адаптивных обучающих систем. Адаптивная обучающая система берет на себя ответственность руководства обучаемым в процессе обучения, результат которого впрямую зависит от используемых в системе моделей, методов и механизмов адаптации. Адаптивные обучающие системы характеризуются наиболее сложными внутренними подсистемами, и оценка их качества требует значительных трудозатрат. В данных методах обучающая система представляется как «белый ящик». Процесс функционирования системы рассматривается как взаимодействие ее подсистем, каждая из которых оценивается по различным критериям. Это позволяет эффективно идентифицировать недостатки системы и, впоследствии, устранять их.

При анализе существующих критериев, применяемых в методах оценки качества электронных обучающих систем, выявлена группа общих критериев качества, предназначенных для оценки различных автоматизированных систем, и группа критериев, предназначенных для оценки электронных обучающих систем. Но эти критерии возможно применять только на этапе эксплуатации обучающей системы, что не позволяет управлять ее качеством на этапе разработки. Более того, определение большинства критериев качества в данных методах связано с обработкой значительных массивов данных, и их расчет занимает большое количество времени. Существуют различные автоматизированные системы, применяемые для оценки качества электронных обучающих систем и обучающих материалов (см. таблицу 1).

В результате проведенного анализа было выявлено, что применяемые методы оценки качества не позволяют формировать рекомендации по изменению электронных обучающих систем; существующие автоматизированные системы оценки качества узкоспециализированы и ориентированы на оценку качества конкретной электронной обучающей системы; «многослойный» подход к оценке качества электронных обучающих систем не реализован на практике; отсутствуют автоматизированные системы оценки качества адаптивных обучающих систем. Поэтому необходима разработка метода автоматизированной оценки

качества, охватывающего широкий класс электронных обучающих систем, в том числе адаптивных.

Таблица 1 - Анализ автоматизированных систем оценки качества процесса обучения и обучающих материалов_

Система оценки качества Используемый метол

Система оценки качества программных комплексов для дистанционного обучения (МИЭМ) Оценка качества по ISO 14598.1-6 1998-2000 «Оценивание программного продукта»

Подсистема оценки качссша информационно-образова i ельиой среды "Chopin" (АлтГ'ГУ) Оценка качества на основе свертки критериев: - валидность; - надежность; - трудность; - экономичность и избыточность; - шпегрировапносп,; - практичность.

SADEP Ишеллек1уальная система оценки качества учебного процесса (КТИ, филиал ВолгГТУ) Оценка качества на основе «контрольных карп», показывающих успешность обучения по 01 дельным частям курса

Hypermethod Assessment Tools (Лаборатория программных систем искусственного интеллекта, Санкт-Петербург) Метод оценки качества на основе методик менеджмента преднрияшем- - KPI - ключевые показатели качеава, - МВО - целевое управление.

Система оценки качества электронного обучения eLup (Университет Монпелье-2, Франция) Оценка качества на основе диаграмм описания процесса об)чспия на UML-подобном языке

Quality Integration Tool (Университет Дуйзбург-Ессен. Германия) Система поддержки процесса управления качеством электронных обучающих систем па основе процессного подхода и методологии ISO 9001:2000

Во второй главе изложен метод и критерии оценки качества, позволяющие производить оценку качества как на ранних этапах разработки обучающих систем, так и на стадиях внедрения и эксплуатации.

Оценка качества на ранних этапах разработки обучающей системы очень важна, так как решения на данных этапах определяю! качество конечного продукта. Для оценки электронных обучающих систем существуют критерии качества, применимые на этапе разработки. Для адаптивных обучающих систем такие критерии отсутствуют. В адаптивных обучающих системах для персонификации процесса обучения используется модель обучаемого, в которой хранятся некоторые характеристики обучаемого, и технологии адаптации, применяемые на основе модели обучаемого. Разработка модели обучаемого особенно критична для таких систем. Для ее оценки на этапе разработки предложены два априорных критерия: адекватность модели обучаемого, чувствительность модели обучаемого.

Значение критерия адекватности модели обучаемого в адаптивной обучающей системе представляет собой оценку возможности адаптации

системы на основе характеристик модели и надежности измерения каждой характеристики модели пользователя. Адаптация системы реализуется с помощью технологий адаптации, выбор которых зависит от пользователей системы и предметной области. Таким образом, для оценки адекватности модели обучаемого необходимо, руководствуясь знаниями о целевой аудитории обучающей системы и особенностях предметной области, определить технологии адаптации, которые требуется реализовать в системе, так как характеристики, хранящиеся в модели обучаемого определяют набор технологий, которые могут быть использованы. Расчет критерия адекватности модели обучаемого основан на методе анализа иерархии, с той разницей, чю здесь в качестве критериев качества на нижнем уровне выступает надежность измерения каждой характеристики модели обучаемого, а уровнем выше вместо групп критериев качества - техноло! ии адаптации, которые планируется реализовать в адаптивной обучающей системе. В качестве метода оценки приоритетов на каждом уровне экспертом используется метод, основанный на использовании матрицы парных сравнений. Получающаяся в результате свертки оценка характеризует адекватность модели обучаемого. Чем выше данная оценка, тем более построенная модель обучаемого удовлетворяет требованиям обучения данной целевой аудитории в данной предметной области.

Адекватность модели обучаемого ь'ма рассчитывается по формуле:

имл = (1у, иу,1у2-яу.. ду\ ру, где iv, =(/„,/,2, .,/„„) - вектор влияний характеристик в модели обучаемого на реализацию /-ой технологии адаптации;

1Ч - влияние 7-ой характеристики в модели обучаемого на реализацию

¡-ой технологии адаптации;

ЛК = Д„) - вектор надежности измерения характеристик

модели обучаемого;

Л, - надежность измерения / -ой характеристики; ру = (/',,- вектор важности технологий адаптации; р, - важность (-ой технологии адаптации; п - число технологий адаптации обучающей системы, т - число характеристик модели обучаемого обучающей системы. Чувствительность модели обучаемого характеризуется величиной изменений характеристик обучаемого в модели при изменении результатов обучения. Под чувствительностью модели обучаемого к'р по параметру р будем понимать о (ношение изменения хранящегося в системе значения характеристики обучаемого к изменению значения измеряемого параметра:

ар

где а1с - изменение хранящейся в системе характеристики обучаемого",

ар - изменение значения измеряемого параметра.

Характеристика чувствительности модели обучаемого может быть использована для анализа степени влияния поведения обучаемого на изменение его характеристик в модели. Правильное различение пользователей по поведению повышает качество моделей адаптации.

В неадаптивных обучающих системах характеристика чувствительности также может быть применена для оценки чувствительности системы к уровню знаний обучаемого, показываемому им в процессе обучения.

Для оценки качества на этапе внедрения и эксплуатации разработаны апостериорные критерии качества, рассчитываемые по результатам процесса обучения. Для представления процесса обучения используется имитационная модель, отображающая процесс взаимодействия обучающего с системой. Такая модель позволяет определять моменты возникновения ошибок в ходе процесса обучения. Для обеспечения инвариантности при построении модели использованы только общие для большинства электронных обучающих систем данные об обучаемых. Часть электронных обучающих систем позволяет совместное изучение курсов и выполнение проектов обучаемыми, поэтому в модели предусмотрена возможность моделирования процесса обучения, в котором несколько обучаемых взаимодействуют друг с другом.

Для представления модели процесса обучения была выбрана модель на основе сети Петри, так как она позволяет описать качественные и количественные характеристики процесса обучения, может быть наглядно представлена и построена автоматически. Метки сети Петри представляют собой обучаемых. Позиции сети Петри интерпретируются как концепты предметной области, то есть темы, которые проходят студенты. Для интерпретации переходов сети Петри был введен термин «контрольный переход». Срабатывание данного перехода интерпретируется как выполнение некоторого теста или контрольной работы по итогам изучения концепта. Необходимость моделирования процесса обучения обусловила введение соответствующих расширений сети Петри. Для моделирования процесса обучения каждого обучаемого, отдельной метке сети сопоставляется определенный цвет. Цвет состоит из двух компонент: первая компонента идентифицирует обучаемого, вторая компонента показывает состояние процесса обучения. Метки с состоянием «изучен» находятся в позициях, соответствующих изученным обучаемыми концептам. Метки с состоянием «текущий» находятся в концептах, которые обучаемые изучают в моделируемый момент времени. Переход считается разрешенным, только если число меток в его входной позиции совпадает с числом входных дуг, а цвета меток соответствуют цветам дут-. При срабатывании перехода метка с состоянием «текущий» извлекается из позиции, одновременно в позицию помещается метка с состоянием «изучено». Метка с состоянием «текущий» помещается в позицию, соответствующую следующему изучаемому концепту.

В электронных обучающих системах выбор последовательности изучаемых разделов курса (стратегии обучения) зависит от решения самого

10

обучаемого. В адаптивных обучающих системах после изучения каждого концепта система может изменить стратегию и предложить различные варианты продолжения обучения в зависимости от характеристик обучаемого. Для моделирования различных стратегий изучения предметного курса в модели используется стохастическое расширение сети Петри. Дугам, соединяющим переходы с выходными позициями, сопоставляются функции вероятностей, соответствующие частотам выбора соответствующих концептов обучающего курса при заданной разметке сети. При определении вероятности учитывается набор пройденных обучаемым концептов.

Для моделирования динамики числовых характеристик процесса обучения каждому переходу сопоставляется распределение случайной величины интервала времени его выполнения. Это позволяет учесть время, затраченное на изучение концепта, соответствующего входной позиции перехода. Для представления уровня знаний каждого обучаемого метки содержат атрибут уровня знаний, что позволяет оценивать результаты обучения на каждом шаге процесса обучения. Метки с атрибутом «изучен» хранят уровень знаний обучаемого, которого он достиг после изучения концепта, соответствующего позиции, в которой находится метка Метки с атрибутом «текущий» хранят соответствующий моменту времени моделирования текущий уровень знаний. Каждому переходу сопоставляется распределение случайной величины изменения уровня знаний обучаемого, которое равно оценке, полученной за тес г, соответствующий сработавшему контрольному переходу.

Набор введенных расширений сети Петри позволяет классифицировать разработанную модель как стохастическую раскрашенную временную сеть Петри. Формально модель процесса обучения описывается кортежем видаЛ' = (Р,Г.Г,С,тп,с;/,/!.и), 1де Р - {р,,р2, -,рг} ~ множество позиций р,, каждая из позиций соответствует этапу процесса обучения, п - количество позиций;

Т = {1,,12,...,1к} - множество переходов , переход соответствует обучающему заданию, срабатывание перехода интерпретируется как выполнение обучающего задания, к - количество переходов;

= РхТоТхР - отношение инцидентности, определяющее множества дуг, направленные от позиций к переходам и от переходов к позициям;

С = {с|)с2,...,с1} - множество цветов с, сети Петри, г - количество цветов;

ти0. Р -> С1 - функция, задающая начальную разметку сети Петри; с/ : Г -» С - функция, задающая раскраску дуг сети Петри; Ъ-^х и -*[0,1] - функция, задающая вероятности развития процесса обучения в зависимости от текущей разметки сети Петри;

М = РхС" — множество всех возможных разметок сети Петри; а-АхТ->(-оо,+со) - функция, задающая значения статистических атрибутов а каждого перехода.

идентифицирующая

с, = {identity, Kind), где Identity ={\,...,l} - компонента цвета, обучаемого, / - число обучаемых;

Kind = {" Тс кущ ии ," Про iitieil'} - состояние изученности.

А = {v(D).a(D),M(KL\a{KL),p(D,KLj\, где /j(d) - математическое ожидание продолжительности изучения концепта;

сг(£>) - среднеквадратическое отклонение продолжительности изучения концепта;

- математическое ожидание уровня получаемых при изучении концепта знаний;

я(К1.) - среднеквадратическое отклонение уровня получаемых при изучении концепта знаний;

p(D,KL) - коэффициент корреляции между продолжительностью изучения концепта и уровнем получаемых при его изучении знаний. Алгоритм построения модели представлен на рис. 2.

Внесение изменений в модель

Построение модели процесса обучения Fl\fu

Начало ) Очсрсчь (.обытий

процесса опупения

МНачапсИ

Е

Создание начального концепта перехода и соединяющих дуг

Создание конечного концепта

Сделать начальный концепт и переход текущими

/С

•Остались события 8 •Очереди?

>

Извлечь событие

Внесение изменений в _модель

^ KoHeuJ

-Следующий-. r-нет-^—^^ концепт —да-ч -^очечный? ---—

Сделать следующий концепт и переход тек/щими

Выход

Мопель процесса обучения

Сделать начальный концепт и переход тех/щими

т

Рисунок 2 - Алгоритм построения модели процесса обучения

В качестве исходных данных при построении модели используются данные о том, каким обучаемым была пройдена тема, идентификатор темы, время, затраченное на прохождение темы, и оценка, полученная при тестировании:

где i - входные данные для построения модели процесса обучения;

п - число произошедших в обучающей системе событий;

е, =(s/d,rid,cid,d,kl) - событие процесса обучения;

sid - идентификатор обучаемого;

rid - идентификатор роли в процессе обучения;

сю - идентификатор изученного концепта;

d - продолжительность изучения концепта;

kl - оценка, полученная по итогам изучения концепта.

Для оценки построенной модели процесса обучения разработаны следующие критерии:

1) Критерии, основанные на количественных характеристиках графа сети Петри:

а) число позиций сети Петри;

б) число переходов сети Петри;

в) число дуг сети Петри;

г) число всех возможных путей;

д) связность графа сети Петри.

2) Критерии, основанные на статистических атрибутах переходов стохастической сети Петри:

а) средний уровень знаний концепта;

б) степень интегрированное™ концепта в обучающий курс;

в) степень взаимосвязи между концептами обучающего курса.

3) Критерии, основанные на результатах моделирования с использованием полученной модели процесса обучения:

а) средний уровень конечных знаний обучаемого;

б) успешность адаптационных решений.

Расчет этих критериев позволяет идентифицировать недостатки обучающего курса и механизмов принятия адаптационных решений. Разработанные критерии используются в методе оценки качества электронных обучающих систем. Метод включает в себя следующие этапы:

1) Расчет априорных критериев оценки качества электронной обучающей системы.

2) Анализ результатов априорной оценки качества и внесение изменений в электронную обучающую систему.

3)Сбор данных о процессе обучения в системе целевой группой достаточного для получения достоверного результата размера.

4) Автоматическое построение модели процесса обучения в электронной обучающей системе с использованием автоматизированной системы оценки качества.

5) Идентификация концептов курса с низким качеством обучения.

6) Расчет критериев и анализ качества процесса обучения.

7) Модернизация обучающего курса по результатам анализа.

8) Верификация внесенных изменений в обучающий курс.

Данный метод включает в себя априорные и апостериорные критерии, а также этапы внесения изменений в электронную обучающую систему и обучающий курс, что позволяет управлять качеством электронных обучающих систем на всех этапах их жизненного цикла.

В третьей главе описана автоматизированная система оценки качества, реализующая метод оценки качества и алгоритмы расчета критериев качества.

Разработанный метод оценки качества и алгоритмы расчета критериев качества были реализованы в автоматизированной системе оценки качества. Архитектура автоматизированной системы представлена на рис. 3.

Потоки данных системы:

1 - исходные данные о процессе обучения в

адаптивной обучающей системе,

2,3 - данные о процессе обучения во

внутреннем формате,

4,5 - обработанные данные о процессе

обучения в электронной обучающей системе,

6,7,8 - структура сети Петри,

9,10,11 - результат моделирования процесса

обучения,

12,И -значения и описание критериев оценки качества электронной обучающей системы,

14 - учетные данные пользователей,

15 - данные, подлежащие отображению и визуализации __________________

Подситма интерфейса пользователя

15

Подсистема безопасности —ЗГ

Электронная По »система сбора 1анных Г" Подсистема 4»

обучающая предобработки

1 данных

КД «V четные записи»

Поюнсгема поп роении мол ел и процесса обучении -1-:—

Подсистема моделирования процесса обучения

Подсистема

расчета критериев качества ТГ1-

6

♦

ЬД «Модели

процесса

обучения»

ьд

«Эксперименты»

Рисунок 3 - Архитектура автоматизированной системы оценки качества

Система оценки качества включает в себя следующие подсистемы:

а) подсистема сбора данных, предназначена для сбора данных о процессе обучения в оцениваемой электронной обучающей системе;

б) подсистема предобработки данных, предназначена для предобработки данных о процессе обучения в электронной обучающей системе с использованием методов статистического анализа данных;

в) подсистема построения модели процесса обучения, предназначена для построения модели процесса обучения на основе данных о процессе обучения в электронной обучающей системе и ее редактирования;

г) подсистема моделирования, предназначена для моделирования процесса обучения с помощью модели процесса обучения на основе стохастической раскрашенной сети Петри;

д) подсистема определения критериев качества, предназначена для расчета значений различных критериев качества;

е) подсистема интерфейса пользователя, предназначена для организации взаимодействия пользователя с системой;

ж) подсистема безопасности, обеспечивает аутентификацию и авторизацию пользователей в системе.

Автоматизированная система была реализована с использованием языка программирования Java. При разработке использовалась интегрированная среда разработки Eclipse. Система позволяет рассчитывать априорные критерии качества на стадии разработки электронной обучающей системы и апостериорные критерии качества на стадиях внедрения и эксплуатации. Расчет апостериорных критериев производится на основе данных о процессе обучения в системе. Сбор данных может осуществляться двумя способами: обучающая система сохраняет сведения о процессе обучения, после чего система оценки качества преобразует данные сведения в собственный формат; обучающая система передает данные системе оценки качества в формате XML с использованием технологии Web Services (возможно использование системы оценки качества как удаленного сервиса).

Разработанная автоматизированная система позволяет поддерживать процесс управления качеством электронных обучающих систем, в том числе адаптивных, на стадиях их разработки, внедрения и эксплуатации.

В четвертой главе приведено описание применения разработанного метода, критериев и автоматизированной системы оценки качества электронных обучающих систем, показаны результаты управления качеством электронных обучающих систем, в том числе адаптивных, используемых в учебном процессе.

Априорные критерии оценки качества были применены для оценки и управления качеством на этапе разработки адаптивной обучающей системы на сети Бейеса (разработка кафедры «САПР и ПК» ВолгГТУ).

Для применения критерия адекватности модели обучаемого были составлены множества характеристик модели обучаемого и технологий адаптации. Была произведена оценка зависимостей реализации технологий адаптации от характеристик модели обучаемого, в результате выявлена неполнота модели обучаемого. Выявленный недостаток был исправлен за счет добавления дополнительных характеристик обучаемого.

Оценка чувствительности модели обучаемого данной адаптивной обучающей системы к колебаниям данных о текущем уровне знаний обучаемого показала, что модель на сети Бейеса позволяет адаптироваться к процессу обучения с учетом стабильности показываемых результатов обучения. Чем выше стабильность результатов обучаемого, тем меньше отклонения от ожидаемых результатов влияют на оценку уровня знаний.

Обучающая система была использована для обучения целевой группы. Результаты обучения показали ее преимущество в сравнении с аналогами, использующими другие варианты модели обучаемого (было подтверждено увеличение среднего уровня знаний обучаемых). Таким образом, применение априорных критериев позволяет адекватно оценить модель обучаемого и управлять качеством обучающей системы на этапе ее разработки.

15

С помощью автоматизированной системы оценки качества была Проведена апостериорная оценка двух действующих обучающих сис тем.

Для оценки качества обучающей системы «CALMAT» был выбран курс математики, который используется для обучения по специальности «Биология и медицина». В качестве исходных данных для оценки качества были взяты данные о прохождении обучающего курса, состоящего из 10 тем, шестью группами общей численностью 151 человек. Собранные исходные данные были преобразованы в формат системы оценки качества и на их основе была построена модель процесса обучения (уровень знаний нормирован на интервал [0; ! 1). Применение оценки уровня знания, критериев степени интегрированное»! концептов И взаимосвязей концептов (см. рис. 4) позволило определить, что "уровень знаний студентов мо последним трем темам ниже, чем по остальным, потому что данные концепты тематически не связаны с остальными концептами предметного курса. Вследствие этого при переходе от предыдущих концептов к их изучению наблюдалось снижение оценок* IÎ результате проведенного анализа были сформулированы рекомендации по изменению обучающих материалов,

«ail TOI Г02 TtU T(I4 ['Or 106 T(l 7 TOS TOO Tin "111 1.00 0,50 0.37 -0.(11 0.37 ».04 -0.0Í I! 02 0.08 0.24

Рисунок 4 - Модель процесса обучения в системе «CALMAT» с

Отображением результатов расчета критерий взаимосвязей концепта ТО I

Опенка качества адаптивном обучающей системы «АНА!», модели адаптации которой основаны на продукционных правилах и семантической сети предметной области. Модель процесса обучения была построена на основе данных о процессе обучения 120 студентов по курсу «Теоретические основы автоматизиронашога управления», преходивших обучение на кафедре «CAI ГР и ПК» ВолгГТУ (см. рис. 5).

Г05

оч ,

0.71 V

stiul 101 TÛ2 T04 106 ТО" cuit

©-J -О-тО-ОЧ - 00 - 0-Ï-0--00

Û-81I 0.S4 ^ k 0.84 1>Г4 (1.8,1

TG3 у

OJ

(1.82

Рисунок 5 - Результаты изучения обучающего курса в системе «АНА!» до изменения адаптационных решений

В результате анализа по уровню знаний, степени интегрированности и взаимосвязей концептов, успешности стратегий адаптации было определено подмножество адаптационных решений, приводящих к низким результатам

обучения. Внесенные по результатам оценки качества изменения в семантическую сеть предметной области позволили исключи 1ь данное подмножество, что повысило результаты обучения (см. рис. 6, 7) (уровень достоверности 5%).

T05

QrQ

0.85 \ »> ^

«¡ut TOI T02 \ T04 ТОб 10? end

0.90 0.83 X \ 0.84 ^ O.SO 0.86

T0J \ 1

OrO

0.36

Рисунок 6 - Результаты изучения обучающего курса в системе «АНА!» после

а х м л ж

о

о. >■

Рисунок 7 - Графики результатов изучения обучающего курса в системе «АНА!» до и после изменения адаптационных решений

Разработанная автоматизированная система оценки качества обучающих систем была также использована для управления качеством адаптивных обучающих игр (разработки компании ООО «КСИ», специализирующейся на создании обучающих игр). Адаптивная обучающая игра представляет собой адаптивную обучающую систему, персонифицирующую процесс обучения в игре за счет использования нелинейного сюжета. Применение метода оценки качества позволило выявить и устранить недопустимые последовательности заданий, приводящие к снижению результатов обучения.

Полученные практические результаты применения разработанного метода, критериев и автоматизированной системы оценки качества подтверждены приведенными в диссертации актами о внедрении.

изменения адаптационных решении

1

11.95 о Ч U.S5 I', S

0,"

••♦••до изменении -а—после изменений

Tul То 2 Toi jo 4 Tos Тис. то" Концепт

В заключении диссертации приводятся основные научные и прикладные результаты, полученные автором в процессе выполнения работы.

В приложении приведены материалы справочного, иллюстративного характера, данные, собранные в ходе тестирования целевых групп.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1) Проведен анализ процесса жизненного цикла электронных обучающих систем, процесса управления качеством электронных обучающих систем, выделены достоинства и недостатки современных подходов и методов оценки качества электронных обучающих систем, произведена систематизация критериев оценки качества обучающих систем.

2) Разработан метод оценки качества электронных обучающих систем, в том числе адаптивных, позволяющий управлять их качеством как на ранних этапах разработки системы, так и на стадиях внедрения и эксплуатации.

3) Разработаны априорные критерии для оценки качества обучающих систем на стадии разработки и апостериорные критерии для оценки качества на этапах внедрения и эксплуатации, и алгоритмы их расчета.

4) Предложенный метод оценки качества и алгоритмы расчета критериев качества реализованы в автоматизированной системе оценки качества электронных обучающих систем на языке Java в среде разработки Eclipse.

5) Произведена апробация разработанного метода, критериев и автоматизированной системы оценки качества на этапах разработки, внедрения и эксплуатации обучающих систем, что позволило выявить их недостатки и устранить их, за счет чего повысить уровень знаний обучаемых.

В целом разработанные метод оценки качества и автоматизированная система оценки качества позволяют повышать эффективность электронных обучающих систем за счет управления их качеством на всех этапах жизненного цикла.

ОПУБЛИКОВАННЫЕ РАБОТЫ ПО ТЕМЕ ДИССЕРТАЦИИ

В изданиях, рекомендованных ВАК РФ:

1. Воробкалов, П.Н. Управление качеством процесса разработки адаптивных обучающих систем с использованием многослойного подхода / П.Н. Воробкалов, O.A. Шабалина // Изв. ВолгГТУ, Серия «Актуальные проблемы управления, вычислительной техники и информатики в технических сстемах»: межвуз. сб. науч. ст. / ВолгГТУ.- 2007.- Вып.2, №2,-С. 63-66.

2. Воробкалов, П.Н. Метод оценки качества адаптивных обучающих систем с использованием имитационного моделирования / П.Н. Воробкалов, O.A. Шабалина // Изв. ВолгГТУ. Серия "Новые образовательные системы и

технологии обучения в вузе": межвуз. сб. науч. ст. / ВолгГТУ. - Волгоград,

2007. - Вып.4, №7. - С. 164-166.

3. Воробкалов, П.Н. Метод управления качеством электронных обучающих систем / П.Н. Воробкалов // Системы управления и информационные технологии.- Воронеж, 2008.- 3.2(33).- С. 238-243.

В прочих изданиях:

4. Воробкалов, П.Н. Управление качеством электронных обучающих систем / П.Н. Воробкалов // Информационные технологии моделирования и управления,- 2008,- Вып. 6(49).- С. 616-623.

5. Воробкалов, П.Н. Оценка качества электронных обучающих систем с использованием модели процесса / П.Н. Воробкалов, В.А. Камаев // AIS'08. CAD-2008. Интеллектуальные системы. Интеллектуальные САПР: тр. конференций / ФГОУ ВПО "Юж. федерал, ун-т" [и др.]. - М., 2008. - Т. 1. -С. 323-327.

6. Воробкалов, П.Н. Quality Estimation of e-Learning Systems / П.Н. Воробкалов, В.А. Камаев // Methodologies and Tools of the Modern (e-) Learning: suppl. to Int. Journal "Information Technologies and Knowledge". -

2008. - Vol. 2, [Int. Book Series "Inform. Science & Comput."; № 6]. - C. 25-30,-Англ.

7. Разработка, применение и оценка качества обучающих игр / O.A. Шабалина, П.Н. Воробкалов, A.B. Катаев, A.B. Тарасенко // Открытое образование: приложение к журналу [по матер, междунар. конференций, Ялта-Гурзуф, 20-30 мая 2008 г.]. - 2008. - Б/н. - С. 335-337.

8. Воробкалов, П.Н. Автоматизация оценки качества адаптивных обучающих систем / П.Н. Воробкалов, O.A. Шабалина // Технологии Microsoft в теории и практике программирования: тр. Всерос, конф. студ., аспир. и мол. ученых. Центр, регион: Москва, 2-3 марта 2006 г. / МГТУ им. Н.Э. Баумана,- М., 2006,- С. 111-112.

9. Воробкалов, П.Н. Автоматизированная система управления качеством адаптивных обучающих систем / П.Н. Воробкалов, O.A. Шабалина // Системные проблемы надежности, качества, информационных и электронных технологий в инновационных проектах: (Инноватика, 2006): матер. Междунар. конф. и Рос. науч. школы / Науч.-техн. центр «АСОНИКА» и др.- М., 2006,- Ч.2.- С. 45-48.

10.Воробкалов, П.Н. Метод автоматизированной оценки качества адаптивных обучающих систем / П.Н. Воробкалов, O.A. Шабалина // Открытое образование: прил. к журн.: по матер. XXXIII межд. конф. и IV межд. конф. мол. уч. IT + S&E'06 (Ялта-Гурзуф, Крым): Инф. технол. в науке, образов., телекоммуникации и бизнесе.- 2006,- б/н (май).- С. 423-424.

11. Воробкалов, П.Н. Модель процесса обучения для оценки качества адаптивных обучающих систем / П.Н. Воробкалов // Информационные технологии в образовании, технике и медицине: матер, междунар. конф., Волгоград, Волгоград, 23-26 октября 2006 г. / ВолгГТУ и др.- Волгоград, 2006,- С. 42-43.

12.Воробкалов, П.Н. Поддержка процесса разработки адаптивных обучающих систем / П.Н. Воробкалов // Прогрессивные технологии в обучении и производстве: матер. IV Всерос конф., г. Камышин, 18-20 октября 2006 г. / КТИ (филиал) ВолгГТУ и др.- Камышин, 2006- Т.2.-С. 120-121.

13.Воробкалов, П.Н. Критерии оценки качества адаптивных систем / П.Н Воробкалов, O.A. Шабалина // Технологии Microsoft в теории и практике программирования, Москва, 17-18 февр. 2005 г. (к 175-летию МГТУ им. Н.Э. Баумана): Тр. Всерос. конф. студ., аспир. и мол. ученых, Цешр. регион / МГТУ им. Н.Э. Баумана и др.- М., 2005.- Секция 4,- С. [62].

14.Воробкалов, П.Н. Оценка адекватности адаптационных моделей обучающих систем / П.Н-. Воробкалов, O.A. Шабалина // Дистанционное' обучение - образовательная среда XXI века: матер. V Междунар. науч.-метод. конф., (10-11 ноября 2005 г.) / Белорус, гос. ун-т информатики и радиоэлектроники,- Минск, 2005.- С. 254-257.

15.Воробкалов, П.Н. Оценка и контроль качества адаптивных обучающих систем / П.Н. Воробкалов, О.А Шабалина // Проблемы качества, безопасности и диагностики в условиях информационного общества. КБД-Инфо - 2005: матер, науч. практ. конф., г. Сочи, 1-10 октября 2005 г. / Моск. гос. ин-т электроники и математики и др.- М., 2005,- С. 305-308.

16.Воробкалов, П.Н. Методы оценки качества электронных обучающих систем / П.Н. Воробкалов, O.A. Шабалина // Международный научный симпозиум, посвященный 140-летию МГТУ "МАМИ", Москва, 23-24 марта 2005 г.: программа / МГТУ "МАМИ" и др. - М„ 2005. - Секция 4. - С. [62].

17.Воробкалов, П.Н. Свидетельство № 2008615302 о регистрации программы для ЭВМ «Автоматизированная система оценки качества электронных обучающих систем QuAdS» / П.Н. Воробкалов - Заявл 23.10.2008; Зарег. 06.11.2008,- М.: Федеральный институт промышленной собственности Федеральной службы по интеллектуальной собственности (Роспатент), 2008.

Подписано в печать 10.11.2008 г. Формат 60x84/16. Бумага офсетная

Усл. печ. л. 1.0 Тираж 100 экз. Заказ

РПК "Политехник" Волгоградского государственного технического университета 400131, г. Волгоград, ул. Советская, 35.

Введение.

ГЛАВА 1 Анализ подходов и методов управления качеством электронных обучающих систем.

1.1 Понятие качества электронных обучающих систем.

1.2 Модели жизненного цикла электронных обучающих систем.

1.3 Процесс управления качеством электронных обучающих систем.

1.4 Подход к оценке качества электронной обучающей системы «в целом».

1.4.1 Основные принципы подхода к оценке качества электронных обучающих систем «в целом».

1.4.2 Методы оценки и управления качеством автоматизированных систем.

1.4.3 Стандарты качества электронных обучающих систем.

1.4.4 Методы оценки качества электронных обучающих систем «в целом».

1.4.5 Автоматизированные системы оценки качества электронных обучающих систем.

1.5 Многослойный подход к оценке качества электронных обучающих систем

1.5.1 Основные принципы многослойного подхода к оценке качества электронных обучающих систем.

1.5.2 Методы оценки качества интерфейса.

1.5.3 Методы оценки качества информационных моделей обучающих систем.

1.5.4 Методы оценки качества материалов обучения и структуры предметной области.

1.5.5 Методы оценки качества механизмов представления обучающих материалов.

1.6 Моделирование процесса обучения в электронных обучающих системах.

1.7 Выводы.

ГЛАВА 2 Метод оценки качества электронных обучающих систем.

2.1 Основные положения метода оценки качества электронных обучающих систем.

2.2 Критерий адекватности модели обучаемого.

2.3 Критерий чувствительности модели обучаемого.

2.4 Имитационная модель процесса обучения.

2.5 Идентификация недостатков концептов предметной области.

2.5.1 Идентификация недостатков концептов по уровню знания.

2.5.2 Идентификация недостатков концептов по соотношению уровня знания к затраченному времени на изучение.

2.5.3 Идентификация недостатков концептов по вероятности повторного прохождения концептов.

2.6 Анализ качества процесса обучения.

2.6.1 Анализ степени интегрированности концептов в обучающий курс.

2.6.2 Анализ взаимосвязей концептов обучающего курса.

2.6.3 Анализ степени востребованности концептов обучающего курса.

2.6.4 Анализ распределения стратегий изучения обучающего курса.

2.7 Сравнительный анализ версий предметного курса.

2.8 Выводы.

ГЛАВА 3 Автоматизированная система анализа качества электронных обучающих систем.

3.1 Процесс управления качеством электронных обучающих систем с использование автоматизированной системы оценки качества.

3.2 Архитектура автоматизированной системы оценки качества.

3.3 Функциональная структура автоматизированной системы оценки качества

3.4 Подсистемы автоматизированной системы оценки качества.

3.4.1 Подсистема сбора данных.

3.4.2 Подсистема предобработки данных.

3.4.3 Подсистема построения модели процесса обучения.

3.4.4 Подсистема моделирования процесса обучения.

3.4.5 Подсистема определения критериев качества.

3.4.6 Подсистема интерфейса пользователя.

3.4.7 Подсистема безопасности.

3.5 Выводы.

ГЛАВА 4 Применение метода оценки качества электронных обучающих систем

4.1 Применение критерия адекватности модели обучаемого.

4.2 Применение критерия чувствительности модели обучаемого.

4.3 Оценка качества обучающей системы «САЬМАТ».

4.4 Управление качеством адаптивной обучающей системы «АНА!».

4.5 Управление качеством адаптивных обучающих игр.

4.6 Выводы.

В настоящее время происходит активное развитие электронных форм обучения. Это обуславливает появление большого количества электронных обучающих систем и других инструментальных средств. Электронная обучающая система представляет пользователю обучающие материалы и затем производит контроль его знаний с использованием тестовых заданий. С учетом современных требований, предъявляемых к специалистам, процесс обучения все более усложняется, требования к используемым средствам обучения повышаются. Технологии электронного обучения развиваются, в электронных обучающих системах появляется возможность построения стратегии обучения и отображения обучающих материалов индивидуально для каждого обучаемого (т.н. адаптивные обучающие системы). Ввиду постоянного повышения требований и увеличения затрат на разработку и внедрение электронных обучающих систем становятся необходимыми оценка и управление их качеством. Существующие на настоящий момент методы оценки качества автоматизированных систем не позволяют оценивать обучающие системы с точки зрения результатов процесса обучения. Кроме того, данные методы являются частными и не позволяют управлять качеством на различных этапах жизненного цикла электронных обучающих систем.

Таким образом, актуальной является задача разработки метода и критериев оценки качества электронных обучающих систем, которые бы позволили осуществлять управление качеством с точки зрения результата процесса обучения на стадиях их разработки, внедрения и эксплуатации.

Исследования в области оценки и управления качеством электронных обучающих систем находятся на начальном этапе. Наиболее развиты подходы и методы на основе уже существующих методов оценки качества автоматизированных систем. Разработку специализированных методов оценки качества электронных обучающих систем начали известные исследователи в области адаптивных систем X. Караганнидис и Д. Сампсон [1], П.

Брусиловский [2], а также С. Вайбельзаль [3], А. Парамизис, К. Стефанидис [4], Д. Чин [5] и Е. Гер дер [6]. Проблемой оценки качества обучающих систем занимаются такие российские ученые как Н.А. Селезнева, A.M. Новиков, А.Г. Гриценко, М.И. Нежурина, А.И. Гусева и др. Основным направлением в последние годы стала многослойная оценка качества электронных обучающих систем. Начинается переход от теоретических к практическим исследованиям в области оценки качества электронных обучающих систем. Ежегодно совместно с международной конференцией User Modeling (UM) проводится научный симпозиум, посвященный оценке качества адаптивных систем. С. Вайбельзалем разработана база данных результатов эмпирических исследований адаптивных систем EASy-D [7], группой компаний eLIG (e-Learning Industry Group) ведется разработка проекта SEEQUEL (Sustainable Environment for the Evaluation of Quality in E-Learning), направленного на создание подхода к обеспечению качества. Международной организацией IEEE ведутся работы в области стандартизации адаптивных обучающих систем, создан технический комитет по технологиям обучения (TCLT). Однако на практике оценка качества обучающих систем производится разработчиками самостоятельно, используются собственные, имеющие узкую направленность, неформализованные и неавтоматизированные методы оценки качества, результаты исследований обрабатываются вручную и не публикуются. Это приводит к разобщенности результатов и трудности из анализа. В некоторых системах управления процессами образования [8] предприняты попытки реализации подобной системы в качестве подсистемы, однако, методы оценки качества обучающих систем в них тривиальны [9]. Поэтому актуальной задачей в данный момент является разработка универсального автоматизированного метода оценки качества электронных обучающих систем.

Цель и задачи работы. Целью работы является повышение эффективности обучения с использованием электронных обучающих систем за счет управления качеством на стадиях их разработки, внедрения и эксплуатации.

Для достижения поставленной цели были выделены следующие задачи: а) Провести анализ процесса жизненного цикла электронных обучающих систем, процесса управления качеством электронных обучающих систем, современных подходов и методов оценки качества электронных обучающих систем. б) Разработать метод оценки качества электронных обучающих систем, в том числе адаптивных, позволяющий управлять их качеством на различных стадиях их жизненного цикла. в) Разработать критерии для оценки качества обучающих систем на стадиях их разработки, внедрения и эксплуатации, и алгоритмы их расчета. г) Реализовать предложенный метод и алгоритмы расчета критериев качества в автоматизированной системе оценки качества обучающих систем.

Объектом исследования являются электронные обучающие системы.

Предметом исследования являются способы повышения эффективности обучения с использованием электронных обучающих систем.

Гипотеза исследования. Если процесс жизненного цикла электронной обучающей системы является управляемым процессом с обратной связью, то формируемые на основе адекватной оценки качества управляющие воздействия позволят повысить качество электронной обучающей системы.

Методы исследования. Для решения поставленных задач были использованы методы системного анализа, теории управления, математического моделирования, искусственного интеллекта.

Научная новизна заключается в разработке нового метода, позволяющего управлять качеством электронных обучающих систем на стадиях их разработки, внедрения и эксплуатации, а именно: а) разработаны критерии, позволяющие производить оценку качества как на ранних этапах разработки системы (априорные критерии), так и на стадиях внедрения и эксплуатации (апостериорные критерии); б) разработана имитационная модель процесса обучения, учитывающая значимые с точки зрения результатов обучения характеристики процесса обучения и позволяющая моделировать процесс обучения в различных электронных обучающих системах; в) разработана концептуальная модель автоматизированной системы оценки качества, поддерживающей процесс управления качеством электронных обучающих систем на стадиях их разработки, внедрения и эксплуатации.

Положения, выносимые на защиту:

1) априорные и апостериорные критерии оценки качества электронных обучающих систем;

2) имитационная модель процесса обучения, учитывающая значимые для оценки качества обучения характеристики процесса обучения, и позволяющая моделировать процесс обучения в различных электронных обучающих системах;

3) метод оценки качества электронных обучающих систем, позволяющий управлять качеством электронных обучающих систем на стадиях их разработки, внедрения и эксплуатации.

Практическая ценность работы состоит в разработке автоматизированной системы оценки качества электронных обучающих систем, реализующей предложенный метод оценки качества и алгоритмы расчета априорных и апостериорных критериев качества.

Реализация результатов работы. Разработанный метод оценки качества, априорные и апостериорные критерии качества и автоматизированная система оценки качества были внедрены в ВолгГТУ, университете Глазго-Калидония г. Глазго, ООО «КСИ» (компания, специализирующаяся на разработке обучающих игр). Априорные критерии использованы для оценки качества адаптивной обучающей системы в процессе ее разработки, что позволило внести изменения в модель обучаемого системы и повысить ее качество. С помощью апостериорных критериев произведена оценка качества обучающей системы «CALMAT», используемой в университете Глазго-Калидония, и адаптивной обучающей системы «АНА!», в результате были идентифицированы недостатки данных систем и сформулированы рекомендации по их исправлению. После внесения изменений тестирование показало увеличение среднего уровня знаний студентов после обучения в соответствующих системах. Применение метода оценки качества для управления качеством адаптивных обучающих игр позволило выявить и устранить недопустимые последовательности игровых обучающих заданий, приводящие к снижению результатов обучения.

Апробация работы. Основные положения и материалы диссертационной работы докладывались на Международной научно-технической конференции ИННОВАТИКА-2008 (1-12 октября 2008 г.), Международной научно-технической конференции AIS'08 (3-10 сентября 2008 г.), Международной научно-технической конференции ИННОВАТИКА-2007 (1-12 октября 2007 г.), XI Региональной конференции молодых исследователей Волгоградской области (8-10 ноября 2006 г.), Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» (г.Москва, 2-3 марта 2006 г.), Международной конференции «Информационные технологии в образовании, технике и медицине» (г. Волгоград, 23-26 октября 2006 г.), смотре-конкурсе научных, конструкторских и технологических работ студентов ВолгГТУ (г. Волгоград, 11-13 мая 2005 г.), VI Всероссийской конференции Прогрессивные технологии в обучении и производстве (г. Камышин, 18-20 октября 2006 г.), Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» (г. Москва, 1718 февраля 2005 г.) и других научно-технических и научно-практических конференциях.

Работа «Модель процесса адаптивного обучения» удостоена 1-го места на XI Региональной конференции молодых исследователей Волгоградской области, работа «Автоматизация оценки качества адаптивных обучающих систем» удостоена 1-го места на Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» 2006 г., «Анализ и синтез адаптивных обучающих систем» удостоена второй премии на смотре-конкурсе НИРС ВолгГТУ 2005 г.

Публикации. По теме диссертации опубликовано 16 печатных работ общим объемом 3,5 п. л., в том числе 3 публикации в журналах, рекомендованных ВАК РФ.

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложений. Работа содержит 153 страниц основного текста, 53 рисунка, 14 таблиц и список литературы из 122 наименований. Общий объем работы 207 страниц.

4.6 Выводы

Разработанные априорные критерии были применены для оценки адаптивной обучающей системы на основе сетей Бейеса на этапе ее разработки [122]. Результаты оценки позволили выбрать технологии адаптации и модель обучаемого для системы, позволяющие достичь наибольшего эффекта от адаптации системы.

С помощью апостериорных критериев и автоматизированной системы оценки качества была проведена оценка двух действующих обучающих систем.

Оценено качество обучающей системы «CALMAT», применяемой в Университете Глазго-Калидония. В результате оценки были выделены недостатки обучающего курса по математике для специальности «Биология и медицина» и сформулированы рекомендации по их устранению.

Проведена оценка качества адаптивной обучающей системы «АНА!» на примере обучающего курса «Теоретические основы автоматизированного управления». В результате была скорректирована семантическая структура предметной области, исключившая ситуации, в которых обучаемые показывали низкий уровень знаний в результате неправильных адаптационных решений АОС.

Разработанная автоматизированная система оценки качества обучающих систем была также использована для управления качеством адаптивных обучающих игр (разработки компании ООО «КСИ», специализирующейся на создании обучающих игр). Применение метода оценки качества позволило выявить и устранить недопустимые последовательности заданий, приводящие к снижению результатов обучения. В Роспатенте получено свидетельство о регистрации программы для ЭВМ «Автоматизированная система оценки качества электронных обучающих систем QuAdS» (см. приложение J1).

Акты о внедрении результатов работы приведены в приложении М.

На основании результатов применения сделано заключение, что разработанный метод позволяет управлять качеством электронных обучающих систем, в том числе адаптивных, идентифицировать недостатки электронных обучающих курсов и предоставляет данные для дальнейшего принятия решения по исправлению недостатков.

Заключение

В проведенном исследовании показано, что оценка и управление качеством электронных обучающих систем должны проводиться для достижения требуемых результатов обучения, что в свою очередь требует улучшения внутренних механизмов электронных обучающих систем и дальнейшего развития разработок в данной области. В ходе исследования были получены следующие результаты: а) Проведен анализ процесса жизненного цикла электронных обучающих систем, процесса управления качеством электронных обучающих систем, выделены достоинства и недостатки современных подходов и методов оценки качества электронных обучающих систем, произведена систематизация существующих критериев оценки качества обучающих систем. б) Разработан метод оценки качества электронных обучающих систем, в том числе адаптивных, позволяющий управлять их качеством как на ранних этапах разработки системы, так и на стадиях внедрения и эксплуатации. в) Разработаны априорные критерии для оценки качества обучающих систем на стадии разработки и апостериорные критерии для оценки качества на этапах внедрения и эксплуатации, и алгоритмы их расчета. г) Предложенный метод оценки качества и алгоритмы расчета критериев качества реализованы в автоматизированной системе оценки качества электронных обучающих систем на языке Java в среде разработки Eclipse. д) Произведена апробация разработанного метода, критериев и автоматизированной системы оценки качества на этапах разработки, внедрения и эксплуатации обучающих систем, что позволило выявить их недостатки и устранить их, за счет чего повысить уровень знаний обучаемых.

В целом разработанные метод оценки качества и автоматизированная система оценки качества позволяют повышать эффективность электронных обучающих систем за счет управления их качеством на всех этапах жизненного цикла.

1. Karagiannidis, С. Layered evaluation of adaptive applications and services / C. Karagiannidis, D.G. Sampson // Proceedings of International Conference on Adaptive Hypermedia and Adaptive Web-Based Systems 2000 - C. 343-346.

2. Weibelzahl, S. Evaluation of adaptive systems / S. Weiblezahl // User Modeling: Proceedings of the Eighth International Conference.- 2001— C. 292-294.

3. Chin, D.N. Empirical evaluation of user models and user-adapted systems / D.N. Chin // User Modeling and User-Adapted Interaction 2001.- 11(1-2), C. 181194.

4. Weibelzahl, S. A database of empirical evaluations of adaptive systems. / S. Weibelzahl, G. Weber // Proceedings of the Workshop «Adaptivitat und Benutzermodellierung in interaktiven Softwaresystemen».—C. 1-6.

5. Баяндина, З.В. Инструментальный портал разработки электронных средств обучения. / З.В. Баяндина, В.Г. Казаков // Труды X Всероссийскойнаучно-методической конференции Телематика'2003.- С-Пб., 2003.- Т. 1. С. 197-198.

6. Brusilovsky, P. Methods and techniques of adaptive hypermedia / P. Brusilovsky // User Modeling and User-Adapted Interaction: Special Issue on Adaptive Hypertext and Hypermedia 1996,- 6 (2-3).- C. 87-129.

7. Униар. Обучающие курсы Электронный ресурс.- 2006.-www.postman.ru/~uniar/course.htm.

8. Parker, N.K. The quality dilemma in online education. N.K. Parker // Theory and practice of online learning: T. Anderson & F. Elloumi (Eds.).- Athabasca, Canada: Athabasca University, 2004.- 117 c.

9. Гличев, A.B. Основы управлением качества продукции : 2-е изд., перераб. и доп. / А.В. Гличев.- М.: Стандарты и качество РИА, 2001.- 423 с.

10. Показатели качества ПО в ГОСТ 28195 и ГОСТ Р ИСО/МЭК 9126 Электронный ресурс.- 2008.- Режим доступа: http://guap.ru/dept04/caf46/textbooks/stdpro/indexl3.htm.

11. Селезнева, Н.А. Качество высшего образования как объект системного исследования: Лекция-доклад / Н.А. Селезнева; Изд. 2-е, дополненное — М.: Исследовательский центр проблем качества подготовки специалистов, 2002. — 95 с.

12. Зимняя, И. А. Воспитательная деятельность образовательного учреждения как объект комплексной критериальной оценки (к постановке проблемы исследования) / И.А. Зимняя.- М.: Исследовательский центр проблем качества подготовки специалистов, 2002. — 34 с.

13. Дочкин, С.А. Методы квалиметрии — для оценки качества образования / С.А. Дочкин // Образование и общество.- 2006.- №1.- С. 41-43.

14. Андреев, А.Б. Мониторинг качества обучения студентов на основе рейтинговой оценки знаний / А.Б. Андреев, А.А. Федосеев // Образование и общество.- 2007.- №4.- С. 28-31.

15. Louca, S. Quality Assurance and Control Model for E-Learning / S. Louca, C. Constantinides, A. Ioannou // Computers and Advanced Technology in Education, CATE 2004: V. Uskov Editor(s).- Kauai, Hawaii, 2004.- 589 c.

16. Fresen, J.W. Quality management of e-learning: Towards an integrated approach / J.W. Fresen, L.G. Boyd // Proceedings of the 2nd FOTIM Quality Assurance Conference, 20-22 June 2006.- Pretoria, 2006.- C. 211-214.

17. Singh, R. International standard ISO/IEC 12207 Software life-cycle processes Электронный ресурс. / R. Singh.- 2007.- Режим доступа: http://www.abelia.com/docs/12207cpt.pdf.

18. Goethert, W. Experiences in Implementing Measurement Programs / W. Goethert, W. Hayes.- CMU/SEI.- 2001.- TN026.- 49 c.

19. Субетто, А.И. Квалитология образования / А.И. Субетто.— М.: Исследоват. Центр кач-ва подг. спец-ов, 2000. 220 с.

20. Управление социально-экономическими процессами в регионах: роль университетов/ Под общ. Ред. В. В. Чекмарева. Кострома: КГУ им. Н. А. Некрасова, 2002. - 425 с.

21. Ingraham, B.D. eQuality: a dialogue between quality and academia /

22. B.D. Ingraham, S.M. Ingraham // E-Learning Journal.- 2006.- Vol. 3, Num. 1,1. C. 111-121.

23. Human-Computer Interaction / A.J. Dix, J.E. Finlay, G.D. Abowd, R. Beale.- Harlow England: Prentice Hall, 1998.- 656 c.

24. Usoro, A. Conceptualising Quality E-learning in Higher Education / A. Usoro, A. Abid. // E-Learning.- Vol. 5, Num. 1.- 2008.- C. 75-88.

25. Кирилов, С.Г. Один из подходов к комплексной оценке качества подготовки выпускника ВУЗа Электронный ресурс. / С.Г. Кирилов,144

26. A.JI. Куляница.- 2006.- Режим доступа: http://vmw.nsu.ru/archive/conf/nit/96/notasect/index.html.

27. Schulmeyer, G.G. The Handbook of Software Quality Assurance: 3rd Edition / G.G. Schulmeyer, J.I. Mcmanus.- Prentice Hall PTR, 1999.- 712 c.

28. Показатели качества ПО в ГОСТ 28195 и ГОСТ Р ИСО/МЭК 9126 Электронный ресурс.- 2008.- http://www.nspru.ru/index.php?id=8.

29. Chua, В.В. Applying the IS09126 model to the evaluation of an e-learning system / B.B. Chua, L.E. Dyson // Beyond the comfort zone: Proceedings of the 21st ASCILITE Conference.- 2004.- C. 184-190.

30. Кулаков, А.Ф. Стандартизация в области программной инженерии Электронный ресурс. / А.Ф. Кулаков, А.Н. Пьявченко.- 2008.- Режим доступа: http://wwvv.interface.ru/qad/mfg/proging3.htm.

31. Humphrey, W.S. The Software Quality Profile Электронный ресурс. / W.S. Humphrey.- 2007.- Режим доступа: http://www.sei.cmu.edu/publications/articles/quality-profile/index.html.

32. Костогрызов, А.И. Математические модели для сертификации информационных систем / А.И. Кострогрызов // Автоматизация и управление в машиностроении: учебно-научно-производственный журнал.- №4.- 1998.-С. 12-14.

33. Guide to the BAOL Quality Mark (British Association for Open Learning) Электронный ресурс.- 2007.- Режим доступа: http://www.baol.co.uk.

34. Викторов, В.Г. Внедрение международных стандартов качества и влияние их на подготовку высококвалифицированных специалистов /

35. B.Г. Викторов // Образование и общество.- 2007.- №1.- С. 33-35.

36. IEEE P1484.1/D6. Draft Standard for Learning Technology Learning Technology Systems Architecture (LTSA) Электронный ресурс.- 2000 - Режим доступа: http://edutool.com/ltsa.

37. Ghali, F. Augmenting e-Learning Standards with Adaptation / F. Ghali,

38. A.I. Cristea, M. Hendrix // Computers and Advanced Technology in Education, CATE 2008.- Crete, Greece, 2008.- C. 200-205.

39. Riddy, P. Evaluating e-Learning Resources Электронный ресурс. / P. Riddy, K. Fill- 2004.- Режим доступа: http://\vvv^v.shef.ac.ukynlc2004/Proceedings/IndividualPapers/RiddyFill.htm.

40. Salmon, D. Higher education staff experiences of using web-based learning technologies / D. Salmon, M. Jones // Educational Technology & Society, 7(1).- 2004.- C. 107-114.

41. Калабин, C.M. Проблемы контроля качества реализации образовательных программ с использованием дистанционных образовательных технологий / С.М. Калабин, С.П. Крекотень // Открытое и дистанционное образование.- 2006.- Выпуск 4(24).- С. 21-25.

42. Hildebrandt, B.U. Localization and adaptation of quality approaches /

43. B.U. Hildebrandt, SJ. Teschler // Proceedings of the 4th IEEE International146

44. Conference on Advanced Learning Technologies.- Joensuu, Finland, 2004.- C. 10781079.

45. Quality guide to the non-formal and informal learning processes Электронный ресурс.- 2004— Режим доступа: http://www.educationobservatories.net/seequel.

46. Deepwell, F. Embedding Quality in e-Learning Implementation through Evaluation / F. Deepwell // Educational Technology & Society.- 2007.- 10 (2).-C. 34-43.

47. Kirakowski, J. Questionnaires in Usability Engineering Электронный ресурс. / J. Kirakowski— 2000- Режим доступа: http://www.ucc.ie/hfrg/resources/qfaql.html.

48. Eoyang, G.H. Evaluating Performance in a CAS Электронный ресурс. / G.H. Eoyang, E.E. Olson.- 2005.- Режим доступа: http://www.hsdinstitute.org/e-clarity/aspdocuments0001/DocumentsPublish/104.pdf.

49. Gullett, E. Quality assessment of e-facilitators / E. Gullet // Advances in e-learning: Experiences and methodologies: ed. Francisco J. Garcia Penalvo.-Hershey, PA: Information Science Reference. Igi Global.- 2008.- C. 318-328.

50. Бебешко, B.H. Система оценки качества программных комплексов для дистанционного обучения / В.Н. Бебешко, М.И. Нежурина.- М.: ЦДО МИЭМ; Европейский центр по качеству.- 2004.- 178 с.

51. Елисеев, О.Н. Применение статистических методов для оценки успеваемости Электронный ресурс. / О.Н. Елисеев // Проблемы качества в сфере образования.- МГТУ «СТАНКИН»,- Москва, 2001.- №2.- Режим доступа: http ://tqm. stankin.ru/arch/n02/articles/10 .htm.

52. Joab, M. Modeling and documenting quality e-learning processes with eLup Электронный ресурс. / M. Joab, О. Auzende, R. Legrand.- 2008.- Режим доступа: http://hal-lirmm.ccsd.cnrs.fr/lirTnm-00138492/en/.

53. Pawlowski, J.M. Adopting quality standards for education and e-learning / J.M. Pawlowski // Handbook in Quality and Standardisation in E-learning: Ulf-Daniel Ehlers and Jan Martin Pawlowski, Ed.- Springer, 2006.- C. 67-76.

54. Eoyang, G.H. Evaluating Performance in a CAS Электронный ресурс. / G.H. Eoyang, E.E. Olson.- 2005.- Режим доступа: http://www.hsdinstitute.org/e-clarity/aspdocuments0001/DocumentsPublish/104.pdf.

55. Brusilovsky, P. Layered evaluation of adaptive learning systems / P. Brusilovsky, C. Karagiaraiidis, D.G. Sampson // Int. J. of Continuing Engineering Education and Lifelong Learning.- 2004.-Vol. 14, № 4/5,- C. 402-421.

56. Research-Based Web-Design & Usability Guidelines Электронный ресурс.— 2001.—Режим доступа: http://www.usability.gov/guidelines/intro.html.

57. Devedz, V. The Pragmatics of Current E-Learning Standards / V. Devedz, J. Jovanovic, D Gasevic // IEEE INTERNET COMPUTING, May-June, 2007.- C.16-24.

58. IMS Learner Information Packaging Information Model Specification Электронный ресурс.- 2008,- Режим доступа: http://www.imsglobal.org/profiles/lipinfoO 1 .html.

59. Manouselis, N. Agent-based e-learning course recommendation: matching learner characteristics with content attributes / N. Manouselis, D.G. Sampson, // International Journal of Computers and Applications 2003— Vol. 25, № 1- C. 1015.

60. Avellis, G. Enhancing Quality of Learning Contents with Quality Function Deployment / G. Avelis // iLearning Forum 2008, 4-5 February.- Paris, 2008.- C. 258-264.

61. Рудинский, И.Д. Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического тестирования / И.Д. Рудинский // Информационные технологии.- 2003.- № 9.- С. 46-51.

62. Paramythis, A. Adaptive Learning Environments and e-Learning Standards / A. Paramythis, S. Loidl-Reisinger // Electronic Journal on e-Learning-2004.-Vol. 2., № l.-C. 181-194.

63. Tanimoto, S.L. Improving the Prospects for Educational Data Mining / S.L. Tanimoto // 11th international conference on user modeling Corfu, Greece, 2529 June, 2007. Section: Data Mining for User Modelling.- C. 40-45.

64. Земцова, E.B. Интегративная (комплексная) оценка сформированности единой социально-профессиональной компетентности / Е.В. Земцова // Вестник университета. №8 (34) — М.: Государственный университет управления, 2007. — С. 77-81.

65. Rahkila, М. Evaluatoin of learning in computer based education using log systems / M. Rahkila, M. Karjalainen // Proceedings of the 29th ASEE/1EEE Frontiers in Education Conference, November 10 13, 1999, San Juan, Puerto Rico.-1999.- C. 16-21.

66. Manouselis, N. Recommendation of quality approaches for the European Quality Observatory / Manouselis, N., Sampson, D. // Proceedings of the 4th IEEE International Conference on Advanced Learning Technologies.- Joensuu, Finland, 2004.- C. 1082-1083.

67. Нуриев, Н.К. Проектирование структуры информационного обеспечения для обучения проектировщиков информационных систем / Н.К. Нуриев // Educational Technology & Society.- №6(1).- 2003.- С. 149-155.

68. Koper, R. Modeling units of study from a pedagogical perspective: the pedagogical meta-model behind EML Электронный ресурс. / R. Koper.- 2007.-Режим доступа: http://dspace.ou.n1/bitstream/l 820/64/2/metamodel.pdf

69. Теория дифференцированного Интернет-обучения Электронный ресурс.- 2006 Режим доступа: http://hecadem.irk.ru:8100/theory/blank.htm.

70. Giles C.L. Learning a Class of Large Finite State Machines with a Recurrent Neural Network Электронный ресурс. / C.L. Giles, B.G. Home, T. Lin-2005 — Режим доступа: ftp://ftp.cs.umd.edu/pub/papers/TRs/3328.ps.Z.

71. Котов, B.E. Сети Петри / B.E. Котов.- M.: Наука. Главная редакция физико-математической литературы, 1984.- 160 с.

72. German, R. Cascaded deterministic and stochastic petri nets / R. German // Proc. 3rd Int. Meeting on the Numerical Solution of Markov Chains.- Zaragoza, Sept. 1999.- C. 111-130.

73. Norris J.R. Markov Chains / J.R. Norris.- Cambridge University Press, 1998.- 256 c.

74. Model checking continuous-time Markov chains / A. Aziz, K. Sanwal, V. Singhal, R. Brayton // ACM Transactions on Computational Logic.- №1(1).-2000.- C. 162-170.

75. Питерсон, Дж. Теория сетей Петри и моделирование систем: Пер. с англ. / Дж. Питерсон.- М.: Мир, 1984.- 264 с.150

76. Vazquez, С. Virtual Learning Process Modeled with Petri Nets / C. Vazquez , L. Chirinos , O. Portillo, K.-H. Kayser // Proceeding of Computers and Advanced Technology in Education-2003.- 2003.- C.l 12-115.

77. Jennings, R. An agent-based approach for building complex software systems / R. Jennings // Communications of the ACM.- Vol. 44.- 2001.- C. 35-41.

78. Saaty, T.L. The analytic hierarchy process: planning, priority setting, resource allocation / T.L. Saaty.- London: McGraw-Hill International Book Co, 1980.-287 c.

79. Андрейчиков, A.B. Анализ, синтез, планирование решений в экономике / А.В. Андрейчиков, О.Н. Андрейчикова— Москва: Финансы и статистика, 2000 — 368 с.

80. Di Febbraro, A. Special Issue on Hybrid Petri Nets / A. Di Febbraro, A. Giua, G. Menga // Discrete Event Dynamic Systems.- Vol. 11(1/2).- January, 2001.- C. 5-8.

81. Haas, P.J. Stochastic petri nets for modeling and simulation / P.J. Haas // Proceedings of the 2004 Winter Simulation Conference.- Piscataway, NJ: IEEE, Inc., 2004.-C. 101-112.

82. Kavicka, A. Petri net with decision transitions applied within ABAsim architecture of simulation models. In MOSIS'03 / A. Kavicka / Proceedings of the 37th conference Modelling and simulation of systems, MARQ.- Ostrava,2006.1. C. 373-380.

83. Кнут, Д.Э. Искусство программирования, том 2. Получисленные алгоритмы, 3-е изд.: Пер. с англ.: Уч. пос. / Д.Э. Кнут.- М.: Издательский дом «Вильяме», 2001.- 832 с.

84. Kieras, D. Е. An approach to the formal analysis of user complexity /

85. D.E. Kieras, P.G. Poison, // International Journal of Human-Computer Studies— 1999.-51(2).- C. 405-434.

86. Gosling, J. Java Language Specification: 2nd Edition / J. Gosling, B. Joy, G. Steele, G. Bracha.- Prentice Hall PTR, 2000.- 544 c.

87. Eclipse IDE Pocket Guide.- UK: O'Reilly Media, 2005.- 118 c.

88. W3C XML Schema Электронный ресурс.— 2008 — Режим доступа: http://www.w3 .org/XML/Schema.

89. High-level Petri Nets Concepts, Definitions and Graphical Notation Электронный ресурс.- 2008.- Режим доступа: www.petrinets.info/docs/pnstd-4.7.1.pdf.

90. Шабалина, О.А. Проблемы разработки обучающих систем для системы дополнительного профессионального образования /О.А. Шабалина // Дополнительное профессиональное образование.- 2004.-№1.- С.35-37.

91. Normak, P. A Comparative Evaluation Framework for e-Learning Systems and Tools / P. Normak, M. Laanpere // New Learning 2.0? — Emerging digital territories. Developing continuities — New divides: Book of Abstracts and

92. Electronic Proceedings of the EDEN 2007 Annual Conference — Naples, Italy, 2007.- C. 84-85.

93. CALMAT Электронный ресурс.- 2008.- Режим доступа: www.calmat.gcal.ac.uk/courseware.html.

94. De Bra, P. The Design of AHA! / P. De Bra, D. Smits, N. Stash // Proceedings of the ACM Hypertext Conference, Odense, Denmark, August 23-25, 2006.- 2006.- C. 133.

95. Воробкалов, П.Н. Метод управления качеством электронных обучающих систем / П.Н. Воробкалов // Системы управления и информационные технологии.- Воронеж, 2008.- 3.2(33).- С. 238-243.

96. Шабалина, О.А. Модель пользователя для изучения языков программирования в адаптивной обучающей системе / О.А. Шабалина // Вестник компьютерных и информационных технологий. Ежемесячный науч.-техн. и производ. журнал.-2005.-№2.- С.36-39.