автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Среда разработки алгоритмов адаптивного тестирования

На правах рукописи

Данг Хоай Фыонг

СРЕДА РАЗРАБОТКИ АЛГОРИТМОВ АДАПТИВНОГО ТЕСТИРОВАНИЯ

05.13.01 - «Системный анализ, управление и обработка информации» (промышленность) 05.13.10 - «Управление в социальных и экономических системах»

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

5 ДЕК 2013

Волгоград-2013

005541605

Работа выполнена на кафедре «Системы автоматизированного проектирования и поискового конструирования» в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Волгоградский государственный технический университет». (ФГБОУ ВПО «ВолгГТУ»)

Научный руководитель доктор технических наук, профессор,

Камаев Валерий Анатольевич.

Научный консультант кандидат технических наук, доцент,

Шабалина Ольга Аркадьевна.

Официальные оппоненты Шуршев Валерий Федорович,

доктор технических наук, профессор, Астраханский государственный технический университет, кафедра "Прикладная информатика в экономике", профессор;

Авдеюк Оксана Алексеевна,

кандидат технических наук, доцент, ФГБОУ ВПО «Волгоградский государственный технический университет», кафедра «Вычислительная техника», и.о. зав. кафедрой.

Ведущая организация Астраханский государственный университет.

Защита состоится 19 декабря 2013 в 10® часов на заседании диссертационного совета Д 212.028.04, созданного на базе Волгоградского государственного технического университета по адресу: 400005, г. Волгоград, пр. Ленина, 28, ауд. 209.

С диссертацией можно ознакомиться в библиотеке Волгоградского государственного технического университета.

Автореферат разослан «19» ноября 2013 г.

Ученый секретарь ф)

диссертационного совета «^^¿Ш^Г-й^ Водопьянов Валентин Иванович

I. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования.

Электронное обучение (e-learning) - система электронного обучения, обучение при помощи информационных, электронных технологий. Контроль знания является неотъемлемой частью системы электронного обучения, в которой знания обучаемого можно объективно оценивать.

Традиционный метод контроля знаний, основанный на проведении устного опроса, позволяет выбирать вопросы для каждого обучаемого, соответствующие уровню его способности. Однако этот метод применим только тогда, когда количество обучаемых невелико. Когда количество обучаемых достаточно большое, этот метод требует больших человеческих и временных ресурсов.

Для организации контроля знаний также используют письменное тестирование с заранее разработанными наборами тестов. Такое тестирование имеет свои преимущества, которое заключается в немедленной оценке результатов, и при этом многие обучаемые тестируются в одно то же время. Но для разных обучаемых одни и те же задания могу оказаться слишком легкими или слишком сложными, и это может сделать процесс тестирования скучным или наоборот вызвать стресс у обучаемого.

Несмотря на то, что уже разработано достаточно большое количество методов и алгоритмов компьютерного тестирования, наиболее адекватными являются методы адаптивного тестирования (AT), в котором процесс тестирования адаптируется к конкретному обучаемому. AT позволяет преодолеть недостатки традиционного тестирования, и получать информацию о способностях обучаемого сразу, а также давать задание соответствующего уровня способности обучаемого. Оценка уровня способности обучаемого отличается тем, что каждое задание дается в соответствии с уровнем способности обучаемого, эта способность регулярно обновляется в процессе тестирования.

Сам процесс такого тестирования позволяет повысить эффективность и сокращение времени тестирования. Это, как правило, приводит к уменьшению числа заданий, времени, стоимости тестирования и к повышению точности оценок, полученных обучаемыми по результатам выполнения теста.

Эффективность применения AT зависит от выбранного алгоритма AT. В существующих алгоритмах AT параметры определены заранее и не могут быть изменены, и возможности выбора алгоритма AT ограничены. Поэтому актуальной является задача создания метода генерации алгоритмов AT, удовлетворяющих требованиям разработчиков адаптивных тестов.

Степень разработанности темы исследования.

В настоящее время разработаны различные подходы к организации AT, которые позволяют учитывать уровень трудности тестовых заданий или уровень способностей обучаемого. Исследованиями в области организации AT занимаются Соловов A.B., Шабалина O.A., Шмелев А.Г., Lord P.M., Львович Я.Е., Л.В. Зайцева, Астафьева В.П., Ивлева Е.В., Карпенко А.П., Доррер А.Г., Курзыбова Я.В., Комлев В.В., Дорофеев A.C., Герасимова И.Б., Маклакова Г.Г., Гагарина Л.Г., Арифов А.О., Пантелеев Е.Р., Шмелева И.А., Литвинов В.В. и др.

АТ реализовано в таких системах АТ как «Кадис», «Телетестинг», «Киос», «Контакт/ос» и др. Однако алгоритмы, используемые в этих системах для организации АТ, являются встроенными, и адаптация к обучаемому осуществляется на основе одного жестко определенного в системе критерия, причем критерий не может быть изменен пользователем. Разработка алгоритмов организации АТ по заданным пользователем критериям АТ, учитывающих при этом взаимосвязи между ними, позволит осуществлять более точную адаптацию к обучаемым и повышать, таким образом, эффективность тестирования.

Целью диссертационной работы является повышение эффективности организации процесса адаптивного тестирования за счет разработки метода генерации алгоритмов адаптивного тестирования и его реализации в программной системе.

Для достижения цели необходимо решить следующие задачи:

1) провести анализ современных подходов к организации АТ и систем, реализующих эти подходы;

2) разработать модель описания процесса АТ;

3) разработать метод генерации алгоритмов АТ;

4) реализовать предложенные модель и метод в программной системе;

5) оценить эффективность предложенных модели и метода для организации АТ.

Объектом исследования в диссертационной работе является процесс АТ.

Предметом исследования являются способы организации АТ.

Гипотеза исследования. Применение алгоритмов АТ, разработанным по заданным пользователем критериям АТ, повышает эффективность АТ.

Методы исследования. При выполнении исследований и решении поставленных в работе задач использовались методы: системного анализа и обработки информации, теория моделирования, методы теории вероятностей и математической статистики, теории адаптивного тестирования, классической и современной теории тестов, теории графов и теории множеств, проектирования автоматизированных систем.

Научная новизна работы заключается:

1) впервые разработана комбинированная классификация АТ, объединяющая существующие способы АТ и математические модели, применяемые для их организации, в которой в качестве классификационных признаков используются все известные характеристики АТ;

2) впервые разработан шаблонный алгоритм генерации алгоритмов АТ, объединяющий известные алгоритмы АТ на основе классификации АТ и использующий матрицы ограничений;

3) разработан метод генерации алгоритмов АТ, основанный на шаблоном алгоритме генерации алгоритмов АТ и матрице совместимости способов построения траектории АТ, позволяющий разрабатывать алгоритмы на основе заданных критериев АТ;

4) предложен способ организации комплексного АТ, позволяющей повысить эффективность АТ;

5) разработана модель АТ, включающая структуру алгоритма АТ, модель предметной области и модель обучаемого, которые позволяют персонифицировать представление учебного материала и реализовывать алгоритмы АТ, необходимые для обеспечения требований к процессу проверки знаний обучаемого.

Положения, выносимые на защиту.

1) модель описания процесса АТ, включающая модель предметной области, модель обучаемого, модель задания и структура алгоритма АТ;

2) комбинированная классификация способов организации АТ;

3) шаблонный алгоритм генерации алгоритмов АТ;

4) способ организации комплексного АТ;

5) метод генерации алгоритмов АТ;

6) среда разработки алгоритмов АТ.

Достоверность и обоснованность результатов. Достоверность результатов работы обеспечивается использованием современных методов проведения научных исследований, корректным использованием математического аппарата, а также результатами применения разработанных моделей и метода генерации алгоритмов АТ и программной системы, разработанных на их основе.

Практическая значимость работы заключается в разработке среды разработки алгоритмов, которые могут быть использованы в организации АТ.

Внедрение результатов. Среда разработки алгоритмов АТ внедрена на кафедрах «Системы автоматизированного проектирования и поискового конструирования», «Программное обеспечение автоматизированных систем» и «Электронно-вычислительные машины и системы» Волгоградского государственного технического университета (ВолгГТУ).

Апробация работы. Основное положение и материалы диссертационной работы докладывались на научных семинарах кафедры «САПР и ПК» ВолгГТУ, а также на международных научных и научно-практических конференциях: IV международная научно-техническая конференция «Технологии разработки информационных систем» (г. Таганрог, 2013 г.), II международная научно-практическая конференция «Техника и технологии: роль и развитие современного общества» (г. Краснодар, 2013), VII международная научно-практическая конференция «Актуальные вопросы современной науки» (г. Санкт-Петербург, 2013), XIII Международная научная конференция «Актуальные вопросы современной техники и технологии» (г. Липецк, 2013), XV международная научно-практическая конференция «Современные проблемы гуманитарных и естественных наук» (г. Москва, 2013).

Публикации. По теме диссертации опубликовано 8 печатных работ, в том числе, 4 публикаций в журналах, рекомендованных ВАК, 4 статьи в сборниках трудов конференций.

Соответствие паспорту научной специальности. Указанная область исследования соответствует паспорту специальностей 05.13.01 - «Системный

анализ, управление и обработка информации» (промышленность), а именно пункту 3 - «Разработка критериев и моделей описания и оценки эффективности решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации», пункту 4 - «Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации», пункту 5 - «Разработка специального математического и программного обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации»; и 05.13.10 -«Управление в социальных и экономических системах», а именно пункту 3 -«Разработка моделей описания и оценок эффективности решения задач управления и принятия решений в социальных и экономических системах», пункту 5 - «Разработка специального математического и программного обеспечения систем управления и механизмов принятия решений в социальных и экономических системах», пункту 12 - «Разработка новых информационных технологий в решении задач управления и принятия решений в социальных и экономических системах».

Объем и структура работы.

Диссертационная работа состоит из введения, четырёх глав с выводами, заключения, списка литературы, приложений. Общий объем диссертации 99 страниц, в том числе 32 рисунка, 5 таблиц, список литературы из 80 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Введение. Во введении показана актуальность темы диссертации, сформулированы цели и задачи исследования, приведены сведения о методах исследования, его предмете и объекте, научная новизна, теоретическая и практическая ценности работы, приведены результаты реализации и апробации.

В первой главе рассмотрены подходы к организации контроля знаний, умений и навыков обучаемых; рассмотрены современные подходы к организации АТ, разработаны критерии АТ, а также проведен анализ существующих систем АТ на основе этих критериев; осуществлена подстановка задачи работы.

Контроль знаний, умений и навыков обучаемых является составной частью процесса обучения, позволяющей объективно оценивать знания обучаемых. Существует два подхода к организации контроля знаниий студентов в учебном процессе: традиционнный и современный. В традиционном случае результаты обучения оценивает преподаватель, на оценку результатов может влиять субъективная точка зрения преподавателя. В современном подходе используется тестирование, позволяющее повысить объективность проверки и оценки результатов обучения. Для повышения эффективности и сокращения времени тестирования используют АТ.

Адаптивное тестирование (АТ) - это часть адаптивного обучения, предусматривающее изменение последовательности, содержания, трудности предлагаемых заданий в самом процессе тестирования в зависимости от действий

б

обучаемого. При использовании AT последовательность и число контрольных заданий в тестировании различны для сильных, средних и слабых обучаемых, что исключает субъективность конечной оценки знаний обучаемых.

Современные подходы к организации AT. В настоящее время существуют разные подходы к организации AT. Выделены четыре основных подхода, отличающихся способами организации: структурный подход, содержательный поход, подход организации AT с учетом уровня трудности тестовых заданий и подход на основе стохастической теории тестов (IRT).

Для создания алгоритма AT определены критерии к организации AT, необходимые для выбора алгоритмов AT. В качестве критериев выбраны признаки адаптации:

- тестирование по учебному материалу позволяет осуществлять тестирование с оптимальной последовательностью изложения учебного материала;

- тестирование по уровню трудности задания позволяет проводить тестирование с выбором задания, трудность которого соответствует предыдущему ответу обучаемого.

Анализ систем AT по выделенным критериям показал, что имеющиеся системы адаптивного тестирования, такие как: «Кадис», «Телетестинг», «Киос», «Контакт/ос» и другие имеют некоторые недостатки:

- не существует единого подхода AT, в каждой системе реализуются свои подходы;

- в большинстве существующих систем AT используются жестко заданные алгоритмы;

- алгоритмы существующих систем AT реализуют адаптацию по отдельному критерию и не позволяют тестировать одновременно по обоим критериям.

На основе проведенного анализа сформулирована задача разработки метода генерации алгоритмов AT, позволяющего повысить эффективность AT за счет организации тестирования по критериям, заданным разработчиком.

Во второй главе построены модели: модель описания процесса AT, модель предметной области, модель задания и модель обучаемого, которые использованы в процессе организации AT; для оценки параметров задания модифицирован метод Хука-Дживса, разработана структура алгоритма AT.

Для организации процесса AT разработана модель описания процесса AT (ATM), которая формируется на следующий:

ATM = <KD, LM, QM, AlgAT)>, где KD (Knowledge Domain) - модель предметной области; LM (Learner Model) - модель обучаемого; QM (Question Model) — модель задания; AlgAT- структура алгоритма AT.

Взаимосвязи между моделями описания процесса AT показаны на рис. 1.

quest - <contenl, a, b, TMax, answer>, где quest - модель задания; content - содержимое задания;

a - коэффициент дискриминации задания (discrimination)', b - уровень трудности задания (difficult)', TMax - максимальное время ответа на задание; answer - множество ответов на задание.

answer =<anSj, checkj,jC[I,mJ>, где m - количество ответов задания; ansj - содержимое j-oro ответа; check/ - признак правильности j-oro ответа {1,0}.

Основными параметрами задания являются коэффициент дискриминации задания и уровень трудности задания. Параметры задания для проведения AT могут быть получены путем статистической обработки результатов тестирования, проведенных классическим методом, т.е. когда получена информация об ответах выборки обучаемых на все задания из базы данных.

Для оценки параметров задания использован метод прямого поиска минимума функции нескольких переменных Хука-Дживса. Для сокращения времени оценки метод модифицирован, в него добавлен учет ограничений значений уровня трудности b и коэффициента дискриминации задания а (рис. 3).

Рисунок 3 - Модифицированный метод Хука-Дживса. Модель обучаемого (МО) используется для расчета и хранения оценок результатов тестирования. В модели хранится информация об обучаемом, его уровне способности и результатах тестирования:

LM = (PData, К, в. Result), 9

где LM-модель обучаемого;

PData - персональные данные обучаемого;

К = (К,-, i€[l,n]) - текущий уровень знаний обучаемого по пройденным тестам МПО;

в — уровень способности обучаемого (ability);

Result - интегральная оценка результатов тестирования.

Алгоритм AT описывает, как должна происходить адаптация в зависимости от МО и МПО. Тестирование на основе алгоритма AT выполняет следующие функции:

- анализ деятельности обучаемого;

- управление процессом тестирования на основе выбранных способов построения траектория тестирования;

- определение результатов тестирования, которое обычно сводится к выставлению оценки обучаемому.

Для вычисления уровня способности обучаемого используется стохастическая теория тестов (IRT-модель), для этого используется логарифмическая функция, описывающая зависимость вероятности правильного ответа обучаемого на задание от способности обучаемого и некоторых параметров заданий. Для измерения уровня знания обучаемого можно использовать различные модели усвоения учебного материала.

В третьей главе определены характеристики к организации AT, разработана классификация AT на основе выбранных характеристик, разработан шаблонный алгоритм Генерации Алгоритмов AT (ГААТ), построены матрицы ограничений на связи между значениями признаков классификации AT, определены ограничения классификационных признаков, разработан способ организации комплексного AT, разработана матрица совместимости способов построения траектория тестирования и метод генерации алгоритмов AT.

Проблемы организации AT обычно рассматриваются в двух аспектах: методическом и техническом. Методические аспекты связаны с решением педагогических и психологических вопросов, то есть организация тестирования рассматривается с точки зрения дидактики. Технический аспект связан, в свою очередь, с проблемой реализации цели тестирования, с выбором подходящего алгоритма для оценки контрольных работ.

Характеристики организации ачгоритмов AT. Проведен анализ существующих подходов к организации AT и показано, что можно выделить, по крайней мере, шесть характеристик, значения которых влияют на организацию AT:

- критерий AT определяет функции, которые AT будет выполнять;

- цель тестирования - важный фактор для организации AT, так как определяет назначение тестирования;

- правила окончания тестирования определяют условия завершения процесса тестирования;

- способ построения траектории тестирования определяет способ формирования набора заданий на основе обратной связи с обучаемым и

позволяет организовать проверку знаний индивидуально для каждого обучаемого, поддерживая оптимальный для обучаемого уровень трудности выдаваемых заданий, и формируя индивидуальные траектории тестирования;

- способ выбора первого задания определяет задание, с которого начинается процесс АТ;

- метод проверки результатов тестирования определяет порядок прохождения заданий в процессе тестирования.

Рассмотренные характеристики использованы как классификационные признаки при построении классификации АТ. Разработанная классификация является комбинированной, так как объединяет фасетный и иерархический принципы построения (рис. 4).

Шаблонный алгоритм АТ. На основе анализа подходов к организации АТ разработан шаблонный алгоритм ГААТ, определяющий основу процесса АТ и позволяющий разрабатывать алгоритмы, различающиеся способами реализации действий. Для выбора способа реализации каждого компонента шаблонного алгоритма ГААТ предлагается использовать разработанную классификацию АТ.

Шаблонный алгоритм ГААТ и категории классификации, используемые для выбора компонента, показаны на рис. 5. Выбор способов реализации компонента шаблонного алгоритм ГААТ осуществляет разработчик алгоритма в зависимости от исходных данных.

Матрицы ограничений на связи между значениями классификационных признаков. Для использования шаблонного алгоритма ГААТ необходимо определить ограничения на связи между значениями признаков классификации АТ, обусловленные возможностью их совместного использования.

В результате анализа возможностей взаимодействия значений признаков разработаны матрицы ограничений, позволяющие генерировать различные варианты алгоритмов АТ из значений признаков, не противоречащих друг другу (рис. 6).

Ограничения на связи классификационных признаков. Между классификационными признаками шаблонного алгоритма ГААТ существуют связи, выбор каждого признака не может осуществляться случайно, они влияют друг на друга и между ними существуют ограничения. На рис. 7 показаны возможные варианты использования матриц ограничений при построении отдельных стадий формирования алгоритма АТ.

Таким образом, шаблонный алгоритм ГААТ позволяет построить различные алгоритмы АТ как различные способы реализации шаблонного алгоритма ГААТ с учетом матриц ограничения.

Способы организации АТ. Как было сказано, существующие алгоритмы АТ позволяют проводить тестирование или только по учебному материалу (внешнее тестирование) или по уровню трудности задания (внутренне тестирование) (рис. 8). Для повышения адаптивности тестирования разработан способ организации тестирования, в котором тестирование проводится одновременно по двум критериям. Такой способ тестирования определён как комплексное АТ. При

использовании комплексного АТ тестирование учитывает оптимальную траекторию тестов, а набор заданий для усвоения каждого теста минимизируется.

Комплексное АТ позволяет одновременно осуществлять внешнее и внутреннее тестирование:

- организация внешнего АТ основана на модели предметной области с учетом взаимосвязей между проверяемыми тестами;

- организация внутреннего АТ позволяет формировать контрольные задания на основе параметров модели обучаемого.

-(Критерии АТ^-

1.1 Тестирование по учебному материалу I

1.2 Тестирование по уровню трудности задания

[ Цель тестирования

*\2Л Ранжирование тестируемых

2.2 Выявление уровня усвоения тестируемым {

г Правила окончания тестирования

Требуемый уровень

3.1 Точности измерений

3.2 Пределы измерений

3.3 Количество заданий I

Способ выбора первого зада!

-ра\

1ПЯ Г

3.4 Время тестирования

-М4.1 Случайное задание!

4.2 Задание, соответствующее с известными параметрами тестируемого

\ Способ построения траектории тестирования

ия^ *

5.1 Способ с помощью теории 1К.Т

5.2 Способ на основе байесовских сетей

5.3 Способ на основе теории конечных автоматов

5.4 Способ на основе цепей Маркова

5.5 Способ на основе сетей Петри |

5.6 Способ дифференцированного тестирования

Методы проверки езультатов тестирования

6.1 С постоянной адаптацией

—*\б.2 С блочной адаптацией

( ) классификационный признак | | значение классификационного признака Рисунок 4 - Комбинированная классификация АТ

Оценка эффективности алгоритмов А Т. Процесс АТ считается эффективным, если он обеспечивает индивидуализированное измерение знаний каждого обучаемого с помощью минимального по количеству набора заданий в минимальное время тестирования. Для оценки эффективности алгоритмов АТ предложено использовать два критерия: количество заданных заданий (длина тестирования) и время тестирования.

Построены 3 алгоритма АТ, различающиеся способом генерации: алгоритм 1 построен на основе теории ответа на вопрос (1ЯТ), алгоритм 2 реализует комплексное АТ, алгоритм 3 основан на теории конечных автоматов и алгоритм 4 реализует традиционное (не адаптивное) тестирование.

Для оценки эффективности алгоритмов в систему включен модуль статистики и анализа результатов. Разработанные алгоритмы хранятся в БД, результаты их использования обрабатываются, сохраняются и используются для оценки эффективности.

Для анализа эффективности алгоритмов была использована БД тестов, которая применяется на подготовительном факультете Волгоградского государственного технического университета (ВолгГТУ) для оценки уровня знаний русского языка иностранных студентов. Были сформированы четыре группы студентов (по семь человек) из Вьетнама, которые обучаются в ВолгГТУ, и прошли тестирование в системе.

По результатам тестирования (рисунок 12) алгоритмы ранжированы в зависимости от заданного критерия эффективности. Результаты анализа эффективности алгоритмов показаны в таблице.

Таблица - Оценка эффективности алгоритмов тестирования

Традиционное тестирование АТ

Алгоритм 4 Алгоритм 1 Алгоритм 2 Алгоритм 3

Длина тестирования (количество заданий в алгоритме) 30 21 19 23

Время тестирования, (мин.) 32.5 18.8 22.5 21.3

Анализ результатов тестирования показывает, что применение алгоритмов АТ (алгоритмы 1,2,3) позволяет сократить время тестирования на 24% (алгоритм 3), на 34% (алгоритм 1) и на 37% (алгоритм 2); длину тестирования на 31% (алгоритм 1), на 35% (алгоритм 3) и на 42% (алгоритм 2);

Таким образом, алгоритмы АТ являются более эффективными по обоим критериям в сравнении с алгоритмом не АТ (алгоритм 4). Алгоритм комплексного АТ (алгоритм 2) является лучшим из всех алгоритмов АТ как отдельным критериям, так и по совокупности двух критериев.

В заключении формулируются основные результаты диссертационной работы, выделяются возможные направления дальнейших исследований.

В Приложениях рассмотрены способы построения траектории тестирования, методы оценивания результата обучаемого и экранные формы среды разработки алгоритмов АТ.

Основные результаты работы: создан метод генерации алгоритмов АТ, реализована программная среда разработки алгоритмов АТ и показана эффективность метода:

1) проанализированы подходы АТ для контроля знаний, умений и навыков и их эффективность;

2) разработана модель АТ, включающая структуру алгоритма АТ, модель предметной области и модель обучаемого, которые позволяют персонифицировать представление учебного материала на основе модели обучаемого и реализовывать АТ, необходимые для обеспечения требований к процессу проверки знаний обучаемого;

3) разработана комбинированная классификация АТ;

4) разработан шаблонный алгоритм ГААТ, основанный на классификации АТ и построены матрицы ограничения;

5) предложен способ организации комплексного АТ, позволяющей оценить знания, умения и навыки обучаемого и создана матрица совместимости способов построения траектории тестирования комплексного АТ;

6) разработан метод генерации алгоритмов AT, основанный на шаблоном алгоритме ГААТ, позволяющий разрабатывать алгоритмы комплексного AT;

7) спроектирована и реализована программная среда разработки алгоритмов AT;

8) выбраны критерии оценки эффективности организации AT и показано повышение эффективности процесса AT за счет применения алгоритмов AT, разработанных в системе.

Публикации по теме диссертации Статьи в журналах, рекомендованных ВАК:

1. Данг, Хоай Фыонг Метод разработки алгоритмов адаптивного тестирования / Данг Хоай Фыонг, Камаев В.А., Шабалина O.A. // Известия ВолгГТУ. Серия «Актуальные проблемы управления, вычислительной техники и информатики в технических системах». Вып. 13 : межвуз. сб. науч. ст. / ВолгГТУ. - Волгоград,

2012. - № 4 (91). - С. 107-113.

2. Данг, Хоай Фыонг Среда разработки алгоритмов адаптивного тестирования / Данг Хоай Фыонг, Камаев В.А., Шабалина O.A. // Информатизация и связь. -

2013.-№2.-С. 107-110.

3. Данг, Хоай Фыонг Полное адаптивное тестирование / Данг Хоай Фыонг, Шабалина O.A. // Известия ВолгГТУ. Серия "Актуальные проблемы управления, вычислительной техники и информатики в технических системах". Вып. 17 : межвуз. сб. науч. тр. / ВолгГТУ. - Волгоград, 2013. - № 14 (117). - С. 75-82.

4. Данг, Хоай Фыонг Метод генерации алгоритмов комплексного адаптивного тестирования / Данг Хоай Фыонг, O.A. Шабалина // Перспективы науки. - 2013. -№ 9. — С.70-76.

Прочие публикации:

5. Данг, Хоай Фыонг Метод оценки параметров задания / Данг Хоай Фыонг // Современные проблемы гуманитарных и естественных наук [Текст] : материалы XVI международной научно-практической конференции 9 октября 2013 г. / Науч.-инф. издат. центр «Институт стратегических исследований». - Москва: Изд-во «Спецкнига», 2013, ISBN 978-5-91891-333-8. - С 32-35.

6. Данг, Хоай Фыонг Модель описания адаптивного тестирования / Данг Хоай Фыонг // Техника и технологии: роль и развитие современного общества: материалы II международной научно-практической конференции, г. Краснодар, 89 октября 2013 г. - Краснодар, 2013. - С. 23-26.

7. Данг, Хоай Фыонг Подход к организации адаптивного тестирования / Данг Хоай Фыонг // Актуальные вопросы современной науки: материалы VII международной научной конференции 24-25 октября 2013 г., г. Санкт-Петербург -Санкт-Петербург, 2013. - С. 76-79.

8. Данг, Хоай Фыонг Анализ характеристики организации адаптивного тестирования / Данг Хоай Фыонг // Актуальные вопросы современной техники и технологии: Сборник докладов XIII-й Международной научной конференции (Липецк, 25 октября 2013 г.). / Отв. ред. A.B. Горбенко. - Липецк: Издательский центр "Гравис", 2013. - С. 14-17.

Данг Хоай Фыонг

СРЕДА РАЗРАБОТКИ АЛГОРИТМОВ АДАПТИВНОГО ТЕСТИРОВАНИЯ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Подписано в печать 11.11. 2013 г. Формат 60 х 84/16. Бумага офсетная. Гарнитура Times. Усл. печ. л. 1,0. Тираж 130 экз. Заказ 300/11 .

Отпечатано с готового оригинал-макета заказчика в типографии издательства «Перемена» 400066, г. Волгоград, пр. им. В. И. Ленина, 27

Волгоградский государственный технический университет

На правах рукописи

Данг Хоай Фыонг

0420145510?

СРЕДА РАЗРАБОТКИ АЛГОРИТМОВ АДАПТИВНОГО ТЕСТИРОВАНИЯ

05.13.01 - Системный анализ, управление и обработка информации

(промышленность) 05.13.10 - Управление в социальных и экономических системах

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель: доктор технических наук, профессор Камаев Валерий Анатольевич

Научный консультант: кандидат технических наук, доцент Шабалина Ольга Аркадьевна

Волгоград -2013

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ............................................................................................................5

ГЛАВА 1 АНАЛИЗ СПОСОБОВ КОНТРОЛЯ ЗНАНИЙ..............................11

1.1 Процесс контроля знаний....................................................................11

1.2 Характеристики процесса контроля знаний......................................13

1.3 Методы контроля знаний....................................................................17

1.4 Адаптивное тестирование...................................................................22

1.5 Подходы к организации адаптивного тестирования........................23

1.6 Способы построения траектории тестирования...............................25

1.6.1 Способ с помощью теории Item Response Theory........................26

1.6.2 Способ на основе байесовских сетей.............................................26

1.6.3 Способ на основе теории конечных автоматов............................28

1.6.4 Способ на основе цепей Маркова..................................................29

1.6.5 Способ на основе сетей Петри.......................................................29

1.6.6 Способ дифференцированного тестирования...............................30

1.7 Критерии адаптивного тестирования.................................................31

1.8 Анализ существующих систем адаптивного тестирования............31

1.9 Результаты и выводы по главе............................................................34

ГЛАВА 2 РАЗРАБОТКА МОДЕЛИ АДАПТИВНОГО ТЕСТИРОВАНИЯ. 36

2.1 Модель описания процесса адаптивного тестирования..................36

2.2 Модель предметной области...............................................................37

2.3 Модель тестового задания..................................................................40

2.3.1 Параметры модели тестового задания...........................................42

2.3.2 Метод оценки параметров тестового задания..............................44

2.4 Модель обучаемого..............................................................................46

2.5 Структура алгоритма адаптивного тестирования.............................47

2.6 Результаты и выводы по главе............................................................50

ГЛАВА 3 РАЗРАБОТКА МЕТОДА ГЕНЕРАЦИИ АЛГОРИТМОВ АДАПТИВНОГО ТЕСТИРОВАНИЯ.........................................................................51

3.1 Характеристики адаптивного тестирования.....................................51

3.2 Разработка классификации адаптивного тестирования...................54

3.3 Разработка шаблонного алгоритма генерации алгоритмов адаптивного тестирования........................................................................................56

3.4 Матрицы ограничения и зависимости между компонентами шаблонного алгоритма генерации алгоритмов адаптивного тестирования.......58

3.5 Способ организации комплексного адаптивного тестирования.....63

3.6 Матрица совместимости......................................................................65

3.7 Метод генерации алгоритмов адаптивного тестирования...............66

3.8 Результаты и выводы по главе............................................................68

ГЛАВА 4 АВТОМАТИЗИРОВАННАЯ СИСТЕМА РАЗРАБОТКИ АЛГОРИТМОВ АДАПТИВНОГО ТЕСТИРОВАНИЯ.............................................70

4.1 Архитектура системы..........................................................................70

4.2 Реализация системы.............................................................................76

4.3 Апробация системы.............................................................................79

4.3.1 Разработка структуры БД «Русский язык как иностранный».....79

4.3.2 Постановка задачи на разработку алгоритма АТ.........................83

4.3.3 Разработка алгоритмов адаптивного тестирования в системе.... 84

4.3 Оценка эффективности предложенных модели и методов.............89

4.4 Результаты и выводы по главе............................................................92

Заключение..........................................................................................................93

Список литературы.............................................................................................95

Приложение А - Пример вычисления уровня знаний обучаемого.............107

Приложение Б - Экранные формы среды разработки в режиме проведения

тестирования................................................................................................................108

Приложение В - Экранные формы среды разработки в режиме анализа и

сбора данных................................................................................................................111

Приложение Г - Экранные формы среды разработки в режиме разработки МПО «Русский язык как иностранный»...................................................................113

Введение

В конце 20 века и в начале 21-го века, мир стал свидетелем беспрецедентного роста наук в компьютерных и коммуникационных областях. С ростом популярности персональных компьютеров и появлением глобальной компьютерной сети Интернет человек может получать различную формацию в различных областях.

Эти достижения также дают людям гораздо более благоприятные условия обучения, чем когда-либо прежде. Для обучаемых процесс обучение больше не связан со временем, пространством и географическим расстоянием. У обучающих теперь также гораздо больше возможностей в разработке учебных материалов, а также в контроле и помощи обучаемым. Учебную деятельность, основанную на использовании информационных, электронных технологий [1, 2], принято называть электронным обучением (Е-1еагп^).

В настоящее время существует большое количество систем электронного обучения. Контроль знаний является неотъемлемой частью системы электронного обучения, в которой знания обучаемого может объективно оценивать. В настоящее время применение тестирования в процесс контроля знаний, умений и навыков неуклонно расширяется.

Традиционный метод контроля знаний, основанный на проведении устного опроса, позволяет выбирать вопросы для каждого обучаемого, соответствующие уровню его способности. Однако когда количество обучаемых достаточно велико, этот метод требует больших человеческих и временных ресурсов.

Для организации контроля знаний также используют компьютерное тестирование с заранее разработанными наборами тестов. Для организации компьютерного тестирования необходима разработка базы тестовых заданий и специального программного обеспечения для проведения тестирования - системы компьютерного тестирования. Система задает задания обучаемому, а также выполняет анализ его ответов и выявляет окончательные результаты оценки обучаемого. Результат оценки обучаемого зависит от нескольких факторов, в первую очередь, от цели обучения и методов оценки, используемых в системе.

Такое тестирование имеет свои преимущества, которое заключается в

»

немедленной оценке результатов, и при этом многие обучаемые тестируются в одно то же время. Но для разных обучаемых одни и те же задания могу оказаться слишком легкими или слишком сложными, и это может сделать процесс тестирования скучным или наоборот вызвать стресс у обучаемого.

Несмотря на то, что уже разработано достаточно большое количество методов и алгоритмов компьютерного тестирования, наиболее адекватными являются методы адаптивного тестирования [3, 4]. Адаптивное тестирование позволяет преодолеть недостатки традиционного тестирования, и получать информацию о способностях обучаемого сразу, а также давать задание соответствующего уровня способности обучаемого. Оценка уровня способности обучаемого отличается тем, что каждое задание дается в соответствии с уровнем способности обучаемого, эта способность регулярно обновляется в процессе тестирования.

Сам процесс такого тестирования позволяет повысить эффективность и сокращение времени тестирования. Это, как правило, приводит к уменьшению числа заданий, времени, стоимости тестирования и к повышению точности оценок, полученных обучаемыми по результатам выполнения теста.

Сам процесс такого тестирования позволяет повысить эффективность и сокращение времени тестирования. Это, как правило, приводит к уменьшению числа заданий, времени, стоимости тестирования и к повышению точности оценок, полученных обучаемыми по результатам выполнения теста.

Эффективность применения адаптивного тестирования зависит от выбранного алгоритма адаптивного тестирования. В существующих алгоритмах адаптивного тестирования параметры определены заранее и не могут быть изменены, и возможности выбора алгоритма адаптивного тестирования ограничены. Поэтому актуальной является задача создания метода генерации алгоритмов адаптивного тестирования, удовлетворяющих требованиям разработчиков адаптивных тестов.

Степень разработанности темы исследования.

В настоящее время разработаны различные подходы к организации адаптивного тестирования, которые позволяют учитывать уровень трудности тестовых заданий или уровень способностей обучаемого. Исследованиями в области организации AT занимаются Соловов A.B., Шабалина O.A., Шмелев А.Г., Lord P.M., Львович Я.Е., Л.В. Зайцева, Астафьева В.П., Ивлева Е.В., Карпенко А.П., Доррер А.Г., Курзыбова Я.В., Комлев В.В., Дорофеев A.C., Герасимова И.Б., Маклакова Г.Г., Гагарина Л.Г., Арифов А.О., Пантелеев Е.Р., Шмелева И.А., Литвинов В.В. и др. AT реализовано в таких системах AT как «Кадис», «Телетестинг», «Киос», «Контакт/ос» и др. Однако алгоритмы, используемые в этих системах для организации адаптивного тестирования, являются встроенными, и адаптация к обучаемому осуществляется на основе одного жестко определенного в системе критерия, причем критерий не может быть изменен пользователем. Разработка алгоритмов организации адаптивного тестирования по заданным пользователем критериям адаптивного тестирования, учитывающих при этом взаимосвязи между ними, позволит осуществлять более точную адаптацию к обучаемым и повышать, таким образом, эффективность тестирования.

Цели и задачи работы является повышение эффективности организации процесса адаптивного тестирования за счет разработки метода генерации алгоритмов адаптивного тестирования и его реализации в программной системе.

Для достижения поставленной цели были сформулированы следующие задачи:

1) провести анализ современных подходов к организации адаптивного тестирования и систем, реализующих эти подходы;

2) разработать модель описания процесса адаптивного тестирования;

3) разработать метод генерации алгоритмов адаптивного тестирования;

4) реализовать модель и метод в программной системе;

5) оценить эффективность предложенных модели и метода для организации адаптивного тестирования.

Положения, выносимые на защиту:

1) модель описания процесса адаптивного тестирования, включающая модель предметной области, модель обучаемого, модель задания и структура алгоритма адаптивного тестирования;

2) комбинированная классификация способов организации адаптивного тестирования;

3) шаблонный алгоритм генерации алгоритмов адаптивного тестирования;

4) способ организации комплексного адаптивного тестирования;

5) метод генерации алгоритмов адаптивного тестирования;

6) среда разработки алгоритмов адаптивного тестирования.

Объектом исследования в диссертационной работе является процесс

адаптивного тестирования.

Предметом исследования является способы организации адаптивного тестирования.

Гипотеза исследования. Применение алгоритмов адаптивного тестирования, разработанным по заданным пользователем критериям адаптивного тестирования, повышает эффективность адаптивного тестирования.

Научная новизна:

1) разработана модель описания процесса адаптивного тестирования, включающая структуру алгоритма адаптивного тестирования, модель предметной области и модель обучаемого, которые позволяют персонифицировать представление учебного материала и реализовывать алгоритмы адаптивного тестирования, необходимые для обеспечения требований к процессу проверки знаний обучаемого;

2) впервые разработана комбинированная классификация адаптивного тестирования, объединяющая существующие способы адаптивного тестирования и математические модели, применяемые для их организации, в которой в качестве классификационных признаков используются все известные характеристики адаптивного тестирования;

3) впервые разработан шаблонный алгоритм генерации алгоритмов адаптивного тестирования, объединяющий известные алгоритмы адаптивного тестирования на основе классификации адаптивного тестирования и использующий матрицы ограничений;

4) разработан метод генерации алгоритмов адаптивного тестирования, основанный на шаблонном алгоритме генерации алгоритмов адаптивного тестирования и матрице совместимости способов построения траектории адаптивного тестирования, позволяющий разрабатывать алгоритмы на основе заданных критериев адаптивного тестирования;

5) предложен способ организации комплексного адаптивного тестирования, позволяющей повысить эффективность адаптивного тестирования.

Достоверность и обоснованность результатов. Достоверность результатов работы обеспечивается использованием современных методов проведения научных исследований, корректным использованием математического аппарата, а также результатами применения разработанных моделей и метода генерации алгоритмов адаптивного тестирования и программной системы, разработанных на их основе.

Практическая значимость работы заключается в разработке среды разработки алгоритмов, которые могут быть использованы в организации адаптивного тестирования.

Апробация работы. Основное положение и материалы диссертационной работы докладывались на научных семинарах кафедры «САПР и ПК» ВолгГТУ, а также на международных научных и научно-практических конференциях: IV международная научно-техническая конференция «Технологии разработки информационных систем» (г. Геленджик, 2013), II международная научно-практическая конференция «Техника и технологии: роль и развитие современного общества» (г. Краснодар, 2013), VII международная научно-практическая конференция «Актуальные вопросы современной науки» (г. Санкт-Петербург, 2013), XIII Международная научная конференция «Актуальные вопросы современной техники и технологии» (г. Липецк, 2013), XV международная

научно-практическая конференция «Современные проблемы гуманитарных и естественных наук» (г. Москва, 2013).

Публикации. По теме диссертации опубликовано 8 печатных работ, в том числе, 4 публикаций в журналах, рекомендованных ВАК, 4 статьи в сборниках трудов конференций.

Личный вклад автора. Личный вклад автора заключается в постановке целей и формулировке задач исследований, разработки методов решения поставленных задач, анализе полученных данных и их интерпретации, разработке программной системы, реализующей предложенные модели и методы.

Объем и структура работы. Диссертационная работа состоит из введения, четырёх глав с выводами, заключения, списка литературы, приложений. Общий объем диссертации 106 страниц, в том числе 30 рисунка, 16 таблиц, список литературы из 97 наименований.

ч

ГЛАВА 1 АНАЛИЗ СПОСОБОВ КОНТРОЛЯ ЗНАНИЙ 1.1 Процесс контроля знаний

Под обучением понимается процесс передачи и усвоения знаний, умений и навыков обучаемого [5]. Контроль знаний, умений и навыков обучаемых является важной составной частью процесса обучения. С точки зрения контроля знаний, умений и навыков в процессе обучения, в словаре Азимова Э.Г. и Щукина А.Н. [6] дается следующее определение: «контроль знаний» - это процесс измерения и выявление соответствия сформированного объема знаний обучаемыми, а также определения уровня владения умениями и навыками по сравнению с требованиями целей обучения.

С точки зрения обучения, контроль знаний играет роль "обратной связи" между учителем и обучаемым по уровню усвоения знаний в процессе обучения. С помощью контроля знаний можно получить информацию о состоянии обучаемого, которую можно использовать для оптимальной настройки процесса обучения для как обучаемых, так и учителей. Обучаемые узнают лучше, если они регулярно контролируются и оцениваются серьезно на основе компьютерных средств. Место контроля знаний в процессе обучения показано на рисунке 1.

Рисунок 1 - Место контроля знаний в процессе обучения

Контроль знаний представляет собой процесс измерения достижений обучаемых по сравнению с задачами учебного процесса, который позволяет получить качественные количественные результаты процесса обучения. Контроль знаний обеспечивает полноту, точность и прочность знаний, отношения между знанием с практикой и умение применять эти знания на практике. Результат обучения оценивается на основе анализа обратной связи (выполнение заданного задания), и сравнения с ожидаемыми критериями и требованиями к достижению желаемого результата.

Контроль знаний в процессе обучения представляет собой сложный процесс, который включает в себя следующие этапы (рисунок 2):

1) анализ целей обучения по знаниям, умениям и навыкам, что позволяет выявлять материал, который предст�