автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Марковская модель адаптивного тестирования и ее программная реализация в условиях дистанционного обучения

На правах рукописи

Ульянов Дмитрий Александрович

МАРКОВСКАЯ МОДЕЛЬ АДАПТИВНОГО ТЕСТИРОВАНИЯ И ЕЕ ПРОГРАММНАЯ РЕАЛИЗАЦИЯ В УСЛОВИЯХ ДИСТАНЦИОННОГО ОБУЧЕНИЯ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Иркутск-2005

Работа выполнена на кафедре вычислительной техники Иркутского государственного технического университета

Научный руководитель: кандидат технических наук, доцент

Кирий Виктор Григорьевич

Официальные оппоненты: доктор технических наук, профессор

Песошин Валерий Андреевич

кандидат физико-математических наук, доцент

Ступин Виталий Валерьевич

Ведущая организация: Московская государственная академия

приборостроения и информатики

Защита состоится 15 сентября 2005 г. в 14 часов на 5аседании диссертационного совета К212.070.03 при Байкальском государственном университете экономики и права по адресу: 664015, г. Иркутск, ул. К.Маркса, 24, корпус 9, зал заседаний Ученого совета.

С диссертацией можно ознакомиться в библиотеке Байкальского государственного университета экономики и права.

Автореферат разослан: 15 августа 2005 г.

Ученый секретарь диссертационного совета кандидат технических наук, доцент

Т.И. Ведерникова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Ограниченность по времени и большие объемы информации затрудняют освоение учебного материала, регламентируемого программами и образовательными стандартами подютов-ки специалистов различных отраслей. Такая технология поддержки учебного пропесса, как дистанционное обучение позволяет студентам изучать материал, строя процесс обучения и задавая темп получения знаний самостоятельно. Она дает возможность формировать обучающую среду исходя из различий в уровне подготовке и способностей к обучению.

Важной составляющей дистанционного обучения является контроль знаний. Несмотря на то, что к настоящему времени разработано достаточно большое количество методов и алгоритмов компьютерного тестирования, многие из них строя 1ся на субъективных оценках тестовых заданий. Наиболее адекватными являются методы адаптивного тестирования, при использовании которых, оценка сложности каждого задания получается пушм обработки статистической информации, что исключает субъективность конечной оценки знаний испытуемых. Сам процесс такого тестирования позволяет адаптировать тестовый контроль к уровню знаний юстируемого, что снижает время, затрачиваемое испытуемым на прохождение контрольных испытаний. Но и эти методы имеют недостатки, связанные с тем фактом, что они не учитывают зависимость между последовахелыгостыо ответов тестируемых. В связи с этим актуальной яв-ляекя проблема создания адекватных моделей адаптивного тестирования и их использование в условиях дистанционного обучения.

Целью данной работы является создание адекватной модели адаптивного тестирования для эффективного контроля знаний при дистанционном обученихт.

В соответствии с этой целью были поставлены следующие задачи:

1) усовершенствова гь модель адаптивного тестирования для учета зависимости между последовательностью ответов;

2) предложить метод определения параметров математической модели по экспериментальным данным;

3) разработать алгоритм адаптивного тестирования на основе усовершенствованной модели;

4) создать комплекс программ, реализующий разработанный алгоритм в условиях дистанционного обучения;

5) провести испытания по исподьзова! ^ лгоригма и

программного комплекса.

Методы исследования. В работе использованы методы теории вероятностей и математической статистики, в частности, методы теории марковских цепей, численные методы и методы объектно-ориентированного проектирования и программирования. Научная новизна.

1. Выполнено усовершенствование математической модели адаптивного тестирования, предложена модель последовательности ответов в виде марковской цепи.

2. Предложен способ использования аппарата марковских цепей для оценки уровня знаний при адаптивном тестировании.

3. Разработан алгоритм адаптивного тестирования для систем дистанционного обучения, основанных на стандарте БССЖМ, и выполнена его программная реализация.

4. Предложена методика проведения адаптивного тестирования с использованием разработанной модели в условиях дистанционного обучения.

5. Выполнена апробация предложенной методики.

Практическая значимость работы состоит в программной реализации предложенного алгоритма адаптивного тестирования. Разработанный программный комплекс позволяет создавать модули тестирования, которые могут быть использованы в курсах дистанционного обучения, разработанных в соответствии со стандартом БССЖМ, а также позволяет подготавливать тестирование, производить сбор и обработку статистической информации при тестировании.

Апробация работы. Основные результаты рабош были представлены на всероссийской конференции с международным участием на тему: "Информационные и телекоммуникационные технологии в науке и образовании Восточной Сибири", Иркутск, 2001; всероссийской конференции с международным участием на тему: "Информационные технологии в энергешке, экономике, экологии", Иркутск, 2002; на международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права» в г. Сочи, 2002; межрегиональном семинаре «Дистанционное обучение в высшей школе: модели и технологии», Санк1-Петербург, 2004; на семинарах в Иркутском государственном техническом университете и Байкальском государственном университете экономике и права в 2002 - 2004 гг.. Выполненные в рамках данной работы программные продукты отмечены дипломом выставки научных дебдг ИрГТУ в 2004 году.

« ч ' * ...

Результаты внедрения. Результаты работы внедрены в учебный процесс Иркутского государственного технического университета и Се-ленгинского медицинского училища. Имеются акты о внедрении.

Публикации. По результатам исследования опубликовано 7 работ, в том числе одна в зарубежной литературе.

Структура и объем работы. Диссертация общим объемом в 119 страниц состоит из введения, четырех глав, заключения, списка используемой литературы из 81 наименования, 3 приложений.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулирована цель, приведены задачи исследования, научная новизна диссертационной работы, выносимые на защиту научные положения и результаты, дана краткая аннотация работы.

В первой главе проводится анализ современных методов, используемых при контроле знаний тестируемых, программных средств проведения тестирования и стандартов в области дистанционного обучения. В этой главе обосновывается выбор вероятностной модели шстирования Бирнбаума.

В настоящее время для проведения контрольных испытаний помимо классических методов используются описанные в литературе методы: метод линейно-кусочной аппроксимации оценки знаний; метод, основанный на вычислении оценок совокупности признаков обучаемых; метод, основанный на алгоритме автоматизированного анализа структуры макромодели учебного материала; методы, основанные на теории ответа на вопрос (ШТ) и метод дифференцированного тестирования. Большинство проанализированных методов базируются на субъективной оценке сложности тестовых заданий, даваемых преподавателем, что сказывается на субъективности оценки знаний испытуемого, проходящего тестирование. Методы, использующие статистическую информацию для оценки параметров тестовош задания также имеют существенный недостаток, связанный с тем, что не учитывают зависимость между последовательностью ответов испытуемыми. В работе предлагается использовать вероятностную модель Бирнбаума (теория 1КГ) и модернизировать ее с помощью математического аппарата марковских цепей.

Анализ имеющихся программных средств проведения тестирования показал, что они слабо использую 1ся для контроля знаний через Интернет. В связи с широким развитием дистанционного обучения именно

через Интернет, и изучением существующих стандартов дистанционного обучения было принято решение о реализации структуры профаммного комплекса с учетом современных стандартов в этой области.

Во второй главе рассматривается выбранная модель адаптивного тестирования. Описывается проведение корреляционного анализа ответов студентов при адаптивном тестировании, показавший зависимость между последовательностью ответов, что послужило основанием для модернизации выбранной модели Бирнбаума математическим аппаратом марковских цепей. Здесь также предложено использовать метод максимального правдоподобия для оценки способное 1 и тестируемою на каждой итерации тестирования и метод Хука-Дживса для оценки парамефов вопросов при подготовке к адаптивному тестированию.

Согласно модели Бирнбаума, вероятность правильного ответа на заданный вопрос / зависит от способности тестируемого и трех следующих параметров: а, - параметр дискриминации вопроса; Ы - параметр сложности вопроса; с, - параметр угадывания.

При адаптивном контроле знаний под способностью юстируемого понимают латентные (в том числе психические) свойства личности. В общем виде вероятность правильного ответа зависит от множества свойств испытуемого, но в моделях 1еории ШТ рассматривается лишь одномерный случай, когда вероятность правильного ответа зависит только от способности тестируемого к освоению знаний в заданной предметной области. Практически в результате тестирования, оценка способности показывает уровень подготовленное!и студента по задаваемым ему вопросам. В данной теории эта оценка изменяется в интервале (-3, 3). Каждый вопрос / обладает своим набором параметров а,, Ь,, о. Эти параметры вычисляются, на основе статистических данных, полученных в результате проведения предварительного тестирования по эгим вопросам классическими методами.

Согласно модели, вероятность правильного ответа на вопрос I тестируемым / может быть выражена следующим образом:

где и, - ответ студента (и, =1, если ответ правильный, м,= 0 в противном случае); 0/ - оценка способности тестируемого).

По известным параметрам а,, Ь• и а для вопроса г для значении вероятности (1) можно построить фафик зависимости вероятности правильного ответа от способности тестируемых 6; (рис. 1).

1,00 р 0,80 -0,60 -0,40 -0,20 -

0,00 1---1-----Г--,---,-----Г0

-3-2-10 1 2 3

Рис. 1. График зависимости вероятности правильного ответа на вопрос от уровня способности студента при а, =2, Ь, =0, а =0,25.

При значении оценки способности, равной -3, значение функции (1) равно Си Это значит, что тестируемый, не зная ответ, может угадать вопрос с вероятностью с<. Параметр Ы определяет местоположение кривой на оси успеваемости, не меняя ее формы. Этот параметр определяет сложность вопроса. Не трудно заметить, что чем больше Ь,, тем меньше вероятность студенту с достаточно высоким уровнем успеваемости ответить правильно на вопрос, и наоборот, чем меньше Ъ,, тем эта вероятность выше. Параметр дискриминации вопроса йг определяет угол наклона касательной функции (1) в точке перегиба при =!л<. Он показывает насколько данный вопрос дискриминирует или насколько изменяется величина вероятности правильного ответа на вопрос между тестируемыми с разными уровнями успеваемости.

Алгоритм компьютерного адаптивного тестирования является итеративным (рис. 2) и имеет следующие шаги.

1. Задается начальное значение оценки способности тестируемого.

2. Повторяются шаги с 3-ого по 5-ый, пока не достигнут критерий остановки.

3. Все вопросы теста, которые еще не были заданы тестируемому, оцениваются для выбора наилучшего по текущей оценке способности.

4. Этот наилучший вопрос задается тестируемому, на который он отвечает,

5. Новая оценка способности тестируемого вычисляется на основе полученных ответов.

6. Полученная оценка способности используется для оценки знаний тестируемого по вопросам.

Рис. 2. Алгоритм адаптивного тестирования.

На первом шаге задается оценка способности испытуемого либо по результатам предыдущих испытаний, либо полагается средней для всех испытуемых. На втором шаге производится выбор наилучшего, определенного по заданным критериям, вопроса. Если вопрос является слишком сложным или слишком легким для тестируемого, это дает мало информации о его способности. Для получения более точных данных о способности необходимо задавать вопросы максимально приближенные по парамефам к оценке способности тестируемого.

Согласно теории ответа на вопрос в зависимости от оценки способности тестируемого 0, вычисляется значение функции информации для каждого вопроса г по формуле:

1 (в )__р.Чи? =\\вгаЛ>с.?

где р,(и]к) = 110,а1,Ь1,с1)- вероятность правильного ответа на вопрос г с заданными параметрами а,, Ь, и о на к-ом испытании (шаге тестирования); р/(и';к> = 11 в,а1 с,) - первая производная функции (1).

Таким образом, на шаге 1 алюритма адаптивного тестирования, функция информации /,(<9;) может быть вычислена для каждою из неза-

даппых вопросов из банка вопросов при текущей оценке способности. Наиболее распространенным подходом в выборе следующего вопроса является нахождение вопроса с максимальным значением этой функции.

В шаге 3 производится вычисление новой оценки способности тестируемого. В работе предлагается использовать метод максимального правдоподобия для оценки этой способности, т.е. находить такую оценку способности тестируемого в, при которой значение функции правдоподобия будет максимальным, т.е.

к-\

где и1",и(2),...,и(") - последовательность ответов; a,,bl,cl - известные параметры вопроса г, на который уже был получен ответ.

Проведенный корреляционный анализ последовательности ответов показал значимый коэффициент корреляции у целого ряда тестируемых, что позволило в данной работе предложить модель адаптивного тестирования в виде однородной простейшей марковской цепи для двоичной последовательности ответов.

Обозначив через и,'*' = I состояние, когда тестируемый на к-ом испытании отвечает правильно, а и[к) - 0 - состояние, когда он отвечает неправильно, переход системы из одного состояния в другое можно опи-caib простейшей однородной цепью Маркова, задаваемой с помощью матрицы переходных вероятностей:

р(р 00 М (4)

{Pia Р\ 1

где р00 - вероятность перехода от неправильного ответа к неправильному; р01 - вероятность перехода от неправильного ответа к правильному; р10 - вероятность перехода от правильного ответа к неправильному; рп -

вероятность перехода от правильного ответа к правильному.

В общем случае модель для анализа последовательности ответов должна учитывать зависимость матрицы переходов от вопроса, задаваемого тестируемому на каждом inaie. В данной работе предлагается более простая модель, математическим обоснованием для которой является использование закона больших чисел в виде теоремы Пуассона, согласно которой статистическая вероятнооь переходов остается неизменной при разных значениях верояшости на каждом шаге в условиях достаточно большою количества испытаний.

Кроме матрицы переходных вероятностей необходимо задать и начальное распределение вероятности правильных ответов на maie к=0 Р(и{щ= 1).

/ (в I и'*"1' = 01 =_РЛ = _ (7)

С учетом марковской зависимости изменяется модель Бирнбаума, где вероятность правильного ответа на вопрос г будет иметь вид:

р,(/» = 11=0,0) = с, +(1-с,)- 1 + г,Д(^0|) , (5)

р,(«<*> = 11 и^ = 1,0) = с, + (1 -С|) ■ 1 + ги\(в_Ь]1) , (6)

где с,, аО,, ¿0,, я1., ¿1, - параметры вопроса г.

С учетом марковской зависимости изменяется и процедура вычисления значения функции информации:

р'Хи^ =1\и(к~п =0,в)г

р^ =1\и{к'п =О,0Н1-Л(«(*) =1|и('"') =0,0))' если был получен неправильный ответ, и

п р',(и<к> =1\«™ =1,в)г

если ответ был правильным.

С учетом марковской зависимости изменяется и процедура вычисления функции максимального правдоподобия для оценки ¡екущего уровня знаний при адаптивном тестировании. Так, если при тестировании получен вектор ответов А = {и(1\иа),...,и'п)}, ю в случае модели Бирнбаума функция максимального правдоподобия вычисляется согласно (3), а в случае марковской - она будет име1ь вид:

■р(ит =1|ит,в)-...-р(и(п) = 1|и<пЧ),0)->тах.

Использование однородной марковской цепи является обобщением модели Бирнбаума. С помощью описанной модели можно вводить дополнительные характеристики процесса адаптивного тестирования, такие как вероятность первого возвращения процесса 1естирования в заданное состояние (начальное состояние) через к шагов, среднее количество шагов первого возвращения в заданное состояние и другие.

Для интервальной оценки уровня знаний испытуемого при адаптивном тестировании предлагается применить модель поглощающей цепи Маркова. Такая модель будет иметь четыре состояния, два из которых являются поглощающими, а именно, состояние 1 - неудовлетворительное и 4 - отличное. Состояние 2 показывает, что уровень тестируемого -«удовлетворительный», а состояние 3, что уровень «хороший».

Матрица переходных вероятностей при этом выглядит следующим образом:

1 2 3 4 1(1 О О О

4

О Ï

Р =2 Р 21 Ргг Р 2з 0 3 0 рп ¿>33 р34 4(0 О О 1

/

Особенность этой матрицы в том, что «троечник» не можег попасть в «отличники», а «хорошист» в «двоечники».

Предложенная математическая модель позволяет оценить качество теста не только по отношению к одному тестируемому, но и по отношению к нескольким тестируемым. Для такой модели могут быть вычислены математическое ожидание числа правильных ответов и, для к тес-шруемых, математическое ожидание числа неправильных ответов «0 для к тестируемых и другие.

Для оценки параметров вопросов по экспериментальным данным в работе предла1ается использовать метод наименьших квадратов, т.е. для каждого вопроса г параметры находятся путем минимизации следующей функции:

1де S - количество групп тестируемых с близкими оценками способности, участвующих в испытании; в] - статистическая оценка способности j-ой группы тестируемых, полученная но результатам ответов на все вопросы банка; al,bl,cl - вектор параметров вопроса, которые необходимо оцепить; р - статистическая вероятность ответа на вопрос i тестируемыми /ой группы. Для минимизации приведенной функции предлагается использовать модернизированный метод Хука-Дживса, позволяющий оцени ib параметры вопросов без нахождения значений производной функции (11).

Подобная процедура оценки параметров вопросов предложена в данной pa6oie и для марковской модели адаптивного тестирования.

В главе 3 приводится описание функционирования систем дистанционного обучения, построенных на стандарге SCORM, предлагается алгоритм адаптивного тестирования в условиях систем этого стандарта, приводится и обосновывается состав программного комплекса, описываются его части.

Согласно стандарту SCORM, любой курс состоит из пассивных элементов assets (графических материалов в виде gif или jpeg файлов,

s

(И)

И

мультимедийных элементов, Flash-заставок и г.п.) и разделяемых объектов контента (содержания) - SCO модулей. Такие модули представляют собой HTML файлы с встроенными скриптами, отвечающими за обмен информации этого модуля с системой управления обучением (LMS). Этот обмен осуществляется посредством встроенною в программы просмотра web-страниц языка Java Script и внедренного в браузер при загрузке модуля объекга API. Схема взаимодействия всех компонентов сисшмы дистанционного обучения стандарта SCORM приведена на рис. 3 и рис. 4.

Сервер ДО

Система ДО

запрос курса

О

БД курсов

БД системы [^дист. обуч.

загрузка курса'

Фрейм курса

Объект API

поиск объекта А"1 О

Клиент системы ДО - браузер

Рис. 3. Схема инициации взаимодействия компонентов системы дистанционного обучения стандарта БСОЯМ

| Сервер ДО

Система ДО

L

общение апплета с сервлетом

БД курсов

БД системы диет. обуч.

запросы к БД

Объект API

I______

Фрейм курса

обмен при помощи cmi

Клиент системы ДО - браузер

Рис. 4. Схема взаимодействия модуля SCO с системой ДО

Спецификация данных, которыми может обмениваться модуль с системой дистанционного обучения, описана в стандарте ЭСОИМ моделью спи. Так как объект АР1 является специфической реализацией для определенной системы управления обучением, механизм общения само-

го объекта API с такой системой не стандартизован. В рамках данной работы автором был разрабо1ан протокол общения объекта API с Java серв-летом, участвующим посредником при передаче информации между модулем SCO и системой.

Для реализации адаптивного 1естирования предлагается реализовать SCO модуль в виде страницы, содержащей фрэймы языка HTML. Файл, хранящий фреймовую структуру (Frameset) содержит не только реализацию обмена информацией с системой, как это осуществляется в реализации SCO модуля стандарта SCORM, но и функционал, позволяющий адаптивно выбирать нужные вопросы. Вопросы реализованы в виде отдельных HTML файлов, содержащих внешний вид самого вопроса и функцию selectedAnswer(), отвечающую за передачу информации об ответе на эюг вопрос тестируемым. Для навигации по вопросам реализован отдельный HTML файл operationFrame.html, загружаемый во второй фрейм (operationFrame) модуля тестирования. В этом навтационном окне присутствуют кнопки, подтверждающие выбор испытуемого и осуществляющие переход на следующий вопрос. Диаграмма взаимодействия внутри этой фреймовой структуры приведена на рис. 5.

Для обеспечения защиты информации от несанкционированного доступа (возможности узнать правильный ответ, просмотрев HTML самого вопроса), информация о правильных ответах на все вопросы хранится на сервере дистанционного обучения, и может быть получена из системы путем получения значения поля cmi.launch_data объектной модели cmi. В дополнение к правильным ответам там же хранится информация и о параметрах вопросов. При старте тестового модуля эта информация загружается в массив. При вычислении функции информации для всех вопросов с параметрами, хранящимися в данном массиве, с помощью приведенного выше алгоритма и осуществляется выбор наиболее подходящего вопроса для испытуемого на данном тиаге тестирования.

Рис. 5. Алгоритм адаптивного тестирования в системе дистанционного обучения стандарта вСОЯМ

Разработанный программный комплекс включает в себя следующие части.

1. Редактор тестов, обеспечивающий создание тестирующих модулей для проведения контроля знаний.

2. Программа подготовки тестирования, сбора и обрабохки статистической информации резулыаюв тестирования и оценки параметров вопросов.

3. Программа проведения тестирования, которая реализована в виде отдельной прикладной программы и в виде функционального модуля

для обеспечения адаптивного тестирования в условиях систем дистанционного обучения, основанных на стандарте БССЖМ.

В четвертой главе предложена методика использования разработанного комплекса программ, описывается практическое применение предлагаемого программного комплекса на основе статистических данных, полученных при тестировании студентов Иркутского государственного технического университета по дисциплине «Объектно-ориентированное программирование» и учащихся Селенгинского медицинского училища по дисциплине «Сестринское дело при инфекционных заболеваниях». Использование разработанного программного комплекса адаптивного тестирования на основе марковских цепей позволяет получать адекватные результаты при контроле знаний.

В заключении приведены основные результаты, полученные в ходе диссертационного исследования.

В приложении содержатся статистическая информация о тестировании студентов Иркутского государственного технического университета по дисциплине «Объектно-ориентированное программирование», код программной реализации алгоритма адаптивного тестирования в системах дистанционного обучения, построенных на стандарте БСОИМ, статистическая информация о тестировании учащихся Селенгинского медицинского училища по дисциплине «Сестринское дело при инфекционных заболеваниях».

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

1. Обосновано применение и предложена модернизация вероятностной модели Бирнбаума для оценки способности тестируемых.

2. Предложена процедура оценки способности тестируемого на каждом шаге с помощью принципа максимального правдоподобия.

3. Создан алгоритм адаптивного тестирования для систем дистанционного обучения, построенных на стандарте БССЖМ.

4. Разработан комплекс программ подготовки и проведения тестирования, в том числе в системах, основанных на стандарте БСОИМ.

5. Предложена методика использования разработанного комплекса при тестировании студентов разных специальностей.

6. Проведена апробация комплекса программ при тестировании студентов и учащихся разных специальностей.

и

СПИСОК ОСНОВНЫХ РАБОТ, ОПУБЛИКОВАННЫХ П

ДИССЕРТА1Г

1. Ульянов Д.А., Кирий В.Г. Использова]

зовании. Повышение эффективносп РНБ Русский фонд обучающихся // Материалы 2-<

методической конференции. - Иркутс 2006~4

2. Кокоуров В.И., Ульянов Д.А., Лебед< формационных технологий при pea. 1 Ut- I JL онного обучения. Пример реализащ

SCORM // Научные труды V Международной научно-практическои конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права». - Сочи. - 2002. - Книга «Информатика». - С. 74-77.

3. Кирий В.Г., Ульянов Д.А. Корреляционный анализ ответов на вопросы при адаптивном тестировании // Вестник ИрГТУ. - Иркутск. -2003. - № 3-4 (15-16). - С. 125-128.

4. Ульянов Д.А. Методика адаптивного тестирования в системах дистанционного обучения. // Современные информационные технологии в науке и образовании. Сборник докладов и тезисов молодежной научно-практической конференции / Под общ. Ред. Горленко A.M. - Изд-во ИрГТУ. - Иркутск. - 2004. - С. 91-92.

5. Ульянов Д.А. Элементы адаптивного тестирования в системе дистанционного обучения, основанною на стандарте SCORM // Вестник ИрГТУ. - Иркутск. - 2004. - №1 (17) - С. 154-156.

6. Кирий В.Г., Ульянов Д.А., Применение марковской модели для оценки уровня знаний при адаптивном тесгировании // Вестник ИрГТУ. -Иркутск. - 2004. - №3 (19) - С. 21-26.

7. Ulyanov, Dmitriy Av Implementation of Computer Adaptive Testing in SCORM-Based Distance Education Environment. Proceedings of the 3rd International Conference on Education and Information Systems: Technologies and Applications. EISTA '04. - Orlando, FL. -2004. - vol. 4 - pages 9496.

Подписано к печати 11 07 05 Формат 60x84/16. Уч.-изд.л. 1. Тир. 100экз. Зак. 362 Поз. плана 18н.

ИД №06560 от 26 12.2001г. Иркутский государственный технический университет 664074, г. Иркутск, Лермонтова, 83 16

ВВЕДЕНИЕ.

ГЛАВА I. МЕТОДЫ И СТАНДАРТЫ ПРИ КОМПЬЮТЕРНОМ ОБУЧЕНИИ И КОНТРОЛЕ ЗНАНИЙ.

1.1. Методы оценки знаний при компьютерном обучении.

1.1.1. Метод линейно-кусочной аппроксимации оценки знаний.

1.1.2. Метод, основанный на вычислении оценок совокупности признаков обучаемых.

1.1.3. Метод, основанный на алгоритме автоматизированного анализа и обработки структуры макромодели учебного материала

1.1.4. Методы, основанные на теории ответа на вопрос (IRT).

1.1.5. Метод дифференцированного тестирования.

1.2. Системы создания тестов и проведения тестирования.

1.3. Стандарты в области образовательных технологий.

1.4. Выбор и обоснование модели и структуры программного комплекса.

1.5. Выводы.

ГЛАВА II. МОДЕЛЬ ТЕСТИРОВАНИЯ И МЕХАНИЗМ АДАПТАЦИИ

2.1. Корреляционный анализ ответов на вопросы при адаптивном тестировании.

2.2. Марковская модель оценки способности при адаптивном тестировании.

2.3. Метод максимального правдоподобия для оценки способности тестируемого.

2.4. Использование метода Хука-Дживса для оценки параметров вопросов.

2.5. Выводы.

ГЛАВА III. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ КОМПЛЕКСА ДЛЯ АДАПТИВНОГО ТЕСТИРОВАНИЯ.

3.1. Функционирование системы дистанционного обучения с использованием стандарта SCORM.

3.2. Алгоритм адаптивного тестирования в условиях системы дистанционного обучения.

3.3. Состав комплекса и алгоритм его функционирования при адаптивном контроле знаний.

3.3.1. Программная реализация редактора курсов.

3.3.2. Программная реализация модуля проведения тестирования

3.3.3. Реализация программы подготовки, сбора и обработки статистической информации при тестировании.

3.4. Выводы.

ГЛАВА IV. РЕЗУЛЬТАТЫ ОПЫТНОЙ ЭКСПЛУАТАЦИИ

ПРОГРАММНОГО КОМПЛЕКСА АДАПТИВНОГО ТЕСТИРОВАНИЯ

4.1. Методика применения программного комплекса для адаптивного тестирования.

4.2. Адаптивное тестирование студентов технического вуза по дисциплине «ООП».

4.3. Адаптивное тестирование учащихся медицинского училища по •> дисциплине «Сестринское дело при инфекционных заболеваниях» '(

4.4. Выводы.

Актуальность темы. Ограниченность по времени и большие объемы информации затрудняют освоение учебного материала, регламентируемого программами и образовательными стандартами подготовки специалистов различных отраслей. Такая технология поддержки учебного процесса, как дистанционное обучение позволяет студентам изучать материал, строя процесс обучения и задавая темп получения знаний самостоятельно. Она дает возможность формировать обучающую среду исходя из различий в уровне подготовке и способностей к обучению.

Важной составляющей дистанционного обучения является контроль знаний. Несмотря на то, что к настоящему времени разработано достаточно большое количество методов и алгоритмов компьютерного тестирования, многие из них строятся на субъективных оценках тестовых заданий. Наиболее адекватными являются методы адаптивного тестирования, при использовании которых, оценка сложности каждого задания получается путем обработки статистической информации, что исключает субъективность конечной оценки знаний испытуемых. Сам процесс такого тестирования позволяет адаптировать тестовый контроль к уровню знаний тестируемого, что снижает время, затрачиваемое испытуемым на прохождение контрольных испытаний. Но и эти методы имеют недостатки, связанные с тем фактом, что они не учитывают зависимость между последовательностью ответов тестируемых. В связи с этим актуальной является проблема создания адекватных моделей адаптивного тестирования и их использование в условиях дистанционного обучения.

Целью данной работы является создание адекватной модели адаптивного тестирования для эффективного контроля знаний при дистанционном обучении.

В соответствии с этой целью были поставлены следующие задачи:

1. усовершенствовать модель адаптивного тестирования для учета зависимости между последовательностью ответов;

2. предложить метод определения параметров математической модели по экспериментальным данным;

3. разработать алгоритм адаптивного тестирования на основе усовершенствованной модели;

4. создать комплекс программ, реализующий разработанный алгоритм в условиях дистанционного обучения;

5. провести испытания по использованию разработанного алгоритма и программного комплекса.

Методы исследования. В работе использованы методы теории вероятностей и математической статистики, в частности, методы теории марковских цепей, численные методы и методы объектно-ориентированного проектирования и программирования.

Научная новизна. 1. Выполнено усовершенствование математической модели адаптивного тестирования, предложена модель последовательности ответов в виде марковской цепи.

2. Предложен способ использования аппарата марковских цепей для оценки уровня знаний при адаптивном тестировании.

3. Разработан алгоритм адаптивного тестирования для систем дистанционного обучения, основанных на стандарте SCORM, и выполнена его программная реализация.

4. Предложена методика проведения адаптивного тестирования с использованием разработанной модели в условиях дистанционного обучения.

5. Выполнена апробация предложенной методики.

Практическая значимость работы состоит в программной реализации предложенного алгоритма адаптивного тестирования. Разработанный программный комплекс позволяет создавать модули тестирования, которые могут быть использованы в курсах дистанционного обучения, разработанных в соответствии со стандартом SCORM, а также позволяет подготавливать тестирование, производить сбор и обработку статистической информации при тестировании.

Апробация работы. Основные результаты работы были представлены на всероссийской конференции с международным участием на тему: "Информационные и телекоммуникационные технологии в науке и образовании Восточной Сибири", Иркутск, 2001; всероссийской конференции с международным участием на тему: "Информационные технологии в энергетике, экономике, экологии", Иркутск, 2002; на международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права» в г. Сочи, 2002; межрегиональном семинаре «Дистанционное обучение в высшей школе: модели и технологии»,

Санкт-Петербург, 2004; на семинарах в Иркутском государственном техническом университете и Байкальском государственном университете экономике и права в 2002 - 2004 гг. Выполненные в рамках данной работы программные продукты отмечены дипломом выставки научных работ ИрГТУ в 2004 году.

Результаты внедрения. Результаты работы внедрены в учебный процесс Иркутского государственного технического университета и Селенгинского медицинского училища. Имеются акты о внедрении.

Публикации. По результатам исследования опубликовано 7 работ, в том числе одна в зарубежной литературе.

1. Ульянов Д.А., Кирий В.Г., Использование компьютерных сетей в образовании. Повышение эффективности познавательной деятельности обучающихся // Материалы 2-ой международной научно-методической конференции. -1999. - Вып. 3. - С. 57-59.

2. Кокоуров В.И., Ульянов Д.А., Лебедев К.С. Применение новых информационных технологий при реализации платформы дистанционного обучения. Пример реализации с использованием стандарта SCORM // Научные труды V Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права». - 2002. - Книга «Информатика». - С. 74-77.

3. Кирий В.Г., Ульянов ДА. Корреляционный анализ ответов на вопросы при адаптивном тестировании // Вестник ИрГТУ. - 2003. - № 3-4 (15-16). - С. 125-128.

4. Ульянов Д.А. Методика адаптивного тестирования в системах дистанционного обучения. // Современные информационные технологии в науке и образовании. Сборник докладов и тезисов молодежной научно-практической конференции / Под общ. Ред. Горленко A.M. - Изд-во ИрГТУ. - Иркутск. - 2004. - С. 91-92. Ульянов Д.А. Элементы адаптивного тестирования в системе дистанционного обучения, основанного на стандарте SCORM // Вестник ИрГТУ. - 2004. - №1 (17) - С. 154-156.

Кирий В.Г., Ульянов Д.А., Применение марковской модели для оценки уровня знаний при адаптивном тестировании // Вестник ИрГТУ. - 2004. - №3 (19) - С. 21-26.

Ulyanov, Dmitriy A., Implementation of Computer Adaptive Testing in SCORM-Based Distance Education Environment. Proceedings of the 3rd International Conference on Education and Information Systems: Technologies and Applications. EISTA '04. - 2004. - vol. 4 -pages 94-96.

4.4. ВЫВОДЫ

Предложенная программная реализация модели адаптивного тестирования апробирована при контроле знаний как в средних, так и высших учебных заведениях. Использование методов обработки статистических данных о результатах тестирования, предложенных в данной главе, может быть распространено и на другие области. В частности, подобная методика проведения тестирования может быть использована при проведении ежегодных аттестаций рабочих по вопросам безопасности жизнедеятельности, аттестации и переаттестации персонала в медицинских учреждениях.

ЗАКЛЮЧЕНИЕ

В рамках данной работы сделан обзор литературы по методам и , моделям тестирования, выбрана и обоснована вероятностная модель тестирования Бирнбаума, проведен корреляционный анализ, результаты которого показали необходимость учета связи между последовательностью ответов, в следствие чего была предложена модернизация модели Бирнбаума математическим аппаратом марковских цепей.

На основе проведенного анализа стандартов, используемых в системах дистанционного обучения, выполнена программная реализация предложенной модели, являющаяся частью комплекса подготовки и проведения тестирования. Разработанный комплекс позволяет проводить тестирование в различных системах обучения.

Для решения задачи оценки параметров вопросов, как для выбранной модели Бирнбаума, так и предложенной марковской модели, был использован численный метод Хука-Дживса. Этот метод используется в программе сбора и обработки статистической информации о результатах тестирования, разработанной в рамках данной работы.

Использованные при разработке программного комплекса средства позволили создать удобную пользовательскую среду для разработки информационного и тестового наполнения курсов дистанционного обучения, а также позволили реализовать проведение тестирования, как в условиях локального компьютера, так и в условиях компьютерной сети.

Разработанная в рамках данной работы марковская модель тестирования позволит более адекватно проводить оценку знаний при тестировании, а разработанный программный комплекс создавать курсы с тестовыми модулями, позволяющими проводить адаптивное тестирование по этой модели в SCORM-совместимых системах.

Использование предложенных механизмов адаптивного контроля знаний в системах дистанционного обучения повысит привлекательность этих систем за счет использования более эффективных методик тестирования.

Полученные научные и практические результаты нашли применение при тестировании студентов факультета кибернетики ИрГТУ и учащихся Селенгинского медицинского училища. Эти результаты также могут быть использованы при проведении тестового контроля знаний и аттестаций в различных областях, таких как медицина, автотранспорт, авиация, и др.

1. Бендова Л.В., Карпов В.Н., Шмелев А.С. Менеджмент в дистанционном образовании. Маркетинг образовательных услуг. Под ред. Бендо-вой Л.В. МИМ ЛИНК, 2000.

2. Ульянов Д.А., Кирий В.Г., Использование компьютерных сетей в образовании. Повышение эффективности познавательной деятельности обучающихся // Материалы 2-ой международной научно-методической конференции. 1999. - Вып. 3. - С. 57-59.

3. Прокофьева Н.О., Зайцева Л.В., Куплис У.Г. Компьютерные системы в дистанционном обучении // Телематика 2001 - Санкт-Петербург, 2001.-с. 109 -111.

4. Зайцева Л.В. Оценка знаний обучаемых в АОС// Методы и средства кибернетики в управлении учебным процессом высшей школы. Рига: Рижский политехнический институт, 1987. - с. 86-92.

5. Зайцева Л.В., Ницецкий Л.В., Новицкий Л.П. Автоматизированная обучающая система Контакт/ОС: Учебное пособие. М., 1982. -108 с.

6. Журавлев Ю.И., Никифоров В.В. Алгоритмы распознавания, основанные на вычислении оценок.// Кибернетика. 1971. - №3 - с. 1-11.

7. Львович Я.Е., Рындин А.А., Долгих Д.Б. Автоматизация проектирования компонентов дистанционного обучения и диагностики качества знаний специалистов для сети ИНТЕРНЕТ. http://www.e-joe.ru/sod/98/398/stl09.html Извлечено 10.10.04

8. Дружинин В.Н. Экспериментальная психология. СПб: Издательство «Питер», 2000.

9. Rudner, L.M. Item Response Theory, http://edres.org/irt/ Извлечено 03.08.04

10. Birnbaum, A. Some latent trait models and their use in inferring an examinee's ability. Part 5 in F.M. Lord and M.R. Novick. Statistical Theories of Mental Test Scores. Reading, MA: Addison-Wesley, 1968.

11. Hambelton, R.K., and Swaminathan, H. Item Response Theory: Principles and Applications. Hingham, MA: Kluwer, Nijhoff, 1984.

12. Lord, F.M. Application of Item Response Theory to Practical Testing Problems. Hillside, NJ: Erlbaum, 1980.

13. Wright, B.D., and Mead, R.J. BICAL: Calibrating Items with the Rash Model. Research Memorandum No. 23. Statistical Laboratory, Department of Education, University of Chicago, 1976.

14. Wright, B.D., and Stone, M.A. Best Test Design. Chicago: MESA Press, 1979.

15. Baker, F.B. The Basics of Item Response Theory. ERIC Clearinghouse on Assessment and Evaluation, 2001.

16. Петрик Ю.С. и др. Возможности дифференцированной оценки качества знаний студентов в процессе их адаптивного тестирования

17. Грушецкий С.В., Рудинский И .Д. Построение модели адаптивного тестирования с использованием элементов теории графов. http://sputnik.mto.ru/Docs41/Mateduconf/doc/4617.html Извлечено: 01.03.2005.

18. Дуплик С. В. Модель адаптивного тестирования на нечеткой математике. // «Информатика и образование» №11/2004.

19. Печенежский Н.А., Маслов А.А, Модель системы компьютеризированного адаптивного тестирования. // Труды конференции ВИРТ-202

20. Кривуля Г ., Пиженко И ., Шкиль А . Проверка знаний при дистанционном обучении // Образование и виртуальность -2001. Харьков -: УАДО, 2001. - С .212-219.

21. Мельникова М.Б. Теория и практика конструирования педагогических тестов. М.: Логос, 2002. - 410 с.

22. Баранов В. Ю. Леоненко Л. Л. «Свободный» ответ на компьютерный тест // КП диск. — №5,2004.

23. Аршинский Л.В., Христюк И.М., Ширяева Н.К. Контроль знаний по математике с использованием тестов на ЭВМ. // Труды Восточно

24. Сибирской зональной межвузовской конференции по математике и проблемам ее преподавания в вузе. ИГЛУ, Иркутск. -1999.

25. Аршинский Л.В., Баранов С.А. Векторное оценивание в системах автоматизированного контроля знаний. // Бизнес-образование в условиях глобализации мировых процессов: Тез. докл. Иркутск: БИБММ ИГУ. -1999.

26. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. М.: Информационно-издательский дом «Филинъ», 2003. - 616 с.

27. Гудков П.Г. Рынок учебных компьютерных программ в 1997 году: итоги и перспективы // Сборник тезисов VII конференции ИТО-98, секция 2,1998. С. 18-19.

28. Гудков П.Г. Рынок учебных компьютерных программ в 1998 году: взлет и падение // Сборник тезисов VIII конференции ИТО-98/99, направление К, 1999. С. 73-74.

29. Гудков П., Калмыков Ю. Обзор российского рынка учебных компьютерных программ // F1. -1998. №5. - С. 30-33.

30. Зайцева Л.В., Новицкий Л.П., Грибкова В.А. Разработка и применение автоматизированных обучающих систем на базе ЭВМ. — Рига. Зинатне, 1989. -174 с.

31. Беспалько В. П. Основы теории педагогических систем. Воронеж: Издательство Воронежского университета, 1977.

32. Пугачев А. А. Адаптивные компьютерные обучающие системы // Материалы международной научно-практической конференции

33. Информационные технологии в науке и образовании». Шахты, 2001. С. 29-31.

34. Пугачев А.А., Проектирование и разработка АКОС// Информационные системы в энергетике: Сб. мат. научного семинара — Иркутск, 2001. С. 160-172.

35. Леоненко Л. Л., Поддубный Г. В. Теория подобия конечных последовательностей и ее приложение к распознаванию образов // Автоматика и телемеханика. М., 1996. - №8. - С. 119 -131.

36. Норенков И.П. Отчет о научно-исследовательской работе «Система критериев качества учебного процесса для дистанционного образования», 2002.http://www.engineer.bmstu.ru/resources/science/0201002.htm Извлечено: 05.08.2004

37. Draft Standard for Learnjng Object Metadata. IEEE 1484.12.1-2002/ -http://ltsc.ieee.org/ Извлечено 05.08.2004

38. Shareable Content Object Reference Model. Version 1.2. ADL Initiative, 2001. http://www.adlnet.org/ Извлечено 10.10.2003

39. Евсеев B.B., Алехина C.B., Евсеева И.В. Выбор релевантного алгоритма оценивания знаний обучаемых в системе дистанционного обучения. // Сб. научных трудов конференции ВИРТ-2003, 2003.- с.311-315.

40. Панченко А.А. Методические указания для преподавателей ДВГУПС по конструированию и статистической обработке тестов. 2000. http://www.dvgups.ru/MetDoc/test/Test2.htm Дата извлечения: 15.12.2003

41. Евсеев В.В., Безуглая А.Е., Алехина С.В. Методы формирования оценки знаний в системах дистанционного обучения // Сб. научных трудов 6-й Международной конференции Украинской ассоциации дистанционного обучения. Харьков - Ялта: 2002. - С. 372-376

42. Кирий В.Г., Ульянов Д.А. Корреляционный анализ ответов на вопросы при адаптивном тестировании // Вестник ИрГТУ. Иркутск. -2003. - № 3-4 (15-16). - С. 125-128

43. Белоус И.В., Пархоменко С.А. Методы математической статистики для анализа тестовых результатов // Вестник ХГТУ №1 (14), 2002. С. 544 - 545

44. Вентцель Е.С. Теория вероятностей // М.: Наука, 1964

45. Вентцель А .Д. Курс теории случайных процессов. М.: Наука, 1996. -320 с.

46. Комени Дж., Снелл Дж. Конечные цепи Маркова. М.: Наука, 1982. -320 с.

47. Романовский В.И. Дискретные цепи Маркова. Гостехиздат. 1949.

48. Крамер Г., Лидбеттер М. Стационарные случайные процессы. М.: Мир. 1969. - 400 с.

49. Натан А.А. Случайные процессы: Учебное пособие. М.: изд. МФТИ, 1978. -118 с.

50. Розанов Ю.А. Введение в теорию случайных процессов. М.: Наука, 1979. -1984 с.

51. Миллер Б.М., Панков А.Р. Теория случайных процессов в примерах и задачах. М.: ФИЗМАТЛИТ, 2002. - 320 с.

52. Кирий В.Г., Ульянов Д.А., Применение марковской модели для оценки уровня знаний при адаптивном тестировании // Вестник Ир-ГТУ. Иркутск. - 2004. - №3 (19) - С. 21-26.

53. Крамер Г., Математические методы статистики, перевод с английского, М., 1948

54. Рао С. Р., Линейные статистические методы и их применения, перевод с английского, М., 1968.

55. Летова Т.А., Пантелеев А.В. Экстремум функций в примерах и задачах. М.: Изд-во МАИ, 1998.

56. Небольшая коллекция методов оптимизаций. Серия "Математика в техническом университете" под редакцией Зарубина, Крищенко. http://nsft.narod.ru/Programming/colmetopt.html Извлечено: 20.01.2005

57. HyperText Markup Language (HTML) Home Page. http://www.w3.org/MarkUp/ Извлечено: 12.12.2004.

58. M. Холл, Л. Браун. Программирование для WEB. Библиотека профессионала. : Пер. с англ. М. : Издательский дом «Вильяме», 2002. -1264 с.

59. Матросов А., Сергеев А., Чаунин М. HTML 4.0 в подлиннике. -BHV-СПб, 2002. 672 с.

60. Штайнер Г. HTML/XML/CSS. Лаборатория Базовых Знаний, 2001. -512 с.

61. Флэнаган Д. JavaScript. Подробное руководство, 4-е издание. Символ-Плюс, 2004. - 960 с.

62. Уилтон П. JavaScript. Основы. Символ-Плюс, 2002. -1056 с.

63. Гудман Д. JavaScript. Библия пользователя (4-е издание). Вильяме, 2002. -960 с.

64. Вайк A. JavaScript: Полное руководство. 4-е издание. Вильяме, 2004.-720 с.

65. Н.М. Deitel, P.J.Deitel. Java. How to program. Third edition. 1999

66. Понамарев В. COM и ActiveX в Delphi. BHV-СПб, 2001. - 320 с.

67. Лалани С., Чандэк Р. Библиотека программиста ActiveX. -Попурри, 1999. 624 с.

68. Ульянов Д.А. Элементы адаптивного тестирования в системе дистанционного обучения, основанного на стандарте SCORM // Вестник ИрГТУ. Иркутск. - 2004. - №1 (17) - С. 154-156

69. Розенберг Д., Скотт К. Применение объектного моделирования с использованием UML и анализ прецедентов. ДМК, 2002. -160 с.

70. Боггс У., Боггс М.- UML и Rational Rose. Лори, 2001. - 582 с.

71. Мацяшек Л. Анализ требований и проектирование систем. Разработка информационных систем с использованием UML. Вильяме, 2002.-432 с.

72. Г. Буч, Дж. Рамбо, А. Джекобсон. Язык UML. Руководство пользователя. Питер, 2001. - 430 с.

73. Ларман К. Применение UML и шаблонов проектирования (2-е издание). Вильяме, 2002. - 624 с.

74. Фаулер М., Скотг К. UML. Основы (2-е издание). Символ-Плюс, 2001. -192 с.

75. Амриш К., Ахмед X. Разработка корпоративных Java-приложений с использованием J2EE и UML. Вильяме, 2002. -272 с.

76. Лишнер P. Delphi. Справочник. Символ-Плюс, 2001. - 640 с.

77. Фленов М.Е. Библия Delphi. BHV-СПб, 2004. - 880 с.

78. Хомоненко A. Delphi 7 в подлиннике. BHV-СПб, 2003. -1216 с.