автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Математическая модель интерпретации результатов компьютерного тестирования с использованием марковских сетей

На правах рукописи

Юрьев Григорий Александрович

МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ИНТЕРПРЕТАЦИИ РЕЗУЛЬТАТОВ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ С ИСПОЛЬЗОВАНИЕМ МАРКОВСКИХ СЕТЕЙ

05.13.18 - Математическое моделирование, численные методы и комплексы программ 05.13.01 - Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

15 к;ол 2013

Москва - 2013

005531683

005531683

Работа выполнена на кафедре прикладной информатики и мультимедийных технологий ГБОУ ВПО г. Москвы «Московский городской психолого-педагогический университет».

Научный руководитель:

доктор технических наук, профессор Куравский Лев Семёноич

Научный консультант:

доктор физико-математических наук, доцент, Амосов Григорий Геннадьевич

Официальные оппоненты:

Орлов Юрий Николаевич, доктор физико-математических наук, доцент, ведущий научный сотрудник Института прикладной математики им. М.В. Келдыша РАН

Новик Константин Валерьевич, кандидат физико-математических наук, доцент кафедры информатики Московского физико-технического института

Ведущая организация: ФГБУН Институт системного анализа РАН.

Защита диссертации состоится « 11» октября 2013 г. в 15 час. 00 мин. на заседании диссертационного совета Д 212.125.04 при ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)»: по адресу: 125993, г. Москва, А-80, ГСП-3, Волоколамское шоссе, д. 4.

С диссертацией можно ознакомиться в библиотеке МАИ по адресу: 125993, Москва, Волоколамское шоссе, дом 4.

Автореферат разослан «_» ¿¿¿£,¿>7 2013 г.

Учёный секретарь

диссертационного совета Д 212.125.04, кандидат физико-математических наук

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Компьютерное психологическое тестирование в настоящее время широко используется в различных областях практической деятельности с целью диагностики, определения уровня способностей и пригодности испытуемых для выполнения тех или иных функций. Качество тестирования и достоверность его результатов в значительной степени зависят от технологий проведения тестов, которые в последние десятилетия стали предметом активных научных исследований.

Проблемная ситуация определяется:

- выявленными противоречиями между необходимостью оценивания результатов тестирования и отсутствием достаточно эффективных математических моделей и методов, позволяющих осуществлять подобную оценку;

- недостаточной надёжностью оценок, получаемых с помощью распространённых моделей тестирования знаний;

- отсутствием средств коррекции результатов, полученных путём целенаправленного несанкционированного вмешательства в процесс компьютерного тестирования.

Актуальность темы диссертации обусловлена необходимостью решения задачи создания современных моделей и алгоритмов автоматизированного адаптивного психологического тестирования, обладающих возможностями использования при построении оценок информации о времени прохождения тестовых заданий, обеспечивающих фильтрацию результатов тестирования от последствий несанкционированного целенаправленного вмешательства, определение надёжности оценок уровня способностей и оптимизацию процедуры тестирования. Результаты диссертационного исследования были получены в рамках работ по выполнению Городской целевой программы развития образования «Столичное образование-5» (2009-2011 гг., раздел 4.3.3.4) и Государственной программы «Развитие образования города Москвы» (2012-2016 гг., мероприятие ОЗДО8ОО).

Цель работы - разработка математических методов и алгоритмов интерпретации результатов адаптивной психологической диагностики умений, навыков и способностей с помощью марковских моделей, использующих при построении оценок информацию о времени прохождения тестовых заданий и обеспечивающих фильтрацию результатов тестирования от последствий несанкционированного целенаправленного вмешательства, определение надёжности оценок уровня способностей и оптимизацию процедуры тестирования. Компьютерное тестирование при этом рассматривается как одна из форм натурного эксперимента. В соответствии с поставленной целью были решены следующие задачи:

- разработана модель адаптивного тестирования способностей, интерпретация результатов которого основана на использовании обучаемых структур в форме марковских моделей;

- разработаны методы идентификации марковских моделей адаптивного тестирования и оценки степени их адекватности данным натурного эксперимента;

- разработаны средства устранения артефактов, искажающих результаты адаптивного тестирования с использованием марковских моделей;

- разработано специальное математическое обеспечение системы поддержки принятия решений для психологического тестирования;

- созданы комплексы программ, реализующие предложенные подходы.

Методологические основы п методы исследования. Для решения поставленных задач использовались методы математического моделирования, теории управления, теории принятая решений, статистические и численные методы.

Различные аспекты исследуемой проблемы рассматривались в работах Г. Раша, J1.C. Куравского, М Б. Челышковой, Ю.М. Неймана, В.А. Хлебникова, В.И. Михеева, Г. Крамера, Ю.А. Тюменевой, Д.А. Ульянова , А. И. Субетто, О.В. Михнева, Н.Т. Минко, А.Н. Майорова, П.Ф. Лазарсфельда, В Н. Дружинина, J1.A. Овчарова, Н.С. Фоминовой, T.J1. Саати, Д. Дёр-нера, А. Анастази, В.С.Аванесова, С.И. Панарина, АИ. Кибзуна, В.И. Васильева, A.B. Борисова и др., послужив теоретической и методологической основой проведённой работы. На защиту выносятся следующие научные результаты:

- математическая модель интерпретации результатов адаптивного тестирования навыков и способностей;

- методы численного решения задачи идентификации марковских моделей адаптивного тестирования и оценки степени их адекватности данным натурного эксперимента;

- метод численного решения задачи устранения артефактов, искажающих результаты тестирования, построенный на основе оптимальной линейной фильтрации;

- специальное математическое обеспечение системы поддержки принятия решений для психологического тестирования;

- комплексы программ, реализующие предложенные подходы. Научная новизна заключается:

1) в новой математической модели адаптивного тестирования, основанной на использовании обучаемых марковских сетей;

2) в методах численного решения задачи идентификации используемых моделей и оценки степени их адекватности данным натурного эксперимента;

3) в методе численного решения задачи устранения артефактов, искажающих результаты тестирования, который построен на основе оптимальной линейной фильтрации;

4) в особенностях построения математического и программного обеспечения систем компьютерного моделирования, созданных на основе предложенного подхода.

Практическая значимость диссертационной работы заключается в возможности создания на основе разработанных в ходе проведения исследования теоретических положений и практических рекомендаций автоматизированных комплексов адаптивного тестирования знаний и умений, позволяющих получать более надёжные оценки исследуемых характеристик за меньшее время.

Достоверность результатов исследований подтверждается оценкой адекватности полученных результатов с помощью статистических критериев согласия и успешной практической реализацией на основе полученного подхода двух систем адаптивного тестирования и системы поддержки принятия решений, созданных в виде конкретных технических устройств и программно-аппаратных комплексов.

Апробация. Теоретические положения и результаты исследования были представлены и одобрены на следующих конференциях, выставках и семинарах: «Нейрокомпьютеры и их применение - 2011, -2012» (Москва, 2011, 2012), «Новые информационные технологии» (г. Судак, 2011), «Молодые учёные - столичному образованию» (Москва, 2010), «Молодые учёные - нашей новой школе» (Москва, 2011), INTERCOMP-2011(Вена, Австрия, 2011), Всероссийских выставках научно-технического творчества молодёжи «НТТМ» (Москва, 2010, 2011, 2012), Международной конференции по диагностике и технологиям предотвращения отказов оборудования (International Conference on Condition Monitoring and Machinery Failure Prevention Technologies: Эдинбург, 2008; Стратфорд-он-Эйвон, 2010; Кардифф, 2011; Лондон, 2012), DAGStat (Дортмунд, Германия, 2010).

Получены два российских патента на полезные модели «Устройство для моделирования адаптивного тестирования когнитивных способностей испытуемого» и «Система поддержки принятия решений для психологического и педагогического тестирования».

Результаты работы были отмечены премиями Президента РФ по поддержке талантливой молодёжи за проекты «Технология адаптивного тестирования с использованием марковских моделей и мобильный робот для оценки когнитивных способностей, созданный на её основе» («НТТМ-2011») и «Мобильный тестирующий робот» («НТТМ-2012»); медалью «За успехи в научно-техническом творчестве» («НТТМ-2012»); дипломом II степени за лучшую научную работу, представленную на XX Международной студенческой школе-семинаре «Новые информационные технологии» (2011); дипломом за лучшую научную работу, представленную на X всероссийской научной конференции «Нейрокомпьютеры и их применение», за проект «Программная реализация теста когнитивных способностей на базе новой концепции адаптивного тестирования»; почётной грамотой РАЕН за лучшую научную работу, представленную на IX конференции «Нейрокомпьютеры и их применение» (2011).

Внедрение результатов исследования. Результаты исследования внедрены в учебный процесс факультета информационных технологий ГБОУ ВПО г. Москвы «Московский городской психолого-педагогический университет» и использованы при создании программно-аппаратного комплекса для поддержки принятия решений для психолого-педагогического тестирования, разработанной в указанном университете, что подтверждено соответствующим актом.

Личный вклад автора состоит в разработке технологии моделирования, методов, алгоритмов, программно-аппаратных и программных комплексов, составляющих содержание диссертации, а также в проведении компьютерного тестирования испытуемых, сборе и обработке данных натурного эксперимента. Лично автором и при участии автора выполнена подготовка публикаций по представленной работе.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Диссертация содержит 108 страниц основного текста (27 рис., 13 табл.), состоящего из введения, четырёх глав, заключения, списка использованной литературы.

Во введении обоснована актуальность проблемы, сформулированы цель и задачи исследования, определены объект, предмет и методы исследования, дана общая характеристика работы.

Далее проанализированы современные математические модели и методы адаптивного тестирования и указаны достоинства и недостатки различных моделей, применяемых в исследуемой области.

В заключение делается вывод о том, что перечисленные проблемы делают актуальной разработку новых технологий тестирования.

Востребованность новых идей и результатов в этой области особенно велика сейчас, учитывая, что значительная часть применяемых в России тестовых психологических методик по ряду объективных причин, включая недостаток финансовых ресурсов, не прошла процедур стандартизации и проверки валидности. Это не позволяет считать тесты, построенные на базе этих методик, корректными измерительными инструментами и диктует спрос на технологии, обеспечивающие стандартизацию, а также проверку надёжности и валидности при минимальных финансовых затратах. Результаты, полученные в данной диссертации, указанным требованиям удовлетворяют.

Первая глава посвящена описанию математических моделей адаптивного тестирования и процедуры оценки его результатов.

Оценка вероятностей различных уровней знаний или способностей проводится по результатам тестирования с использованием параметрических математических моделей, опи-

сывающихся марковскими случайными процессами с дискретными состояниями и непрерывным или дискретным временем и обеспечивающих выбор сложности очередного теста.

Модели для описания динамики переходов между состояниями с непрерывным временем представляются ориентированными графами, в которых вершины соответствуют состояниям, а дуги соответствуют переходам, для которых выполняются свойства пуассонов-ских потоков событий. Можно показать, что в этих потоках число событий X, попадающих в любой временной интервал длины т, начинающийся в момент (, распределено согласно закону Пуассона:

где Р,,г(Х = т) - вероятность появления т событий в течение рассматриваемого интервала, a(t, т) - среднее число событий, попадающих в интервал длины г, начинающийся в момент времени I. Рассматриваются только стационарные потоки, в которых a(l,r)=i]r, a r/=const есть интенсивность стационарного потока. Упомянутые выше предположения о свойствах потоков событий обычны для прикладных задач, так как эти потоки (или потоки, близкие к ним по свойствам) часто встречаются на практике благодаря предельным теоремам для потоков событий.

Для интерпретации результатов тестирования используются марковские процессы с и дискретными состояниями и непрерывным временем, для которых заданы начальные распределения вероятностей и наблюдаемые частоты пребывания в состояниях процессов №d)i=О п 8 моменты времени {td}£i=0 D_1, где D - количество моментов времени, в которые фиксировались частоты Fid; 0 < td <Т;Т- конечный момент времени. Интенсивности переходов между состояниями являются неизвестными (свободными) параметрами. Динамика изменения вероятностей пребывания в состояниях этого процесса определяется системой уравнений Колмогорова в матричной форме:

где 0 < t < Т, p(t) = (p0(t), •••, Рп(0)т - вероятности пребывания в состояниях процесса, А = (Aj,...,Яд,...,A~_j)r - интенсивности переходов между состояниями, п > тп + 1, М - матрица интенсивностей переходов между состояниями порядка п + 1.

Значения свободных параметров определяются путем сравнения наблюдаемых и прогнозируемых гистограмм, описывающих распределения частот пребывания в состояниях модели, а именно: вычисляются значения, обеспечивающие наилучшее соответствие наблюдаемых и ожидаемых частот попадания в определенное состояние системы в заданные моменты времени. При этом определяется набор интенсивностей X, обеспечивающий наименьшее

значение статистики Пирсона X2 = ■ гДе ^ ~ Эта статистика

используется как мера соответствия модели наблюдениям. Марковские модели с непрерывным временем и свободными параметрами, идентифицируемые по данным наблюдений, называются сетями Маркова.

Доказано, что, при выполнении ряда общих условий, значения указанной статистики X', получаемые при подстановке истинных решений, асимптотически описываются распределением х~ с п-1 степенями свободы, где / - число определяемых параметров, причем вычисленные значения свободных параметров при увеличении объема выборки сходятся по вероятности к искомому решению. Это позволяет использовать статистику Пирсона для проверки гипотезы о том, что полученный прогноз согласуется с результатами наблюдений. Достаточные условия существования и единственности значений идентифицируемых параметров.

Как трудности заданий, так и способности испытуемых измеряются в единой безразмерной шкале логитов, выражающей соотношение долей правильных и неправильных ответов. Перевод в шкалу логитов осуществляется по формуле 1п (г/(1-г)), где г — вероятность правильного выполнения задания. В случае оценки трудности этот параметр характеризует возможность выполнения определённого задания для всего множества испытуемых, а в случае оценки способностей - результаты определённого испытуемого для всего множества допустимых заданий.

Для описания того, как вероятности нахождения в заданных состояниях изменяются со временем, применяются сети и цепи Маркова, организованные по так называемой схеме «гибели и размножения» (рис. 1). Эта схема представляет собой конечную цепь из п+1 состояния, в которой переходы из состояния Л(- (к^О, к^п) возможны только в предшествующее состояние Хк-1 или В следующее ПО порядку состояние Хк+1. Из состояний Хо и х„ доступны только состояния XI и х„./, соответственно. Если обозначить верхнюю и нижнюю границы диапазона возможных значений трудности заданий как и 0,„р, состояние хо соответствует интервалу от £>»„, до С*(,,+(£>,0;,-£>4<)/)/(л+1), состояние дг; - интервалу от А,0,+(£Ц,-Оы)/(л+1) до Д4„,+2(А„^-Ол„,)/(и+1), и т.д.

Ло А1с Ли-1

ДГо ... Хы хк Хк+1 ... Х„-1 Хп

Хо~ ^к-1 ^к КА

Сеть Маркова, представляющая процесс тестирования с непрерывным временем: {х,},.(>, ,„ состояния марковского процесса, Я = (Яр, ■■•, Яд,..., - интенсивности переходов

между состояниями.

1- 71 1 1 'Як 1-Я 1-Я„

Цепь Маркова, представляющая процесс тестирования с дискретным временем: {х,}/-о,. .п

состояния марковского процесса, п = (7Г0,..., 7ГП)Г — вероятности переходов Рис.1. Структура сети и цепи Маркова.

Процедура адаптивного тестирования выполняется для определения вероятностных оценок принадлежности испытуемого к заданным уровням способностей {с^=0.....г. Она заключается в последовательном предъявлении испытуемому задач, трудность которых определяется состоянием сети или цепи Маркова, в котором он находится в данный момент. Если испытуемый, находясь в состоянии хн решает задачу, он переходит в состояние хв противном случае — в состояние х,./. По завершении тестирования он оказывается в одном из состояний X', наилучшим образом соответствующих его уровню способностей. Адаптивный принцип выбора очередного задания заключается в выборе задачи, трудность которой соответствует уровню способностей испытуемого. Согласно проведённым наблюдениям и результатам современной теории тестирования это обеспечивает наилучшую дифференциацию испытуемых по уровню их способностей.

Идентификация марковских моделей с непрерывным временем проводится по выборкам испытуемых, отдельно для каждого из рассматриваемых уровней способностей. Каждому уровню способностей с, при этом ставится в соответствие свой уникальный набор оценок параметров модели Я, что позволяет в дальнейшем выявлять значение этого показателя, наилучшим образом согласующегося с наблюдениями.

Для выполнения численной процедуры идентификации задаются система уравнений = М(Я)р , начальные условия р(0), начальное приближение А.0, наблюдаемые частоты

№<1)1=0 п-1 пребывания в состояниях модели, шаг интегрирования Д( для численного ре-

9

шения системы уравнений и точность оценки. В результате её выполнения определяется вектор X, доставляющий минимум функционалу А'2(Я) =

Применяемый метод обеспечивает вычисление оценки градиента VX2(X) в точке текущего приближения Xі, при этом значения p(td,A) определяются путём численного решения задачи Коши для системы уравнений = М(Л)р с заданными начальными условиями, а коррекция текущего приближения задаётся выражением А.і+1 — Xі — hVX2(X'), где h -шаг градиентного метода. Условия завершения и продолжения вычислительного процесса определяются результатами проверки неравенств X2(Xl+1) < Л>2(Я1) и ||Л' — Х'+1|| > <Г.

Второй метод численной идентификации параметров моделей построен на использовании финитного преобразования используемого для перехода от системы дифференциальных уравнений к системе алгебраических. Определим параметрическое финитное интегральное преобразование непрерывной функции pit) следующим образом:

F{q,V{t)) = ГрСОе-«1 dt = P(q,T). J о

Выражение для финитного преобразования ~~ имеет вид:

в-^Л = Рте-*Г - р(0) + ЧР(Ч,Т) = Яч.Т) + чР(ч.Т).

Применив данное преобразование к приведённой выше системе уравнений Колмогорова, получаем следующее матричное уравнение:

(М(Л)-ЧЕ)Р(С7,Г) =ПЛ,П где ({я, Т) = е-,тр(Т) - р(0), Р(д, Г) = (Р0(<Ь Т) •• РМ. Т")У. Е - единичная матрица. Это уравнение позволяет вычислять оценки Р(д, Г) при известных числовых значениях X и сопряжённой переменной (/. При этом значения компонентов вектора р(Г) заменяются соответствующими аппроксимирующими наблюдаемыми частотами {Ри}(=о,...,п-

Для получения новых независимых уравнений последняя матричная зависимость дифференцируется по сопряжённой переменной д:

-НЧ.Т) + (М(А) = где« = -Те-1тр(Т).

Последние уравнения позволяют сформулировать следующее утверждение. Утверждение 1. Вероятности пребывания в состояниях марковской модели, представленной системой уравнений ~~ — М(Л)р с начальными условиями р(0), в момент времени Т при заданных значениях сопряжённой переменной <? и интенсивностей переходов X определяются результатами финитных преобразований Р

р(7\<?Д) = -^[-PCi.D + (М(Х) - qE)^^

dq ї

Это утверждение даёт возможность проводить идентификацию компонентов X путём численного решения задачи многомерной оптимизации с приведённым выше критерием X2, который при достаточно общих предположениях распределён как х2 с п — т — 1 степенями

ЗР (<7,Г)

свободы. При этом для вычисления ——— используется конечно-разностная аппроксимация

дГ(а.Т) Р(ч+Д?.Г)-Р(а.П „ „

—= ——^—. Для получения решения с приемлемой точностью оказались достаточными градиентные методы. Известное распределение указанного критерия позволяет строить количественные статистические оценки степени согласованности наблюдаемых частот {Ри}|=0 п и компонентов векторов р(Гй, прогнозируемых по результатам идентификации.

Проведённые расчёты показали, что численная идентификация с использованием финитного преобразования требует меньшего объёма вычислений, однако приводит к менее точным результатам, что обусловлено, в первую очередь, относительно высокими погрешностями при конечно-разностной аппроксимации производных.

Зная состояние модели, в котором оказался тестируемый после решения последнего предложенного ему задания, и рассчитав с помощью дифференциальных зависимостей, заданных уравнениями Колмогорова, вероятность нахождения в этом состоянии в заданный момент времени для каждого из рассматриваемых уровней способностей, можно оценить вероятности различных уровней способностей при условии пребывания в указанном конечном состоянии по формулам Байеса:

р(д®= ГС'>тС1) '

ЪР(Ск)Р(5\Ск) к=1

где С, - событие, связанное с наличием у тестируемого /-го уровня способностей (1=1,...,г), 5 - событие, связанное с нахождением в заданном конечном состоянии модели в заданный момент времени, /усу - априорная вероятность появления /-го уровня способностей у тестируемого, Р(5\С,) - вероятность нахождения в заданном конечном состоянии модели в заданный момент времени при наличии /-го уровня способностей, Р(С,- вероятность /-го уровня способностей при условии нахождения в заданном конечном состоянии модели в заданный момент времени.

Уровень способностей, при котором достигается наибольшая условная вероятность Р(С^ | $ = тах{Р(С 1., даёт искомую оценку. Распределение вероятностей {Р(С, 1_,

которое является результатом решения задачи, позволяет оцепить степень надёжности полученного решения.

Во второй главе рассматривается построенный на основе оптимальной линейной фильтрации численный метод устранения артефактов, искажающих результаты адаптивного тестирования с использованием марковских моделей.

Появление в истории ответов испытуемого искажающих результаты артефактов, обусловленных подсказками, угадыванием и другими формами некорректного целенаправленного вмешательства в процедуру испытаний является одной из наиболее серьёзных проблем, возникающих в процессе тестирования. Разработанная технология позволяет бороться с этими явлениями, устраняя артефакты на основе сравнения наблюдаемых и прогнозируемых результатов ответов на вопросы для разных уровней способностей испытуемых. В качестве инструмента для сопоставления используется фильтр Катана - нестационарная система с обратной связью, включающая в себя как составную часть формирующий фильтр, воспроизводящий идеализированную модель поведения.

В случае рассматриваемого варианта адаптивного тестирования наблюдаемый процесс представляет историю пребывания в состояниях марковских моделей. Он выражается вектором \(t)=(X(it)ji(t\...rxJ,t))T, в котором в каждый момент времени один и только один из компонентов x,(l), i=0.....и, соответствующий состоянию, где находится испытуемый, равен единице, а остальные компоненты равны нулю. В свою очередь, исследуемый информационный процесс P(t)=(po(t\pi(t), - ,РМ)Г представляет динамику изменения вероятностей пребывания в состояниях модели.

Уравнения информационного и наблюдаемого процессов, используемые при построении многомерного непрерывного фильтра Калмана для моделей рассматриваемого типа, имеют следующий вид:

— = МР, x(r)=P(0+v(i), dt

где на случайные ошибки наблюдений v(/) накладываются условия E(v(/))=0 и E(v(/)vT(r))=R6(/-r), матрица формирующего фильтра M порядка п+1 есть

'-■К Л" • • • о о 4 Л,* -(Л++Л~) К 0 0

о о АК+К) I о о

оо.. -С, -(K-1+K-i) К-\ о . . . я;_2 -л;_ь

a R - симметричная положительно определённая матрица, которую мы далее будем полагать не зависящей от времени. Начальные условия Р(0)=(0,0,...,0,1,0,.,.,0)г представляют факт

нахождения испытуемого в момент начала тестирования в одном из средних состояний процесса. Особенностями данной модели являются отсутствие информационного шума, равенство размерностей информационного процесса и процесса наблюдений и единичная матрица наблюдений. При проведении численных расчётов эта матрица заменяется на одну их своих

выборочных оценок R, полученных для каждого из рассматриваемых уровней способностей на основе результатов наблюдений.

Дифференциальное уравнение фильтра Калмана, определяющее несмещённую оценку исследуемого процесса Р(t) = (p0(t),pl(t),...,pll(t))T с минимальным средним квадратом ошибки e(t)=P(/)- p(f), представляется в виде:

^=МР(0+к,(0(х(')-Р(0). dt

где Кс(') - матричный коэффициент усиления фильтра, Р(0) =Р(0).

В классическом случае коэффициент усиления задаётся уравнением

кл^иоде-1,

в котором ковариационная матрица ошибок И(0=Е(е(/)ет(0) является решением одной из матричных форм уравнения Риккати:

^^ = мш)+и(0мг - u(0R"'u(0. dt

Процедура устранения артефактов сводится к численному интегрированию матричного уравнения Риккати и уравнения фильтра Калмана (для получения решения с приемлемой точностью оказались достаточными методы Рунге-Кутты и их эквиваленты). Для оценки ковариационной матрицы ошибок U(0) используются следующие предположения: Е(е(0))=О, компоненты вектора ошибок фильтрации е(0) статистически независимы, дисперсии компонентов вектора ошибок фильтрации е(0) пропорциональны соответствующим дисперсиям компонентов случайного шума наблюдения >(/).

Поскольку в рассматриваемой задаче компоненты оценки информационного процесса P(í) представляют собой нормированные величины - вероятности пребывания в состояниях сети Маркова с суммой, равной единице, - необходима коррекция коэффициента усиления Кс(0, обеспечивающая поддержание данного условия.

Если нормализующее условие £pt(t) = I выполняется в начальный момент времени

ы о

1=0, а правая часть уравнения фильтра Калмана такова, что при 1>0 обеспечивается равенство то уКазанпое нормализующее условие выполняется в любой момент времени

*=о dt

(>0. Очевидно, что условие - о равносильно равенству нулю суммы компонентов

*=о &

вектора, заданного матричным выражением МР(() + Кс(г)(х(/)-Р(<)) • Поскольку нулевая сумма компонентов вектора МР(<) обеспечивается приведённой выше структурой матрицы М, то для равенства нулю суммы компонентов всего указанного матричного выражения необходимо и достаточно нулевой суммы компонентов вектора КД/)(х(/)-Р(0) •

Сумма компонентов вектора х(/)-Р(/) равна нулю по условиям рассматриваемой задачи, так как эти величины интерпретируются как вероятности. Учитывая данный факт, можно доказать, что достаточным условием нулевой суммы компонентов вектора Кс(/)(х(/)-Р(<)) является равенство сумм элементов матрицы Кс (г) во всех её столбцах. Таким образом, если матричный коэффициент усиления КД/) в уравнении фильтра Калмана заменить на близкий к нему нормализованный коэффициент Кц(') с равными во всех столбцах суммами элементов, то условие У^£1 = о будет выполнено. Матрицу К„(() можно пом Л

лучить, домножив справа матрицу Кс(() на диагональную матрицу В, элементы которой вычисляются по формуле:

Ъш

, _ 1,т=0

где -у-й диагональный элемент матрицы Б; кы, 1,т=0,... ,п, - элементы матрицы К,.((); ку -сумма элементов в^м столбце матрицы Кс(<)- Т.о., доказано следующее утверждение.

Утверждение 2. Если условие ^рк(!) = \ для компонентов решения уравнения = рр(г) + К„ (<){х(г) - Р(')) выполнено при 1=0, то оно верно при любом 1>0 .

л

Замена Кс(0 на К„(0 корректна, если К„(/)=и(/)К"1В лежит в допустимых границах вариаций коэффициента К^/), обусловленных ошибками выборочных оценок матрицы И, что проверяется с помощью подходящих критериев согласия. В частности, для этого можно:

- сгенерировать множество выборочных оценок ковариационной матрицы К, соответствующих доверительным интервалам для заданного объёма выборки Дг,

- ВЫЧИСЛИТЬ, ИСПОЛЬЗУЯ ЭТИ ОЦеНКИ, выборку Матриц (Кш(/)},,/.. л/,

- вычислить выборочное распределение евклидовой нормы разностей {¡Кш.(/)-КД()||£ },=,_ и классического и нормированного коэффициентов усиления.

- учитывая, что полученное выборочное распределение при достаточно большом числе элементов в матричных коэффициентах усиления приблизительно соответствует нормальному, построить для него выборочные оценки математического ожидания и дисперсии и оценить вероятность р превышения евклидовой нормы разности |К.(0-К,(/)|| ■

Еслир>0,05, то использование нормализованного коэффициента К„(г) является допустимым. Эффективность практического применения рассмотренного фильтра обусловлена его ро-бастностью.

В соответствии с представленной выше процедурой адаптивного тестирования, фильтрация выполняется автономно для каждого из уровней способностей, учитываемых при постановке решаемой задачи.

В третьей главе показано, как предложенные модели и методы могут быть использованы не только для управления процессом предъявления заданий теста, но и для оптимизации порядка предъявления тестов, предназначенных для оценки определённой характеристики.

Для описания того, как при прохождении теста изменяются со временем вероятности нахождения в заданных состояниях, применяется сеть Маркова, представленная на рис. 2. Предполагается, что тест состоит из определенного количества заданий, каждое из которых может быть выполнено правильно или не выполнено. Состояния 5/.+ (/=/,...,/«) соответствуют правильному выполнению 1-го задания, а 5,,. - его невыполнению или неправильному выполнению. 5» - начальное состояние, в котором испытуемый находится до выполнения теста. Интенсивности а. Ь, с, с1. х. у, 1С и - переходов между состояниями, представляющие изменение способности выполнять задания теста со временем, идентифицируются отдельно для каждого уровня способностей по выборкам испытуемых.

Рис. 2. Сеть Маркова, представляющая процесс прохождения теста из т заданий.

Процедура адаптивного тестирования заключается в последовательном предъявлении испытуемому тестов из заданного набора. Тесты не повторяются. Процедура тестирования завершается по достижении заданного условия, накладываемого на вероятность наиболее правдоподобного варианта диагноза (например, можно потребовать, чтобы эта вероятность

15

превышала 0,7). Если указанное условие не выполняется в течение всей процедуры тестирования, то испытуемому предъявляется весь заготовленный набор тестов.

После попытки выполнения каждого теста вычисляются:

- вероятности различных вариантов диагнозов при условиях принадлежности испытуемого к каждой из диагностируемых групп и нахождения в контрольный момент времени в наблюдаемом состоянии сети;

- вероятности различных вариантов диагнозов при условиях принадлежности испытуемого к каждой из диагностируемых групп и нахождения по истечении заданного фиксированного интервала времени в конечном состоянии 8га+ каждого из непредъ-явленных к данному моменту тестов.

Расчёт вероятностей диагнозов при выполнении очередного теста производится по указанным выше формулам Байеса. Они рассчитываются для каждого из рассматриваемых вариантов диагноза в контрольный момент времени для состояния сети, в котором испытуемый оказался после выполнения последнего предложенного ему задания. Вероятности нахождения по истечении заданного интервала времени в конечном состоянии 5т+ каждого из непредъявленных тестов рассчитываются для всех рассматриваемых вариантов диагноза по аналогичной формуле.

Стратегия лица, принимающего решение о последовательности предъявления тестов, обусловлена необходимостью обеспечения за наименьшее время наибольшей дифференциации результата тестирования, представленной условием, накладываемым на вероятность наиболее правдоподобного варианта диагноза. Эта задача не имеет строго определённого решения вследствие известной неопределённости реальных действий испытуемого, включая непредсказуемое время выполнения заданий. Поэтому, при отсутствии каких-либо дополнительных аргументов, принимающему решение лицу следует, как правило, выбирать в качестве следующего такой тест, который приводит к наибольшей дифференциации самого вероятного диагноза от его остальных вариантов при условии нахождения испытуемого по истечении заранее фиксированного интервала времени в соответствующем конечном состоянии

В четвёртой главе приводятся описания комплексов программ, созданных на основе разработанной концепции тестирования, и алгоритмы, используемые для решения поставленных задач, включая: алгоритм построения модели для тестов с однозначным определением верного и неверного ответов, алгоритм проведения тестирования с использованием обученной марковской сети, алгоритм построения модели для тестов с несколькими исходами решения заданий, алгоритм построения рекомендаций по порядку предъявления тестов.

С использованием описанной технологии создан программно-аппаратный комплекс, позволяющий комплексно оценивать когнитивные способности человека при управлении сложной системой с неизвестной схемой управления. Процедура тестирования реализует разработанную концепцию адаптивного тестирования и его интерпретации в полном объёме. При выполнении теста испытуемому предлагается провести роботизированную платформу (рис. 3) по П-образному лабиринт}' из фиксированного начального в фиксированное конечное положение. Ему доступно устройство управления (клавиатура, джойстик и т.д.) и известно, какие действия может выполнять роботизированная платформа. Для выполнения задания необходимо методом проб и ошибок выявить неизвестное соответствие между допустимыми воздействиями на органы управления и вызываемой ими реакцией 5'правляемого объекта. Сложность и содержание этого соответствия автоматически изменяются в процессе прохождения теста в зависимости от успешности действий испытуемого. Задание считается выполненным, если платформа достигла границы лабиринта, распознав её с помощью датчика.

Рис. S. Роботизированная платформа на базе N1 Lab VIEW Robotics Starter Kit. собранная PITSCO на базе N1 Single-Board RlO-9631.

Временные границы выполнения каждого задания определяются циклом, начинающимся со старта платформы из начального положения в лабиринте и заканчивающимся достижением платформой конечного положения. Задание считается не выполненным, если испытуемый выходит за эмпирический интервал времени, установленный для решения задач данной сложности. В соответствии с используемой концепцией, успешное выполнение приводит к усложнению следующего задания, а неверное выполнение - к его упрощению.

Структура разработанного программно-аппаратного комплекса для адаптивного тестирования когнитивных способностей представлена на рис. 4.

Данные геста |

М одуль создания Модуль идентификации

Ж

І Информация о і моделях

31

Модуль естировани)

Ж

Роботизированная платформо

Модуль фильтрации

-|)^Результаты іеста^

Рис. 4. Структура программно-аппаратного комплекса для адаптивного тестирования когнитивных способностей.

В программно-аппаратном комплексе применена и идентифицирована по экспериментальным данным марковская сеть, представленная на рис.5.

0 -> <- 1 -> <- 2 -> <- 3 -> <- 4

2 3

ц ц И И

Рис. 5. Структура марковской сети, реализованной в программно-аппаратном комплексе для адаптивного тестирования когнитивных способностей (р и Я - идентифицируемые параметры).

Динамика вероятностей пребывания в состояниях используемой модели описывается следующей системой уравнений Колмогорова, где Р(0)=(0,1,0,0,0)г:

Фо<0.

Л Ф,(0

Л

Ф2 (О

л Фз(0

Л ФДО

Л

= -рг(р + Л2) + Лр0+р2-рг = -р1-{р2+Л,) + Л2р,+рір, = -р,-(р3 + ЛА)+Л'р2+р4р, = ■ р4 + ЛА ■ рг

В результате численной идентификации параметров р и Я для групп с высоким и низким уровнем способности получены зависимости р(£)* приведённые на рис. 6.

Рис. 6. Динамика вероятностей пребывания в состояниях модели для групп с высоким (справа. А=0.051. //=0,000001) и низким (слева. 1=0.034. //=0.0026'■) уровнем способности.

Используя представленный выше метод, результаты идентификации позволили получать вероятностные диагностические оценки уровней способности по результатам выполнения заданий или в процессе их выполнения (рис.7).

Рис. 7. Диагностические оценки различных уровней способности в форме гистограмм, построенные для испытуемого по результатам выполнения заданий теста. Тестирование завершено по достижении одной из диагностических оценок заданного вероятностного значения.

Следующее практическое применение связано с созданием в рамках государственного задания востребованной в учреждениях Департамента образования города Москвы системы поддержки принятия решений для оценки готовности детей к обучению в школе. При реализации проекта были выбраны методики (тесты), составляющие основу стандартизированной диагностической процедуры готовности детей к школе, проведена экспериментальная работа для получения выборочных данных о процессе прохождения тестирования детьми двух категорий: готовых и не готовых к обучению в школе. На основе описанной выше концепции системы поддержки принятия решений, базирующейся на применении сетей Маркова, созданы динамические модели, отражающие процесс прохождения тестов, и выполнена программно-аппаратная реализация системы. Структура разработанного программно-аппаратного комплекса представлена на рис. 8.

Рис. 8. Структура программно-аппаратного комплекса, реализующего систему поддержки принятия решений для оценки готовности детей к обучению в школе.

Разработанное в рамках диссертационного исследования программное обеспечение реализовано на языке G в среде графического программирования Lab VIEW, модуль оптимизации написан на языке ObjectPascal и скомпилирован в DLL, ряд вспомогательных модулей предназначенных для сбора данных на этапе постановки эксперимента, созданы с использованием PHP и JavaScript.

В заключении приводятся основные результаты и выводы, полученные в ходе диссертационного исследования, а также публикации, в которых отражены результаты работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ II ВЫВОДЫ

1. Разработана математическая модель интерпретации результатов адаптивного психологического тестирования навыков и способностей, построенная на основе обучаемых марковских сетей

2. Разработаны методы численного решения задачи идентификации марковских моделей адаптивного тестирования с дискретным и непрерывным временем и оценки степени их адекватности данным натурного эксперимента, включающие метод, построенный на комбинации прямого численного интегрирования и многомерной оптимизации с критерием Пирсона, метод, построенный на использовании интегрального финитного преобразования, и технику преобразования моделей с дискретным временем в соответствующие модели с непрерывным временем.

3. Разработан метод численного решения задачи устранения артефактов, обусловленных различными формами некорректного целенаправленного вмешательства в процедуру те-

стирования, который построен на основе оптимальной линейной фильтрации, адаптированной для решения рассматриваемой прикладной задачи.

4. Разработано специальное математическое обеспечение системы поддержки принятия решений для психологического тестирования.

5. С целью практического подтверждения эффективности созданных подходов и на их основе разработаны, программно реализованы и внедрены в учебный процесс следующие системы компьютерного моделирования:

а) система для тестирования когнитивных способностей человека при управлении сложным объектом с неизвестной схемой управления, созданная в виде программно-аппаратного комплекса на базе роботизированной платформы;

б) программно-аппаратный комплекс, обеспечивающий поддержку принятия решений при оценке готовности детей к обучению в школе.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи, опубликованные в периодических изданиях, рекомендованных ВАК РФ

1. Куравский Л.С. Юрьев Г.А. Об одном подходе к адаптивному тестированию и устранению его артефактов. // Нейрокомпьютеры: разработка, применение. 2012. № 1. С. 54-66.

2. Юрьев Г А. Об одном подходе к оценке когнитивных способностей. // Психологическая наука и образование (электронный журнал). 2012. №4.

3. Куравский Л.С. Юрьев Г.А. Применение фильтра Калмана для фильтрации артефактов при адаптивном тестировании. // Информационные технологии. 2012. №4. С.63 — 69.

4. Куравский Л.С. Юрьев Г.А. Вероятностный метод фильтрации артефактов при адаптивном тестировании. // Экспериментальная психология, 2012. Т.5. №1. С. 119-131.

5. Юрьев Г.А. Распознавание символов на базе цепи Маркова. // Психологическая наука и образование. 2010. №5. С. 119-123.

6. Куравский Л.С., Марголис А.А., Юрьев Г.А., Мармалюк П.А. Концепция системы поддержки принятия решений для психологического тестирования // Психологическая наука и образование. 2012. №1. С. 56-65.

7. Куравский Л.С., Юрьев Г.А. Использование марковских моделей при обработке результатов тестирования. // Вопросы психологии. 2011. №2. С. 112-121.

8. Куравский Л.С., Юрьев Г.А. Адаптивное тестирование как марковский процесс: модели и их идентификация. // Нейрокомпьютеры: разработка, применение. 2011. №2. С. 21-29.

9. Куравский Л.С., Баранов С.Н., Юрьев Г А. Синтез и идентификация скрытых марковских моделей для диагностики усталостного разру шения. // Нейрокомпьютеры: разработка, применение. 2010. №12. С. 20-37.

10. Куравский J1.C., Мармалюк П.А., Алхимов В.И., Юрьев Г.А. Математические основы нового подхода к построению процедур тестирования. // Экспериментальная психология. 2012. Т.5. №4. С. 75-98.

11. Куравский Л.С., Мармалюк П.А., Алхимов В.И., Юрьев Г.А. Применение обучаемых структур для анализа результатов компьютерного тестирования. // Нейрокомпьютеры: разработка, применение. 2013. №4. С. 18-27.

Патенты

12. Куравский Л.С., Кулик С .Д., Мармалюк П.А., Юрьев Г.А. Патент на полезную модель №118095, Российская Федерация (RU), кл. МПК G 09 В 23/02. «Устройство для моделирования адаптивного тестирования когнитивных способностей испытуемого». /Л.С. Куравский, С.Д. Кулик, П.А. Мармалюк, Г.А. Юрьев (Россия). - Заявка №2012105993/08, 21.02.2012; Приоритет от 21.02.2012. - (РОСПАТЕНТ).

13. Куравский Л.С., Марголис А.А., Мармалюк П.А., Юрьев Г.А., Думин П.Н., Кулик С.Д. Патент на полезную модель №122796, Российская Федерация (RU) кл. МПК G09B 31/07. «Система поддержки принятия решений для психологического и педагогического тестирования». / Л.С. Куравский, А.А. Марголис, П.А. Мармалюк, Г.А. Юрьев, П.Н. Думин, С.Д. Кулик (Россия). - Заявка №2012132684/08, 31.07.2012; Приоритет от 31.07.2012. - (РОСПАТЕНТ).

Статьи в рецензируемых журналах

14. Куравский Л.С., Баранов С.Н., Юрьев Г.А. Синтез и идентификация скрытых марковских моделей с дискретным и непрерывным временем // Моделирование и анализ данных. 2011.№1,-С. 5-27.

15. Куравский Л.С., Юрьев Г.А. Марковские модели адаптивного тестирования // Моделирование и анализ данных. 2011. №1. - С. 28-10.

Статьи в сборниках научных трудов

16.Kuravsky L.S., Baranov S.N. and Yuryev G.A. Synthesis and identification of hidden Markov models based on a novel statistical technique in condition monitoring. - In: Proc. 7th International Conference on Condition Monitoring & Machinery Failure Prevention Technologies, Stratford-upon-Avon, United Kingdom, June 2010.

17. Kuravsky L.S. and Yuryev G.A. Application of a new computerized adaptive testing technique to estimation of CM personnel professional skills. - In: Proc. 8th International

Conference on Condition Monitoring & Machinery Failure Prevention Technologies, Cardiff, United Kingdom, June 2011.

18.Kuravsky L.S., Margolis A.A. and Yuryev G.A. Psychological training on the base of a neuronet technology. - In: Proc. 5th International Conference on Condition Monitoring & Machinery Failure Prevention Technologies, Edinburgh, United Kingdom, July 2008.

19. Kuravsky L.S., Margolis A.A., Yuryev G.A., Marmalyuk P.A. Decision support system for testing CM personnel professional skills. - In: Proc. 9th International Conference on Condition Monitoring & Machinery Failure Prevention Technologies, London, United Kingdom, June 2012.

20. Куравский Л.С., Юрьев Г.А. Марковские модели в адаптивном тестировании. // X научно-практическая межвузовская конференция «Молодые учёные - нашей новой школе», 2011.

21. Куравский Л.С., Юрьев Г.А. Марковские модели в адаптивном тестировании// Тезисы докладов. IX Всероссийской научная конференции "Нейрокомпьютеры и их применение" НКП-2011. - М: МГППУ, 2011.

22. Kuravsky L.S., Yuryev G.A. Adaptive testing as Markov process: models and their identification //Труды конференции INTERCOMP 2011, февраль 2011 г, Вена, Технический университет.

23. Куравский Л.С., Юрьев Г.А. Марковские модели в организации адаптивного тестирования// Тезисы докладов конференции НИТ XIX, 2011, май, г. Судак.

24. Куравский Л.С., Юрьев Г.А. «Реализация психологического тренажёра на базе вероятностной нейронной сети» -XVI студенческая международная школа семинар «Новые информационные технологии». 2008. С.206-208.

25. Куравский Л.С., Юрьев Г.А. Адаптивная технология тестирования использующая аппарат марковских моделей на примере мобильного тестирующего робота LabVIEW Robotics Starter Kit// Инженерные, научные и образовательные приложения на базе технологий National Instruments-2011.

26. Kuravsky L.S., Marmalyuk P.A. and Yuryev G.A. A new concept of a decision making support system for supervised comprehensive testing process //10-th German Probability and Statistics Days 2012.

27. Куравский Л.С., Юрьев Г.А. Об одном подходе к адаптивному тестированию. - Современная экспериментальная психология: В 2 т. / Под ред. В. А. Барабанщикова. -М.: Изд-во «Институт психологии РАН», 2011. - Т. 1,гл. 13, С.233-245.

ООО «Хорошая Типография» Подписано в печать 09.07.13. тираж 100 экз. Адрес: Москва, ул. Валовая, д. 14 стр. 8 Тел.: +7 (495) 940-70-17 E-mail: 2205728@mail.ru www.niceprint.ru

ГБОУ ВПО г.Москвы «Московский городской психолого-педагогический

университет»

Юрьев Григорий Александрович

МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ИНТЕРПРЕТАЦИИ РЕЗУЛЬТАТОВ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ С ИСПОЛЬЗОВАНИЕМ МАРКОВСКИХ СЕТЕЙ

05.13.18 - Математическое моделирование, численные методы и

комплексы программ 05.13.01 - Системный анализ, управление и обработка информации

На правах рукописи

04201362031

диссертация на соискание ученой степени кандидата физико-математических наук

руководитель:

Научный

доктор технических наук, профессор Куравский Лев Семёнович

консультант:

Научный

доктор физико-математических наук, доцент, ведущий научный сотрудник Математического института им. В.А. Стеклова РАН Амосов Григорий Геннадьевич

Москва-2013

идентификации................................................................................................................................................23

1.1. Структура и математическое описание применяемых марковских моделей с дискретным и непрерывным временем........................................................23

1.2. Идентификация марковских моделей с дискретным и непрерывным временем..........................................................................................................................28

1.3. Возможности моделей с дискретным и непрерывным временем.... 33 Глава 2. Математическая постановка и решение задачи фильтрации Калмана при адаптивном тестировании с

использованием марковских моделей..........................................................................................36

Глава 3. Оптимизация процесса предъявления тестов....................................42

3.1. Математическая постановка задачи оптимизации порядка предъявления тестов....................................................................................................................................42

3.2. Процедура оценки знаний или способностей..........................................................46

Глава 4. Практическое применение........................................................................................50

4.1. Использованные алгоритмы....................................................................................................50

4.2. Робот для тестирования когнитивных способностей......................................56

4.3. Тест на разложение полиномов............................................................................................70

4.4. Система поддержки принятия решений......................................................................85

4.5. Программная реализация............................................................................................................95

ЗАКЛЮЧЕНИЕ............................................................................................................................................98

Библиография................................................................................................................................................100

Компьютерное тестирование знаний всё более широко используется в учреждениях среднего и высшего образования для контроля знаний и оценки способностей учащихся. От математической модели, лежащей в основе процесса тестирования, зависит точность и надёжность его результатов, а также часто и время, затрачиваемое на проведение тестирования. Необходимость достоверного оценивания уровня профессиональных компетенций студентов и выпускников ВУЗов является неотъемлемой часть федеральных государственных образовательных стандартов высшего профессионального образования (ФГОС ВПО), где прописаны требования к формированию, в первую очередь, профессиональных компетенций выпускников. Однако указания на метод и модель оценки уровня их сформированности в соответствующих нормативно-правовых документах отсутствуют и должны разрабатываться высшим учебным заведением.

В настоящей работе под профессиональной компетенцией (ПКц) понимается способность решать узкоспециализированные подзадачи, которые входит в состав более широкой области задач, при осуществлении профессиональной деятельности [67,80].

Основные положения работы Проблемная ситуация определяется:

- выявленными противоречиями между необходимостью оценивания результатов тестирования и отсутствием достаточно эффективных математических моделей и методов, позволяющих осуществлять подобную оценку;

- недостаточной • надёжностью оценок, получаемых с помощью распространённых моделей тестирования знаний;

- отсутствием средств коррекции результатов, полученных путём целенаправленного несанкционированного вмешательства в процесс компьютерного тестирования.

Актуальность темы диссертации обусловлена необходимостью решения задачи создания современных моделей и алгоритмов автоматизированного адаптивного психологического тестирования [31,57,81], обладающих возможностями использования при построении оценок информации о времени прохождения тестовых заданий, обеспечивающих фильтрацию результатов тестирования от последствий несанкционированного целенаправленного вмешательства, определение надёжности оценок уровня способностей и оптимизацию процедуры тестирования. Результаты диссертационного исследования были получены в рамках работ по выполнению Городской целевой программы развития образования «Столичное образование-5» (2009-2011 гг., раздел 4.3.3.4) и Государственной программы «Развитие образования города Москвы» (2012-2016 гг., мероприятие 03Д0800).

Цель работы - разработка математических методов и алгоритмов интерпретации результатов адаптивной психологической диагностики умений, навыков и способностей с помощью марковских моделей, использующих при построении оценок информацию о времени прохождения тестовых заданий и обеспечивающих фильтрацию результатов тестирования от последствий несанкционированного целенаправленного вмешательства, определение надёжности оценок уровня способностей и оптимизацию процедуры тестирования. Компьютерное тестирование при этом рассматривается как одна из форм натурного эксперимента.

В соответствии с поставленной целью были решены следующие задачи:

- разработана модель адаптивного тестирования способностей, интерпретация результатов которого основана на использовании обучаемых структур в форме марковских моделей;

- разработаны методы идентификации марковских моделей адаптивного тестирования и оценки степени их адекватности данным натурного эксперимента;

- разработаны средства устранения артефактов, искажающих результаты адаптивного тестдрования с использованием марковских моделей;

- разработано специальное математическое обеспечение системы поддержки принятия решений для психологического тестирования;

- созданы комплексы программ, реализующие предложенные подходы.

Методологические основы и методы исследования. Для решения поставленных задач использовались методы математического моделирования[34,62,63]., теории управления [5 4], теории принятия решений[23,24,25], статистические и численные методы[29,53].

Различные аспекты исследуемой проблемы рассматривались в работах Г. Раша, М.Б. Челышковой, Л.С. Куравского, Ю.М. Неймана, В.А. Хлебникова, В.И. Михеева, Г. Крамера, Ю.А. Тюменевой, Д.А. Ульянова , А. И. Субетто, О.В. Михнева, Н.Т. Минко, А.Н. Майорова, П.Ф. Лазарсфельда, В.Н. Дружинина, Л.А. Овчарова, Н.С. Фоминовой, Т. Л. Саати, Д. Дёрнера, А. Анастази, В.С.Аванесова, С.И. Панарина, А.И. Кибзуна, В.И. Васильева, А.В. Борисова и др., послужив теоретической и методологической основой проведённой работы.

На защиту выносятся следующие научные результаты:

- математическая модель интерпретации результатов адаптивного тестирования навыков и способностей;

- методы численного решения задачи идентификации марковских моделей адаптивного тестирования и оценки степени их адекватности данным натурного эксперимента;

- метод численного решения задачи устранения артефактов, искажающих результаты тестирования, построенный на основе оптимальной линейной фильтрации;

- специальное математическое обеспечение системы поддержки принятия решений для психологического тестирования;

- комплексы программ, реализующие предложенные подходы. Научная новизна заключается:

1) в новой математической модели адаптивного тестирования, основанной на использовании обучаемых марковских сетей, особенностями которой являются:

а) выявление и использование при построении расчётных оценок временной динамики изменения способности справляться с заданиями теста;

б) возможность учёта при построении расчётных оценок времени, затрачиваемого на решение тестовых задач;

в) меньшее по сравнению с другими подходами число заданий, которое следует предъявлять испытуемому для получения оценок знаний или способностей с заданной точностью, что ускоряет процесс тестирования;

2) в методах численного решения задачи идентификации используемых моделей и оценки степени их адекватности данным натурного эксперимента;

3) в методе численного решения задачи устранения артефактов, искажающих результаты тестирования, который построен на основе оптимальной линейной фильтрации;

4) в особенностях построения математического и программного обеспечения систем компьютерного моделирования, созданных на основе предложенного подхода.

Практическая значимость диссертационной работы заключается в

возможности создания на основе разработанных в ходе проведения исследования

теоретических положений и практических рекомендаций, автоматизированных комплексов адаптивного тестирования знаний и умений, позволяющих получать более надёжные оценки исследуемых характеристик за меньшее время.

Достоверность результатов исследований подтверждается оценкой адекватности полученных результатов с помощью статистических критериев согласия и успешной практической реализацией на основе полученного подхода двух систем адаптивного тестирования и системы поддержки принятия решений, созданных в виде конкретных технических устройств и программно-аппаратных комплексов.

Апробация. Теоретические положения и результаты исследования были представлены и одобрены на следующих конференциях, выставках и семинарах: «Нейрокомпьютеры и их применение - 2011, -2012» (Москва, 2011, 2012), «Новые информационные технологии» (г. Судак, 2011), «Молодые учёные -столичному образованию» (Москва, 2010), «Молодые учёные - нашей новой школе» (Москва, 2011), INTERCOMP-2011(Вена, Австрия, 2011), Всероссийских выставках научно-технического творчества молодёжи «НТТМ» (Москва, 2010, 2011, 2012), Международной конференции по диагностике и технологиям предотвращения отказов оборудования (International Conference on Condition Monitoring and Machinery Failure Prevention Technologies: Эдинбург, 2008; Стратфорд-он-Эйвон, 2010; Кардифф, 2011; Лондон, 2012), DAGStat (Дортмунд, Германия, 2010).

Получены два российских патента на полезные модели «Устройство для моделирования адаптивного тестирования когнитивных способностей испытуемого» [44] и «Система поддержки принятия решений для психологического и педагогического тестирования».

Результаты работы были отмечены премиями Президента РФ по поддержке талантливой молодёжи за проекты «Технология адаптивного тестирования с использованием марковских моделей и мобильный робот для оценки когнитивных способностей, созданный на её основе» («НТТМ-2011») и

«Мобильный тестирующий робот» («НТТМ-2012»); медалью «За успехи в научно-техническом творчестве» («НТТМ-2012»); дипломом II степени за лучшую научную работу, представленную на XX Международной студенческой школе-семинаре «Новые информационные технологии» (2011); дипломом за лучшую научную работу, представленную на X всероссийской научной конференции «Нейрокомпьютеры и их применение», за проект «Программная реализация теста когнитивных способностей на базе новой концепции адаптивного тестирования»; почётной грамотой РАЕН за лучшую научную работу, представленную на IX конференции «Нейрокомпьютеры и их применение» (2011).

Внедрение результатов исследования. Результаты исследования внедрены в учебный процесс факультета информационных технологий ГБОУ г. Москвы «Московский городской психолого-педагогический университет» и использованы при создании программно-аппаратного комплекса для поддержки принятия решений для психолого-педагогического тестирования, разработанной в указанном университете, что подтверждено соответствующим актом.

Личный вклад автора состоит в разработке технологии моделирования, методов, алгоритмов, программно-аппаратных и программных комплексов, составляющих содержание диссертации, а также в проведении компьютерного тестирования испытуемых, сборе и обработке данных натурного эксперимента. Лично автором и при участии автора выполнена подготовка публикаций по представленной работе.

Современное состояние проблемы оценки уровня знаний и умений

В настоящее время проблема адаптивных тестов стала чрезвычайно актуальной. У истоков адаптивного тестирования лежало стремление к повышению эффективности тестовых измерений[32,60,64], что, как правило, связывалось с уменьшением числа заданий, времени, стоимости тестирования и -

главное - с повышением точности оценок, полученных испытуемыми по результатам выполнения теста[66,71,78,82]. Исследователи видели возможность повышения эффективности в адаптации тестов, трудность которых учитывала диапазон подготовленности тестируемых.

Классическая теория тестирования трактует тест, как стандартизованную процедуру для отбора образцов поведения и его описания, используя оценки или категории [4,18,91]. При этом, в основном, тесты являются нормо-соотнесенными, т.е. они описывают поведение в терминах норм, результатов теста, собранных от большой группы субъектов (стандартизированная выборка). Таким образом, в ориентированном на нормы тестировании показатель каждого конкретного человека интерпретируется посредством сравнения с показателями, полученными другими людьми по тому же тесту[83,100].

Тестирование результатов учебной деятельности имеет свою специфику, связанную с ориентацией на определенный предмет или дисциплину. Для предметно-ориентированного тестирования типично использовать в качестве интерпретационной системы отсчета не заранее оговоренную совокупность людей, а строго определенную содержательную область. В этой связи главным отличительным признаком предметно-ориентированного тестирования является интерпретация выполнения теста с точки зрения его смыслового содержания. Упор здесь делается на то, что тестируемые могут делать и что они знают, а не на то, как они выглядят на фоне других.

Предметно-ориентированные тесты строятся на основе дидактического выделения учебных целей в рассматриваемой содержательной области и составления на этой основе конкретных тестовых заданий, обеспечивающих выборочную проверку достижения каждой из этих целей.

Как правило, тесты по итогам обучения (их также называют тестами знаний) оценивают степень информированности или сформированности навыков выпускников. Эти тесты в значительной степени ориентированы на проверку фактических знаний и навыков по отдельному предмету или группе предметов.

ю

Они призваны оценить количество и качество усвоенных знаний в соответствии с той программой, по которой изучался данный предмет. При этом проверяются знания и навыки, которые можно получить за относительно короткий промежуток времени. Такие тесты применяются главным образом, чтобы оценить результативность обучения по одному курсу или по целостной программе, а также, чтобы проверить очень специализированную подготовку. Очевидно также, что к «тестам знаний» можно подготовиться, заучивая факты и тренируя стандартные алгоритмы действий.

Тесты знаний имеют, конечно, и прогностическую ценность, поскольку знания не могут быть полностью измерены без использования общих и специальных способностей. Для прогностических целей используются так называемые тесты готовности (или тесты способностей и компетентности). Они в большей степени призваны оценить работу человека «здесь и теперь» в некой определенной познавательной или психомоторной области. Они создаются таким образом, чтобы выяснить потенциальную способность человека в специализированной деятельности и в условиях ограниченной информации.

Задача таких тестов состоит не столько в том, чтобы оценить прошлые успехи испытуемого, сколько составить картину о развитии способностей и возможностях его обучаемости в данной области. Понятно, что быстро подготовиться («натаскаться») к такому тесту трудно. Составители тестов готовности стараются выяснить состояние навыков и компетентностей (социальных требований к образовательной подготовке, необходимой для качественной продуктивной деятельности ученика в определенной сфере), приобретенных во многих областях за относительно длительные промежутки времени.

Делая акцент именно на содержании при интерпретации тестовых показателей, предметно-ориентированное тестирование способствует развитию новых объективных методов психометрии и может оказать благотворное влияние на тестирование в целом [30,58,59]. Попытки измерения таких латентных качеств

и

как: «подготовленность студентов», «знание учебной дисциплины», «способность понимать», «интеллектуальное развитие», на уровне обыденного сознания