автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Факторная модель принятия решений для тестирования способностей и компетенций

На правах рукописи

Панфилова Анастасия Сергеевна

ФАКТОРНАЯ МОДЕЛЬ ПРИНЯТИЯ РЕШЕНИЙ ДЛЯ ТЕСТИРОВАНИЯ СПОСОБНОСТЕЙ И КОМПЕТЕНЦИЙ

05.13.01 - Системный анализ, управление и обработка информации (в науке и

промышленности)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2015

Москва - 2014

005558727

005558727

Работа выполнена на кафедре «Прикладная информатика и мультимедийные технологии» ГБОУ ВПО «Московский городской психолого-педагогический университет»

Научный руководитель: доктор технических наук, профессор

Куравский Лев Семёнович

Официальные оппоненты:

Амосов Григорий Геннадьевич, доктор физико-математических наук, ведущий научный сотрудник отдела теории вероятностей и математической статистики Математического института им. В. А. Стеклова РАН

Аристов Антон Олегович, кандидат технических наук, доцент кафедры систем автоматизированного проектирования Национального исследовательского технологического университета «Московский институт стали и сплавов»

Ведущая организация: федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Московский авиационный институт (национальный исследовательский университет)»

Защита диссертации состоится «5» марта 2015 года в 13 час. 00 мин. в аудитории 1258 на заседании диссертационного совета Д 212.165.05 при Нижегородском государственном техническом университете им. P.E. Алексеева по адресу: 603950, Н.Новгород, ул. Минина, 24.

С диссертацией можно ознакомиться в библиотеке Нижегородского государственного технического университета им. P.E. Алексеева и на сайте

http://www.nnm.ru/content/aspirantura-i-doktorantura/dissertacii.

Автореферат разослан

Учёный секретарь

диссертационного совета Д 212.165.05

Суркова A.C.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Компьютерное тестирование способностей и компетенций в настоящее время эффективно используется в различных областях деятельности, однако такие проблемы как:

- значительное время, затраченное испытуемыми на выполнение всей необходимой последовательности заданий;

- ограниченность существующих математических моделей, используемых для интерпретации результатов тестирования;

- некорректность оценок, полученных, как правило, без учета динамики прохождения тестов;

- отсутствие приемлемых средств количественной оценки надёжности получаемых результатов и

- отсутствие средств фильтрации воздействий, обусловленных различными формами некорректного внешнего вмешательства в процедуру испытаний, -

существенно ограничивают сферу его применения. Современные технологии тестирования в той или иной степени направлены на решение этих проблем.

Актуальность темы диссертации обусловлена необходимостью создания современных методов и программных средств для решения задач, возникающих при оценке результатов прохождения тестов. Работа выполнена в рамках Городской целевой программы развития образования «Столичное образование-5» (2009-2011 гг., раздел 4.3.3.4) и Государственной программы «Развитие образования города Москвы» (2012-2016 гг., мероприятие ОЗД0800).

Цель работы - формализация и оптимизация процесса оценки способностей и компетенций путем создания факторных моделей и внедрения методов и алгоритмов принятия решений, учитывающих информацию о времени выполнения заданий и факторах внешней среды и позволяющих сократить время испытаний.

Основные задачи

В соответствии с целью исследования были определены следующие задачи:

- разработать факторную модель, обеспечивающую принятие решений при тестировании способностей и компетенций;

- разработать процедуру принятия решений при тестировании способностей и компетенций;

- разработать средства устранения влияния факторов, искажающих результаты тестирования;

- создать специализированное программное обеспечение, реализующие предложенные подходы.

Методологические основы и методы исследования. Для решения поставленных задач использовались методы математического моделирования и системного анализа, а также численные и статистические методы.

Различные аспекты исследуемой проблемы рассматривались в работах Г. Раша, Ч. Спирмена, Л. Терстона, Р. Кеттела, Т.К. Кохонена, Д.В. Ушакова, JI.C. Куравского, М.Б. Челышковой, Ю.М. Неймана, В.А. Хлебникова, В.И. Михеева, Г. Крамера, Д. Лоули, Д.А. Ульянова, А. И. Субетто, О.В. Михнева, Н.Т. Минко, А.Н. Майорова, П.Ф. Лазарсфельда, В.Н. Дружинина, Л.А. Овчарова, Д. Дёрнера, А. Анастази, А.И. Кибзуна, В.И. Васильева, A.B. Борисова, П.А. Мармалюка, Г.А. Юрьева, Сологуба Г.Б., Фоминовой Н.С. и др., послужив теоретической и методологической основой проведённой работы.

На защиту выносятся следующие научные результаты:

- факторная модель, обеспечивающая принятие решений и идентифицируемая по результатам наблюдений;

— процедура принятия решений при тестировании способностей и компетенций, основанная на применении самоорганизующихся карт Кохонена;

— средства устранения влияния факторов, искажающих результаты тестирования, построенные на базе оптимальной линейной фильтрации;

- специализированное программное обеспечение, реализующие предложенные подходы.

Научная новизна заключается:

1) в математической модели, обеспечивающей принятие решений и учитывающей влияние генерального фактора способностей и факторов среды на наблюдаемые характеристики;

2) в процедуре принятия решений при тестировании способностей и компетенций, использующей метод Монте-Карло и возможности самоорганизующихся карт Кохонена для построения выборочных распределений расстояний до выигравших элементов с последующими вероятностными оценками степени соответствия модели наблюдениям;

3) в методе фильтрации влияния факторов внешней среды, искажающих результаты тестирования и обусловленных различными формами некорректного внешнего вмешательства в процедуру испытаний, позволяющем сократить число вопросов в тесте.

Практическая значимость диссертационной работы обусловлена возможностью использования полученных результатов при построении системы поддержки принятия решений для тестирования способностей и компетенций, позволяющей получать более надёжные оценки исследуемых характеристик за меньшее время. Разра-

ботанное программное обеспечение может быть использовано специалистами кадровых служб промышленных предприятий и учебных учреждений.

На практике разработанные подход и система поддержки принятия решений (СППР) имеют следующие качественные и количественные преимущества:

• сокращается время диагностики испытуемых;

• повышается надёжность результатов тестирования;

• обеспечивается вероятностная оценка уровня способностей и компетенций испытуемых;

• обеспечивается возможность адаптации системы к существующим методам оценки способностей и компетенций.

Достоверность результатов исследований подтверждается оценкой адекватности полученных результатов наблюдениям с помощью статистических критериев согласия и успешной программной реализацией системы поддержки принятия решений на основе полученного подхода.

Апробация работы. Теоретические положения и результаты исследования были представлены и одобрены на следующих конференциях, выставках и семинарах: «Нейрокомпьютеры и их применение - 2011, -2012» (Москва, 2011, 2012), «Новые информационные технологии -2011, -2012» (г. Судак, 2011, 2012), «Молодые учёные - столичному образованию» (Москва, 2010), «Молодые учёные - нашей новой школе» (Москва, 2011), INTERCOMP-2011(Вена, Австрия, 2011), Всероссийских выставках научно-технического творчества молодёжи «НТТМ» (Москва, 2011, 2012, 2013), Международной конференции по диагностике и технологиям предотвращения отказов оборудования (International Conference on Condition Monitoring and Machinery Failure Prevention Technologies: Кардифф, 2011), DAGStat (Фрайбург, Германия, 2013).

Результаты этой работы отмечены премией Президента РФ по поддержке талантливой молодёжи («НТТМ-2012»); медалью «За успехи в научно-техническом творчестве» («НТТМ-2013»); дипломом I степени за лучшую научную работу, представленную на XX Международной студенческой школе-семинаре «Новые информационные технологии» (2012); дипломом за лучшую научную работу, представленную на IX всероссийской научной конференции «Нейрокомпьютеры и их применение»; почётным дипломом РАЕН за лучшую научную работу (2012).

Внедрение результатов исследования. Результаты исследования внедрены в учебный процесс факультета информационных технологий ГБОУ ВПО г. Москвы «Московский городской психолого-педагогический университет» и использованы при создании программного комплекса для поддержки принятия решений, разработанного в указанном университете, что подтверждено соответствующим актом в приложении 1 текста диссертации.

Личный вклад автора состоит в разработке методов, алгоритмов и программных комплексов, составляющих содержание диссертации, а также в проведении компьютерного тестирования испытуемых, сборе и обработке данных натурного эксперимента. Лично автором и при участии автора выполнена подготовка публикаций по представленной работе.

Публикации. Результаты диссертации (самостоятельно и в соавторстве) представлены в 18 публикациях, включая 6 работ (пять из которых без соавторов) в ведущих рецензируемых научных журналах из перечня ВАК РФ.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Диссертация содержит 111 страниц основного текста (51 рис., 8 табл.), состоящего из введения, четырёх глав, заключения, списка использованной литературы.

Во введении обоснована актуальность проблемы, сформулированы цель и задачи исследования, определены объект, предмет и методы исследования, дана общая характеристика работы.

Далее проанализированы современные подходы к тестированию способностей и компетенций (современная теория тестирования, адаптивное тестирование, тестовые процедуры на базе марковских моделей), определены их достоинства и недостатки, на основе чего делается вывод о том, что перечисленные проблемы делают актуальной разработку новых подходов к построению программных комплексов для тестирования способностей и компетенций.

Представлено описание разработанного подхода, который предлагает использование адаптивной динамической фильтрации Калмаиа для борьбы с некорректным вмешательством в процесс ответа на вопросы и остановки процесса тестирования на минимальном количестве тестовых вопросов согласно разработанному критерию. Процесс фильтрации предполагает построение моделей прогноза ответов испытуемого, количество которых зависит от числа оцениваемых уровней развития способностей. Для построения моделей прогноза в фильтре Калмаиа используются нагрузки разработанной факторной модели, которые оцениваются по результатам массовых полных тестов для всех уровней, предполагаемых данной методикой тестирования.

Структура факторной модели процесса тестирования определяется по предварительному анализу существующих подходов, описывающих структуру способностей и компетенций, и их сравнению с использованием разработанной процедуры, предполагающей применение метода Монте-Карло и возможностей самоорганизующихся карт Кохонена.

В процессе ответов на вопросы тестовой методики выстраивается потенциальный процесс для конкретного испытуемого, предполагающий логику ответов по каж-

6

дому из оцениваемых уровней способностей и компетенций, который завершается, когда текущие ответы максимальным образом приблизятся к одной из моделей прогноза. Архитектура СПГГР, реализующей рассматриваемый подход, представлена на рис. 1.

Блок сбора данных

Блок предъявления тестовых вопросов

Блок идентификации моделей процесса тестирования

Блок фильтрации Калмана

Блок генерации Монте-Карло

Блок обучения карт Кохонена

Наборы расстояний

Блок вычисления вероятности принадлежности к одной из моделей

Блок принятия решений при тестировании

X

< Ответ пользователю

Рис. 1. Архитектура СППР На первом этапе предполагается выполнение процедуры адаптации системы к тестовой методике (рис. 2).

Проведение тестирования испытуемых по I всей вопросам методики

Эталон

Определение результатов по группе 1

Определение результатов по группе 2

Определение результатов по группе д^

Идентификация • факторной модели \

Идентификация факторной модели

Идентификация факторной модели

Генерация Монте-Карло

Генерация Монте- | Карло I

Генерация Монте-Карло

Обучение карты Кохонена

Обучение карги Кохонена

п-раз г

\

Получение наборов расстояний до

элемента-победителя

Получение наборов расстояний до элемента-победителя

Обучение карты Кохонена

Получение наборов расстояний до элемента-победителя

Рис. 2. Процедура адаптации системы к тестовой методике В качестве эталонов для системы выступают результаты тестирования выборки испытуемых на полном комплекте тестовых вопросов, которые разделяются на gmax

7

групп по уровням развития способностей и компетенций, предполагаемых разработчиками тестов. По каждому из уровней развития способностей проводится идентификация по разработанной факторной модели процесса тестирования, генерация методом Монте-Карло наборов выборочных значений. Самоорганизующиеся карты Кохо-нена обучаются для каждого вопроса тестовой методики с использованием данных, полученных на предыдущем этапе (п - максимальное число вопросов теста). Итоговые наборы расстояний от каждого элемента обучающей выборки до центра элемента-победителя используются для дальнейшей оценки вероятности принадлежности испытуемого к одной из групп сложности. Процедура адаптации системы к тестовой методике по времени ответов на каждый из вопросов методики аналогична.

Разработанный подход опирается на фильтрацию Калмана, которая выполняется после каждого ответа на вопрос тестовой методики. Блок-схема алгоритма проведения тестирования представлена на рис. 3.

Рис. 3. Блок-схема алгоритма проведения тестирования В процессе тестирования, после каждого ответа на вопрос, происходит оценка вероятностей принадлежности к каждому из уровней развития способностей, которые затем подаются на вход модуля принятия решений.

Принятие решения основывается на анализе балансов оценок вероятностей принадлежности к каждому из уровней, а также сравнению с оценкой, полученной по времени тестирования. Подробное описание алгоритма принятия решений представлено в 4-й главе.

Тестирование компетенций и способностей используется в различных областях профессионального образования для оценки эффективности различных методов

8

обучения и исследований, связанных с изучением особенностей восприятия, анализа и обработки информации. Внедрение технологий тестирования стимулируется ФГОСами нового поколения, которые изменяют требования к подготовке будущих специалистов. При этом в основе оценки результатов обучения лежит компетент-ностный подход. В связи с этим возникает необходимость создания средств измерений для определения уровня сформированное™ способностей и компетенций с целью объективной оценки профессионального уровня специалистов и перспектив их дальнейшего развития. Решение проблемы большого числа заданий в тестовых методиках является актуальным, так как требует больших временных затрат и длительной концентрации внимания и собранности испытуемых, что является основанием для разработки систем поддержки принятия решений для тестирования способностей, которые позволили бы сократить число выполняемых заданий без потери точности итоговой оценки результатов, а также учитывали динамику прохождения заданий.

Первая глава посвящена описанию структуры когнитивных способностей и исследованию соответствующих им факторных моделей. В ней представлена факторная модель процесса тестирования способностей и компетенций, идентифицируемая по результатам наблюдений.

Оценка вероятностей различных уровней способностей и компетенций проводится по результатам ответов испытуемого на вопросы с использованием разработанной факторной модели, включающей как влияния генерального фактора способностей б, обозначенного в модели как С/, так и факторов среды, обозначенных в модели как Е,, на ответы испытуемых для п вопросов субтеста (рис. 4). Трудности заданий Г, измеряются в единой безразмерной шкале логитов, представляющей соотношение долей неправильных и правильных ответов. В случае оценки трудности этот параметр характеризует возможность выполнения определённого задания для всего множества испытуемых.

Рис.4. Модель процесса тестирования для результатов ответов испытуемых

Для учета динамики прохождения тестовых заданий применяется модель, аналогичная представленной. В качестве наблюдаемых параметров /, в ней используется время, затраченное испытуемым при ответе на каждый из вопросов тестовой методики.

Описание модели процесса тестирования представляется в виде путевой диаграммы, которая отражает латентные и наблюдаемые переменные, их причинно-следственные связи и построена на основе теории JI. Терстона, предполагающей наличие единого фактора когнитивных способностей, который оказывает влияние на наблюдаемые параметры. Кроме того, в данной модели учитывается влияние факторов среды. Ученые предлагают различные интерпретации генерального фактора, включая свойство внимания (С. Берт), мотивацию, скорость переработки информации центральной нервной системой (Г. Айзенк) и др.

В процессе анализа предметной области среди рассмотренных подходов были выделены два ведущих подхода к формализации структуры когнитивных способностей: теории JI. Терстона и Ч. Спирмена. Структура способностей в них понимается как структура механизмов, осуществляющих различные формы интеллектуального поведения.

Теория Ч. Спирмена предполагает наличие «генерального» фактора способностей G (от general — общий), а также ряда специальных факторов, служащих показателем специфических способностей. Наряду с влиянием генерального фактора в этой модели предполагается существование факторов вербальных (V) и невербальных (N) способностей. Гнездовая факторная модель интеллекта, согласующаяся с теорией Ч. Спирмена, в которой в качестве наблюдаемых параметров используются результаты тестирования близнецов по тесту Векслера, приведена на рис. 5.

Ч. Спирмен показал, что каждый человек достигает определенного уровня развития общих способностей, от которого зависит успешность адаптации к окружающей среде. Кроме того, у всех людей имеются в различной степени развитые специальные способности, проявляющиеся в решении конкретных задач.

Согласно теории Л. Терстона различные специфические способности не являются независимыми, что было доказано с использованием методов факторного анализа. Связь между специфическими способностями Л. Терстон объяснил наличием генерального фактора, оказывающего влияние на специальные способности. Модели, придерживающиеся идеи существования единого генерального фактора способностей, называются иерархическими. На рис.6 приводится пример иерархической модели, составленной согласно тесту способностей Векслера, в которой в качестве наблюдаемых параметров используются те же данные по тестированию близнецовых пар.

Рис.6. Иерархическая факторная модель интеллекта

В процессе статистического анализа обе модели продемонстрировали свою адекватность наблюдениям. Исключение фактора О из моделей и последующее сравнение полной и упрощенной моделей по разработанному критерию согласия показало статистическую значимость исследуемого фактора. При разработке факторной моде-

ли, отражающей процесс тестирования когнитивных способностей, в основу была положена иерархическая модель как более универсальная.

Процесс настройки системы для использования новой тестовой методики включает в себя следующие этапы:

- уточнение размерности факторной модели процесса тестирования по каждому субтесту;

- проведение тестирования на выборке испытуемых для получения наборов ответов и временных показателей;

- идентификацию факторных моделей для каждого уровня развития способностей.

Во второй главе рассматривается процедура принятия решений при тестировании способностей и компетенций, основанная на применении самоорганизующихся карт Кохонена.

Нелинейность исследуемых моделей, а также ограничения, налагаемые на распределение наблюдаемых параметров, не позволяют использовать метод максимального правдоподобия для идентификации представленных моделей, вследствие чего предлагается новая процедура оценки факторных моделей, опирающаяся на возможности самоорганизующихся карт Кохонена и метод Монте-Карло.

Оценки свободных параметров модели определяются как компоненты псевдорешения следующей переопределенной системы уравнений:

F(x) = b,

где F(x) - нелинейный оператор, действующий на вектор х свободных параметров модели, компоненты которого являются аналитическими выражениями прогнозируемых дисперсий и ковариаций наблюдаемых переменных, включающими свободные параметры рассматриваемой факторной модели; b - вектор-столбец, составленный из выборочных оценок дисперсий и ковариаций наблюдаемых переменных. Для вычисления псевдорешения может применяться любой подходящий численный метод нелинейной многомерной локальной оптимизации, в котором критерий минимизации представлен евклидовой нормой невязки. В частности, для этого приемлемы градиентные методы.

Оценка степени адекватности нелинейных моделей путевых коэффициентов наблюдениям основывается на сравнении вектора невязки £ псевдорешения и случайной выборки векторов невязок £г для его окрестности, в которых определенный процент случайных компонентов выходит за границы доверительных интервалов. Векторы невязок ег вычисляются с использованием рассматриваемой факторной модели.

Полученные выборочные оценки дисперсий и ковариаций наблюдаемых параметров позволяют вычислить вектор псевдорешения с помощью метода наименьших квадратов, а затем оценить вектор невязки псевдорешения по следующей формуле е = F(xz) - b.

Данная оценка показывает, насколько рассчитанное псевдорешение xz согласуется с наблюдаемыми параметрами.

Для получения информации о наиболее правдоподобных отклонениях идентифицируемых параметров от их оценок, полученных с помощью заданной факторной модели, для обучения самоорганизующихся карт признаков генерируются серии выборок хг с различными процентами (от 0% до 35%) от стандартного отклонения и средними процентами случайных компонентов, выходящих за границы доверительных интервалов (от 0% до 100%). Векторы хг могут быть распределены произвольным образом, однако на практике удобно генерировать их нормально распределенными, варьируя соответствующее стандартное отклонение и число компонентов, выходящих за границы доверительных интервалов. Генерация выборок позволяет рассматривать представленный подход как одну из форм метода Монте-Карло. Оценка векторов невязок для выборок сгенерированных значений выполняется по формуле «=г = F(xz) - F(xr).

Выборка случайных векторов невязок £г используется для обучения самоорганизующихся карт признаков подходящей размерности с целью получения выборок евклидовых расстояний между векторами невязок, используемыми в качестве входных данных, и центрами элементов-победителей обученной сети. Учитывая достаточно высокую размерность векторов невязок, характерную для практических задач, можно говорить о том, что распределение полученных евклидовых расстояний близко к нормальному. Выборочные оценки средних и дисперсий этих расстояний идентифицируют указанное распределение и позволяют оценивать вероятности превышения расстояния между полученным вектором невязки псевдорешения и соответствующим центром элемента-победителя, что даёт возможность судить о степени адекватности модели наблюдениям. Предлагаемая схема вычисления оценок адекватности представлена на рис. 7.

Уравнения, описывающие факторную модель (Р(х))

Выборка наблюдаемых переменных

Вектор псевдорешения (х,) -идентифицированные свободные параметры модели(Р(х,)=Ь)

? Выборочные оценки дисперсий и

ковариаций (Ь) наблюдаемых | переменных

х, - сгенерированная нормально распределенная выборка в окрестности псевдорешения х, с изменяющимися характеристиками

Набор векторов невязки для |

сгенерированных параметров ег=Р(х1)-Р(хг) :

Самоорганизующаяся карта Кохонена

Вектор невязки псевдорешения

Набор векторов весов элементов обученной карты Кохонена

Набор расстояний ме>еду векторами невязки е, (входные наблюдения) и центрами элементов-победителей обученной самоорганизующейся карты Кохонена

Расстояние между вектором невязки псевдорешения (входное наблюдение) и

соответствующим вектором весов элемента-победителя обученной карты

Параметры идентифицированного нормального распределения

Степень адекватности модели

Рис. 7. Процедура оценки степени адекватности факторной модели наблюдениям с помощью самоорганизующихся карт признаков и метода Монте-Карло

Для удобства дальнейшего анализа стандартные отклонения генерируемых выборок поддерживаются для всех параметров псевдорешения равными заданному постоянному проценту от соответствующих средних значений. Сопоставление рассмотренных выше вероятностных мер адекватности моделей для различных стандартных отклонений и средних процентов компонентов, выходящих за границы доверительных интервалов, позволяет выявлять наиболее правдоподобные сочетания достигнутой точности идентификации, представляемой оценкой стандартного отклонения, и структуры значимых погрешностей в определении компонентов полученного псевдорешения. Геометрическая иллюстрация, поясняющая суть нелинейного преобразования области допустимых решений, приведена на рис. 8.

Рис.8. Геометрическая интерпретация

В приведённой выше процедуре самоорганизующиеся карты Кохонена обеспечивают кластеризацию векторов, которые связывают точку, заданную радиус-вектором Р(хг), с центрами радиальных базисных элементов, представляющих вычисленные центры кластеров. Размеры соответствующей топологической карты расширяются до тех пор, пока для генерируемой выборки векторов хг или не перестанут уменьшаться наибольшие частоты выигрышей на элементах, или не перестанет возрастать число нейронов-победителей. В этом случае, с точки зрения карты Кохонена, расстояния между векторами хг и ближайшими к ним центрами кластеров уже не представляют геометрическое расположение точек, заданных радиус-векторами Р(хг)- Поэтому значения этих расстояний полагаются находящимися ниже «порога чувствительности» карт Кохонена и, следовательно, выражающими допустимые незначимые вариации расстояний от невязок до ближайших центров кластеров, которые не обусловлены геометрическим расположением.

Выборочные оценки итоговых расстояний от входных элементов обучающей выборки до соответствующих центров элементов-победителей идентифицируют нормальное распределение и позволяют оценивать вероятности превышения евклидова расстояния между вектором невязки псевдорешения и соответствующим вектором, представляющим центр элемента-победителя, что даёт возможность строить и проверять статистические гипотезы о степени адекватности модели наблюдениям.

Для сравнения двух вариантов исследуемых факторных моделей (иерархической и гнездовой) предложен подход, основанный на технике проверки статистических гипотез. Сравнение опирается на сопоставление отношений q=a/u, где а есть наиболее правдоподобное стандартное отклонение сгенерированных нормально распределенных значений в окрестности вектора псевдорешения х2, а и - соответствующее среднее значение распределения. Отношение д при генерации выборок поддерживается равным для всех параметров одной модели, но может различаться для разных моделей, которые, в общем случае, могут иметь и разные средние процентные соотношения компонентов, лежащих вне доверительных интервалов.

Пусть указанные отношения для сравниваемых моделей равны, соответственно, д 1=01/111 и причём Сравнение моделей выполняется при одном и том

же относительном стандартном отклонении когда среднее значение и/

выбирается в качестве единицы измерения (приравнивается к 1), и опирается на оценку вероятности получения приведённого среднего а именно: для случайной величины г вычисляется вероятность Р(и2<2<\)=Ф(\)-Ф(и2) пребывания в интервале [и2\ 1], где Ф есть функция нормального распределения со средним значением 1 и стандартным отклонением а». Если эта вероятность превышает заданный критический уровень, который обычно принимается равным 0,05, различие между моделями рассматривается как статистически значимое, в противном случае - как незначимое.

В факторных моделях процесса тестирования дисперсия С; фактора выражается следующей формулой:

где С; - генеральный фактор способностей в модели процесса тестирования (см. рис.1), Я; - факторные нагрузки, связывающие факторы С;.

Идентификация факторных моделей для результатов и для времени ответов испытуемых проводится для каждого уровня развития способностей по выборочным ковариационным матрицам с использованием метода наименьших квадратов. Число измеряемых уровней определяется разработчиками тестовой методики.

После получения значений факторных нагрузок, используя метод Монте-Карло, реализуется возможность путем генерации нормально распределенных случайных значений факторов С^ и Ei с различными стандартными отклонениями, лежащими в окрестности идентифицируемого стандартного отклонения Сх и Еь и долями случайных компонентов, выходящими за рамки доверительных интервалов, используя выражения наблюдаемых переменных Ъ и 1, через факторы модели, получать выборки наблюдаемых значений для каждой из групп различных уровней способностей с уче-

том вариативности, присутствующей в генеральной совокупности. Выборка наблюдаемых параметров необходима для обучения самоорганизующихся карт Кохонена для каждого из уровней с целью получения выборок евклидовых расстояний между входным вектором, описывающим процесс прохождения тестирования испытуемым, и центрами элементов-победителей обученной сети.

Гистограмма (рис. 9) показывает, что оценка вероятности по эмпирическому распределению указанных выше наборов расстояний различается на интервалах, соответствующих различным параметрам генерации, используемым в методе Монте-Карло, для каждой модели для различных уровней развития способностей, что позволяет получать вероятностные диагностические оценки уровней способности в процессе выполнения заданий.

Интервал

Рис. 9. Диагностические оценки различных уровней способностей в форме гистограмм, построенные для испытуемого по результатам выполнения заданий теста

Таким образом, система после каждого ответа испытуемого на вопрос теста подает вектор ответов на вход обученных карт Кохонена для разных уровней развития способностей и дает вероятностную оценку того, к какой из моделей, соответствующих определяемым уровням, наиболее близок конкретный испытуемый. На определенном вопросе, когда баланс оценок вероятностей превысит допустимый порог, определяемый, как правило, эмпирически (на практике эта величина находится в диапазоне от 2 до 8), процесс тестирования завершается, после чего формируется итоговая количественная оценка принадлежности испытуемого к определенному уровню развития способностей по его результатам и по времени, затраченному на прохождение теста.

Преимуществами представленной процедуры являются:

17

- применимость для произвольных факторных моделей;

- отсутствие ограничений, налагаемых на распределения наблюдаемых переменных;

- возможность выявления наиболее правдоподобных сочетаний достигнутой точности идентификации и структуры значимых погрешностей в определении компонентов полученного псевдорешения;

- возможность получения оценок адекватности моделей с заданной степенью точности путём увеличения объёма генерируемых случайных выборок компонентов псевдорешения.

Ограничения представленного метода:

- отсутствие обратных связей в факторной модели;

- число свободных параетров меньше числа независимых статистик, определяемых по результатам наблюдений.

В третьей главе рассматривается метод устранения влияний, обусловленных воздействием различных факторов внешней среды искажающих результаты тестирования, с использованием оптимальной линейной фильтрации. При этом применяется адаптированный для решения рассматриваемой задачи многомерный цифровой фильтр Калмана - нестационарная система с обратной связью, включающая в себя как составную часть формирующий фильтр, и воспроизводящая идеализированную модель поведения. Его выбор среди близких по содержанию подходов (фильтр Винера, Стратоновича, Льюинбергера) является оптимальным, поскольку наилучшим образом согласуется с принятой концепцией тестирования и контекстом её использования.

В процессе тестирования используется несколько моделей прогноза ответов испытуемых согласно разным уровням развития способностей. По каждой из модели по результатам фильтрации проводится анализ и сравнение. Если прогноз ответов сбывается по какому-либо из уровней, то тестирование завершается согласно критерию принятия решений.

В рассматриваемом случае наблюдаемый процесс представляет историю выполнения испытуемым заданий теста и для дискретного момента времени к выражается вектором

у(к) = <Х1,г2.....тк,ол-У,

размерность которого определяется числом заданий п тестовой методики. Данный вектор содержит результаты прохождения испытуемым заданий тестов. Для заданий, которые еще не предъявлены, устанавливается нулевое значение, поскольку они пока не выполнены. Число ненулевых компонентов данного вектора в дискретный момент времени к определяется числом выполненных заданий. По мере выполнения заданий

18

отметки о невыполнении (нулевые значения) заменяются на результаты прохождения тестовых заданий. Исследуемый информационный процесс, отражающий динамику изменения влияния генерального фактора на способность испытуемого ответить на предъявляемый вопрос, представлен вектором

х(/с) = ... ос(Я))г,

где д= 1 ,...,дтах определяется числом оцениваемых уровней развития способностей.

Уравнения информационного и наблюдаемого процессов, использованные при построении многомерного цифрового фильтра Калмана для моделей рассматриваемого типа, особенностью которых является отсутствие информационного шума, имеют следующий вид:

Х(к -1-1) = Л(к)Х(к), У(к) = Н(к)Х(к) + У(к), где наблюдаемый процесс представляется ожидаемыми ответами, исходя из разных уровней способностей и последствий влияния факторов, искажающих результаты тестирования, а оценка характеристик случайных ошибок наблюдений производится при идентификации модели и представляется вектором

У(«0 = (с^.е^.е^ ... с(пд))Т, на который накладываются следующие условия: Е(У(к) = 0), Е(У(к1)Ут(к2)) = <5^2к> Е(Х(к1)Ут(к2)) = 0; к, кх и к2 - номера дискретных моментов времени; 8к1кг - символ Кронекера; И - симметричная положительно определённая матрица, которая полагается не зависящей от времени (при проведении практических расчётов эта матрица заменятся на одну из своих выборочных оценок К, полученных для каждого из рассматриваемых уровней способностей или компетенций на основе результатов наблюдений); матрица формирующего фильтра

/1 0 0 ... 0\

' 0 0 ...0Х

0 а(2я} 0 ... 0

0 0 ас3д) ... 0

V 0 0 0 а{пз) 0/

содержит идентифицируемые нагрузки, представляющие связи между факторами Сп; диагональная матрица наблюдений

Л =

0 0 ... 0\

0 ф 0 ... 0

н = 0 0 г(я) ... 0

\ 0 0 0 0 с^Ч

содержит идентифицируемые факторные нагрузки, определяющие наблюдаемые параметры.

Элементы матриц Л и Н определяются отдельно для каждого рассматриваемого уровня развития способностей или компетенций, что позволяет вычислять соответствующие зависимости.

В процессе выполнения тестовых заданий получаемые результаты корректируются с использованием уравнения цифрового фильтра Калмана, определяющего несмещённую оценку исследуемого процесса:

Х(/с + 1) = Л (fc)X(fc) + К (к + l)[Y(fc + 1) - Н (/с + 1)Л(к)Х(/с)], где К(£+1)— матричный коэффициент усиления фильтра Калмана. Этот коэффициент вычисляется по формуле

КОс + 1) = Р (к + 1)Нт(/с + l)[H(fc + 1)Р(/с + l)HT(fc + 1) + R(k + l)]"1, где Р(к + 1) - априорная матрица дисперсий, определяемая следующим уравнением:

Р (к + 1) = A(fc)P(fc)AT(fc) + r(fc)Q(fe)rT(k). Апостериорная матрица дисперсий Р(к + 1) задается уравнением P(fc + 1) = [I - К (к + 1)Н(к + 1)]Р(/с + 1), где I - единичная матрица. Начальное условие определяется эмпирической оценкой дисперсии ошибки Р(1) = const, которая полагается одинаковой для всех типов моделей и определяется по данным, представленным в руководстве рассматриваемого теста.

В соответствии с представленной выше процедурой тестирования, фильтрация выполняется согласно каждому из уровней способностей или компетенций, учитываемых при постановке решаемой задачи. При этом скорректированные результаты выполнения заданий подаются на вход обученных самоорганизующихся карт Кохонена, соответствующих каждому рассматриваемому уровню развития способностей или компетенций, после чего происходит количественная оценка принадлежности испытуемого к одному из уровней.

В четвёртой главе приводятся описания комплексов программ, реализующих разработанную концепцию тестирования, а также ряд алгоритмов, включая алгоритм генерации нормально распределенной выборки наблюдаемых параметров методом

20

Монте-Карло, алгоритм тестирования с использованием обученной самоорганизующейся карты Кохонена, алгоритм коррекции влияния факторов внешней среды на результаты тестирования, алгоритм построения итоговых количественных оценок принадлежности испытуемого к различным уровням развития способностей по результатам и динамике тестирования.

Созданный программный комплекс позволяет оценивать когнитивные способности человека по различным тестам. Процедура тестирования реализует разработанную концепцию в полном объёме.

При реализации проекта использована методика Равена «Advanced Progressive Matrices», составляющая основу стандартизированной диагностической процедуры тестирования невербальных способностей, а также проведена экспериментальная работа для получения выборочных данных о процессе прохождения тестирования испытуемыми определенной возрастной группы. На основе описанной выше концепции системы поддержки принятия решений, базирующейся на применении самоорганизующихся карт Кохонена, создана и идентифицирована факторная модель, отражающая процесс прохождения теста, и выполнена программная реализация системы.

После предъявления каждого тестового вопроса выполняется адаптивная динамическая фильтрация, по результатам которой проводится оценка вероятности принадлежности испытуемого к каждому из уровней развития способностей, подаваемая на вход алгоритма принятия решений, блок-схема которого представлена на рис. 10.

Рис. 10. Блок-схема алгоритма принятия решений

Модуль принятия решений реализует следующую последовательность операций:

1. Значения представляют оценки вероятностей принадлежности к уровням развития способностей по результатам тестирования, где обозначает номер уровня от минимального (1) до высокого ().

2. Значения представляют оценки вероятности принадлежности к оцениваемым уровням развития способностей по времени ответов на тестовые вопросы.

3. Значение счетчика цикла 1 полагается равным номеру максимального оцениваемого уровня развития способностей .

4. Элементу массива «Ьа1апсе_гез» с индексом 1 присваивается значение отношения оценок вероятностей принадлежности к соседним уровням развития способностей (), полученным по результатам тестирования.

5. Элементу массива «Ьа1апсе_йте» с индексом \ присваивается значение отношения оценок вероятностей принадлежности к соседним уровням развития способностей (), полученным по времени ответа на вопросы.

6. Если значение элемента массива «Ьа1апсе_гез» с индексом 1 больше заданного порогового уровня я, то переход к шагу 10, в противном случае переход к следующему шагу.

7. Значение счетчика цикла 1 уменьшается на единицу.

8. Если , что означает вычисление балансов оценок вероятностей для всех исследуемых уровней, то переход к шагу 9, в противном случае переход к шагу 4.

9. Если индексы максимальных значений элементов массивов вычисленных балансов оценок вероятностей для времени и результатов тестирования «Ьа1аисе_ге5» и «Ьа1апсе_йте» совпадают, что означает отнесение к одному и тому же уровню развития способностей как по времени, так и по ответам на тестовые вопросы, то переход к следующему шагу, в противном случае переход к шагу 11.

10. Модуль успешно завершил работу, испытуемый отнесен к уровню с номером ¡, который передается модулю предъявления результатов тестирования.

11. Модуль не смог принять решение и отнести испытуемого к какому-либо уровню развития способностей, следует продолжить тестирование.

Анализ динамики балансов оценок вероятностей для высокого, среднего и низкого уровней развития способностей на исследованной выборке испытуемых показал, что для рассматриваемой в качестве примера тестовой методики предлагаемый под-

ход позволяет сократить число вопросов в среднем на 23%, что соответствует уменьшению времени испытаний на 1/3 (примерно '/2 часа). Число правильных классификаций на обучающей и контрольной выборках составляет, соответственно, 84,5% и 76%.

В заключении приводятся основные результаты и выводы, полученные в ходе работы над диссертацией.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Разработана факторная модель, обеспечивающая принятие решений и учитывающая влияние генерального фактора способностей и фактора среды.

2. Предложена процедура принятия решений при тестировании способностей и компетенций, учитывающая время и результаты тестирования и основанная на применении самоорганизующихся карт Кохонена для построения выборочных распределений расстояний до выигравших элементов с последующими вероятностными оценками степени соответствия модели наблюдениям.

3. На основе оптимальной линейной фильтрации, адаптированной для решения рассматриваемой задачи, разработаны средства устранения последствий влияния факторов, искажающих результаты тестирования и обусловленных различными формами некорректного внешнего вмешательства в процедуру испытаний.

4. Создано специализированное программное обеспечение, реализующее предложенные подходы, позволяющее управлять процессом испытаний и дающее возможность накапливать и обрабатывать полученную информацию, что позволяет в дальнейшем выполнять необходимые уточнения параметров разработанных алгоритмов.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи, опубликованные в периодических изданиях, рекомендованных ВАК РФ

1. Панфилова, A.C. Подход к тестированию интеллектуальных способностей и устранению артефактов / A.C. Панфилова // Психологическая наука и образование, 2013. — №3. — С.54 - 66.

2. Панфилова, A.C. Особенности программной реализации системы поддержки принятия решений для тестирования интеллекта / A.C. Панфилова // Нейрокомпьютеры: разработка, применение, 2013. — №9. — С.20 — 26.

3. Панфилова, A.C. Система тестирования интеллекта на базе факторных моделей и самоорганизующихся карт Кохонена / A.C. Панфилова // Нейрокомпьютеры: разработка, применение, 2012. —№9. — С.6 — 12.

4. Панфилова, А.С. Концепция системы поддержки принятия решений при тестировании интеллекта / А.С. Панфилова // Психологическая наука и образование, 2012, — №5, — С.58—66.

5. Панфилова, А.С. Применение самоорганизующихся карт Кохонена и метода Монте-Карло для исследования адекватности факторных моделей интеллекта / А.С. Панфилова // Психологическая наука и образование, 2011. — №5. — С. 8 8—98.

6. Исследование факторных влияний на развитие психологических характеристик с применением нового подхода к оценке адекватности моделей наблюдениям / А.С. Панфилова [и др.] // Информационные технологии, 2011. — №11. — С. 67—77.

Статьи в других журналах и сборниках научных трудов

7. Panfilova, A.S. The testing intelligence system based on factor models and self-organizing feature maps / A.S. Panfilova, L.S. Kuravsky // Journal of Mathematics and System Science, 2013. — №3. — P.353—358.

8. Kuravsky, L.S. Estimation of goodness-of-fit measures for identification of unrestricted factor models employing arbitrarily distributed observed data / L.S. Kuravsky, A.S. Panfilova, P. A. Marmalyuk // In: Proc. 8th International Conference on Condition Monitoring & Machinery Failure Prevention Technologies, Cardiff, United Kingdom, June 2011.

9. Kuravsky, L.S. Comparison of the intelligence models using Structural Equation Modeling and self-organizing feature maps / L.S. Kuravsky, D.V. Ushakov, A.S. Panfilova // Труды конференции INTERCOMP, 2011.

10. Panfilova, A.S. The system for testing intelligence based on factor models and self-organizing feature maps / A.S. Panfilova // In: Proc. 3rd International Conference on Statistics «DAGStat, Statistics under one umbrella», Freiburg, Germany, 2013. — P.335.

11.Куравский, JI.С. Применение самоорганизующихся карт Кохонена и метода Монте-Карло для исследования адекватности факторных моделей / Л.С. Куравский, Д.В. Ушаков, А.С. Панфилова // Молодые ученые нашей новой школе: материалы X юбилейной научно-практической межвузовской конференции молодых ученых и студентов учреждений высшего и среднего образования городского подчинения /Ред. В.В. Рубцов, А.А. Марголис, Ю.М. Забродин и др. — М.: МГППУ, 2011. — С.336—338.

12. Куравский, Л.С. Сравнение факторных моделей интеллекта с использованием факторного анализа и самоорганизующихся карт Кохонена / Л.С. Куравский, Д.В. Ушаков, А.С. Панфилова // Тезисы докладов. IX Всероссийская научная

конференции "Нейрокомпьютеры и их применение" НКП-2011. — М: МГППУ, 2011, —С.48.

13.Панфилова, A.C. Концепция системы поддержки принятия решений при тестировании интеллекта / A.C. Панфилова // XX студенческая международная школа семинар «Новые информационные технологии», 2012. — С.316—317.

14.Куравский, JI.C. Применение факторного анализа и самоорганизующихся карт Кохонена к исследованию структуры интеллекта / JI.C. Куравский, Д.В. Ушаков, A.C. Панфилова // XIX студенческая международная школа семинар «Новые информационные технологии», 2011. — С.206—208.

15. Факторные модели для исследования динамики психологических характеристик и оценка их адекватности наблюдениям / A.C. Панфилова [и др.] // Монография «Современная экспериментальная психология» под ред. В.А. Барабан-щикова. — М.: ИП РАН, 2011. — С.213—232.

16. Панфилова, A.C. Факторная модель интеллекта с точки зрения структурно-динамического подхода / A.C. Панфилова // IX научно-практическая межвузовская конференция «Молодые учёные - столичному образованию», 2010. — С.379—381.

П.Панфилова, A.C. Особенности методик, используемых в системе поддержки принятия решений при тестировании интеллекта / A.C. Панфилова // XI научно-практическая межвузовская конференция «Молодые учёные - нашей новой школе», МГППУ, 2012. — С.352—354.

18. Куравский, JI.C. Система поддержки принятия решений при тестировании интеллекта / JI.C. Куравский, Д.В. Ушаков, A.C. Панфилова // Тезисы докладов X Всероссийской научная конференции «Нейрокомпьютеры и их применение -2012». — М: МГППУ, 2012. — С.55.

Панфилова Анастасия Сергеевна

Автореферат диссертации на соискание ученой степени кандидата технических наук

Подписано в печать 23.12.2014 г. Формат 60x90, 1/16 Объем 1,5 п.л. Тираж 150 экз. Заказ № 105

Отпечатано в Отделе оперативной полиграфии Московского городского психолого-педагогического университета

Москва, Шелепихинская наб., д. 2а, каб. 109А