автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка математических методов и комплекса программных средств имитационного тестирования знаний на основе семантических моделей

На правах рукописи

Сологуб Глеб Борисович

РАЗРАБОТКА МАТЕМАТИЧЕСКИХ МЕТОДОВ И КОМПЛЕКСА ПРОГРАММНЫХ СРЕДСТВ ИМИТАЦИОННОГО ТЕСТИРОВАНИЯ ЗНАНИЙ НА ОСНОВЕ СЕМАНТИЧЕСКИХ МОДЕЛЕЙ

05.13.18 — математическое моделирование, численные методы и комплексы

программ

05.13.11 — математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

5 ДВ 2013

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

Москва—2013

005541869

Работа выполнена на кафедре «Математическая кибернетика» Московского авиационного института (национального исследовательского университета)

Научный доктор физико-математических наук,

руководитель: профессор Пантелеев Андрей Владимирович

Официальные доктор физико-математических наук, оппоненты: профессор ФГБОУ ВПО «Московский государственный университет имени М.В. Ломоносова» Захаров Валерий Константинович

кандидат физико-математических наук, генеральный директор ЗАО «ОВИОНТ ИНФОРМ» Артамонов Григорий Феликсович

Ведущая Кафедра прикладной информатики

организация: и мультимедийных технологий ГБОУ ВПО

г. Москвы «Московский городской психолого-педагогический университет»

Защита состоится «20» декабря 2013 г. в 12 ч. 00 мин. на заседании Диссертационного совета Д212.125.04 Московского авиационного института (национального исследовательского университета) по адресу: 125993, Москва, А-80, ГСП-3, Волоколамское ш., 4.

С диссертацией можно ознакомиться в библиотеке Московского авиационного института (национального исследовательского университета) по адресу: 125993, Москва, А-80, ГСП-3, Волоколамское ш., 4.

Отзыв на автореферат, заверенный гербовой печатью организации, просьба направлять по указанному адресу в двух экземплярах.

Автореферат разослан «19» ноября 2013 г.

Ученый секретарь Диссертационного совета Д212, кандидат физико-математических наук

Н.С. Северина

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования

В настоящее время в инженерном образовании, в том числе, при подготовке специалистов для аэрокосмической отрасли, осуществляется переход на образовательные стандарты нового поколения, включающие усиленные квалификационные требования на основе компетентностной модели.

Согласно этим стандартам, высшее учебное заведение обязано гарантировать качество подготовки, в том числе, путем разработки объективных процедур оценки уровня знаний и умений обучающихся, компетенций выпускников.

Оценка качества обучения должна включать текущий контроль успеваемости и промежуточную аттестацию обучающихся, причем конкретные формы и процедуры текущего и промежуточного контроля знаний по каждой дисциплине, в том числе, тесты и методы контроля, разрабатываются вузом самостоятельно.

При разработке оценочных средств для контроля качества изучения модулей, дисциплин, практик должны учитываться все виды связей между включенными в них знаниями, умениями, навыками, позволяющие установить качество сформированных у обучающихся компетенций по видам деятельности и степень общей готовности выпускников к профессиональной деятельности.

Таким образом, возникает насущная необходимость в разработке новых методов и средств контроля знаний, соответствующих указанным требованиям.

Выполнение этой практической задачи сопряжено с решением ряда теоретических проблем в области интеллектуальных обучающих и тестирующих систем и смежных областях компьютерного обучения и искусственного интеллекта.

Целью диссертационного исследования является разработка методов и программных средств имитационного сетевого компьютерного тестирования знаний на основе семантических моделей.

Задачи исследования

1. Разработать методы построения фреймовых семантических моделей учебных дисциплины и знаний студентов.

2. Разработать методы и алгоритмы построения байесовских сетей для моделирования и диагностики знаний студентов, в частности, метод построения структуры сети, а также алгоритмы автоматического обучения параметров и вероятностного вывода в таких байесовских сетях.

3. Разработать комплекс программ для имитационного сетевого компьютерного тестирования знаний на основе семантических моделей, в частности, разработать архитектуру программного комплекса и функциональность входящих в него программных средств; структуры данных для хранения и переноса семантических моделей; модель теста и алгоритм имитационного тестирования знаний; реализовать разработанные методы и алгоритмы построения семантических моделей и имитационного тестирования знаний в виде ряда программных и пользовательских интерфейсов для построения и визуализации семантических моделей, формирования тестов, проведения тестирований и отображения их результатов.

4. Разработать системы имитационного тестирования по ряду математических дисциплин, в частности, построить семантические модели учебных дисциплин, сформировать тесты, разработать методику диагностики знаний, провести пробные тестирования и построить семантические модели знаний студентов.

Объектом исследования является математическое и программное обеспечение автоматизированного контроля знаний студентов.

Предметом исследования являются математические модели, методы и программные средства, предназначенные для автоматизации создания компьютерных тестов, проведения сетевых тестирований и диагностики знаний тестируемых.

Область исследования

Согласно паспорту специальности 05.13.18 «Математическое моделирование, численные методы и комплексы программ»:

— разработка новых математических методов моделирования объектов и

явлений;

— реализация эффективных численных методов и алгоритмов в виде комплексов проблемно-ориентированных программ для проведения вычислительного эксперимента;

— разработка новых математических методов и алгоритмов интерпретации натурного эксперимента на основе его математической модели;

— разработка систем компьютерного и имитационного моделирования.

Согласно паспорту специальности 05.13.11 «Математическое и программное

обеспечение вычислительных машин, комплексов и компьютерных сетей»:

— модели, методы, алгоритмы, языки и программные инструменты для организации взаимодействия программ и программных систем;

— человеко-машинные интерфейсы; модели, методы, алгоритмы и программные средства машинной графики, визуализации, обработки изображений, систем виртуальной реальности, мультимедийного общения.

Методологическая и теоретическая основа исследования

Теоретическую основу исследований составили научные труды отечественных и зарубежных ученых в области моделирования знаний и искусственного интеллекта (М. Минский, С. Рассел, Д.А. Поспелов, В.В. Семенов), байесовских сетей (Д. Перл, Ф. Йенсен, А.Л. Тулупьев, С.И. Николенко), обучающих систем (Б.Ф. Скиннер, К. ВанЛен, П. Брусиловский, Б.П. Вульф, A.B. Пантелеев, Т.А. Летова, A.B. Наумов, А.И. Кибзун) и тестирования знаний (Г. Раш, А. Бирнбаум, B.C. Аванесов, A.B. Агибалов).

Для решения поставленных задач использовались современные методы исследования такие, как методы дискретной математики, математической статистики, искусственного интеллекта, машинного обучения, информатики и объектно-ориентированного программирования.

Достоверность результатов обеспечивается строгостью математического аппарата, сравнением с результатами других авторов и экспериментальной проверкой.

Научная новизна

1. Разработаны методы построения древовидных фреймовых семантических моделей учебных дисциплин и знаний студентов, позволяющие сформировать иерархическую структуру знаний по учебной дисциплине и описать владение темами, обладание элементарными компетенциями, умение выполнять задания и оценки правильности выполнения заданий и их элементов для конкретного студента.

2. Предложен способ построения древовидной структуры байесовской сети на основе фреймовой семантической модели знаний студента, который позволяет описать в виде байесовской сети вероятностные взаимосвязи между элементами этой модели.

3. Разработан рекуррентный алгоритм автоматического обучения параметров байесовской сети с булевыми случайными элементами и древовидной структурой, позволяющий выполнять последовательное обновление значений параметров сети в процессе экспертного оценивания.

4. Разработан модифицированный алгоритм вероятностного вывода для байесовской сети с булевыми случайными элементами и древовидной структурой, линейный по времени и памяти, который позволяет оценивать владение темами, обладание элементарными компетенциями и умение выполнять задания для тестируемого студента.

5. Разработана архитектура комплекса программ для имитационного сетевого компьютерного тестирования знаний и функциональность входящих в него программных средств.

6. Разработаны компонентная модель теста и соответствующий алгоритм тестирования, которые позволяют реализовать линейные тесты с фиксированной структурой, адаптивные тесты с ветвлениями, имитировать очный экзамен с заданием дополнительных вопросов.

7. Разработана методика автоматизированной диагностики знаний на основе построения семантических моделей при сетевом компьютерном тестировании, которая позволяет имитировать методики тестирования и оценивания знаний конкретным преподавателем.

Практическая значимость и внедрение результатов

Разработан программный комплекс, предназначенный для автоматизации создания компьютерных тестов, проведения сетевых тестирований и диагностики знаний тестируемых. Разработаны системы тестирования для промежуточного и итогового контроля знаний студентов по следующим дисциплинам высшей математики: «Математический анализ» (1 курс), «Линейная алгебра и аналитическая геометрия», «Дифференциальные уравнения», «Теория функций комплексного переменного и операционное исчисление», «Теория игр», «Теория оптимизации и численные методы». Кроме того, разработана система тестирования для входного контроля знаний абитуриентов по теме «Элементарная математика». Построены семантические модели знаний, включающие 1237 постановок задач по 50 главам и разделам указанных учебных дисциплин.

Разработанный программный комплекс внедрен в учебный процесс на кафедре «Математическая кибернетика» МАИ и используется для тестирования знаний студентов по математическим дисциплинам; внедрен в рабочий процесс ООО «Информационные технологии гражданской авиации» и используется для тестирования квалификационных характеристик специалистов; засвидетельствовано актами внедрения.

Апробация результатов

Результаты работы докладывались и обсуждались на следующих научных конференциях: 7-й международной конференции «Авиация и космонавтика — 2008» (Москва, 2008 г.), VI Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» (Москва, 2009 г.), 2-й Всероссийской конференции ученых, молодых специалистов и студентов «Информационные технологии в авиационной и космической технике-2009» (Москва, 2009 г.), 8-й международной конференции «Авиация и космонавтика

_ 2009» (Москва, 2009 г.), 52-й научной конференции МФТИ — Всероссийской

молодёжной научной конференции с международным участием «Современные проблемы фундаментальных и прикладных наук» (Долгопрудный, 2009 г.), VII Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» (Москва, 2010 г.), научно-практической конференции студентов и молодых ученых МАИ «Инновации в авиации и космонавтике — 2010» (Москва, 2010 г.), конкурсе научно-технических работ и проектов «Молодежь и будущее авиации и космонавтики — 2010» (Москва, 2010 г.), научно-практической конференции студентов и молодых ученых МАИ «Инновации в авиации и космонавтике — 2011» (Москва, 2011 г.), Fifth Russian Young Scientists Conference in Information Retrieval (Санкт-Петербург, 2011 г.), 4-й Всероссийской мультиконференции по проблемам управления «МКПУ — 2011» (Дивноморское, 2011 г.), 54-й научной конференции МФТИ «Проблемы фундаментальных и прикладных естественных и технических наук в современном информационном обществе» (Долгопрудный, 2011 г.), Международной научно-методической конференции «Информатизация инженерного образования» — ИНФОРИНО-2012 (Москва, 2012 г.), Московской научно-практической конференции «Инновации в авиации и космонавтике — 2012» (Москва, 2012 г.), IX Международной конференции по неравновесным процессам в соплах и струях (Алушта, 2012 г.).

Работа победила в конкурсе научно-исследовательских работ студентов и аспирантов на 54-й научной конференции МФТИ «Проблемы фундаментальных и прикладных естественных и технических наук в современном информационном обществе» в 2011 г.

Исследования выполнены, в том числе, в рамках работы научно-образовательного центра «Математические методы оптимизации и идентификации аэрокосмических систем и летательных аппаратов», . как часть работ по Государственному контракту 02.740.11.0471 в рамках Мероприятия 1.1 Федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009—2013 гг.; а также в рамках Межвузовской

комплексной работы по развитию и внедрению инновационных технологий в образовании (МКР ИТО) в 2009—2011 гг.

Публикации

Результаты исследования опубликованы в 27 печатных работах, из которых 6 статей в журналах, входящих в Перечень ВАК РФ, а также в 4 отчетах по НИР. Получено 3 свидетельства о государственной регистрации программ для ЭВМ.

Структура и объем диссертации

Диссертация состоит из введения, 4 глав с выводами, заключения, списка литературы (из 97 источников) и 3 приложений. Объем диссертации составляет 124 м.п.с.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулированы цель и задачи исследования, описана структура диссертации, научная новизна и практическая значимость работы.

В первой главе рассматриваются задача моделирования знаний в интеллектуальной системе тестирования, описываются подходы к моделированию знаний и разработанные методы построения фреймовых семантических моделей.

Описаны два вида моделей: модель учебной дисциплины, которая должна определять состав требуемых знаний и взаимосвязи между отдельными частями учебного курса, и модель знаний студента, которая должна отражать представления системы о составе и уровне текущих знаний конкретного студента.

Тестирование (диагностика) знаний понимается как процесс сравнения модели учебной дисциплины с моделью знаний студента. Предполагается, что в разрабатываемой интеллектуальной системе тестирования знаний построение и сравнение семантических моделей будет осуществляться автоматически. Для формального описания семантических моделей знаний предлагается применить фреймовый аппарат семантического программирования.

Описан разработанный метод построения древовидной фреймовой семантической модели произвольной учебной дисциплины. Согласно этому методу в составе требуемых знаний по учебной дисциплине выделяются совокупности знаний определенного вида и описываются иерархические связи между ними.

Темой называется обособленная совокупность знаний, объединенных по смыслу. Заданием называется совокупность знаний, состоящая из постановки типовой задачи и описания формы ответа. Элементарной компетенцией называется совокупность знаний по теме, необходимых для решения типовой задачи. Структурным элементом задания обособленный набор текстов и/или директив, объединенных по смыслу и входящих в сообщение, посредством которого передается задание. Семантическим элементом задания называется переменная, сопоставленная каждой форме ответа, описанной в конкретном задании, и принимающая те или иные значения, из которых формируется код ответа.

Предполагается, что темы могут находиться на произвольной глубине вложенности, у каждой темы и компетенции может быть не более одной родительской темы, каждая тема может включать любое количество тем и

5

компетенций. Предполагается, что каждое задание проверяет единственную компетенцию, а каждая компетенция может проверяться произвольным

количеством заданий.

Каждая совокупность знаний описывается в виде фрейма-смысловой связки. Взаимосвязь между ними выражается с помощью иерархической древовидной структуры фреймов. Приведены протофреймы-смысловые связки тем, заданий, элементарных компетенций, параметров заданий, структурных и семантических элементов заданий; а также сопутствующие классификационные и директивные фреймы.

Описан разработанный метод построения фреймовых семантических моделей знаний студентов путем наследования от модели учебной дисциплины. Согласно этому методу новая фреймовая модель сохраняет все фреймы исходной модели и их слоты; может расширять исходную модель за счет добавления новых фреймов и слотов; может иметь другой набор экземпляров фреймов. В частности, в модель знаний студента включаются выставленные преподавателем или автоматически построенные оценки владения темами, обладания компетенциями, умения выполнять задания, а также полученные оценки правильности выполнения студентом заданий и их элементов.

Приведен расширенный набор прогофреймов-смысловых связок, классификационных и директивных фреймов. В качестве примера рассмотрен фрагмент фреймовой семантической модели знаний учебной дисциплины «Теория оптимизации и численные методы» и соответствующий фрагмент фреймовой семантической модели знаний студента.

Во второй главе рассматривается задача построения байесовских сетей для моделирования и диагностики знаний студентов в интеллектуальной системе тестирования.

Описаны имеющиеся примеры использования байесовских сетей для моделирования знаний студентов и проанализированы их недостатки. Предлагается осуществлять формирование структуры байесовской сети на основе рассмотренной в первой главе фреймовой семантической модели учебной дисциплины.

Рассматривается серия независимых испытаний, в которых различные студенты выполняют некоторые тестовые задания. Каждому заданию соответствует один или несколько семантических элементов, которые принимают верное или неверное значение при ответе тестируемого. Преподаватель (или система тестирования) по результатам тестирования определяет, умеет ли студент решать каждое из заданий, обладает ли он элементарными компетенциями, необходимыми для решения этих заданий, владеет ли он соответствующими темами учебной дисциплины.

Вводятся переменные (булевы случайные элементы): принимающие

значение 1 (значение 0), если студент владеет (не владеет) соответствующей темой; СР...,СМ, принимающие значение 1 (значение 0), если студент обладает (не обладает) соответствующей компетенцией; £?,,...,£?*> принимающие значение 1 (значение 0), если студент умеет (не умеет) выполнять соответствующее задание; Я,,...,^, принимающие значение 1 (значение 0), если соответствующий

семантический элемент получил верное (неверное) значение при ответе тестируемого. Каждой из указанных переменных ставится в соответствие узел байесовской сети.

Предполагается, что владение общей темой непосредственно влияет на владение подтемами; владение темой непосредственно влияет на обладание компетенциями, которые к ней относятся; обладание компетенцией непосредственно влияет на умение выполнять задания, которые её проверяют; умение выполнять задание непосредственно влияет на правильность заполнения семантических элементов этого задания. Сформированная согласно этим предположениям структура байесовской сети является ориентированным деревом (рис. 1).

Рисунок 1. Обобщенная структура байесовской сети для моделирования знаний

студентов

В общем случае каждому узлу байесовской сети с булевыми случайными элементами должен быть сопоставлен набор условных вероятностей истинности соответствующей переменной при всех возможных значениях родителей данного узла. Для узлов, не имеющих родителей, задается условная вероятность при пустом условии, т.е. маргинальная вероятность.

Вероятность истинности булева случайного элемента Р(Х = 1) в работе

записывается сокращенно как Р(Х), а дополнительная вероятность — как Р(Х).

В байесовской сети, структурой которой является ориентированное дерево, каждый узел, кроме корневого, имеет единственного родителя. Поэтому, если сеть содержит п узлов, то для неё требуется задать 2п -1 параметров: маргинальную вероятность рк = Р(Я) для корневого узла Я, а также условные вероятности

рУ = Р(Х | ра(Л')) и р^ = Р{Х | раСХ)) для каждого из остальных узлов X, в зависимости от значения ра(Х) — родителя узла X. Остальные значения вероятностей однозначно по ним восстанавливаются при помощи соотношений: />(Д)=1-Р(Я), Р(х\<ра{Х)) = \-Р{Х\ра(Х)) и Р{Х\ ра(Х)) = 1 - Р(Х|ра(Х)).

Рассматриваются различные подходы к установлению значений параметров байесовской сети. С учетом того, что реализация описываемой модели осуществляется в компьютерной системе тестирования, работающей в сети Интернет, и байесовская сеть по конкретной учебной дисциплине может содержать тысячи узлов, а обучение параметров байесовской сети должно осуществляться поочередно по запросу преподавателя после выполнения им экспертной оценки для выбранного студента, предлагается построить рекуррентный алгоритм поэтапного автоматического обучения параметров на основе наименее ресурсоемкого метода — аддитивного сглаживания.

Пусть проведено N наблюдений, в которых переменная X (булев случайный элемент) принимала значения 1 или 0; х, — число тех наблюдений, в которых X приняла значение 1, из первых /' наблюдений. В качестве оценки pt вероятности истинности переменной X по результатам / наблюдений может использоваться оценка по формуле аддитивного сглаживания (Good, 1965):

p( = i±£,/ = <),...,*, О)

' i + 2a

где а — произвольный коэффициент сглаживания.

Предлагается рекуррентная формула аддитивного сглаживания: [¿„=0.5,

Г' i + 2a

где Е\ равно значению переменной X в /' -м наблюдении.

Далее доказывается утверждение 1 и предлагается алгоритм 1.

Утверждение 1 (о рекуррентной формуле аддитивного сглаживания).

При любом числе наблюдений р, = p„i=0,...,N, т.е. оценка по рекуррентной формуле (2) совпадает с оценкой по формуле аддитивного сглаживания (1). Алгоритм 1. Рекуррентное оценивание одного параметра байесовской сети с булевыми случайными элементами._____

1. Устанавливаем счётчик свидетельств N:=0 и задаем начальную оценку рт= 0.5.

2. Если при очередном наблюдении получено свидетельство о том, что переменная X приняла значение 1 или 0 при заданных значениях родителей, положим Е:= 1 (или £:= 0, соответственно).

3. Инкрементируем значение счётчика свидетельств: N:=N + l.

4. Вычисляем значение оценки параметра по рекуррентной формуле:

p(N - \ + 2а) + Е (3)

Р'~ N + 2а где а — коэффициент сглаживания.

5. При каждом получении свидетельства повторяем шаги 2-4 алгоритма. Рекуррентная формула (3) из алгоритма 1 соответствует формуле (2) из

утверждения 1.

Далее строится рекуррентный алгоритм оценивания всех параметров байесовской сети с булевыми случайными элементами, структурой которой является ориентированное дерево.

Пусть проведен ряд наблюдений, в которых некоторые переменные сети принимали значения 1 или 0; Л^" и Л'"' — число наблюдений, в которых переменная X сети принимала значение 1 и 0, соответственно; л'" и — число тех наблюдений, в которых переменная X принимала значение 1, из первых / наблюдений, в которых переменная ра(Х) (родитель узла X ) принимала значение 1 и 0, соответственно; г( — число тех наблюдений, в которых переменная Я (корневой узел) принимала значение 1, из первых 1 наблюдений, в которых получено свидетельство о значении корневого узла.

Оценки параметров сети по формуле аддитивного сглаживания будут иметь

вид:

(5)

у"+ 2 а

(К') (6)

,к к + 2сс р ( '

где а — произвольный коэффициент сглаживания. Предлагаются рекуррентные формулы:

(Р(Х) и-1 + 2а) + (Ех) (#>). =0.5, (Я»), = }'-' ] + 2а = (8)

/ ч / ч (р?) (к-1 + 2а) + (ЕЛ

=0.5, (р<1 = ,к'1 \ + 2а = (9)

где (ЕК). равно значению переменной Л в /-м наблюдении; (Ех) равно значению

переменной X в у'-м наблюдении или (Ех). = {р(х) (> если в У "м наблюдении

свидетельства о значении X не получено; {Ех)к равно значению переменной X в

к-м наблюдении или (Ех)1_ =(рх'),. ,> если в к-м наблюдении свидетельства о

значении X не получено.

Далее доказывается утверждение 2 и предлагается алгоритм 2. Утверждение 2 (о рекуррентном оценивании параметров байесовской сети). При любом числе наблюдений {Ря) =(Р*),>'=0,...,Л^1>

т.е. оценки по

рекуррентным формулам (7), (8) и (9) совпадают с соответствующими оценками (4), (5) и (6) по формуле аддитивного сглаживания.

Алгоритм 2. Рекуррентное оценивание параметров байесовской сети с булевыми случайными элементами, структурой которой является ориентированное дерево.

1. Для каждого из узлов сети устанавливаем счетчики свидетельств Л^' =0 и = 0. Для корневого узла задаем начальное значение параметра рк = 0.5. Для каждого из остальных узлов задаем начальные значения

параметров р'х = 0.5 и р'х = 0.5.

2. При поступлении порции свидетельств о значениях некоторых переменных сети, каждой переменной X, в отношении которой получено свидетельство о том, что она приняла значение 1 или 0, ставим в соответствие величину Ех := 1 (или Ех:= 0, соответственно).

3. Если на шаге 2 задана величина Ек для корневого узла, инкрементируем счётчик свидетельств Л^"1 := +1 и обновляем значение параметра рк по формуле:

рд« + <>- \ + 2сх) + Ек

4. Для каждого дочернего узла X рассмотренных на предыдущем шаге узлов, если на шаге 2 задана величина Ех для узла X, инкрементируем

счётчик свидетельств И^-х) := Л^*' +1 и, если на шаге 2 задана величина

ЕР для родительского узла Р, обновляем значение параметра р^ по

формуле:

Ы^ + га

5. Повторяем шаг 4, пока не обойдем рекурсивно все узлы ориентированного дерева.

6. Повторяем шаги 2-5 при каждом поступлении очередной порции свидетельств о значениях переменных сети

Рекуррентные формулы (10) и (11) из алгоритма 2 соответствуют формулам (7), (8) и (9) из утверждения 2.

Критерием окончания работы алгоритма 2 является стабилизация значений оценок параметров или прекращение поступления свидетельств. Результатом работы алгоритма 2 является набор установленных значений оценок всех параметров байесовской сети. Фактически, байесовская сеть обучается системе оценивания знаний конкретного преподавателя.

Ставится задача тестирования знаний — построить оценки владения темами, обладания компетенциями, умения выполнять тестовые задания. В предложенной модели на основе байесовской сети в качестве таких оценок могут выступать условные вероятности для каждой из переменных Т1,...,ТК, СР...,СМ и £>Х,-..,<2К при полученных значениях переменных 5Р...,5Л.

Рассматривается разработанный для случая байесовской сети, имеющей древовидную структуру, с дискретными переменными, принимающими п возможных значений, эффективный механизм вероятностного вывода, линейный по времени и памяти (Pearl, 1988). Этот алгоритм основан на том, что в каждый момент времени каждый узел сети имеет всю информацию, необходимую для вычисления условной вероятности соответствующей переменной, а при получении свидетельства о значении какого-либо узла этот узел отправляет векторные сообщения об этом изменении соседним узлам. Далее эта информация передается по цепочке и в каждом узле пересчитываются условные вероятности.

Предлагается модификация этого алгоритма для случая байесовской сети с булевыми случайными элементами, структурой которой является ориентированное дерево. Оказывается, что в этом случае все векторные сообщения являются двумерными, а часть из них можно заменить скалярами.

Пусть X — узел сети, имеющий единственного родителя U и являющийся родителем т других узлов Пусть получен набор Е свидетельств о

значениях переменных сети и для каждого узла X сети заданы параметры pf и

рТ-

Лх(и) ■■

Пусть (

Л<0)

\лх^и J

узел X сети передает двумерное векторное сообщение своему родителю {/ и скалярные сообщения каждому из

каждый

Л

своих детей \\,...,Ут, т.е. каждый узел X сети получает сообщение пи^х от своего

родителя U и сообщения

л

j(0)

от каждого из своих детей У^...,Ут.

Далее доказывается утверждение 3 и предлагается алгоритм 3. Утверждение 3 (о вероятностном выводе в байесовской сети с булевыми случайными элементами, структурой которой является ориентированное дерево).

Условная вероятность для узла X равна Р(Х | Е) =

^хпх

где

40)=ГК

(0) ->х

а отправляемые узлом X

сообщения равны

яММ'О-рЫ

t*j

(1)

->х

(1) -+х

3(0)

Ы]

Алгоритм 3. Вероятностный вывод в байесовской сети с булевыми случайными элементами, структурой которой является ориентированное дерево.

Пусть сеть проинициализирована, т.е. заданы все параметры: рх для корневого узла Я, а также рх' и р(х для каждого узла X из остальных. Пусть Е

■ набор полученных свидетельств о значениях переменных сети.

1. Каждому узлу X, в отношении которого получено свидетельство о том, что соответствующая переменная X приняла значение 1 или 0, ставим в

соответствие величины

40) =о

(или 4"= 0 и 40)=1,

X

соответственно). Каждому листу X ордерева, не получившему свидетельство, ставим в соответствие величины 4" = 1 и 4°' = 1 •

2. Каждый узел X, для которого на предыдущем шаге получены величины 4" и 40>, посылает своему родителю и сообщение:

3. Для каждого узла X , который на предыдущем шаге получил сообщение,

^•1(1

(12)

если он к этому моменту получил сообщения

вычисляем величины:

К=да;>

3(1)

40,=ГК

(0) -.X

от всех своих детей

(13)

Если на этом шаге не были вычислены величины 4° и 4°' Д™ корневого узла, то возвращаемся к шагу 2. 4. Корневому узлу Л ставим в соответствие величину лй= ря. Кроме того, вычисляем для него значение условной вероятности:

Р(ЩЕ) = -

44

(14)

"^Ч+ЛГО-^)'

5. Каждый узел X, для которого на предыдущем шаге получена величина 71 х, посылает каждому из своих детей сообщения:

ХхШ^х

(15)

6. Для каждого узла X, который на предыдущем шаге получил сообщение ли-*х 07 своего родителя и, если в отношении X не получено свидетельство, вычисляем величину:

Хх=*и^хРх+(1-*„^)Рх, 06)

а также вычисляем значение условной вероятности:

Р{Х\Е) = -

^хпх

(17)

Если на этом шаге не были вычислены условные вероятности для всех листьев ордерева, не получивших свидетельство, то возвращаемся к шагу 5.

Формулы (12), (13), (14), (15), (16) и (17) в алгоритме 3 выводятся в процессе доказательства утверждения 3.

Результатом работы алгоритма 3 является набор значений условных вероятностей Р(Х \ Е), вычисленных для каждого узла байесовской сети, не получившего свидетельство. Дополнительные вероятности вычисляются из условия нормировки: Р{Х\Е) = \- Р(Х | Е).

В процессе тестирования в систему постепенно поступают свидетельства о значениях наблюдаемых переменных (семантических элементов 5,,...,^). Алгоритм 3 позволяет на каждом шаге тестирования обновлять условные вероятности в сети в соответствии с полученными данными и формировать вероятностную картину, характеризующую скрытые переменные байесовской сети (умение решать задачи, обладание компетенциями и владение темами) для тестируемого студента.

Следует отметить, что условные вероятности переменных, полученные в процессе тестирования с использованием предложенной модели, нельзя трактовать непосредственно как вероятности владения студентом соответствующими совокупностями знаний. Формально, речь идет об оценке вероятности того, что преподаватель по результатам тестирования определит, что студент владеет этими знаниями.

Фактически, в данном случае система тестирования моделирует конкретного преподавателя, а байесовская сеть отражает его методику оценивания знаний.

В третьей главе рассматривается разработанный комплекс программ для имитационного тестирования знаний.

Ставится задача создания комплекса программ для имитационного сетевого компьютерного тестирования знаний, позволяющих каждому преподавателю реализовать свою собственную методику тестирования и систему оценивания в компьютерных тестах.

Описаны существующие системы тестирования, проанализированы их достоинства и недостатки. По результатам выполненного анализа сформирован ряд функциональных и нефункциональных требований к разрабатываемому программному обеспечению.

Функциональные требования.

Т1. Наличие средств формирования и редактирования семантических моделей учебных дисциплин, состоящих из тем, компетенций и заданий, в частности, наличие инструмента для импортирования дерева курса из оглавления учебника.

Т2. Наличие визуального редактора вопросов с возможностью набора математических формул и вставки мультимедийного контента.

ТЗ. Возможность конструировать задания с различными типами постановки задачи и формами ответа, в частности, задания на ввод ответа, выбор одного или нескольких вариантов из альтернатив, установление соответствия, подстановку значений в слоты, а также комбинированных заданий.

Т4. Возможность составления задач с параметрами, значения которых в процессе тестирования для каждого студента случайным образом генерируются из

заданного списка или диапазона, приравниваются номеру факультета, группы, студента или вычисляются по заданной формуле в зависимости от значений других параметров.

Т5. Возможность формирования линейных тестов с жестко фиксированной структурой, адаптивных тестов с ветвлениями в зависимости от ответа тестируемого, тестов для самоконтроля с подсказками, а также тестов, имитирующих очный экзамен с возможностью ответа на дополнительные вопросы для повышения отметки.

Т6. Возможность гибкой настройки процесса тестирования, в частности, установления ограничений по времени, числу задаваемых вопросов, порядку выдачи вопросов и задания шкал оценивания.

Т7. Возможность формирования структуры байесовской сети для моделирования знаний студентов и наличие средств автоматического обучения параметров байесовской сети.

Т8. Наличие средств просмотра результатов тестирований и ответов на вопросы с указанием ошибок тестируемого и правильного ответа, как в процессе тестирования, так и по его окончании.

Т9. Возможность диагностики знаний студентов путем вероятностного вывода в байесовской сети и наличие средств просмотра и редактирования построенных байесовских семантических моделей знаний студентов.

Т10. Возможность распечатки тестовых заданий для организации «бумажных» тестов при отсутствии технической возможности проведения компьютерного тестирования.

Т11. Возможность одновременного прохождения тестов различными студентами и наблюдения за ходом тестирований преподавателями с помощью программных средств через локальную сеть или Интернет.

Нефункциональные требования.

Т12. Простой, интуитивно-понятный интерфейс.

Т13. Наличие русскоязычной документации.

Т14. Легкость установки и обновления программных средств.

Т15. Платформонезависимость программных средств.

Т16. Масштабируемость и простота модификации интерфейса и функциональности системы.

Т17. Минимизация объема данных, передаваемых по сети.

Т18. Высокая скорость обработки данных в реальном времени.

Т19. Невысокие аппаратные и программные требования к компьютерам студентов и преподавателей.

Т20. Использование при разработке бесплатных свободно распространяемых средств.

Т21. Обеспечение безопасности, разграничения прав доступа и защиты от взломов.

С учетом указанных требований спроектирована функциональность и архитектура программного комплекса (рис. 2), выбран стек технологий и средств разработки.

Локальная сеть или Интернет

Сервер тестирования

л

V

...............................

БД СП

MySQL

Серверное приложение

РНР

^"AJAX

^ AJAX

БД CA

J SON

Средство автора

—.

Adobe AIR

ПК автора

V

БД CT

J SON

Средство тестируемого

Adobe AIR

ПК тестируемого

Рисунок 2. Архитектура комплекса программ для имитационного тестирования

знаний

В состав комплекса входит три программных средства: серверное приложение (СП), средство автора (СА) и средство тестируемого (СТ), каждое со своей базой данных (БД СП, БД СА, БД СТ). В средстве автора реализован интерфейс для выполнения описанных функций Т1-Т11, а серверное приложение обеспечивает взаимодействие с базой данных и осуществляет управление процессами создания тестов и проведения тестирований. Средство тестируемого предоставляет интерфейс для прохождения тестов студенту и реализует функциональные требования Т11 и Т8. Все программные средства комплекса удовлетворяют нефункциональным требованиям Т12-Т21.

В этой же главе описываются разработанные структуры данных, обеспечивающие эффективную обработку и хранение древовидных семантических моделей в декомпозированном виде.

Описываются разработанные модель теста и алгоритм имитационного тестирования знаний, которые позволяют реализовать линейные тесты с фиксированной структурой, адаптивные тесты с ветвлениями, имитировать очный экзамен с заданием дополнительных вопросов.

Компонентом теста называется совокупность К = . гДе <2к —

фиксированное подмножество заданий учебной дисциплины, Як — набор правил выбора следующего задания, Гк — время выполнения задания (может быть не задано).

Тестом называется совокупность (К,Г,?,/,А,а), где К=(К1,...,К$) —список компонентов теста, Т — время, отведенное на прохождение теста (может быть не задано); д — число выполненных заданий, достаточное для выставления отметки;

6. Преподаватель с помощью средства автора осуществляет экспертную оценку умения выполнять тестовые задания, обладания компетенциями и владения темами для каждого тестируемого.

7. На основе полученных по п.5 и п.6 данных в системе имитационного тестирования осуществляется автоматическое обучение параметров байесовской сети для заданной учебной дисциплины.

8. Остальные студенты с помощью средства тестируемого проходят квалификационные тестирования, по результатам которых в системе имитационного тестирования формируются наборы значений семантических элементов для каждого тестируемого.

9. На основе полученных в п.8 данных в системе имитационного тестирования осуществляется автоматическое построение оценок умения выполнять тестовые задания, обладания компетенциями и владения темами для каждого тестируемого путем вероятностного вывода в байесовской сети.

10. Преподаватель с помощью средства автора анализирует построенные модели знаний студентов и адаптирует процесс обучения в соответствии с полученными результатами.

По предложенной методике с помощью разработанного комплекса программ протестировано 414 студентов из 36 учебных групп двух факультетов. Проверка показала хорошую диагностическую точность предложенных моделей на основе байесовских сетей: в 95% случаев оценки, выставленные системой автоматически, совпали с выставленными независимо оценками преподавателя.

В заключении приводятся основные результаты диссертационной работы.

В приложениях приведены копии свидетельств о государственной регистрации разработанных программ.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Основным итогом диссертационной работы является создание методов и программных средств имитационного сетевого компьютерного тестирования знаний на основе семантических моделей, что выразилось в достижении следующих научных и прикладных результатов.

1. Разработаны методы построения древовидных фреймовых семантических моделей учебных дисциплин и знаний студентов, позволяющие сформировать иерархическую структуру знаний по учебной дисциплине и описать владение темами, обладание элементарными компетенциями, умение выполнять задания и оценки правильности выполнения заданий и их элементов для конкретного студента.

2. Разработаны методы и алгоритмы построения и использования байесовских сетей с булевыми случайными элементами и древовидной структурой для моделирования и диагностики знаний студентов, в частности, предложен способ построения структуры сети на основе фреймовой семантической модели знаний студента, разработан рекуррентный алгоритм автоматического обучения параметров сети, позволяющий выполнять последовательное обновление значений параметров сети в процессе экспертного оценивания, и разработан

18

модифицированный алгоритм вероятностного вывода, линейный по времени и памяти, который позволяет оценивать владение темами, обладание элементарными компетенциями и умение выполнять задания конкретным студентом.

3. Разработана компонентная модель теста, соответствующий алгоритм имитагцюнного тестирования и методика автоматизированной диагностики знаний на основе построения семантических моделей, которые позволяют имитировать методики тестирования и оценивания знаний конкретным преподавателем.

4. Разработан комплекс программ для имитационного сетевого компьютерного тестирования знаний на основе семантических моделей, состоящий из средства автора, средства тестируемого и серверного приложения; в частности, разработана архитектура программного комплекса и функциональность входящих в него программных средств; реализованы разработанные модели, методы и алгоритмы в виде ряда программных и пользовательских интерфейсов для построения и визуализации семантических моделей, формирования компьютерных тестов, проведения сетевых тестирований, диагностики знаний и отображения полученных результатов.

5. Разработаны системы имитационного тестирования знаний по семи дисциплинам прикладной математики, в частности, построены фреймовые семантические модели учебных дисциплин; реализованы тесты для промежуточного и итогового контроля знаний студентов; проведены тестирования по разработанному алгоритму имитационного тестирования и выполнена автоматизированная диагностика знаний по предложенной методике.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в журналах из перечня ВАК

1. Сологуб Г.Б. Построение и использование байесовской сети для моделирования знаний студента в интеллектуальной системе тестирования // Компьютерные инструменты в образовании. — 2012. — № 2. — С. 40-48.

2. Сологуб Г.Б. Построение фреймовых семантических моделей в интеллектуальной системе тестирования // Информационные и телекоммуникационные технологии. — 2012. — №14. — С. 87-93.

3. Сологуб Г.Б. Об измерении сходства между узлами дерева // Компьютерные инструменты в образовании. — 2011. — № 3. — С. 18-24.

4. Сологуб Г.Б. Компьютерная среда создания систем имитационного тестирования знаний // Электронный журнал «Труды МАИ» — 2010. — №38. — http://www.mai.ru/science/trudy/.

5. Сологуб Г.Б. Принципы создания компьютерной среды для имитационного тестирования квалификационных характеристик персонала в области проектирования ракетно-космических систем // Электронный журнал «Труды МАИ» — 2010. — №37. — http://www.mai.ru/science/trudy/.

6. Сологуб Г.Б. Разработка системы имитационного тестирования // Вестник Московского авиационного института. — 2009. — Т. 16, № 2. — С. 28-33.

Публикации в других изданиях

7. Сологуб Г.Б. Имитационное тестирование знаний по дисциплинам высшей математики // Проблемы авиастроения, космонавтики и ракетостроения / под ред. Комарова Ю.Ю. — М.: МАИ, 2012. — С. 392-399.

8. Сологуб Г.Б. Принципы формирования комплекса программных средств для имитационного тестирования знаний // Теоретические вопросы вычислительной техники и программного обеспечения — М.: МИРЭА, 2010. -— С. 179-181.

9. Сологуб Г.Б., Пантелеев A.B. Среда разработки систем имитационного тестирования по математическим дисциплинам // Проектно-конструкторские и производственные вопросы создания перспективной авиационной техники / под ред. Комарова Ю.Ю. — М.: МАИ, 2009. — С. 253-257.

10. Сологуб Г.Б. Обработка и использование результатов тестов в интеллектуальной системе компьютерного тестирования // Труды IX Международной конференции по неравновесным процессам в соплах и струях. — 2012.—С. 626-627.

11. Сологуб Г.Б., Пантелеев A.B. Математическое моделирование знаний тестируемого с помощью байесовских сетей и коллаборативной фильтрации // Труды Московской научно-практической конференции «Инновации в авиации и космонавтике — 2012». — 2012. — С. 251-252.

12. Сологуб Г.Б. Программный комплекс для тестирования знаний по математическим дисциплинам // Труды Международной научно-методической конференции «Информатизация инженерного образования» — ИНФОРИНО-2012. — 2012, —С. 505-508.

13. Сологуб Г.Б. Применение байесовских сетей для моделирования знаний студентов в интеллектуальной системе тестирования // Труды 54-й научной конференции МФТИ «Проблемы фундаментальных и прикладных естественных и технических наук в современном информационном обществе». — 2011. — Т. 2. — С. 102-103.

14. Сологуб Г.Б. Комбинированные семантические модели знаний в интеллектуальной системе тестирования // Труды 4-й Всероссийской мультиконференции по проблемам управления «МКПУ-2011». — 2011. — С. 159161.

15. Gleb В. Sologub. On measuring of similarity between tree nodes // Proceedings of the Fifth Russian Young Scientists Conference in Information Retrieval. — 2011. — P. 63-71.

16. Сологуб Г.Б., Пантелеев A.B. Моделирование знаний студента с помощью современных методов машинного обучения // Труды научно-практической конференции студентов и молодых ученых МАИ «Инновации в авиации и космонавтике — 2011». — 2011. — С. 113.

17. Сологуб Г.Б. Применение метода имитационного тестирования знаний в аэрокосмическом вузе // Аннотации работ на конкурс научно-технических работ и проектов «Молодежь и будущее авиации и космонавтики — 2010». — 2010. — С. 134.

18. Сологуб Г.Б. Построение модели знаний студента и коллаборативная фильтрация // Труды научно-практической конференции студентов и молодых ученых МАИ «Инновации в авиации и космонавтике — 2010». — 2010. — С. 178.

19. Сологуб Г.Б. Визуализация результатов компьютерного тестирования знаний // Труды VII Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования». — 2010. — С. 142-143.

20. Сологуб Г.Б. Компьютерная среда поддержки имитационного тестирования знаний // Труды 52-й научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук». — 2009. — Т. 3. — С. 44-46.

21. Сологуб Г.Б. Развитие среды создания систем имитационного тестирования знаний // Тезисы докладов 8-й международной конференции «Авиация и космонавтика — 2009». — 2009. — С. 195-196.

22. Сологуб Г.Б., Романенкова С.А. Применение компьютерной среды для создания системы тестирования знаний по курсу математического анализа И Тезисы докладов 2-й Всероссийской конференции ученых, молодых специалистов и студентов «Информационные технологии в авиационной и космической технике-2009». — 2009, — С. 82.

23. Сологуб Г.Б. Компьютерная среда создания тестов и проведения тестирований // Труды VI Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования». — 2009, —С. 133-134.

24. Сологуб Г.Б. Умная многофункциональная система тестирования // Тезисы докладов 7-й международной конференции «Авиация и космонавтика — 2008». — 2008. — С. 210-211.

Программы, зарегистрированные в реестре программ для ЭВМ

25. Сологуб Г.Б. Средство тестируемого в системе имитационного тестирования знаний «Jqt Testee Tool» // Свидетельство о государственной регистрации программы для ЭВМ № 2012616088 от 04.07.2012 г.

26. Сологуб Г.Б. Серверное приложение в системе имитационного тестирования знаний «Jqt Server Tool» // Свидетельство о государственной регистрации программы для ЭВМ № 2012616089 от 04.07.2012 г.

27. Сологуб Г.Б. Средство автора в системе имитационного тестирования знаний «Jqt Author Tool» // Свидетельство о государственной регистрации программы для ЭВМ № 2012615307 от 13.06.2012 г.

Подписано в печать: 18.11.13 Тираж: 100 экз. Заказ № 1057 Отпечатано в типографии «Реглет» Москва, Ленинградский проспект д.74 (495)790-47-77 www.reglet.ru

Министерство образования и науки Российской Федерации

Федеральное государственное бюджетное образовательное учреждение высшего

профессионального образования «Московский авиационный институт (национальный исследовательский университет)»

На правах рукописи

Сологуб Глеб Борисович

разработка математических методов и комплекса программных средств имитационного тестирования знаний на

основе семантических моделей

05.13.18 — математическое моделирование, численные методы и комплексы программ 05.13.11 — математическое и программное обеспечение вычислительных машин,

комплексов и компьютерных сетей

Диссертация на соискание ученой степени кандидата физико-математических наук

Научный руководитель доктор физико-математических наук, профессор Пантелеев Андрей Владимирович

Москва — 2013

СОДЕРЖАНИЕ

ВВЕДЕНИЕ..............................................................................................................4

1. ПОСТРОЕНИЕ ФРЕЙМОВЫХ СЕМАНТИЧЕСКИХ МОДЕЛЕЙ УЧЕБНЫХ ДИСЦИПЛИН И ЗНАНИЙ СТУДЕНТОВ.....................................15

1.1 Метод построения фреймовых семантических моделей предикатных частей учебных дисциплин.........................................................................17

1.2 Метод построения персонифицированных фреймовых семантических моделей предикатных частей учебных дисциплин.......26

1.3 Выводы...................................................................................................32

2. ПОСТРОЕНИЕ БАЙЕСОВСКИХ СЕТЕЙ ДЛЯ МОДЕЛИРОВАНИЯ И ЭКСПЕРТНОЙ ДИАГНОСТИКИ ЗНАНИЙ СТУДЕНТОВ.............................33

2.1 Метод построения структуры байесовской сети на основе фреймовой семантической модели............................................................35

2.2 Моделирование методики эксперта — рекуррентный алгоритм автоматического обучения параметров байесовской сети......................42

2.3 Автоматизация экспертной диагностики знаний — алгоритм апостериорного оценивания вероятностей в байесовской сети.............52

2.4 Выводы...................................................................................................61

3. КОМПЛЕКС ПРОГРАММ ДЛЯ ИМИТАЦИОННОГО ТЕСТИРОВАНИЯ ЗНАНИЙ.................................................................................................................62

3.1 Архитектура и функциональность программного комплекса..........65

3.2 Структуры данных для хранения и обработки семантических моделей.........................................................................................................69

3.3 Компонентная модель теста и алгоритм тестирования.....................71

3.4 Методика работы и пользовательские интерфейсы в средстве автора .......................................................................................................................75

3.5 Методика работы и пользовательские интерфейсы в средстве тестируемого................................................................................................90

3.6 Программный интерфейс и работа серверного приложения............94

3.7 Выводы.................................................................................................102

4. ПРИМЕНЕНИЕ ИМИТАЦИОННОГО ТЕСТИРОВАНИЯ ЗНАНИЙ.......103

4.1 Разработанные системы имитационного тестирования знаний

по математическим дисциплинам............................................................103

4.2 Методика экспертной диагностики знаний на основе построения семантических моделей при компьютерном тестировании..................110

4.3 Проведенные тестирования знаний...................................................113

4.4 Выводы.................................................................................................115

ЗАКЛЮЧЕНИЕ....................................................................................................116

БИБЛИОГРАФИЧЕСКИЙ СПИСОК................................................................119

ПРИЛОЖЕНИЯ...................................................................................................131

П.1 Свидетельство о регистрации средства автора...............................131

П.2 Свидетельство о регистрации средства тестируемого...................132

П.З Свидетельство о регистрации серверного приложения.................133

П.4 Протокол проверки результатов автоматизированной диагностики знаний студентов.......................................................................................134

ВВЕДЕНИЕ

Актуальность исследования

В настоящее время в инженерном образовании, в том числе, при подготовке специалистов для аэрокосмической отрасли, осуществляется переход на образовательные стандарты нового поколения, включающие усиленные квалификационные требования на основе компетентностной модели.

Согласно этим стандартам, высшее учебное заведение обязано гарантировать качество подготовки, в том числе, путем разработки объективных процедур оценки уровня знаний и умений обучающихся, компетенций выпускников.

Оценка качества обучения должна включать текущий контроль успеваемости и промежуточную аттестацию обучающихся, причем конкретные формы и процедуры текущего и промежуточного контроля знаний по каждой дисциплине, в том числе, тесты и методы контроля, разрабатываются вузом самостоятельно [96].

При разработке оценочных средств для контроля качества изучения модулей, дисциплин, практик должны учитываться все виды связей между включенными в них знаниями, умениями, навыками, позволяющие установить качество сформированных у обучающихся компетенций по видам деятельности и степень общей готовности выпускников к профессиональной деятельности [96].

Поэтому возникает насущная необходимость в разработке новых методов и средств контроля знаний, соответствующих указанным требованиям.

Выполнение этой практической задачи сопряжено с решением ряда теоретических проблем в области интеллектуальных обучающих и тестирующих систем и смежных областях компьютерного обучения и искусственного интеллекта.

История исследований и мотивация

Первым устройством для автоматизации тестирования считается механическая машина, созданная С. Пресси в 1926 г., которая отображала студенту отпечатанные карточки с вопросами в заданном преподавателем порядке, позволяла выбирать ответы из числа предложенных по схеме множественного выбора и регистрировала число правильных ответов [60].

Впоследствии механизм подачи карточек был дополнен рычажком, который позволял отображать очередную карточку с вопросом только после правильного ответа на предыдущий вопрос, и был обнаружен обучающий эффект, который достигался при использовании таких машин.

Однако, широкого распространения эти устройства не получили вплоть до появления в 50-х годах 20-го века революционных работ Б. Ф. Скиннера и Н. Краудера и начала серийного производства машин, реализующих соответствующие методики линейного и разветвленного программированного обучения. В это время в науке и технике впервые был разработан подход к обучению в форме вопросов и ответов, элементы которого встречаются уже в диалогах Сократа.

Метод линейного программированного обучения предполагал подачу материала маленькими порциями в определенной линейной последовательности с регулярным подкреплением в виде элементарных вопросов, подразумевающих единственно верный ответ, который должен быть сконструирован учащимся.

Гарантированная успешность такого обучения содержала в себе и главную проблему этого подхода: в нём не были предусмотрены средства обработки неправильных ответов обучаемого, исправления его ошибок и устранения недопонимания.

В противоположность линейным программам, разветвленные программы состояли из сравнительно больших порций учебного материала и предполагали индивидуальную траекторию обучения. Ответ учащегося

осуществлялся в них путем выбора из предложенных альтернатив, а в случае неверного выбора предоставлялись подробные разъяснения.

Однако и разветвленные программы были не свободны от ряда недостатков, связанных с предопределенностью подачи информации и невозможностью контролировать трудность и степень усвоения материала для конкретного учащегося.

Несмотря на это, в 60-х годах теория программированного обучения активно развивалась, в том числе и трудами отечественных ученых П. Я. Гальперина, Н. Ф. Талызина, JI. Н. Ланды, А. М. Матюшкина и др.; осуществлялись эксперименты по внедрению её результатов в систему среднего и высшего образования.

В это же время Г. Паск, основываясь на кибернетическом подходе, предложил рассматривать поведение обучаемого как самоорганизующуюся систему, а обучение как процесс управления, направленный на стабилизацию системы «человек-машина», и разработал теорию адаптивных обучающих машин, способных анализировать реакцию обучающегося и подстраиваться под его индивидуальные особенности, поддерживая оптимальный уровень трудности материала на каждом шаге обучения [41]. На 70-е годы пришёлся пик исследований в области адаптивного обучения, однако в серийное производство такие машины так и не были запущены из-за отсутствия доступной технологической базы.

К концу 70-х годов интерес к программированному обучению в значительной мере снизился, в отличие от самой практики составления тестов в качестве проверочных заданий, которая прочно закрепилась в западных стандартах обучения.

Еще в 60-е годы в психометрике были разработаны два вероятностных подхода к составлению, оцениванию и анализу тестов: классическая теория тестов (М. Р. Новик, Ф. М. Лорд) и т.н. Item Response Theory (Г. Раш). В рамках классической теории тестов были предложены статистические критерии для оценки достоверности результатов тестирования, в то время как

Item Response Theory предоставила модели и методы прогнозирования корректности ответа на вопрос в тесте конкретным испытуемым.

Однако настоящий бум автоматизированных тестов начался лишь с появлением персональных компьютеров в 80-е годы 20-го века. С этих пор и до настоящего времени в образовательной среде главенствуют две тенденции: во-первых, осуществляется простой перевод накопленных бумажных тестов и обучающих материалов в электронную форму с сохранением традиционных методик обучения и контроля знаний, во-вторых, разрабатываются всё более сложные обучающие системы, в которых воплощаются современные достижения искусственного интеллекта и машинного обучения.

В этом противопоставлении «обычных» компьютерных тестов, которые принципиально не изменились со времён машины Пресси, и интеллектуальных обучающих систем видится одна из проблем современного процесса информатизации высшего образования в России. С одной стороны, общедоступные компьютерные программы для создания и проведения тестов, как правило, лишены средств моделирования и анализа знаний конкретных студентов по заданным темам и выполняют лишь функцию оценивания. С другой стороны, для применения интеллектуальных обучающих систем необходим полный перевод всего процесса обучения в соответствующую компьютерную среду, что даже в нашу эпоху тотальной компьютеризации зачастую не представляется возможным в силу целого ряда методических, административных и экономических причин.

Идея имитационного тестирования знаний

В качестве выхода из такой ситуации представляется разумным создание интеллектуальной системы тестирования, не претендующей занять место преподавателя, но берущей на себя часть его функций, связанных с диагностикой текущих знаний студентов.

Процесс традиционного тестирования знаний можно описать следующим образом. Преподаватель опрашивает студента по некоторой методике и формирует модель знаний студента. После этого он сравнивает построенную модель с моделью учебной дисциплины и осуществляет диагностику знаний в соответствии с некоторой методикой оценивания.

Эти процессы, происходящие в сознании преподавателя, можно попытаться перенести в специальную компьютерную среду. Для этого необходимо разработать методы и средства автоматизированного построения модели учебной дисциплины и модели знаний студента, а также разработать механизмы имитации методики тестирования и оценивания каждого конкретного преподавателя.

Для формального описания учебной дисциплины и представления знаний студента можно использовать фреймовые семантические модели. Методика тестирования может быть задана в виде некоторого списка решающих правил, описывающих логику выбора следующего задания в тесте. Для имитации методики оценивания предлагается применить методы искусственного интеллекта, в частности, методы на основе байесовских сетей.

Все эти механизмы следует реализовать в виде комплекса программных средств, с которыми смогут работать преподаватели и студенты через локальную сеть или Интернет.

Целью диссертационной работы является разработка методов и программных средств имитационного сетевого компьютерного тестирования знаний на основе семантических моделей.

Задачи исследования

1. Разработать методы построения фреймовых семантических моделей учебных дисциплин и знаний студентов.

2. Разработать методы и алгоритмы построения байесовских сетей для моделирования и диагностики знаний студентов, в частности, метод

построения структуры сети, а также алгоритмы автоматического обучения параметров и апостериорного оценивания вероятностей в таких байесовских сетях.

3. Разработать комплекс программ для имитационного сетевого компьютерного тестирования знаний на основе семантических моделей, в частности, разработать архитектуру программного комплекса и функциональность входящих в него программных средств; структуры данных для хранения и обработки семантических моделей; модель теста и алгоритм имитационного тестирования знаний; реализовать разработанные методы и алгоритмы построения семантических моделей и имитационного тестирования знаний в виде ряда программных и пользовательских интерфейсов для построения и визуализации семантических моделей, формирования тестов, проведения тестирований и отображения их результатов.

4. Разработать системы имитационного тестирования по ряду математических дисциплин, в частности, построить семантические модели учебных дисциплин, сформировать тесты, разработать методику диагностики знаний, провести пробные тестирования и построить семантические модели знаний студентов.

Объектом исследования является математическое и программное обеспечение автоматизированного контроля знаний студентов.

Предметом исследования являются математические модели, методы и программные средства, предназначенные для автоматизации создания компьютерных тестов, проведения сетевых тестирований и диагностики знаний тестируемых.

Область исследования

Согласно паспорту специальности 05.13.18 «Математическое моделирование, численные методы и комплексы программ»:

— разработка новых математических методов моделирования объектов и явлений;

— реализация эффективных численных методов и алгоритмов в виде комплексов проблемно-ориентированных программ для проведения вычислительного эксперимента;

— разработка новых математических методов и алгоритмов интерпретации натурного эксперимента на основе его математической модели;

— разработка систем компьютерного и имитационного моделирования.

Согласно паспорту специальности 05.13.11 «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей»:

— модели, методы, алгоритмы, языки и программные инструменты для организации взаимодействия программ и программных систем;

— человеко-машинные интерфейсы; модели, методы, алгоритмы и программные средства машинной графики, визуализации, обработки изображений, систем виртуальной реальности, мультимедийного общения.

Методологическая и теоретическая основа исследования

Теоретическую основу исследований составили научные труды отечественных и зарубежных ученых в области моделирования знаний и искусственного интеллекта (М. Минский, С. Рассел, Д.А. Поспелов,

B.В. Семенов), байесовских сетей (Д. Перл, Ф. Иенсен, A.JI. Тулупьев,

C.И. Николенко), обучающих систем (Б.Ф. Скиннер, К. ВанЛен, П. Брусиловский, Б.П. Вульф, A.B. Пантелеев, Т.А. Летова, A.B. Наумов, А.И. Кибзун) и тестирования знаний (Г. Раш, А. Бирнбаум, B.C. Аванесов, A.B. Агибалов).

Для решения поставленных задач использовались современные методы исследования такие, как методы дискретной математики,

математической статистики, искусственного интеллекта, машинного обучения, информатики и объектно-ориентированного программирования.

Достоверность результатов обеспечивается строгостью математического аппарата, сравнением с результатами других авторов и экспериментальной проверкой.

Научная новизна

1. Разработаны методы построения древовидных фреймовых семантических моделей учебных дисциплин и знаний студентов, позволяющие сформировать иерархическую структуру знаний по учебной дисциплине и описать владение темами, обладание элементарными компетенциями, умение выполнять задания и оценки правильности выполнения заданий и их элементов для конкретного студента.

2. Предложен способ построения древовидной структуры байесовской сети на основе фреймовой семантической модели знаний студента, который позволяет описать в виде байесовской сети вероятностные взаимосвязи между элементами этой модели.

3. Разработан рекуррентный алгоритм автоматического обучения парам�