автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Модели и алгоритмы интеллектуального анализа образовательных данных для поддержки принятия решений

На правах рукописи

Хлопотов Максим Валерьевич

МОДЕЛИ И АЛГОРИТМЫ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ОБРАЗОВАТЕЛЬНЫХ ДАННЫХ ДЛЯ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ

Специальность: 05.13.06 - Автоматизация и управление технологическими процессами и производствами (образование)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

кандидата технических наук

005558530

Санкт-Петербург - 2014

005558530

Работа выполнена в Санкт-Петербургском национальном исследовательском университете информационных технологий, механики и оптики

Научный руководитель: кандидат технических наук, доцент,

Горлушкина Наталия Николаевна

Официальные оппоненты: Ретинская Ирина Владимировна,

доктор технических наук, профессор, профессор кафедры Прикладной математики и компьютерного моделирования, Российский государственный университет нефти и газа имени И.М.Губкина

Рубашкин Дмитрий Давидович,

кандидат технических наук, директор инновационного центра «Технологии современного образования»

Ведущая организация: Санкт-Петербургский государственный

электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина)

Защита состоится 15 декабря 2014 г. в 17:00 на заседании диссертационного совета Д212.227.06 при Санкт-Петербургском национальном исследовательском университете информационных технологий, механики и оптики по адресу: 197101, Санкт-Петербург, Кронверкский пр., д.49., конференц-зал центра Интернет-образования.

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского национального исследовательского университета информационных технологий, механики и оптики по адресу: 197101, Санкт-Петербург, Кронверкский пр., д.49 и на сайте fnpo.ifmo.ru.

Автореферат разослан « 2014

года.

Ученый секретарь диссертационного совета Лобанов ИгоРь Сергеевич

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Принятие решений в сфере образования — сложный, многоаспектный процесс, в который вовлечен большой круг заинтересованных лиц. Немаловажное значение для принятия эффективного решения имеет анализ информации, поступающей от участников образовательного процесса на его различных этапах. В течение длительного периода в информационных системах учебных заведений накапливается информация о различных аспектах образовательного процесса: о студентах и их успеваемости, о преподавателях и их научно-образователыюй работе. Создаются дистанционные курсы обучения, образовательные форумы, системы тестирования и анкетирования студентов, и многое другое. Таким образом, за последние годы была накоплена и продолжает накапливаться масса данных, имеющих отношение к образовательному процессу. В связи с интенсивным накоплением информации актуальной задачей становится задача обработки и анализа данных с целью получения новых практически полезных знаний, которые будут доступны интерпретации для принятия рационального решения.

Для целей нашего исследования ключевым является понятие интеллектуальный анализ образовательных данных. Дадим ему авторское определение. Интеллектуальный анализ образовательных данных (от англ. Educational data mining, далее - EDM) - это совокупность методов обнаружения в данных ранее неизвестных, практически полезных и интерпретируемых знаний об образовательном процессе и его участниках с целью поддержки принятия решений. Целью EDM является обработка и анализ данных, полученных в рамках образовательного процесса для нахождения скрытых закономерностей. В рамках EDM разрабатываются методы, алгоритмы и средства интеллектуализации решения прикладных задач в сфере образования.

В связи с ростом применения информационных технологий в образовании возник интерес к новым методикам и подходам, к автоматизированному выявлению новых, порою скрытых, взаимосвязей в данных и их интерпретации в интересах лица, принимающего решение. К числу наиболее важных задач, необходимых для поддержки принятия решений, относится, прежде всего, оценка уровня сформированности компетенций, которая предваряется построением модели обучающегося. Решение этих задач средствами интеллектуального анализа образовательных данных - это актуальная теоретическая и практическая задача, с которой столкнулась высшая школа в связи с введением стандартов нового поколения. Однако в настоящее время недостаточно разработана теоретическая основа применения этих средств в практической деятельности.

Цель исследования. Разработать модели и алгоритмы интеллектуального анализа образовательных данных для поддержки принятия решений всеми участниками образовательного процесса. Для достижения этой цели были поставлены и решены следующие задачи:

1. Построить и проанализировать формально-структурную модель процесса обучения.

2. На основе анализа модели выделить задачи интеллектуального анализа образовательных данных для поддержки принятия решений. К этим

задачам относятся: оценка уровня сформированное™ компетенций и прогнозирование академической успеваемости студентов.

3. Разработать под каждую из перечисленных выше задач алгоритмы интеллектуального анализа образовательных данных.

4. Программно реализовать разработанные алгоритмы и провести их экспериментальное опробование.

Объектом исследования являются регламентирующие образовательный процесс документы и данные, получаемые в образовательном процессе для поддержки принятия решений.

Предметом исследования являются математическое и алгоритмическое обеспечение, предназначенное для автоматизации обработки оценок, прогнозирования успеваемости и интеллектуальной поддержки процессов принятия решений в образовании.

Методологическая и теоретическая основа исследования. Для решения поставленных задач в работе использованы: методы системного анализа, экспертных оценок, теории вероятностей и математической статистики, машинного обучения, математического моделирования, теории принятия решений. Эти методы применялись в различных комбинациях на разных этапах исследования в зависимости от поставленных целей и решаемых задач.

Теоретическую основу исследований составили научные труды отечественных и зарубежных ученых в области моделирования обучающихся (Д. Рей, Г. А. Атанов, В. А. Петрушин, М. Десмаре, Р. Алмонд, Е. Миллан, К. ВанЛен), байесовских сетей (Д. Перл, Р. Неаполитан, Д. Хеккерман, Ф. Йенсен, А. Л. Тулупьев, С. И. Николенко, А. В. Сироткин), интеллектуального анализа образовательных данных (П. Л. Брусиловский, Р. Бейкер, X. Ромеро, С. Вентура), формирования и оценивания результатов обучения (Н. Ф. Ефремова, И. Д. Рудинский, Л. С. Лисицына).

Научная новизна

1. Разработан алгоритм построения модели обучающегося. Для представления модели используется байесовская сеть, которая содержит три основных типа вершин: компетенции (простые и составные), задания (компетентностно-ориентированные) и изучаемые дисциплины.

2. Предложен метод оценки простых и составных компетенций обучающегося. В основу метода положены обратный вывод (абдукция) в байесовской сети и эмпирическое правило интерпретации вероятностного вывода. За счет применения байесовской сети оценка уровня сформированное™ компетенции возможна даже при пропусках данных, т.е. при неизвестных результатах выполнения студентами компетентностно-ориентированных заданий.

3. Разработан алгоритм прогнозирования академической успеваемости студентов. Основу алгоритма составляет смешанный вывод (транедукция) в байесовской сети. Разработана модификация алгоритма, предусматривающая сравнение в контрольных точках эталонных и текущих моделей обучающихся.

4. Разработана методика построения и применения компетентностной модели направления подготовки. Методика основана на применении разработанных алгоритмов для построения моделей обучающихся, оценки уровня

сформированносга компетенции и прогнозирования академической успеваемости студентов.

Практическая значимость и внедрение результатов

1. Программная реализация разработанных моделей и алгоритмов была внедрена на кафедре интеллектуальных технологий в гуманитарной сфере Санкт-Петербургского национального исследовательского университета информационных технологий, механики и оптики при разработке основной образовательной программы высшего профессионального образования. Компетентностные модели направлений подготовки и дисциплин, созданные на основе разработанных методов и алгоритмов, используются для оценки и прогноза уровня сформированности компетенций студентов кафедры.

2. Результаты исследования были использованы Саморегулируемой организацией «Некоммерческое партнерство по содействию развитию изыскательской деятельности «Изыскатели Санкт-Петербурга и Северо-Запада» при создании системы непрерывного дополнительного профессионального образования в сфере инженерных изысканий.

Положения, выносимые на защиту

1. Методика построения и применения моделей обучающихся с учетом дескрипторов компетенций, связей между компетенциями и связей между компетентностно-ориентированными заданиями.

2. Метод оценки простых и составных компетенций по результатам выполнения компетентностно-ориентированных заданий.

3. Алгоритм прогноза академической успеваемости студентов на основе вероятностного вывода в байесовской сети, предусматривающий сравнение эталонных и текущих компетентностных моделей в контрольных точках.

Апробация результатов. Результаты диссертации докладывались и обсуждались на IV международной научно-методической конференции «Новые образовательные технологии в вузе» (Екатеринбург, 2007), Х11-ХУ1 всероссийских научно-методических конференциях «Телематика'2005-2010» (Санкт-Петербург, 2005-2010 гг.), конференциях профессорско-преподавательского состава СПбГУ ИТМО (Санкт-Петербург, 2006-2014 гг.), III, IV и V конференциях молодых ученых (Санкт-Петербург, 2006-2008 гг.).

Публикации. Результаты исследования опубликованы в 18 печатных работах, из которых 5 статьи в журналах, входящих в Перечень ВАК РФ.

Личный вклад автора. Содержание диссертации и положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы. Все представленные в диссертации результаты получены лично автором

Структура и объем диссертации. Диссертация состоит из введения, трех глав, заключения и списка литературы из 108 источников. Объем диссертации составляет 127 м.п.с. Диссертация содержит 13 таблиц и 26 рисунков.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность диссертационной работы, сформулированы цель и задачи исследования, определены предмет и объект исследования, отмечена научная новизна и практическая значимость результатов. Представлена структура диссертации.

Первый раздел посвящен теоретическим основам интеллектуального анализа образовательных данных. Описаны задачи интеллектуального анализа образовательных данных подробно рассмотрены методы их решения и сферы применения. Рассмотрены перспективы развития научного направления. Приведенные методы могут найти широкое применение для поддержки принятия решений на всех уровнях управления образовательным процессом.

Определены основные источники образовательных данных. Приведена классификация образовательных данных по разным признакам. Описан процесс применения интеллектуального анализа данных. Отдельно рассмотрены задачи, возникающие в процессе предобработки данных.

В настоящем исследовании построена формально-структурная модель процесса обучения. Определена цель ее функционирования, описаны свойства, важные для интеллектуального анализа образовательных данных: ограниченность во времени, регламентируемосгь, контролируемость, управляемость, декомпозируемость. На основе анализа формально-структурной модели процесса обучения были выделены задачи поддержки принятия решений, для которых применяются методы интеллектуального анализа образовательных данных. К этим задачам относятся: оценка уровня сформированности компетенций и прогнозирование успеваемости студентов.

Такие задачи поддержки принятия решений в процессе обучения как выбор наилучшей альтернативы и оценка результатов обладают следующими свойствами: неоднозначность трактовки регламентирующих документов (рамочные формулировки компетенций), неполнота входных данных, сложность оценки последствий. В связи с необходимостью учета неопределенности для поддержки принятия решений, используется аппарат теории вероятностей, математической статистики и интеллектуального анализа данных.

Во втором разделе рассмотрены модели и алгоритмы интеллектуального анализа образовательных данных. Раскрывается содержание понятая модель обучающегося, рассматриваются основные признаки, которые должны в ней присутствовать. Описываются три вида моделей: стартовая, эталонная и текущая.

Базовая задача интеллектуального анализа образовательных данных - это построение моделей обучающихся. Только после ее решения становится возможным решение всех остальных задач. Одним из наиболее перспективных методов для построения моделей обучающихся являются байесовские сети. При построении байесовской сети, которая является моделью обучающегося, учитываются следующие свойства:

1. Сеть представляет собой ориентированный ациклический граф, вершинами которого являются некоторые признаки обучающегося, например, уровни сформированности компетенций, оценки за выполненные компетентностно-ориентированных заданий (КОЗ), личностные характеристики.

2. Для любых двух вершин сети X и У, если ребро направлено от X к У, то X называется родительской по отношению к У. При этом у любой вершины может быть несколько родительских вершин. В свою очередь родительская вершина может являться таковой для одного или нескольких потомков.

. 3. Все вершины, у которых есть родительские вершины, определяются таблицей условных вероятностей. Это позволяет формализовать рассуждения о

сформированное™ компетенции следующим образом. Если студент владеет компетенцией, то он выполнит соответствующее ей задание. Таким образом, может быть задана условная вероятность для выполнения задания, при условии, что компетенция сформирована. Если parents (X) - это множество родительских вершин для вершины Xв байесовской сети, то Охарактеризуется распределением условных вероятностей Р(.X \ parents(X)), которое количественно оценивает влияние родительских вершин на вершину X. Если задана байесовская сеть со случайными переменными X Х„}, то их совместное распределение

определяется формулой:

п

P(XV... Хп) = ]~] P(Xi\parents(X{) (1)

i=l

4. Для вершин, не имеющих родительских вершин, вероятности являются безусловными (маргинальными). Другими словами, если у вершины X нет родителей, то распределение вероятностей в ней является безусловны.м, в противном случае -условным.

5. Если значение в узле получено в результате опыта, то саму вершину называют свидетелем, а результат такого опыта - свидетельством.

6. Любые две вершины, не соединенные ребром, условно независимы, если известно значение их предков.

Процесс построения байесовской сети, являющейся моделью обучающегося, включает следующие этапы: идентификация переменных, определение структуры, определение параметров.

Моделирование начинается с идентификации переменных, которые относятся к предметной области. Переменные делятся на четыре класса: целевые, свидетельства, факторы, вспомогательные.

1. Целевые переменные, как правило, отражают скрытые характеристики, которые нельзя измерить напрямую. Например, уровень сформированное™ компетенций, как латентная характеристика обучающегося, непосредственному измерению не поддается, может быть оценен с определенной вероятностью.

2. Свидетельства (или наблюдения) используются для того, чтобы предоставить информацию относительно целевых переменных. В моделях обучающихся свидетельствами являются, например, результаты выполнения КОЗ.

3. Факторы (или контекстные переменные) моделируют источники влияния на целевую переменную. Примерами факторов в моделях обучающихся являются их личностные качества студентов, квалификация преподавателей и т.д.

4. Вспомогательные переменные используются для упрощения структуры сети и уменьшения количества параметров. Например, если у узла есть много родительских узлов, промежуточные вспомогательные переменные могут быть использованы для их группировки.

Следующий шаг - это определение структуры модели, т.е. расстановка ребер между переменными. При этом смысл ребра заключается в том, что переменная в исходной вершине оказывает непосредственное влияние на переменную в целевой.

Определение параметров заключается в задании априорных распределений для узлов, у которых нет родителей, а также распределений условных

вероятностей для всех остальных узлов. Как и в случае с определением структуры, параметры могут быть заданы экспертом, либо получены из данных, либо комбинацией обоих подходов. Каждая переменная может принимать неограниченное число значений. Большое число значений существенно усложняет модель, поэтому часто в байесовских сетях используют бинарные переменные.

Сконструированная байесовская сеть позволяет проводить вычисления: после поступления некоторого количества свидетельств рассчитываются апостериорные вероятности. Этот процесс называют вероятностным выводом. В байесовской сети существует три основных способа вероятностного вывода: прямой, обратный и смешанный. Прямой вывод (прогнозирование) связано с определением вероятности свидетельства при наблюдаемых причинах. В обратном выводе (абдукция) оценивается значения вероятностей для целевых переменных. В смешанном выводе (трансдукция) определяются апостериорные вероятности причин или наблюдений при условии наступления одной или нескольких других причин.

Изменение основной образовательной прохраммы (ООП) в целях формирования компетенций будущих специалистов предполагает выбор соответствующих средств, форм и методов обучения, способов оценивания и контроля достижений, которые способствуют развитию компетенции. Строго предметное структурирование оценочных средств выявления учебных достижений не в полной мере соответствует компетентностной модели построения ООП.

В процессе диагностики выявляется фактический результат и степень достижения ожидаемого результата. На основе этою делаются первичные выводы о степени соответствии выпускников требованиям ФГОС ВПО, а также разрабатывается комплекс мер по уменьшению или полному устранению разницы между моделями. По итогам сравнения фактических и ожидаемых результатов необходимо выдать рекомендации для корректировки учебного процесса. Основным средством проведения диагностики являются КОЗ. Конструкция КОЗ подчиняется определенным требованиям, обусловленным тем, что такое задание организует деятельность студента, а не воспроизведение им учебной информации.

Использование дескриптора компетенции приводит к разбиению требований к уровням освоения компетенций на отдельные части. Выделены четыре основных уровня освоения компетенций: нулевой, начальный, базовый, углубленный.

С КОЗ в байесовской сети связываются простые компетенции, однако они должны быть предварительно получены на основе декомпозиции компетенций ФГОС ВПО. Основная цель компетентностного моделирования - построить такую байесовскую сеть, в которой все составные компетенции являются родительскими вершинами для компетенций, а все простые компетенции являются родителями для КОЗ.

При описании алгоритма построения компетентностной модели будем использовать структуру дерева, для более эффективного представления распределений условных вероятностей, и учитывать процедуру построения локально структурированной байесовской сети.

Алгоритм 1. Построение структуры байесовской сети для компетентносшой модели направления подготовки.

1. В структуру сети V вводим п коренных вершин С/. Каждая коренная вершина - это компетенция из ФГОС ВПО.

2. В сети V выявляются эквивалентные компетенции и заменяются простой или составной компетенцией, сокращая количество вершин С,. Предположим, количество эквивалентных вершин равняется I, при этом 0 <1<п. Заменяем п на п-1.

3. В сети V выявляются агрегации. Если какая-то компетенция является частью другой Сг, между ними устанавливается связь, направленная от более общей компетенции к частной, при этом составляющая компетенция обозначается аСи для нее задается условная вероятность р(аС£|С(). Параметры модели определяются экспериментально или при помощи процедуры обучения байесовской сети. Количество коренных вершин при этом сокращается на количество вершин, которые были связаны отношением агрегации.

4. В сети V выявляются листовые вершины, в которые записаны простые компетенции. Количество простых вершин на этом шаге равняется т, при этом О < т < п. При этом и - это количество вершин, которые могут оказывать влияние на новые вершины, т.е. повые вершины могут возникать в результате декомпозиции компетенции. Заменяем п на п-т. Вершины, в которых записаны простые компетенции, назовем заблокированными. Пока п не равно О выполняются шаги 5 и 6. В противном случае переходим к шагу 7.

5. В сети V для и незаблокированных вершин проводим детализацию компетенций. Каждая составная компетенция детализируется путем выделения двух или более составляющих. В результате детализации вводится к новых вершин, при этом г - это число родителей новых вершин. Если к > 0, то 1 < г < к. Новые вершины связываются с родительскими. При этом задается условная вероятность р(аС1\С1) для каждой новой вершины. Каждая из новых вершин в свою очередь может быть в дальнейшем декомпозирована.

6. Если среди составляющих могут быть обнаружены эквивалентные компетенции, значит, имеет место общность двух или более родительских компетенций. Так как для сети выбрана структура дерева, то связь не устанавливается, но при этом в отдельную структуру может быть записана информация об общности. Переходим к шагу 4.

7. После детализации всех составных компетенций получены все переменные составляющие структуру байесовской сети. Однако в сети выявлены еще не все связи. На завершающем этапе построения структуры байесовской сети, отражающей связи между компетенциями, при необходимости устанавливается условная связь.

Для получения оценки необходимо выполнить вероятностный вывод. Самый простой алгоритм - вывод методом «грубой силы». Метод заключается в маргинализации полного совместного распределения. Для сети, состоящей из небольшого количества узлов, которые могут принимать малое количество значений, метод грубой силы работает. Но для построения компетентностных моделей необходим более эффективный алгоритм. Для вероятностного вывода в байесовской сети в настоящей работе применяется алгоритм передачи сообщений.

Значения параметров сети можно получить, используя один из методов автоматического обучения по имеющимся статистическим данным. В настоящем исследовании такими данными являются результаты выполненных заданий, а также экспертные оценки обладания компетенциями для конкретных студентов.

Для автоматического обучения параметров байесовской сети подготавливается набор данных, который содержит следующие характеристики студентов: идентификационный номер, результаты выполненных заданий, оценка уровня сформированности компетенций. В дальнейшем случайным образом происходит разбиение подготовленного набора данных на две части, которые называют обучающая и тестовая. По обучающей выборке проводится обучение параметров байесовской сети. Структуру сети при этом обучать не требуется, так как эта структура задается рабочими программами дисциплин.

По тестовой выборке проверяется точность оценю! уровня сформированности компетенций. Если в результате работы сети на обучающей выборке студентов достигнута высокая точность, то эти параметры могут быть использованы в качестве априорных оценок условных вероятностей переменных.

Обучить параметры байесовской сети можно только при наличии необходимых данных. Однако такие данные не всегда имеются. В таких случаях применяются экспертные оценки.

Алгоритм 2. Построение байесовской сети для оценки уровня сформированности компетенций.

В байесовскую сеть, построенную по алгоритму 1, добавляется новый тип узлов: КОЗ. Новые узлы связываются родителями: простыми компетенциями.

При этом должны быть определены параметры сети, т.е. условные вероятности р(агд,|Л/), где ащ - КОЗ с номером «', проверяющего компетенцию А] на уровне Ь. Уровень соответствует одному из уровней сформированности компетенции в дескрипторе. Для определения параметров сети используются экспертные оценки или оценки, полученные в результате процедуры обучения байесовской сети. Эта процедура повторяется для всех узлов заданий.

Примечание: в качестве новых узлов в сети могут быть использованы факторы, которые являются родителями для узла с компетенцией.

Метод оценки простых и составных компетенций заключается в следующем:

1. По алгоритму 2 строится компетентностная модель на основе байесовской сети.

2. В сеть по мере поступления добавляются свидетельства, т.е. результаты выполнения КОЗ.

3. Рассчитывается апострериорная вероятность для узлов с простыми и составными компетенциями,

4. Полученная вероятность интерпретируется. Обозначим (р}< р2, р}) - как оценки вероятности сформированности компетенции на соответствующих уровнях. Обозначим ¡=(¡1,12» 1г) - как уровень достоверности, / задает требуемый уровень достоверности, <, может изменяться от 0 до 1. Компетенция считается сформированной на требуемом уровне ¡, если достигнут уровень достоверности, т.е. р,- >

Метод позволяет проводить оценку в условиях отсутствия некоторых свидетельств, т.е. при неизвестных результатах выполнения некоторых КОЗ.

и

Алгоритм 3. Оценка уровня сформированное™ компетенции.

1. При наличии результатов выполнения заданий в байесовскую сеть, построенную по алгоритму 2, добавляются свидетельства, т.е. результаты выполнения КОЗ. При отсутствии свидетельств, для расчетов используются априорные условные распределения вероятностей.

2. Рассчитывается апостериорная вероятаость для уровня сформированное™ интересующей компетенции.

3. Дается интерпретация вычисленной вероятности относительно достижения требуемого уровня сформированное™ компетенции.

Алгоритм 3 является основой процесса диагностаки. С его помощью строится текущая модель обучающегося. В соответствии с формально-структурной моделью процесса обучения, процесс диагностаки проводится с заданной периодичностью. В каждой контрольной точке с помощью алгоритма 3 может быть сформирована текущая модель обучающегося. Текущая модель сравнивается с эталонной. Результаты сравнения используются для поддержки принятия решений. .

Особенность компетенций, как результата обучения, заключается в их междисциплинарном характере. На рисунке 1 изображен фрагмент компетенгностной модели ООП. Модель содержит три основных типа вершин: компетенции (простые и составные), задания (компетентностно-

Задача прогнозирования успеваемости - одна из наиболее распространенных задач, решаемых с помощью методов интеллектуального анализа образовательных данных. Рассмотрим две задачи прогнозирования: предсказание оценки за выполнение задание и предсказание академической успеваемоста. Покажем, как эта задачи могут быть формализованы в виде байесовской сета и решены на основе трансдукции.

Алгоритм 4. Прогнозирование академической успеваемоста студентов.

1. Дана сеть V, построенная по алгоритму 2. На ее основе строится новая сеть для дисциплины £>. В новую сеть вводится первая корневая вершина И.

2. Вершина D оказывает влияние на разделы (составные части) дисциплины Тк. При необходимости для каждого раздела задается условная вероятность P(Tk\D).

3. В сеть добавляются вершины из сети V с простыми компетенциями Aj. Отбираются только те компетенции, которые формируются на дисциплине D. Задаются условные вероятности р(Л; |Гг). При этом сеть преобразуется с учетом требуемого уровня сформированное™ компетенции.

4. В сеть добавляются вершины Щц с параметрами p(aijL\Aj), где aijL -КОЗ с номером /, проверяющего компетенцию Лу- на уровне L.

5. В сеть добавляются вершины из сети V с простыми компетенциями Bj, Отбираются только те компетенции, которые необходимы для освоения дисциплины D.

6. В сеть добавляются вершины biJL с параметрами p(bljL]Bj), где biJL - КОЗ с номером (, проверяющего компетенцию Bj на уровне L.

7. В сеть поступают свидетельства в виде результатов выполнения заданий O-ijL, относящихся к дисциплинам, которые предшествуют в учебном плане дисциплине D.

8. Рассчитывается апостериорная вероятность для узла D. Эта вероятность и является прогнозом академической успеваемости.

Для прогнозирования выполнения КОЗ рассчитывается апостериорная вероятность для тех узлов aijL, которые относятся к дисциплине D.

Предложенные модели и алгоритмы применяются для следующих задач поддержки принятия решений: построение дерева целей (декомпозиция компетенций), выявление проблем при достижении поставленных целей (оценка компетенций), прогнозирование последствий принятия альтернативных решений (прогноз академической успеваемости), отбор вопросов итоговой аттестации по дисциплине (прогноз уровня сформированное™ компетенции).

В третьем разделе рассмотрено экспериментальное опробование результатов исследования. Описана методика построения и применения компетентностной модели направления подготовки. Сформулированы требования к ней:

1. Соответствие ФГОС ВПО.

2. Соответствие тарификатору результатов обучения, действующему в Университете ИТМО.

3. Все составные компетенции должны быть декомпозированы до простых.

4. Простые компетенции связываются со средствами их оценки.

5. Дисциплины и составные компетенции ФГОС ВПО связываются через простые компетенции.

Программная реализация разработанных алгоритмов осуществлялась с использованием следующих средств: язык программирования R, среда разработки RStudio, система контроля версий git, дополнительные пакеты языка R: gRain (вероятностный вывод в байесовских сетях), Rgraphviz (отображение графов), RBGL (интерфейс к BGL - Boost Graph Library), Shiny (создание интерактивных web-приложеяий).

Процесс создания компетентностной модели схематично представлен на рисунке 2 в виде диаграммы состояний. Выделены два составных состояния: основная модель и модель дисциплины. Процесс начинается с идентификации переменных в состоянии «основная модель».

/ Основная идапь

/

Модел сисцилпииы

Иаеитыфиквшм пере ив**«

1 Амжчошял еостикм кмлотенщА

Поостыв компетенции

Определение структуры

Определение параметров

Гг

г<

Опре&еяен«« структуры

Определение параметров \

Нвчвглиыв требований к освоению коипетекц«* дшиипгмны

Ожидаемые р»»ут,таты обучения я форме веофиторое кэмрвте*ц*й

Рисунок 2 - Процесс создания компетентностной модели

Идентификация переменных проходит в три этапа: декомпозиция компетенций ФГОС ВПО до простых компетенций; определение дисциплин для формирования компетенций; формирование фонда оценочных средств в соответствии с простыми компетенциями. Структура сети определяется установлением связей между узлами.

Основная модель содержит в качестве корневых узлов подмножество компетенций ФГОС БПО. Из узлов с компетенциями ФГОС ВПО исходят дуги к их декомпозициям в виде простых или составных компетенций. Количество уровней в дереве при этом формально не имеет ограничений. В основной сети между компетенциями устанавливаются только связи, описывающие отношение типа «часть-целое».

Для более точной диагностики уровня сформированности компетенций в сеть была введена дополнительная вершина (фактор) «подготовка студента», которая является родительской для компетенций, требуемых для изучения дисциплины. Этот фактор позволяет учитывать начальные требования к студенту.

Для каждой дисциплины строится своя сеть: модель дисциплины. Корневой вершиной в этой сети является «успеваемость по дисциплине». У корневой вершины могут быть два типа потомков: простые компетенции (отбираются только те, что связаны с дисциплиной), темы (разделы) дисциплины. С простыми компетенциями, которые формируются на дисциплине, связывают оценочные средства в форме кометентностно-ориентированных заданий.

Пример компетентностной модели дисциплины представлен на рисунке 3. Вершина 5 — это фактор, означающий подготовку студента. Для поступивших в вуз может рассчитываться по результатам вступительных испытаний. В случае, когда к студенту предъявляются требования, обязательные для освоения материала учебной дисциплины, у вершины 5 появляются потомки. На рисунке 3 такими потомками являются вершины С/ и С2 - это простые компетенции, необходимые студенту для освоения материала дисциплины О. Вершины с1__1.

с1_2, с2_1, с2_2 - являются свидетельствами, полученными до начала изучения дисциплины В. Компетентностно-ориентировашпде задания а1, а2, Ь2, ЬЗ -задания из фонда оценочных средств дисциплины £>.

Начальные требования ( в ) к студенту

Рисунок 3 - Пример компетентностной модели дисциплины

В соответствии с формально-структурной моделью процесса обучения, важным этапом построения модели является определение контрольных точек, в которых оценивается фактический уровень сформированное™ компетенции. В соответствии со свойством регламентируемости в каждой точке ^ может быть построена эталонная модель обучающегося. В соответствии со свойством контролируемости в каждой контрольной точке может быть оценен фактический уровень сформированности компетенций, тем самым построена текущая модель студента. В соответствии со свойством управляемости, в любой точке может быть проведено сравнение текущей и эталонной моделей.

При построении компетентностных моделей в контрольных точках, входных данными является основная компетентностная модель основной образовательной программы и модели всех дисциплин учебного плана. На основе этих моделей генерируются эталонные модели в контрольных точках.

Все дисциплины в соответствии с учебным планом распределены по семестрам и модулям. Для построения модели отбираются дисциплины, которые в учебном плане предшествуют контрольной точке. Из компетентностных моделей дисциплин извлекаются компетенции с указанием требуемых уровней сформированности. Это эталонная (нормативная) модель.

По всем компетенциям, извлеченным из моделей дисциплин, строится сеть с узлами типа КОЗ, по которым получают свидетельства. Рассчитанная вероятность для узлов с компетенциями является оценкой уровня сформированности компетенций. Это текущая модель.

Разработанная методика позволяет создавать рабочие программы дисциплин, с учетом деления содержания образовательной программы по результатам обучения в форме компетенций. Использование методики устраняет разрыв между строго предметным структурированием оценочных средств,

которое не в полной мере соответствует компетентносткой модели построения основной образовательной программы, и деятельностным структурированием результатов обучения.

Алгоритм 5. Модифицированный алгоритм прогнозирования академической успеваемости студентов

1. На шаге 1 алгоритма 4 для дисциплины указывается семестр, в котором проводится итоговый контроль.

2. Алгоритм 4 выполняется для всех дисциплин учебного плана.

3. Выбирается контрольная точка Сь в которой будет составлен прогноз.

4. Отбираются дисциплины, которые в учебном плане предшествуют контрольной точке. Из компетентностных моделей дисциплин извлекаются компетенции с указанием требуемых уровней сформированное™.

5. Для компетенций, извлеченных на шаге 4, из моделей дисциплин извлекаются вершины с компетентностно-ориентированными заданиями.

6. Для вершин, извлеченных на шаге 5, поступают свидетельства.

7. Рассчитывается апостериорная вероятность для компетенций, извлеченных на шаге 4.

Условия проведения эксперимента. Эксперимент состоял из двух этапов. На первом этапе 26 студентам было предложено выполнить задание по программированию, состоящее из двух частей. По результатам был получен набор данных, по которому проводилась процедура обучения байесовской сети. В связи с малым объемом выборки применялась процедура эмпирического оценивания обобщающей способности алгоритмов методом скользящего контроля.

Во второй части эксперимента приняли участие ИЗ студентов. Для них проводилась оценка уровня сформированное™ компетенции по байесовской сети с параметрами, полученными на первом этапе. Для оценки уровня сформированное™ компетенции использовался алгоритм 3.

По результатам первого этапа эксперимента было проведено сравнение результатов работы байесовской сета с результатами по балльно-рейтинговой системе (БаРС). Графически это представлено в виде диаграммы рассеяния (см. рисунок 4).

'--1--'--г-

02 0.4 0.0 08 1й

Рисунок 4 - Диаграмма рассеяния, показывающая зависимость оценок по БаРС от оценок в байесовской сети

Таким образом, проблема верификации результатов применения байесовской сети решена за счет применения процедуры обучения сети, которая обеспечивает высокую точность на тестовом множестве. Дополнительное сравнение с принятым инструментом оценивания противоречий не выявило, тем самым подтверждена применимость байесовской сети для оценки компетенций. При этом в предаоженном подходе для оценки уровня сформированности компетенции используется абсолютная, а не ранговая шкала, а также учитываются все связи между компетенциями. Возможность работа с неполными данными - еще одно преимущество предложенного подхода.

Экспериментальное опробование показало, что разработанные алгоритмы, метод и методика пригодны для построения компетентаостной модели дисциплины и направления подготовки. Построенные по методике модели позволяют делать обоснованные суждения относительно уровня сфомированности компетенций у студентов, а также прогнозировать успеваемость студентов. Тем самым с помощью методов интеллектуального анализа образовательных данных решаются задачи поддержки принятия решений.

ЗАКЛЮЧЕНИЕ

Основным итогом диссертационной работы является разработка моделей и алгоритмов, предназначенных для проведения интеллектуального анализа образовательных данных с целью поддержки принятия решений, что выражается в достижении следующих научных и практических результатов.

1. Разработан алгоритм построения модели обучающегося с использованием аппарата байесовских сетей. В качестве вершин сеть содержит компетенции, задания компетентаостао-ориентированные, изучаемые дисциплины, а также личностные характеристики студента. Алгоритм может быть применен при разработке компетентаостных моделей. Применение алгоритма обеспечивает связь компетенций с конкретными результатами процесса обучения.

2. В основу метода оценки простых и составных компетенций положены обратный вывод (абдукция) в байесовской сети и эмпирическое правило интерпретации вероягаостного вывода. Для оценки уровня сформированное™ компетенции важна структура и параметры байесовской сета. В связи с этим в диссертации предложены методы верификации результатов работы байесовской сета. К таким методам относится процедура обучения и сравнение с балльно-рейтииговой системой. При этом отмечены преимущества предложенного метода для оценки уровня сформированное™ компетенции. К ним отаосятся: использование абсолютаой шкалы, учет всех связи между компетенциями, возможность работы с неполными данными.

3. Разработан алгоритм прогнозирования академической успеваемости студентов. Основу алгоритма составляет смешанный вывод (транедукция) в байесовской сети. Алгоритм позволяет давать вероятаостную оценку относительно результатов обучения. Разработана модификация алгоритма, предусматривающая сравнение эталонных и текущих компетентности ых моделей в контрольных точках. Введены ограничения применения алгоритма. Предложена вариация алгоритма для прогнозирования выполнения отдельных заданий.

4. Разработана методика построения и применения компетентностной модели направления подготовки. Методика основана на применении разработанных алгоритмов для построения компетентностных моделей. За счет применения байесовской сети оценка уровня сформированное™ компетенции возможна даже при пропусках данных, т.е. при неизвестаых результатах выполнения компетентносгно-ориентаровапных заданий.

5. Результаты исследования используются Саморегулируемой организацией «Некоммерческое партнерство по содействию развитию изыскательской деятельности «Изыскатели Санкт-Петербурга и Северо-Запада» при создании системы непрерывного дополнительного профессионального образования в сфере инженерных изысканий.

6. Создана программная реализация разработанных алгоритмов. Она была внедрена и используется на кафедре интеллектуальных технологий в гуманитарной сфере Университета ИТМО при разработке основных образовательных программ высшего профессионального образования, а также для оценки и прогноза уровня сформированное™ компетенций студентов.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи в журналах из перечня ВАК

1. Хлопотов М.В. Применение байесовской сета при построении моделей обучающихся для оценки уровня сформированности компетенций // Интернет-журнал «Науковедение», 2014 №5 (25) [Электронный ресурс] - М.: Науковедение, 2014 - 28 стр. - Режим доступа: http://naukovedenie.ni/PDF/20TVN514.pdf

2. Хлопотов М.В., Сорокин Д.С. Использование методов анализа данных и поиска схожих фрагментов в исходном коде для оценивания студенческих работ по программированию // Компьютерные инструменты в образовании. - Санкт-Петербург, 2014. - №2 - с. 31-37.

3. Хлопотов М.В., Коцюба И.Ю. Методы интеллектуального анализа данных для мониторинга и диагностики качества образования // Дистанционное и виртуальное образование. - Москва, 2014. -№ 5. - С. 18-25.

4. Хлопотов М.В., Горлушкина H.H., Петров И.В. Студенческий информационно-консультационный центр как средство формирования профессиональных компетенций студентов направления «Информационные системы и технологии» // Дистанционное и виртуальное обучение. - Москва, 2013.-№10.-С. 64-71.

5. Хлопотов М.В., Шишкин А.Р. Система диагностики сформированное™ профессиональных компетенций студентов специальности "Информационные технологии в образовании" II Дистанционное и виртуальное обучение. - Москва, 2010.-№2.-С. 59-69.

Другие публикации

6. Горлушкина Н. Н„ Хлопотов М. В., Борисова Л. А., Шишкин А. Р. Компоненты информационной системы кафедры для мониторинга активности аспирантов // Труды XVII Всероссийской научно-методической конференции «Телематика-2010». - СПб, 2010. - С. 186-188.

7. Хлопотов М. В.Информационная профессионально-ориентированная обучающая среда для мониторинга и диагностики результатов обучения // Труды XVII Всероссийской научно-методической конференции «Телематика-2010». -СПб, 2010.-С. 184-185.

8. Потеев М.И., Хпопотов М.В. Мировые информационные образовательные ресурсы: Учебное пособие. - СПб., 2009. - 164 с.

9. Потеев М.И., Хпопотов М.В. Электронный учебно-методический комплекс по дисциплине «Мировые информационные образовательные ресурсы» // Труды XV Всероссийской научно-методической конференции «Телематика-2008». -СПб, 2008.

10. Потеев М.И., Хлопотов М.В. Об опыте подготовки специалистов по проектированию цифровых информационных образовательных ресурсов // Дистанционное и виртуальное обучение. - М., 2008. - №6. - С. 89-93.

11. Потеев М.И., Хлопотов М.В. Об одном подходе к оптимизации проектирования цифрового образовательного ресурса // Труды XIV Всероссийской научно-методической конференции «Телематика-2007». - СПб, 2007.-С. 200-201.

12. Хлопотов М.В. Структура и содержание учебного пособия по дисциплине «Мировые информационные образовательные ресурсы» для студентов специальности «Информационные технологии в образовании» // Научно-технический вестник СПбГУ ИТМО. - Вып. 41. -СПб., 2007. - С. 73-75.

13. Хлопотов М.В. Методика подготовки будущих инженеров специальности «Информационные технологии в образовании» к проектной деятельности // Научно-технический вестник СПбГУ ИТМО. - Вып. 45. - СПб., 2007. - С. 3-10.

14. Потеев М.И., Хлопотов М.В. Деловая игра в области проектирования как комплексный метод подготовки будущих инженеров // Сборник материалов IV международной научно-методической конференции «Новые образовательные технологии в вузе». - Екатеринбург, 2007. - С. 119-123.

15. Хлопотов М.В., Сергеева Е.А. Использование мировых электронных образовательных ресурсов при подготовке инженеров специальности "Информационные технологии в образовании" // Труды Х1П Всероссийской научно-методической конференции «Телематика-2006». - Том 2. - СПб, 2006. - С. 414.

16. Хлопотов М.В. О необходимости подготовки в области эргономики будущих проектантов электронных образовательных ресурсов // Научно-технический вестник СПбГУ ИТМО. - Вып. 2. - СПб., 2006. - С. 194-196.

17. Хлопотов М.В. Компетентностный подход к проектно-конструкторской подготовке будущих инженеров (на примере специальности «Информационные технологии в образовании») // Вестник Архангельского государственного технического университета. - Архангельск, 2006. - С. 32-36.

18. Хлопотов М.В. Педагогический дизайн как элемент подготовки будущих инженеров специальности «Информационные технологии в образовании» // Научно-технический вестник СПбГУ ИТМО. - Вып. 32. СПб., 2006. - С. 305-309.

Тиражирование и брошюровка выполнены в учреждении

«Университетские телекоммуникации»

197101, Санкт-Петербург, Саблинская ул. 14

Тел. (812)233 46 69

Объем 1,0 у.пл. Тираж 100 экз.