автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Алгоритмы и программные средства автоматизации процессов адаптивного обучения персонала предприятий

АРСЕНТЬЕВ ДМИТРИЙ АНДРЕЕВИЧ

Алгоритмы и программные средства автоматизации процессов адаптивного обучения персонала предприятий

Специальность 05.13.06 — Автоматизация и управление технологическими процессами и производствами (полиграфические средства информации и информационные системы)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

5 ДЕК 2013

Москва-2013

005543100

005543100

Работа выполнена на кафедре «Информатика и вычислительная техника» МГУП имени Ивана Федорова

доктор технических наук, профессор Попов Дмитрий Иванович

доктор технических наук, профессор, и.о. заведующего кафедрой

«Информационные системы и мультимедиа технологии» МГУП имени Ивана Федорова Марков Аркадий Алексеевич

доктор технических наук, профессор, профессор кафедры «Автоматизированные системы управления» федерального государственного бюджетного

образовательного учреждения высшего профессионального образования

«Московский автомобильно-дорожный государственный технический университет (МАДИ)» Остроух Андрей Владимирович

Ведущая организация: МГТУ им. Н.Э. Баумана

НМЦ "Инженерное образование"

Защита состоится «26» декабря 2013 г. в 13 часов 00 минут на заседании диссертационного совета Д 212.147.03 при МГУП имени Ивана Федорова по адресу 127550, г. Москва, ул. Прянишникова, дом 2А.

С диссертацией можно ознакомиться в библиотеке МГУП имени Ивана Федорова. Автореферат разослан «22» ноября 2013 г.

Научный руководитель:

Официальные оппоненты:

Ученый секретарь

диссертационного совета Д 212.147.03: ^ д.т.н., профессор Агеев В.Н.

1. Общая характеристика работы

1.1. Актуальность темы

В современном процессе обучения персонала предприятий все большую роль занимают информационные технологии. Использование в образовательной сфере дистанционных образовательных технологий уже давно стало нормой для большинства вузов России.

Разработке новых подходов к проверке знаний уделяется пристальное внимание со стороны правительства. Одним из шагов, который Рособрнадзор планирует реализовать в рамках Федеральной целевой программы в 2011-2015 годах, является замена государственного экзамена на государственную итоговую аттестацию, в основе которой будет лежать тестирование. Также в Министерстве образования и науки РФ на постоянной основе проходит Интернет-экзамен в сфере профессионального образования.

Актуальность исследований обусловлена необходимостью разработки алгоритмов, позволяющих решить вопросы адаптации в автоматизированных системах контроля знаний, что позволит сократить время тестирования, а также даст возможность проверки знаний посредством тестирования большему количеству пользователей.

1.2. Цели работы

Целью диссертационной работы является сокращение времени на тестирование пользователя в зависимости от показанных результатов, а также предоставление возможности автоматизированного контроля знаний независимо от аппаратно-программного обеспечения испытуемого.

1.3. Задачи исследования

Для реализации поставленных целей необходимо решить следующие задачи:

1. провести анализ существующих алгоритмов оценки тестовых заданий, алгоритмов тестирования, существующих автоматизированных систем контроля знаний;

2. разработать алгоритм апостериорной оценки трудности тестовых заданий;

3. разработать адаптивный алгоритм тестирования, учитывающий уровень подготовленности испытуемого;

4. разработать модель оффлайновой автоматизированной системы контроля знаний.

1.4. Методы исследования

Для достижения поставленных целей и решения задач использованы методы математической статистики, алгоритмы определения надежности теста.

1.5. Область исследования

1. автоматизированные системы контроля знаний, используемые технологии и алгоритмы для контроля знаний учащихся;

2. адаптивные системы и алгоритмы;

3. разработка программного обеспечения для систем открытого образования, выбор среды и языка разработки, интеграция разработанного программного обеспечения в уже существующие автоматизированные системы открытого образования.

1.6. Научная новизна

Научная новизна представленного исследования состоит из следующих положений:

1. разработан апостериорный алгоритм оценки трудности тестового задания, особенностью которого является то, что он учитывает не только ответ на конкретный вопрос, но и подготовку испытуемого по конкретной дисциплине;

2. разработан адаптивный алгоритм тестирования, позволяющий сократить временные затраты на прохождение теста, отличительной особенностью которого является то, что для расчета итоговой оценки используется трудность последнего тестового задания;

3. разработана модель системы тестирования, особенностью которой является возможность ее использования при отсутствии подключения к сети Интернет.

1.7. Методологическая основа

Методологической основой исследования диссертационной работы являются работы в области автоматизации и адаптации процесса контроля знаний (работы Васильева В.И., Попова Д.И.), а так же в области адаптации систем (работы Растригина Л. А., Заде Л.А.).

1.8. Достоверность полученных результатов

Подтверждается практической реализацией и внедрением полученных результатов в организацию учебного процесса Института открытого образования МГУП имени Ивана Федорова.

1.9. Теоретическая значимость результатов

Полученные алгоритмы и модель являются теоретической основой для создания модулей тестирования системы управления обучением Института открытого образования МГУП имени Ивана Федорова.

1.10. Практическая ценность

На основании предложенных теоретических разработок были созданы модули тестирования для системы управления образованием Института открытого образования МГУП имени Ивана Федорова.

1.11. Основные научные и практические результаты, выносимые на защиту

1. Апостериорный алгоритм оценки трудности тестового задания, особенностью которого является то, что он учитывает не только ответ на конкретный вопрос, но и подготовку испытуемого по конкретной дисциплине.

2. Адаптивный алгоритм тестирования и подход к обработке полученных результатов, отличающийся тем, что для расчета итоговой оценки используется трудность последнего тестового задания.

3. Модель системы тестирования, особенностью которой является возможность ее использования при отсутствии подключения к сети Интернет.

4. Практическая реализация полученных результатов.

1.12. Апробация работы

Основные результаты диссертационной работы обсуждены на: Международном фестивале информационных технологий «МедиаФест-2009», Москва, 2009; «Системы, методы, техника и технологии обработки медиаконтента»,

Москва, 2011; 5-ом Международном учебно-научном семинаре "Корпоративные информационные системы", 2012; Международной конференции «Мобильные системы обработки медиаконтента», 2013.

Апробация работы была проведена в рамках участия в федеральной целевой программе «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы по теме «Разработка и исследование принципов и программных средств для создания широкополосной среды интеграции медиаданных для мобильных устройств» (соглашение №14.В37.21.0627 от 17.08.2012).

Модели и алгоритмы, полученные автором данной работы, используются в процессе обучения студентов в Институте открытого образования МГУП имени Ивана Федорова.

1.13. Публикации

Результаты проведенного анализа, разработки алгоритмов и программной реализации отражены в 10 статьях, напечатанных в журналах, в том числе, рекомендуемых ВАК - 3 статьи.

1.14. Структура и объем работы

Диссертация состоит из введения, четырех глав и заключения. Материалы изложены на 134 страницах, включают 27 рисунков, 21 таблицу. Библиографический список содержит 115 наименований.

2. Краткое содержание работы

Во введении раскрывается вопрос актуальности темы, ставятся цели и задачи работы, отмечена научная новизна и практическая значимость работы.

В первой главе проводится обзор научных школ и направлений, рассматриваются основные области исследования - открытое образование и разработка тестовых заданий, их сертификация.

Исследованиями в области открытого образования в России занимались две группы ученых. Первая группа в составе Андреева A.A., Лобачева С.Л. и Солдаткина В.И. и ряда других ученых занималась исследованиями в области открытого образования. Вторая группа ученых во главе с Крекотень С.П., Смольниковой И.А, Поляковым A.A., Коршуновым C.B., Федоровым И.Б., Вержбицким В.В. провела ряд важнейших изысканий, связанных с исследованием необходимости использования дистанционных технологий в России; проанализировала ситуацию с дистанционным обучением в России и за рубежом, а также подготовила программу развития дистанционного образования. По сути, исследования этих двух групп и дали первый, самый главный толчок использованию дистанционных образовательных технологий в России.

Одной из неотъемлемых частей образовательного процесса является контроль полученных знаний. При использовании дистанционных образовательных технологий - это тестирование обучающихся. И с учетом все возрастающей популярности дистанционного обучения появляется необходимость в разработке новых подходов к тестированию пользователей, в этом направлении работает много ученых, среди которых хочется отметить работы Попова Д.И., Тягуновой Т.Н., Васильева В.И.

Во второй главе описываются методы проверки надежности теста, подходы к разработке адаптивных систем.

Под надежностью теста понимается определение точности оценки результатов и их устойчивости вне зависимости от различных внешних факторов.

Тест считается надежным, если пользователь при одинаковых внешних условиях и одном и том же алгоритме тестирования показывает одинаковые (или близкие по значению) результаты.

Существует несколько подходов к определению надежности теста:

1. Надежность при параллельных тестах.

2. Ретестовая надежность.

3. Надежность расщепленного теста.

При параллельном тестировании надежность оценивается, исходя из результатов одной и той же группы испытуемых, полученных с помощью параллельных вариантов тестовых заданий. Показателем надежности является корреляция полученных результатов.

Ретестовая надежность реализуется за счет повторного тестирования одной и той же группы испытуемых. При этом при повторном тестировании необходимо учитывать, что результаты могут быть выше за счет обучаемости испытуемых.

Надежность расщепленного теста реализуется на одном сеансе тестирования за счет разбития (расщепления) результатов тестирования на составные части (две группы). Алгоритм разбиения непосредственно зависит от алгоритма тестирования. Например, при случайном наборе заданий можно делить на четные и нечетные задания.

Одной из задач при разработке современных автоматизированных систем контроля знаний является их адаптация под конкретного пользователя.

В третьей главе описываются разработанные алгоритмы тестирования и оценки трудности тестового задания, а также модель оффлайновой системы тестирования.

Одним из главных критериев тестового задания является его трудность. Трудность тестового задания определяет количество умственных усилий, необходимых для получения правильного ответа.

При отсутствии строгих временных ограничений на прохождение теста трудность тестового задания является определяющим фактором итоговой оценки студента. Важность одного вопроса тем выше, чем выше шкала оценки. В табл. 1 приведено соотношение количества тестовых заданий (ТЗ) в указанном диапазоне процентов, то есть оценку «неудовлетворительно» при 40 тестовых заданиях можно получить, правильно ответив на О ТЗ или на 21 ТЗ.

Таблица 1. Соотношение количества тестовых заданий, процентов1, итоговой

оценки

Набранный процент2 Оценка Тест из 40 ТЗ Тест из 50 ТЗ Тест из 60 ТЗ

0-54 неудовлетворительно 21 27 32

55-69 удовлетворительно 6 7 9

70-84 хорошо 6 8 9

85-100 отлично 7 8 10

Одним из способов оценки трудности тестовых заданий, находящихся в банке, является экспертная (априорная) оценка. Ее суть заключается в том, что один или несколько экспертов в той области, в которой проводится тестирование, определяют трудность заданий. Но такой подход имеет ряд недостатков, показанных на рис. 1.

Рисунок 1. Недостатки экспертной оценки трудности тестового задания.

Также существует подход, основывающийся на апостериорной оценке трудности ТЗ:

1 "

(1)

" /=1

п - количество ответов на вопрос. - результат ответа на /-ый вопрос, где е [о,-1].

Но формула (1) не учитывает подготовленность испытуемого.

Вводим коэффициент, который линейно зависит от результата тестирования студента. Этот коэффициент должен быть приведен к виду например, при

оценке знаний по стобалльной шкале, приведение к нужному виду будет выглядеть

следующим образом 5 = ^'"/^д» где результат тестирования (в процентах)

Для определения влияния правильности ответа за тестовое задание на его трудность введем коэффициент г (вектор направленности):

г(х) = 2х-1, (2)

' Результаты тестирования оцениваются в %.

2 Приводится принятое в МГУ Печати имени Ивана Федорова соотношение баллов и итоговой оценки.

где х<= 0;1 - набранный балл за тестовое задание

Аналитически оценка трудности примет следующий вид:

+ 1

к труд ~ 1

| спг

—У^5/

(3)

где трудность тестового задания, сп(- количество учитываемых ответов на тестовое задание, я,- коэффициент отражающий знания студента, гг коэффициент, определяющий влияние набранного балла. сШ - параметр, отвечающий за гибкость, который выбирает администратор системы или преподаватель.

Недостаток разработанного алгоритма заключается в том, что нет первоначальной оценки трудности тестовых заданий, поэтому существуют два варианта решения такой проблемы:

1. Априорную трудность тестовым заданиям задает автор теста, и со временем априорная трудность тестовых заданий заменяется апостериорной трудностью.

2. Изначально считать тестовые задания равнозначными с точки зрения оценки их трудности. И с накоплением необходимых статистических данных получить апостериорную трудность тестовых заданий.

Еще одним фактором, влияющим на итоговую оценку студента, является алгоритм тестирования.

Первым этапом в разработке алгоритма тестирования будет определение трудности первого тестового задания.

За точку отсчета трудности тестового задания можно взять трудность, равную полусумме начальной и конечной трудностей. Допустим, трудность тестового задания принимает значения на отрезке \а\Ь], где а, Ь € (0;1], Ь > а, тогда трудность первого тестового задания будет находиться по формуле:

к труд. 1 ~ 2 ' ^

где ктрудтрудность первого тестового задания, а - минимальная трудность

тестового задания в гомогенном БТЗ, Ь- максимальная трудность тестового задания в гомогенном БТЗ.

Рисунок 2. Алгоритм оценки трудности тестового задания

Еще одним фактором, влияющим на итоговую оценку студента, является алгоритм тестирования.

Первым этапом в разработке алгоритма тестирования будет определение трудности первого тестового задания.

За точку отсчета трудности тестового задания можно взять трудность, равную полусумме начальной и конечной трудностей. Допустим, трудность тестового задания принимает значения на отрезке [а; 6], где а, Ъ 6 (0;1], Ь > а, тогда трудность первого тестового задания будет находиться по формуле:

где ктру6л- трудность первого тестового задания, а - минимальная трудность

тестового задания в гомогенном БТЗ, Ь- максимальная трудность тестового задания в гомогенном БТЗ.

Следующим этапом разработки алгоритма является определение шага, с которым будет изменяться трудность вопроса. Очевидно, что шаг зависит от количества вопросов, от минимальной/максимальной трудности тестового задания. В качестве шага предлагается использовать следующую зависимость:

где а - минимальная трудность тестового задания, Ь - максимальная трудность тестового задания, п — максимально возможное количество заданий в тесте.

Рассмотрим адаптивный алгоритм тестирования более подробно:

1. Рассчитывается трудность первого тестового задания - ктрудХ. Расчет производится по формуле 6.

2. Рассчитываем шаг А по формуле 7

3. Дальше производим ряд проверок для определения конца сеанса тестирования:

3.1. Первая проверка - определение, не закончились ли тестовые задания.

3.2. Проверка, был ли достигнут самый трудный вопрос в банке тестовых заданий. В случае успешного достижения такого вопроса происходит обработка данных и выставление оценки («отлично»).

3.3. Проверка достижения самого простого вопроса в банке тестовых заданий. В случае неправильного ответа на такой вопрос происходит обработка данных и выставление оценки («неудовлетворительно»).

3.4. Три вышеописанных условия не учитывают все необходимые случаи выхода из сеанса тестирования. Так, одним из условий выхода из сеанса тестирования является невозможность изменения оценки. Рассмотрим эти условия на примере. В таблице 1. представлены данные о соотношении между оценками, процентами и тестовыми заданиями. Проанализировав представленные данные, можно сделать вывод, что, допустим, при условии 40 тестовых заданий в сеансе тестирования пользователь, ответивший правильно на 34 первых вопроса гарантировано получит минимум 85% и оценку «отлично». Следовательно, тест можно завершить уже на этапе, когда пользователь при любом ответе на оставшиеся тестовые задания не изменит свою оценку.

Для решения такой задачи введем в адаптивный алгоритм тестирования параметр = {Л1 , к2,..., к"}. Данный параметр отвечает за границы оценок.

Очевидно, что нижняя граница равна а, а верхняя граница равна Ь. И получаем для четырехбалльной шкалы оценивания:

К. = {«. ■ (6>

И, соответственно, проверка осуществляется следующим образом: выявляем отрезок, на котором находится текущая трудность тестового задания ктр)^г Рассчитываем к'труд1- максимальную/минимальную трудность тестового задания, которую возможно достичь

= (7)

И если к'труд1 принадлежит тому же промежутку, что и ктруЛ1, то это означает, что за оставшиеся тестовые задания, независимо от ответов пользователя, оценка не изменится и, следовательно, можно заканчивать сеанс тестирования.

4. Если сеанс тестирования не закончен, то происходит получение следующего вопроса с трудностью

5. Испытуемый вводит ответ на полученное тестовое задание. После обработки

введенного ответа пользователь получает набранный баллх.

6. Следующий этап — расчет трудности следующего тестового задания.

Расчет трудности производится в два этапа:

6.1. Первый этап - определение коэффициента г, который будет оказывать влияние на шаг и, соответственно, на скорость роста или падения трудности тестового задания. Для расчета коэффициента г предлагается использовать линейную зависимость от набранного балла, предложенную в формуле 2: г = 2х — 1.

6.2. Второй этап - определение смещения по формуле:

кш=к,+И-г (8)

7. Переход к шагу 3.

На рисунке 3 показано несколько частных случаев использования предлагаемого алгоритма тестирования.

Рисунок 3. Изменение трудности тестового задания по предлагаемому алгоритму тестирования

После того, как будет выполнено одно из условий выхода из алгоритма тестирования, полученный результат (трудность последнего тестового задания) необходимо преобразовать в оценку.

=^-100, (10)

"бтз

где /(к) - количество тестовых заданий в гомогенном банке тестовых заданий, трудность которых меньше или равна трудности последнего полученного пользователем тестового задания - к.

nбтз " общее количество тестовых заданий в гомогенном банке тестовых заданий

Процент отношений двух полученных результатов и будет переводиться в итоговую оценку.

Рассмотрим получение итоговой оценки на примере:

1. В гомогенной базе тестовых заданий содержится 1000 вопросов.

2. Максимальная трудность тестового задания - 0.8, минимальная трудность -0.3.

3. Максимальное количество тестовых заданий в сеансе тестирование - 40.

4. Пользователь ответил на максимально возможное количество тестовых заданий и получил итоговую трудность тестового задания равную 0.6

5. Полученный результат подставляется в запрос:

SELECT COUNT(*)

FROM Task

WHERE TaskComplexity<=0.6

6. Запрос возвращает 610, то есть в гомогенном БТЗ по данной дисциплине существует 610 заданий, трудность которых ниже или равна трудности последнего тестового задания.

7. Второй запрос вернет 1000 - все задания гомогенного БТЗ.

При использовании формулы 10 получаем результат - 61 балл (%). Что соответствует оценке «удовлетворительно»

Рисунок 4. Адаптивный алгоритм тестирования

Рисунок 5. Сравнение количества задействованных вопросов при различных алгоритмах тестирования

Таблица 2. Сравнение количества вопросов при тестировании разными ___алгоритмами

Студент Случайный выбор Адаптивный алгоритм Трехуровневый алгоритм

1 40 36 40

2 40 32 40

3 40 38 40

4 40 26 27

5 40 27 27

6 40 34 27

7 40 37 40

8 40 38 40

9 40 34 40

10 40 38 40

11 40 26 27

12 40 33 40

13 40 38 40

14 40 36 40

15 40 21 27

Итого: 600 494 535

При использовании алгоритма случайного выбора использовалось максимально возможное количество тестовых заданий - 600 (15 сеансов по 40 вопросов в каждом).

При использовании трехуровневого алгоритма — 535 тестовых заданий, что на 10,83 % меньше, чем при случайном выборе вопросов.

При использовании адаптивного алгоритма тестирования — 494 тестового задания, что на 18% меньше, чем при использовании алгоритма случайного выбора, и на 8% меньше, чем при трехуровневом алгоритме.

Использование адаптивного алгоритма снижает раскрываемость гомогенной БТЗ, так как пользователь, пытающийся просмотреть набор тестовых заданий в БТЗ всегда пойдет по одной и той же траектории (кривая 2 на рис. 3).

Задача разработки системы тестирования без доступа к сети Интернет появилась в процессе обучения студентов Института открытого образования МГУП имени Ивана Федорова из стран СНГ, которые жаловались на низкую скорость Интернета и постоянные срывы в процессе прохождения тестов.

На рисунке 6 показано количество времени, затраченное на ожидание загрузки тестовых заданий на протяжении всего сеанса тестирования.

Относительное время - это время ожидания отправки ответа на задание в системах тестирования, где обратный отсчет времени идет после загрузки страницы, то есть при низкой скорости Интернета. В этом случае обратный отсчет времени идет только после полной загрузки страницы.

Абсолютное время - это время ожидания появления задания в системах тестирования, где отсчет идет относительно определенного времени на сервере. В качестве такой точки, как правило, выступает время начала тестирования, которое фиксируется в системе тестирования, и от которого отсчитывается время, выделенное на сеанс тестирования.

Ь мин

20--

40--

30--

10--

относительное время

0

Н-1-1-1-1-1-(->

32 64 128 256 512 1024 2048 укй/с

Рисунок 6. Время ожидания загрузки теста

Для решения проблемы тестирования при отсутствии сети Интернет предлагается модель, показанная на рис. 7.

Рисунок 7. Модель системы тестирования, работающая без доступа к сети Интернет

Требования к предложенной системе тестирования:

1. Каждый тест индивидуален. Для каждого пользователя каждый сеанс тестирования имеет индивидуальный набор тестовых заданий.

2. Четкое соблюдение временных ограничений. При тестировании через сеть Интернет за соблюдением временных ограничений следит система, этого же необходимо добиться и при тестировании без доступа к сети Интернет.

3. Отсутствие у пользователя возможности получать правильные ответы непосредственно из системы.

4. Отсутствие у пользователя возможности узнать содержание тестовых заданий до начала сеанса тестирования.

В четвертой главе рассматриваются вопросы выбора технологии и среды

разработки.

Реализация разработанных алгоритмов тестирования и оценки трудности тестовых заданий происходит на стороне сервера управления базами данных с использованием хранимых процедур. Так как представленные алгоритмы реализовывались на базе системы управлении обучением ИОО МГУП, то в качестве СУБД использовалась база данных Microsoft SQL Server 2008 R2 и, соответственно, надстройка над языком SQL - Transact-SQL. Использование хранимых процедур позволит инкапсулировать алгоритмы на уровне СУБД.

В качестве среды разработки выбирается Delphi 2009 - это мощный инструмент разработки визуальных приложений. Основным достоинством среды Delphi является библиотека визуальных компонентов, которая позволяет ускорить процесс разработки приложений, а также огромное количество сторонних библиотек для решения определенного круга задач.

Одним из главных вопросов при разработки системы тестирования является создание, редактирование и обработка файла с тестом. Для организации такого файла используется технология XML, которая позволяет создавать собственные форматы данных.

Использование в качестве файла тестирования xml-документа имеет ряд преимуществ перед хранением данных в реляционных базах данных:

1. Кроссплатформенность. При хранении данных в хш1-документе с ними могут работать любые операционные системы и мобильные платформы. Единственное условие - наличие программного обеспечения, которое будет считывать и обрабатывать хранимые данные.

2. Проблема при использовании различных СУБД заключается в необходимости наличия у пользователя определенного предустановленного программного обеспечения, а также большинство СУБД требует установки и администрирования.

3. Простота обработки хш1-документов - все современные средства разработки программного обеспечения имеют встроенные инструменты для работы с хш1-документом.

В результате был получен xml-документ со следующей структурой:

Рисунок 8. Структура xml-документа файла с тестом.

Полученный формат позволяет хранить все формы тестовых заданий. Основные выводы и результаты работы:

1. В диссертационной работе решена задача апостериорной оценки трудности тестового задания. Предложенное решение отличается тем, что учитывает не только ответ на конкретный вопрос, но и подготовку испытуемого по конкретной дисциплине. Предложенный алгоритм позволяет производить точную оценку трудности тестовых заданий, изменяемую'со временем.

2. Разработан адаптивный алгоритм тестирования. Предложенный алгоритм отличается тем, что для расчета итоговой оценки используется трудность последнего тестового задания. Алгоритм также позволяет сократить количество вопросов заданных в процессе тестирования, и снижает раскрываемость гомогенного банка тестовых заданий.

3. Разработана модель системы тестирования, позволяющая решить проблему прохождения теста при отсутствии подключения к сети Интернет.

4. Реализованы предложенные алгоритмы тестирования и оценки трудности тестового задания с применением надстройки языка SQL, что позволяет инкапсулировать алгоритмы на уровне базы данных.

5. Разработан универсальный формат хранения данных файла тестирования на основе языка XML, который может быть использован на любых платформах.

6. Разработана система автоматизированного контроля знаний без доступа к сети Интернет, которая может использоваться в качестве дополнительного модуля в любой системе управления обучением.

Предложенные решения используются в образовательном процессе Института открытого образования МГУП.

Публикации в ведущих рецензируемых научных изданиях, рекомендуемых ВАК:

1. Арсентьев Д.А. Автоматизированная система контроля знаний операторов листовых офсетных печатных машин / Д.А. Денисов, Д.А. Арсентьев // Известия высших учебных заведений. Проблемы полиграфии и издательского дела,-2011.-№5.- С. 9-12.

2. Арсентьев Д.А. Выбор алгоритмов оценки результатов тестирования / Д.И. Попов, Д.А. Арсентьев // В мире научных открытий.- 2011,- №9.- С. 60-63.

3. Арсентьев Д.А. Защита данных при оффлайн тестировании студентов полиграфических специальностей / Д.А. Арсентьев // Известия высших учебных заведений. Проблемы полиграфии и издательского дела.- 2013.- №2.- С. 89-93.

Перечень публикаций в других научных изданиях:

4. Арсентьев Д.А. Тьюторство в открытом образовании / Д.Г. Демидов, Д.А. Арсентьев // Вестник МГУП.- 2009.- №12,- С. 104 - 107.

5. Арсентьев Д.А. Принципы разработки системы тестирования /Д.А. Арсентьев// Вестник МГУП.- М.:. МГУП, 2010. - №11.- С. 21-24.

6. Арсентьев Д.А. Разработка алгоритма оценки сложности тестовых заданий /Д.А. Арсентьев// Вестник МГУП.- М.:. МГУП, 2010. - №11.- С. 25-30.

7. Арсентьев Д.А. Разработка адаптивного алгоритма тестирования /Д.А. Арсентьев// Сборник тезисов научно-технической международной молодежной конференции «Системы, методы, техника и технологии обработки медиаконтента». - М.: МГУП, 2011.-С. 9-10.

8. Арсентьев Д.А. Разработка автоматизированной системы поиска электронных изданий и конвертации их в формате FB2 /Д.А. Арсентьев, Е. Воробьев //Сборник тезисов научно-технической международной молодежной конференции «Системы, методы, техника и технологии обработки медиаконтента» - М.: МГУП, 2011. С. 10-11.

9. Арсентьев Д.А., Карпов A.C. Методологические основы разработки мультимедийных курсов для дистанционного обучения / Д.А. Арсентьев, A.C. Карпов // Вестник МГУП.- 2012. - № 8.- С. 169-172.

10. Арсентьев Д.А. Адаптация в автоматизированных системах контроля знаний /Д.А. Арсентьев// Вестник МГУП. - М.: МГУП, 2013.- №8,- С. 122 - 126.

Подписано в печать: 20.11.13 Тираж: 100 экз. Заказ № 1067 Объем: 1,0 усл.п.л. Отпечатано в типографии «Реглет» г. Москва, Ленинградский проспект д.74 (495)790-47-77 www.reglet.ru

федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Московский государственный университет печати имени Ивана Федорова»

На правах рукописи

04201451759 ^

АРСЕНТЬЕВ ДМИТРИЙ АНДРЕЕВИЧ

Алгоритмы и программные средства автоматизации процессов адаптивного обучения персонала предприятий

Специальность 05.13.06. Автоматизация и управление технологическими

процессами и производствами

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель д.т.н., профессор Д.И.Попов

Москва 2013

Оглавление

Введение...................................................................................................................3

Глава 1. Обзор научных школ и направлений......................................................9

1.1. Обзор научных школ....................................................................................9

1.2. Открытое образование...............................................................................11

1.3. Алгоритмы тестирования..........................................................................18

1.4. Системы управления обучением...............................................................22

1.5. Выводы по главе.........................................................................................30

Глава 2. Основные методы анализа результатов тестирования. Методы шифрования данных..............................................................................................32

2.1. Методы проверки надежности теста........................................................33

2.2. Определение валидности теста.................................................................39

2.3. Адаптивные системы и алгоритмы...........................................................40

2.4. Методы шифрования данных....................................................................43

2.5. Выводы по главе.........................................................................................46

Глава 3. Разработка алгоритмов и программных средств автоматизации процессов адаптивного обучения персонала предприятий...............................48

3.1. Разработка алгоритма оценки трудности тестовых заданий.................48

3.2. Адаптивный алгоритм тестирования........................................................67

3.3. Разработка схемы автоматизированной системы контроля знаний......92

3.4. Выводы по главе.......................................................................................107

Глава 4. Практическая реализация полученных алгоритмов и моделей.......108

4.1. Реализация алгоритма тестирования и алгоритма оценки трудности тестового задания............................................................................................108

4.2. Выбор среды и языка разработки для реализации автоматизированной системы контроля знаний без доступа к сети Интернет.............................110

4.3. Организация хранения данных для автоматизированной системы контроля знаний...............................................................................................111

4.4. Разработка автоматизированной системы контроля знаний...............118

4.5. Выводы по главе......................................................................................121

Заключение...........................................................................................................123

Библиографический список................................................................................124

Введение

В современном процессе обучения персонала предприятий все большую роль занимают информационные технологии. Использование в образовательной сфере дистанционных образовательных технологий уже давно стало нормой для большинства вузов России.

Актуальность исследований обусловлена необходимостью разработки новых алгоритмов для адаптации автоматизированных систем контроля знаний и решения прикладных задач автоматизации процесса тестирования. Разработке новых подходов к проверке знаний уделяется пристальное внимание и со стороны государства. Одним из шагов, который Министерство образования и науки РФ планирует реализовать в рамках ФЦП в 2011-2015 годах является замена государственного экзамена на государственную итоговую аттестацию, в основе которой будет лежать тестирование.1 Так же в вузах на постоянной основе проходит Интернет-экзамен в сфере профессионального образования (ФЭПО).

Целью работы является разработка методов и средств сокращения времени обучения персонала за счет использования адаптивных алгоритмов тестирования.

В соответствии с целью диссертационной работы были поставлены следующие задачи исследования:

Для реализации поставленных целей необходимо решить следующие задачи:

• провести анализ существующих алгоритмов оценки трудности тестовых заданий, алгоритмов тестирования, существующих автоматизированных систем контроля знаний;

• разработать алгоритм апостериорной оценки трудности тестовых заданий;

1 http://www.obrnadzor.gov.ru

• разработать адаптивный алгоритм тестирования, учитывающий уровень подготовленности испытуемого;

• разработать схему автоматизированной системы контроля знаний, позволяющей работать без доступа к сети Интернет.

Все озвученные задачи представляют не только теоретический, но и практический интерес.

Область исследования данной диссертационной работы включает в себя следующие области знаний:

• автоматизированные системы управления обучением, использующие гомогенные банки тестовых заданий;

• алгоритмы тестирования и оценки трудности тестовых заданий ;

• разработка программного обеспечения для систем управления обучением.

Методы исследования

Для достижения поставленных целей и решения задач использованы методы математической статистики, алгоритмы определения надежности теста.

Для практической реализации разработанных алгоритмов и методов использовались следующие языки, среды программирования и технологии:

- язык Delphi и среда разработки CodeGear RAD Studio 2009;

- Microsoft SQL Server 2008 R2 для разработки и управления базой данных;

- язык Transact-SQL для написания хранимых процедур для Microsoft SQL Server 2008 R2;

- технология XML для реализации обмена данными в автоматизированной системе контроля знаний.

Методологической основой диссертационной работы являются работы в области в области автоматизации и адаптации процесса контроля знаний [8,

9, 10, 46, 47, 48, 58, 59, 60, 61, 66, 67, 68, 87], разработки адаптивных систем [76, 77,81].

Научная новизна, полученная в диссертационной работе: Научная новизна представленного исследования состоит из следующих положений:

1. разработан апостериорный алгоритм оценки трудности тестового задания, особенностью которого является то, что он учитывает не только ответ на конкретный вопрос, но и подготовку испытуемого по конкретной дисциплине;

2. разработан адаптивный алгоритм тестирования, позволяющий сократить временные затраты на прохождение теста, отличительной особенностью которого является то, что для расчета итоговой оценки используется трудность последнего тестового задания;

3. разработана схема системы тестирования, особенностью которой является возможность ее использования при отсутствии подключения к сети Интернет.

Полученные алгоритмы и схема автоматизированной системы контроля знаний являются теоретической основой для создания модулей тестирования системы управления обучением Института открытого образования МГУП имени Ивана Федорова.

Модуль автоматизированной системы контроля знаний реализуется как одна из подсистем тестирования системы управления обучением Института открытого образования МГУП имени Ивана Федорова (в данной автоматизированной системе реализована как онлайновая, так и система без доступа к сети Интернет).

Разработанные на основе теоретических выводов модули автоматизированной системы дистанционного образования позволили решить ряд прикладных задач по автоматизации процесса обучения в Институте открытого образования, внедрить инновационные технологии в

систему открытого образования, сократить время на проверку знаний у студентов Института открытого образования, снизить нагрузку на сервер, уменьшить раскрываемость банка тестовых заданий. На защиту выносятся следующие положения:

1. Апостериорный алгоритм оценки трудности тестового задания, особенностью которого является то, что он учитывает не только ответ на конкретный вопрос, но и подготовку испытуемого по конкретной дисциплине.

2. Адаптивный алгоритм тестирования и подход к обработке полученных результатов, отличающийся тем, что для расчета итоговой оценки используется трудность последнего тестового задания.

3. Схема автоматизированной системы контроля знаний, особенностью которой является возможность ее использования при отсутствии подключения к сети Интернет.

4. Практическая реализация полученных результатов.

Полученные результаты были внедрены в учебный процесс Института открытого образования МГУП имени Ивана Федорова.

Основные результаты диссертационной работы обсуждены на: Международном фестивале информационных технологий «МедиаФест-2009», Москва, 2009; «Системы, методы, техника и технологии обработки медиаконтента», Москва, 2011; 5-ом Международном учебно-научном семинаре "Корпоративные информационные системы", 2012; Международной конференции «Мобильные системы обработки медиаконтента», 2013.

Апробация работы была проведена в рамках участия в федеральной целевой программе «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы по теме «Разработка и исследование принципов и программных средств для создания

широкополосной среды интеграции медиаданных для мобильных устройств» (соглашение №14.В37.21.0627 от 17.08.2012).

Схема автоматизированной системы контроля знаний и алгоритмы, полученные используются в процессе обучения студентов в Институте открытого образования МГУП имени Ивана Федорова.

В процессе работы над диссертацией было опубликовано 10 научных статей, в том числе 3 статьи в ведущих рецензируемых научных изданиях, рекомендованных ВАК.

Структура и объем диссертационной работы. Диссертация состоит из введения, 4 глав и заключений по каждой главе, основных результатов, библиографического списка.

Содержание работы

Во введении к диссертации обосновывается актуальность работы, определяются цели работы, ставятся задачи исследования, обозначается область исследований данной диссертационной работы, приведены методологические основы диссертационной работы, формулируется список положений, выносимых на защиту, формулируется научная новизна проведенного исследования, показана практическая ценность результатов работы.

В первой главе диссертации приведен обзор научных школ, современных подходов к открытому образованию, различные критерии оценки тестовых заданий, основные подходы к разработке адаптивных алгоритмов.

Во второй главе приводится описание основных методов, принципов и алгоритмов адаптации, их применение в автоматизированных системах обучения с использованием дистанционных образовательных технологий.

В третьей главе производится разработка адаптивных алгоритмов тестирования и оценки трудности тестовых заданий, сравнение полученных алгоритмов с аналогами. Показывается актуальность и необходимость

разработки автоматизированной системы контроля знаний без доступа к сети Интернет. Разрабатывается схема автоматизированной системы контроля знаний. Разрабатывается методика хранения и передачи тестовых данных в автоматизированной системе контроля знаний.

В четвертой главе описана программная реализация разработанных алгоритмов и моделей.

Заключение содержит основные полученные результаты и выводы из выполненных в работе исследований.

Диссертация изложена на 136 страницах, содержит 27 рисунков, 21 таблицу.

Глава 1. Обзор научных школ и направлений 1.1. Обзор научных школ

Темпы технического и информационного роста приводят к тому, что материально-техническая база предприятий постоянно обновляется, меняется оборудование и программное обеспечение, необходимое для ведения производственного процесса. Следовательно, современное предприятие ставит новые требования к профессиональным навыкам своих сотрудников [24]. Поэтому для решения проблемы регулярного повышения квалификации сотрудников все большую популярность набирает обучение с использованием дистанционных образовательных технологий (ДОТ). Повышение квалификации с применением дистанционных технологий может принимать различные формы:

1. Вебинары по новым программным продуктам или новому оборудованию. В полиграфической отрасли вебинары проводят как крупные компании, например, Xerox,так и менее известные фирмы - Kluge. А ОАО «Промис» регулярно проводит обучающие вебинары на постоянной основе. Вебинары - это кратковременные учебные мероприятия, продолжительно вебинаров редко превышает несколько часов, а их основная цель -ознакомительная, поскольку научить пользоваться новым программным обеспечением или оборудованием за столь короткий промежуток времени очень сложно.

2. Самообразование. Данная форма обучения изначально затрагивала только программное обеспечение (создавались видеокурсы, интерактивные системы обучения), но с развитием технологий и заполнением ниши программного обеспечения обучающие курсы появляются по различным отраслям. Правда стоит заметить, что такие курсы редко затрагивают новое оборудование или программное обеспечение.

3. Переподготовка или получение высшего образования с использованием ДОТ. Такая форма образования поддерживается сейчас большинством вузов, поскольку позволяет обучать студентов, при этом решая проблемы с человеческими и материально-техническими ресурсами. Данный подход наиболее полно удовлетворяет требованиям повышения квалификации.

Работы над принципами открытого образования ведутся в России с середины 90-х годов прошлого века. Исследованиями занимались две группы ученых. Первая группа в составе Андреева A.A., Лобачева C.JI. и Солдаткина В.И. и ряда других ученых занималась исследованиями в области открытого образования [8, 9, 10, 11, 49, 47, 48, 83]. Вторая группа ученых во главе с Крекотень С.П., Смольниковой И.А, Поляковым A.A., Коршуновым C.B., Федоровым И.Б., Вержбицким В.В. [48, 64, 65, 91, 92] провела ряд важнейших изысканий, связанных с исследованием необходимости использования дистанционных технологий в России, проанализировала ситуацию с дистанционным обучением в России и за рубежом, а так же подготовила программу развития дистанционного образования. Именно исследования этих двух групп и дали первый, самый главный толчок использованию ДОТ в России.

Одной из неотъемлемых частей образовательного процесса является контроль полученных знаний, при использовании ДОТ - это, прежде всего, тестирование обучающихся. И с учетом все возрастающей популярности дистанционного обучения появляется необходимость в разработке новых подходов к тестированию пользователей, в этом направлении работает много ученых, среди которых хочется отметить работы Попова Д.И., Тягуновой Т.Н., Васильева В.И. [24-27, 66-73].

Так же еще одним важным вопросом является вопрос оценки качества тестовых заданий и их сертификация. Этой задаче посвящены труды Попова Д.И., Поповой Е.Д., Тягуновой Т.Н., Васильева В.И. [24-27, 66-73].

и

Результатами работы являются алгоритмы и методы, находящие свое применение в автоматизированных системах контроля знаний (АСКЗ) и системах управления обучением (СУО). В настоящее время существует множество различных СУО, как платных, так и бесплатных. Вопросам разработки и применения алгоритмов тестирования в СУО посвящены работы Попова Д.И., Демидова Д.Г. [30, 31, 32, 66, 67, 72, 73].

1.2. Открытое образование

В современном обществе одним из ценнейших ресурсов является информация, а значит и знания. Чтобы достичь успехов в карьере требуется знать не только свою узкоспециализированную область, но и смежные с ней области. Сейчас многие люди стремятся получить второе высшее, не только проработав в компании некоторое время, но и уже параллельно с первым образованием. Таким образом, они стремятся сделать задел на будущее.

Помимо второго высшего образования популярность пользуются курсы переподготовки, а также сертифицированные курсы ведущих мировых компаний, например, таких как Microsoft, Apple, Adobe. Имея такой сертификат на руках, специалист может повысить свой профессиональный уровень на рынке труда.

Но есть еще и категория граждан, которые, получив среднее профессиональное образование и проработав некоторое время, понимают, что для дальнейшего роста им необходимо поднять свой уровень за счет высшего образования. К тому же всегда были люди с ограниченными возможностями, для которых получение высшего образования традиционными способами является неприемлемым. Для всех вышеперечисленных категорий потенциальных студентов некоторое время назад достаточно остро вставал вопрос о способе повышения своего уровня [57,58,59].

Частично данная проблема решается заочной формой обучения и группами выходного дня (для второго высшего образования). Но у этих подходов есть свои очевидные недостатки.

В случае получения второго высшего образования по выходным студент фактически на долгий период времени лишается полноценного отдыха. К тому же существуют достаточно сильные ограничения к условиям труда -пятидневная рабочая неделя (то есть, недопус