автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модели и методы построения систем обучающего компьютерного тестирования на основе экспертных систем с элементами нечёткой логики

На правах рукописи ...

УГЛЕВ ВИКТОР АЛЕКСАНДРОВИЧ

Модели и методы построения систем обучающего компьютерного тестирования на основе экспертных систем с элементами нечёткой логики

05.13.01 — системный анализ, управление и обработка информации (информатика, вычислительная техника и управление)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Красноярск — 2009

1 о да »

003476241

Работа выполнена в Федеральном государственном образовательном учрежде высшего профессионального образования «Сибирский федеральный университ г. Красноярск

Научный руководитель доктор физ.-мат. наук, профессор,

Добронец Борис Станиславович

Официальные оппоненты: доктор технических наук, профессор

Доррер Георгий Алексеевич

кандидат технических наук, профессор Вейсов Евгений Алексеевич

Ведущая организация: ГОУ ВПО "Восточно-сибирский технологический у\

верситет" (г. Улан-Удэ)

Защита состоится 25 сентября 2009 года в 14:00 на заседании диссертащ ного совета ДМ 212.099.06 при Сибирском федеральном университете по адр г. Красноярск, ул. академика Киренского, 26, ауд. УЖ 1-15.

С диссертацией можно ознакомиться в библиотеке Сибирского федерального ; верситета по адресу: г. Красноярск, ул. академика Киренского, 26, Г274.

Автореферат разослан { » ('Л-г^У^ги^. 2009 г.

Ученый секретарь

диссертационного совета

Р. Ю. Царев

Общая характеристика работы

Актуальность. Развитие отраслей информатизации позволило системе массового образования воспользоваться высокотехнологичными достижениями научно-технического прогресса. Концепция массового образования и равных возможностей требуют разработки таких механизмов обучения, которые могут быть эффективно применены не только в системе классического (аудиторного) образования, но и при самостоятельном (дистанционном) обучении. Классик отечественной тестологии B.C. Аванесов отмечает: «В условиях массового образования только адаптивное обучение даёт возможность эффективной практической реализации принципы индивидуализации обучения». В связи с этим возникают задачи составления эффективно работающих электронных учебных курсов и разработки соответствующих программных средств, обеспечивающих жизненный цикл процесса образования, в контексте парадигмы личностно-ориентированного подхода. Электронные образовательные ресурсы объединяют учебный материал, методологические образовательные концепции, государственные стандарты, а так же различные тренажеры и системы компьютерного тестирования. От их слаженной работы зависят не только отчётные показатели учебных заведений, практикующих дистанционное обучение, но и квалификация выпускаемых ими специалистов.

Педагогическое компьютерное тестирование, как инструмент оценки уровня усвоения знания, на сегодняшний день широко применяется как в процессе классического, так и в процессе дистанционного обучения. Над методикой его применения для аудиторной формы занятий работали Аванесов B.C., Архангельский С.И., Беспалько В.П., Татур А.О. и многие другие. Преимущества тестового контроля очевидны: достигаются массовость контроля, скорость обработки данных, непредвзятость и стандартизация процесса оценивания. Над задачей повышения эффективности автоматизации процесса обучения с привлечением тестового контроля работает достаточно много специалистов, что говорит как об актуальности темы, так и о перспективах её дальнейшего исследования. Среди активных исследований в этой области можно выделить работы Пантелеева Е.Р., Тягуновой Т.Н., Жуковой И.Г, Эр-мана Е.А., Ульянова Д.А. и проч.

В условиях реформирования системы образования и разработки новых стандартов обучения (переход к двухуровневой системе высшего профессионального образования), дистанционное обучение стало рассматриваться как неотъемлемая компонента учебного процесса ВУЗа. Разработаны электронные учебные курсы, и обеспечивающее их программное обеспечение. При этом компьютерное тестирование всё чаще применяется для промежуточного и итогового контролей (парадигма итогового тестирования). Но на сколько его потенциал корректно использован при проведении внеаудиторного и индивидуализированного обучения? С одной стороны, существует множество претензий к качеству оценки результатов тестирования, вызванных, в частности, отличием условий классического обучения от условий дистанционного

(например, работы Аванесова B.C. или Рудиницкого И.Д.). С другой стороны, не ставится различие между этими формами обучения как в методиках, так и в программных реализациях систем компьютерного тестирования. Но насколько это адекватно отвечает современным требованиям качества образования? Образовательный и контролирующий этапы в автоматизированных обучающих системах так и остались совершенно изолированными процессами, т.е. механизмы четкой обратной связи отсутствуют! Обычная практика: оценивание знаний по всему учебному курсу без вектора дифференцированных оценок по разделам курса. Такое положение существенно снижает как достоверность результатов тестирований, так и возможность целенаправленного управления процессом обучения (оптимизации траектории индивидуального обучения).

Таким образом, продолжает существовать народно-хозяйственная проблема эффективного управления самостоятельным/дистанционном учебным процессом, при использовании электронных учебных курсов и систем компьютерного тестирования, как элементов единого образовательного процесса. Её решение позволит повысить эффективность индивидуального процесса обучения, в условиях дефицита или отсутствия на местах квалифицированных педагогических кадров.

В своём диссертационном исследовании B.C. Аванесов отметил: «Обучающий потенциал тестовых заданий является огромным, но он практически не исследован». В связи с этим возникает научная проблема, связанная с отсутствием теоретической концепции, формальных моделей, методологической и программной реализаций систем компьютерного тестирования, эффективно интегрированных с автоматизированными обучающими системами, которые бы повысили результативность процесса самостоятельного обучения за счёт оптимизации траектории индивидуального обучения.

Объектом данного исследования выбраны процессы управления обучением и компьютерного тестирования.

Предметом исследования выступают модели, методы и алгоритмы интеграции процессов контроля и обучения в автоматизированных образовательных системах.

Цель диссертационной работы: разработать концептуальный подход к организации компьютерного тестирования при самостоятельном обучении на электронных учебных курсах (обучающее тестирование), модели построения и реализации информационной системы с возможностями выработки близкой к оптимальной стратегии обучения.

Для достижения поставленной цели и подтверждения гипотезы о необходимости развития метода обучающего тестирования необходимо решить ряда задач:

• провести системный анализ методов, методик, моделей и программных пакетов компьютерного тестирования, которые применяются для решения задачи оценивания знаний в процессе обучения;

• обосновать необходимость выделения класса «обучающего тестирования» и выявить его сущность, содержание и особенности;

• разработать концептуальную модель обучающего компьютерного тестирования, позволяющую формализовать процессы взаимодействия компьютерных тестов и электронных учебных курсов;

• разработать методологические, математические, модельные и проектные подходы, позволяющие реализовать процесс обучающего тестирования;

• предложить реализацию моделей оценивания, адаптации и индивидуализации в виде экспертных систем;

• разработать прототип программного обеспечения, позволяющего реализовать подход обучающего тестирования;

• провести экспериментальные исследования и подтвердить положения гипотезы об эффективности обучающего компьютерного тестирования при самостоятельном/дистанционном обучении.

Основная идея диссертации, заключается в том, что процесс тестирования рассматривается как настраиваемый и управляемый процесс с механизмом нелинейной обратной связи электронного учебного курса и обучаемого. Такой подход позволяет:

• отделить класс обучающего компьютерного тестирования от итогового в рамках педагогических тестов;

• повысить эффективность работы обучаемого с электронными учебными курсами;

• повысить достоверность механизма автоматизированной оценки уровня знаний обучаемого;

• представить опыт работы педагогов - экспертов в виде базы знаний в автоматизированной обучающей системе, реализующие механизмы обучения, оценивания и адаптации.

Методы исследования, на которых базируется работа, являются теория систем и системного анализа, инженерия знаний, теория экспертных (продукционных) систем, метод нечёткой логики, семантические сети, теория вероятностей и математическая статистика, а так же тестология и тестометрия.

Основные результаты, выносимые на защиту:

• понятие и концептуальная модель обучающего компьютерного тестирования;

• модель автоматизированной обучающей системы, описывающей взаимодействие компонентов «электронный учебный курс» и «обучающее компьютерное тестирование»;

• система комплексного анализа факторов, выраженная в моделях адаптации теста, оценивания результатов тестирования и индивидуализации траектории обучения;

• архитектура и содержание баз знаний, описывающих опыт специалистов-педагогов по рассматриваемым в моделях областям знаний;

• информационная система СиТест, основная на подходе обучающего компьютерного тестирования и методах искусственного интеллекта (экспертные системы с элементами нечёткой логики и семантические сети).

Научная новизна диссертационного исследования заключается в следующем:

• выделен подход к компьютерному тестированию, называемый «обучающим», и введено соответствующее определение;

• обоснованы и приведены в систему положения об обучающем компьютерном тестировании, как инструменте оптимизации траектории учебного процесса;

• разработаны формальные модели процессов адаптации обучающего теста, оценивания его результатов и индивидуализации траектории обучения с электронным учебным курсом в рамках единой автоматизированной обучающей системы;

• представлены перечисленные выше модели в виде баз знаний экспертной системы.

Теоретическая значимость работы заключается в следующем:

• уточнён подход к организации и проведению компьютерного тестирования, названный обучающим, как одно из направлений тестологии;

• разработаны оригинальные механизмы адаптации тестовой выборки, оценивания и индивидуализации;

• применены методы искусственного интеллекта (экспертные системы с эллементами нечёткой логики) для повышения эффективности автоматизированного учебного процесса и достоверности результатов тестирования.

Практическая значимость исследования заключается в повышении эффективность автоматизированного самостоятельного (дистанционного) изучения дисциплин учащимися в вопросах организации учебного курса, проверке знаний и оптимизации траектории обучения в условиях дефицита квалифицированных педагогических кадров.

Достоверность полученных результатов. Подтверждением достоверности и обоснованности результатов диссертационной работы служит устойчивый положительный эффект от применения методики обучающего тестирования на ряде учебных дисциплин («Имитационное моделирование экономических процессов»). Следует так же отметить повышение степени адекватности оценки обучающих тестов.

Использование результатов диссертации осуществляется в учебном процессе, на дисциплинах «Имитационное моделирование экономических процессов», «Теория экономических информационных систем» при Хакасском техническом институте - Филиале СФУ (г. Абакан, 2008-2009 гг.), «Информационные системы маркетинга» при Хакасском институте бизнеса (г. Абакан, 2007-2009 гг.). Акты об использовании к диссертации прилагаются.

Основные результаты диссертационного исследования получены лично автором. Авторское право на программный пакет СиТест, ядро экспертного

оценивания (модуль FLM_modul.pas) и конструктора экспертных систем (FLM_Builder) подтверждается свидетельствами на регистрацию, под номерами 03524577.01145-01, 02069740.00000-01 99 01 и 03524577.01414-01 соответственно.

Рекомендации по использовании результатов диссертации. Результаты диссертационного исследования могут быть использованы в любых учреждениях среднего, среднего - специального, высшего образования. Методику обучающего компьютерного тестирования особенно эффективно можно применять при решении задач дистанционного обучения, а так же при повышении квалификации или переподготовке работников различных учреждений.

Апробация результатов диссертации. Результаты диссертационных исследований представлялись на следующих мероприятиях: Всероссийская научно-практическая конференция «Информационные технологии в образовании и науке» (Москва, 2006 и 2007); VI Международная научная конференция «Наука и образование» (Белово, 2006); V Международная научно-техническая конференция «Информационно-вычислительные технологии и их приложения» (Пенза, 2006); XIII Международная научная конференция «Современные техника и технологии» (Томск, 2007 и 2008); IX Всероссийская (с международным участием) научно - практическая конференция «Теория и практика измерения и мониторинга латентных переменных в образовании и других социально-экономических системах» (Славянск-на-Кубани, 2007); XIII Международная научно-практическая конференция «Современные проблемы информатизации» (Воронеж, 2008); Международная научно-методическая конференция «Совершенствование технологий обеспечения качества образования» (Омск, 2008); XII Международная научно-техническая конференция «Системный анализ в проектировании и управлении» (Санкт-Петербург, 2008); The fourteenth International Scientific and Practical Conference «Modem Techniques and Technologies» (Томск, 2008); XVI Всероссийский семинар «Нейроинформатика, ее приложения и анализ данных» (Красноярск, 2008); Всероссийская научно-методическая конференция «Повышение качества высшего профессионального образования» (Красноярск, 2008); XII Международная научная конференция «Решетневские чтения» (Красноярск, 2009); VIII Международная научно-техническая конференция «Интерактивные системы: проблемы человеко-компьютерного взаимодействия» (Ульяновск, 2009).

По материалам диссертации опубликовано 28 печатных работ из которых 26 статей (из них 3 статьи в периодических изданиях по перечню ВАК), 2 свидетельства об официальной регистрации программ для ЭВМ.

Общая характеристика диссертации. Диссертация состоит из введения, 4 глав, заключения и списка литературы из 142 наименований. Работа изложена на 170 страницах машинописного текста, включая 30 иллюстраций, 6 таблиц, 4 приложения на 11 страницах.

Содержание работы

Введение содержит обоснование актуальности темы, сформулированы основные задачи исследования, кратко изложено содержание работы и перечислены её основные результаты, выносимые на защиту.

В первой главе приведён анализ методов оценивания в системах компьютерного тестирования (КТ) для целей обучения. B.C. Аванесов в своей диссертации отмечал: «... можно выделить два подхода к тестированию. Учитывая непосредственное воздействие текущего контроля на качество обучения, второй подход назовём обучающим; тогда первый можно назвать итоговым». Исходя из наличия множества проблем автоматизированной проверки знаний (рассмотрены методологический, технологический, технический, психофизиологический, социальный аспекты), было показано несоответствие подхода итогового компьютерного тестирования для целей задач обучения и самообучения. Как для традиционных, так и для адаптивных методик КТ, включая те, которые используют методы искусственного интеллекта, остаётся актуальна проблема целеполагания.

а) б)

Рисунок 1 - Модель обучения и структуры материала в ЭУК

Согласно методике системного анализа, основной целью работы пользователя с автоматизированной обучающей системой (АОС) является обучение, поэтому изолированное рассмотрения системы проверки знаний и электронных учебных курсов (ЭУК) является не эффективным (подкреплено сравнительным анализом систем КТ). Исходя из необходимости пересмотра подходов к организации КТ в дистанционном режиме, в работе было проанализировано понятие обучающее компьютерное тестирование (ОКТ) и его понимание современными разработчиками программного обеспечения. К сожалению, проблема обучающего потенциала компьютерных тестов, на сегодняшний момент, серьёзным исследованиям не подвергалась. Отметив одностороннее и ограниченное толкование этого понятия, было предложено собственный вариант его определения: ОКТ - система КТ, ориентированная на достижение оптимальных показателей обучения для отдельного пользователя посредством функций контроля, адаптации и индивидуализации, а так же интеграции с ЭУК в рамках одной АОС. При таком рассмотрении ОКТ

возникает задача организации эффективной обратной связи пользователя и АОС (рисунок 1, а). Это обстоятельство требует определённой структуры ЭУК и дополнительных аналитических возможностей со стороны подсистемы OKT.

Решение задачи рационального управления учебным процессом за счёт обратной связи требует изначального определения структуры ЭУК, от которой будет также зависеть и структура тестовой выборки и банка тестовых заданий. Представим упрощённую модель структуры дисциплины в виде двудольного графа типа дерево, содержащего четыре уровня (рисунок 1, б): уровень дисциплин К, разделов R, дидактических единиц D, терминов и ТЗ - Т . Тогда структура ЭУК Z представляется кортежем Z = (V,T,P,K,y), где V = [К и R и D) - множество переменных или синтаксических категорий языка описания ЭУК; Р - множество правил формирования траектории предъявления материала, D Т, с помощью которых некоторая переменная из V представляется отдельными понятиями из Г и наборами тестовых заданий, у - идентификатор индивидуальной реализации курса. Введём понятие модель обучаемого (G), которая содержит данные о динамике оценок за предыдущие периоды работы с АОС и особенностях индивидуального освоения дисциплины (форме представления материала, текущей стратегии, скорости обучения и пр.). Она должна учитываться при осуществлении процесса обучения следующим образом:

(С) - /¡(G, £>, г +1)j —» min, (1)

где h - текущая оценка знаний; h - вектор эталонного знания разделов дисциплины, г - порядковый номер захода работы с подсистемой тестирования, С - цель таботы с ЭУК. Для рассматриваемой структуры необходимо реализовать рациональную работу подсистемы контроля.

В процессе системного анализа предметной области было выявлено, что в основном, учебный эффект тестов падает из-за того, что: 1. не учитываются цели обучения; 2. игнорируются связи между дидактическим материалом электронных учебных курсов и тестовыми заданиями; 3. сужается область регистрируемых и анализируемых при оценивании факторов; 4. не эффективно применяются возможности современных инструментов анализа данных при реализации процессов личностно-ориентированного обучения и контроля (в частности, при использовании методов искусственного интеллекта).

Для решения задачи повышения эффекта от применения ОКТ было предложена следующая последовательность процесса обработки информации в подсистеме контроля: генерация тестовой выборки - предъявление тестовых заданий - анализ результатов - расчет оценки. При этом от этапа предъявление тестовых заданий также идёт связь с компонентами обучение и модель курса, где вырабатываются обучающие и управляющие воздействия на АОС для реализации обратной связи.

В заключение главы сделаны выводы о необходимости разработки методов обучающего тестирования, позволяющие эффективно учитывать цели обучения и индивидуализировать обучающее воздействие на пользователя.

Вторая глава посвящена разработке методов обучающего компьютерного тестирования. В первую очередь выделены три основных процесса

1) Адаптация - формирование индивидуального состава тестовой выборки непосредственно перед предъявлением пользователю.

2) Оценивание - уточнение набранного количества баллов после решения теста (с учётом цели работы с ЭУК и метаинформации).

3) Индивидуализация обучающего воздействия - реализация возможности взаимодействия пользователя с ЭУК посредством ОКТ как на этапе прохождения теста, так и на этапе завершения работы с тестом.

Рассмотрим систему, позволяющую реализовать следующие возможности: компоновать в рамках одной архитектуры АОС произвольного числа учебных дисциплин; минимизировать дублирование учебного и тестового материала; свести к минимуму действия педагога при формировании ЭУК; учитывать предпочтения и цели работы обучаемого с АОС; обеспечить возможность реализации обратной связи ЭУК с пользователем, посредством расширения данных в метаинформации (модели курса). Под целями работы с курсом понимается рациональная реализация следующих случаев взаимодействия с ЭУК: выполняется учебный стандарт в полном объёме; пользователь сам указывает, какую направленность знаний он хочет получить (ознакомительную, теоретическую, практическую, обычную стандартизированную, углублённую, расширенную и пр. с указанием своего профиля); пользователь сам указывает, какие именно разделы ему необходимо знать по результату прохождения курса. В результате на базе АОС должен формироваться такой вариант ЭУК, который будет отвечать индивидуальным потребностям обучаемого как в плане дидактических единиц, так и в плане тестового контроля, и соответствовать (1).

Дополним структуру материала ЭУК 1 категориями учебный курс и реализация, и опишем каждый элемент знаний (дидактическую единицу) в модели курса признаками важности (обязательность для изучения); уровнем специализации; формой представления (текст, формула, рисунок и пр.); сложностью (с позиции разработчика ЭУК); местом в стандартизированной последовательности предъявления; ключевыми словами; набором связей с учебным материалом, обучающими тестами и другими элементами АОС. Это позволит перейти от графа типа дерево к семантической сети, где каждый узел является дидактической единицей (О) или термином (7); каждое ребро характеризует семантическую связь между узлами набором параметров, типа «родительский / дочерний», «зависит / не зависит», «важный / незначительный»; направление рёбер сообщает о конфигурации начальной траектории обучения, которая должна осуществляться при стандартизованном, либо начальном (неадаптированном) обращении к ЭУК. Теперь появляется возможность не только наследовать индивидуальные свойства дидактических единиц

(сложность, важность, форма представления, вид и т.д.), но и создавать и переопределять связи в исходной иерархии объектов. Очевидно, что задания для ОКТ и соответствующие разделам термины будут также наследоваться для любой реализации ЭУК.

Для успешного применения ОКТ требуется обоснованное определение таких параметров теста, как его длинна, объём банка тестовых заданий, граница минимального для выставления положительного балла, а так же трудность и повторяемость тестовых заданий. Все они могут существенно повлиять на исход теста, особенно при стратегии случайного выбора ответов (угадывании). Поэтому в исследовании приводятся конкретные рекомендации по их выбору.

Сформируем множество доступных для регистрации системой ОКТ факторов, включая результаты тестирования, динамику обучения и данных о пользователе, как {¿Г} и посмотрим, каким образом они будут влиять на результаты обучения в разрезе разделов ЭУК. Пусть \т]) - вектор, хранящий значения вклада каждого к-то раздела в итоговую тестовую выборку. Тогда для управления процессом адаптации тестовой выборки при ОКТ можно применить вектор скоростей изменения {а^}, показывающий необходимость пересмотра состава очередного 77 ^ в соответствии с (2).

п'к = Лк + ^" ак> «*=ЛЙ ). (2)

где х" значение баланса, приходящееся на одно тестовое задание, а - сокращённое представленная функция обработки параметров ситуации предыдущего сеанса тестирования (адаптация с памятью через механизм обратной связи как £> £>'); 5Ыо„„, - часть {5}, учитываемая при реализации процесса адаптации.

Представим модель получения знаний в виде итерационного процесса. Предполагается, что на каждом из промежуточных испытаний тестируемый должен усвоить тот объём материала, который запланирован в учебном плане (Л»Рм)- В соответствии с результатами промежуточного контроля можно выявить фактическую успеваемость обучаемого (/?,,„„,). Очевидно, что Риорм - Рф,«п, ■ Тогда механизм расчета поправки оценки (Я —> Н') в разрезе разделов можно представить в виде выражения (3):

Кк=Ьк+Зк, Л,Ж,), (3)

где - балл с учётом поправки, 8 - шаг изменения оценки (в процентах), /<ч» " упрощённо представленная функция обработки параметров ситуации тестирования

Третий базовый процесс ОКТ - индивидуализация, -реализован в двух вариантах: прямой и косвенный методы (рисунок 2).

Прямой метод индивидуализации предполагает следующую стратегию работы пользователя с АОС: изучается материал ЭУК, осуществляется тестирование, подсистема ОКТ создаёт детализированный отчёт с рекомендациями

по дальнейшему изучению курса. Далее пользователь обращается к нужным элементам ЭУК непосредственно из отчёта АОС, после чего тестирование повторяется (система ОКТ пассивна).

Переход к ЭУК

- Итоговое тестирование

----Обучающее тестирование

(прямой метод индивидуализации)

___Обучающее тестирование

(косвенный метод индивидуализации)

■т т Бтаева переменная, хранящая

результат ответа на очередной вопрос Показатель допустимого уровня знаний

Показатель текущего уровня знаний | по результатам прохождения ОКТ

Выработка рекомендаций по работе с ЭУК

Рисунок 2 - Методы адаптации при ОКТ

Косвенный метод индивидуализации позволяет выбрать другую стратегию обучения: изучается материал ЭУК, осуществляется очередное тестирование, в ходе которого пользователь может вызвать функцию обучения, которая выведет подробный отчёт о структуре материала, который необходимо знать для ответа на текущий вопрос, и обеспечит возможность перехода в нужный раздел ЭУК (система ОКТ активна).

Предложенные стратегии по индивидуализации траектории обучения позволяют сформировать комплексную подсказку/отчёт, содержащую набор ссылок на текст курса, литературу (основную и вспомогательную), задачи, базовые термины и разделы (отчёт для каждой ситуации комплектуется динамически). За счёт семантических связей достигается полнота и непротиворечивость рекомендаций АОС, формируемых в виде компактной подсказки. Из окна рекомендаций АОС можно перейти непосредственно к учебному материалу, отмеченному в подсказке. Это существенно сокращает время работы пользователя по поиску нужной информации в ЭУК, опираясь на текущий уровень знаний и цели работы с курсом. Так как каждое тестовое задание содержит связи с разделами ЭУК и набором терминов, то процесс проверки и обучения можно совместить, делая активными и подсистему ОКТ, и модель пользователя, и модель курса.

Используя многокритериальный анализ можно скомпоновать оптимальную конфигурацию ЭУК, отвечающую заявленным пользователем целям. Для этого требуется осуществить отображение (4):

/иш)м ' {^индш £оГ>щ » ^\тт

где Sm>m - сочетание некоторых элементов из {5} и модели курса; г - число этапов освоения дисциплины во времени; а еоГщ определяется по формуле (5).

^ ^ l^ß норм _ ß факт у

-г- • (5)

г-1

Таким образом, в главе разработаны методы формирования простой и адаптированной тестовой выборки, позволяющий повысить эффективность управления процессом обучающего тестирования за счёт механизма индивидуализации и реализации обратной связи, комплексного оценивания результатов ОКТ как в режиме итогового тестирования, так и в режиме обучающего тестирования. Это становится возможно за счёт расширения поля анализируемых факторов, привлечения семантических связей дидактического материала ЭУК и учёта динамики обучения, а также ввода концептуальной модели индивидуализации и оптимизации траектории обучения, позволяющей повысить эффективность самообучения на ЭУК при использовании обучающих тестов и комплексного описания семантических связей между объектами учебного материала.

В заключение главы сделаны выводы о необходимости применения методов, которые позволят осуществить сложный многофакторный анализ разнородных данных и преодолеть их неопределённость для эффективной реализации механизмов (2), (3) и (4) подсистемы ОКТ.

В третьей главе рассматриваются прикладные задачи управления процессами обучения и тестирования с использованием методов искусственного интеллекта, такие как экспертные системы, семантические сети и нечёткая логика, применяемые в качестве инструментов преодоления неопределённости в сложных аналитических задачах ОКТ.

Логический вывод при анализе параметров, влияющих на процессы адаптации, оценивания и индивидуализации, представлен в виде продукционной системы. Так как известны некоторые принципы работы логики преподавателя, то было предложено использовать теорию нечёткой логики, как методы преодоление неоднозначности интерпретации различных факторов на множестве экспертов. На примере процессов адаптации, оценивания и индивидуализации предложены варианты предобработки нечёткой информации о процессе ЭУК (множество S), т.е. составлены характеристические функции терм множеств, преобразующие количественные входные данные к качественному представлению.

В 3 разделе предложена архитектура экспертных систем для каждого из базовых процессов, имитирующих сложный логический вывод. За основу эксперимента по моделированию рассуждения эксперта взята трёхслойная продукционная архитектура. На вход экспертным системам подаются начальные данные о процессе тестирования, пользователе и динамике его обучения, а так же метаинформация о курсе. Далее информация проходит процесс фа-

зификации и за три шага вырабатывает нужный результат. В общем случае, трёхслойную модель экспертной системы представим в следующим виде:

5 '*- > <Ф, ->Ф2 ->Ф3 > г"*" >вывод, (6)

где Ф; - слой логического вывода в ЭС (наборы терм-множеств), на которые осуществляет отображение данные предыдущего (г-1) слоя. Расчет значений ряда компонентов из {5} производится посредством анализа семантической сети в контексте цели обучения.

Получения значений коэффициентов скоростей адаптации из (2) осуществляется экспертной системой, имеющей архитектуру, показанную на рисунке 3 (а). Промежуточные решения будут характеризоваться терм-множествами «успешность обучения», «качество последней оценки», «необходимость знаний для цели обучения» в разрезе проверяемых разделов ЭУК.

Рисунок 3 - Архитектура экспертных систем для адаптации и оценивания

Расчет коэффициентов поправки для оценки соответствующих разделов ЭУК по (3) осуществляется экспертной системой, имеющей архитектуру, показанной на рисунке 3 (б). Промежуточные решения будут характеризоваться терм-множествами «успешность обучения», «качество последней оценки», «случайность результата», «факты прерывания/пропуска заданий», «необходимость знаний для цели обучения».

Архитектура экспертной системы и логическая схема анализа данных для поддержки процесса индивидуализации предъявления учебного материала в соответствии с (4) тоже имеет три слоя. Промежуточными заключениями будет набор терм-множеств «соответствие материала целям», «текущий уровень знаний», «значимость элемента курса для ЭУК», «динамика обучения». На выходе ЭС будет сформировано множество рекомендаций по работе с дидактическим материалом в зависимости от текущего метода индивидуализации.

Предложенный подход к анализу параметров ОКТ в ЭС инвариантен относительно различных ЭУК. Это позволяет сделать вывод о перспективно-

сти применения методов искусственного интеллекта для анализа данных при проведении OKT.

В четвёртой главе рассматриваются вопросы реализации, внедрения и апробации системы обучающего адаптивного компьютерного тестирования.

В соответствии с методами и моделями, представленными во второй и третьей части работы, был разработан прототип АОС, базирующийся на подходе OKT. В качестве базовой платформы была выбрана операционная система Windows, языком реализации стала система Delphi. Прототип системы представлен следующими программными модулями:

а) б)

Рисунок 4 - Окна программ СиТест и РЬМ_Вш1ёег

1) Конструктор ЭУК - модуль, отвечающий за конструирование курса и его настройку.

2) Транслятор ЭУК - модуль, отвечающий за автоматизированное предъявление учебного материала пользователю.

3) Конструктор ОКТ - модуль, отвечающий за разработку контрольного материала и его интеграцию с элементами ЭУК;

4) Система обучающего тестирования - модуль, отвечающий за проведение контрольных мероприятий в виде тестирования и индивидуализацию обучения (рисунок 4, а).

5) Аналитик - модуль, отвечающий за сбор статистики, её анализ и подготовку отчётов;

6) Администратор - модуль, отвечающий за настройку и обслуживание всей АОС.

Первая версия комплекта модулей «Конструктор ОКТ», «Система обучающего тестирования», «Аналитик» и «Администратор» зарегистрирована в 2006 году в московском Отраслевом фонде программ и алгоритмов под номером 03524577.01145-01 99 01 с общим названием «Система обучающего адаптивного компьютерного тестирования».

Реализация экспертных систем и механизма нечёткой логики осуществлено при помощи программы РЬМ_Вш1с1ег (рисунок 4, б; номер госрегистрации ЕСПД - 02069740.00000-01 99 01). Она позволяет разрабатывать экспертные системы с элементами нечёткой логики и сохранять их во внешнем йш-

файле. Интеграция системы ОКТ и модели производилось за счёт модуля расширения для среды Delphi FLM_midul (номер госрегистрации ЕСПД -03524577.01145-01 99 01).

Программный пакет был опробован на примере дисциплины «Имитационное моделирование экономических процессов» для учебного процесса специальности 080801.65 (прикладная информатика в экономике). В эксперименте участвовали студенты 3 курса очной формы обучения. Усреднённая динамика успехов учащихся, применяющих систему «СиТест» для самообучения, приведена на рисунке 5. Анализ полученных результатов показал, что свободное перемещение между процессами обучения, обучающего и итогового тестирования позволило повысить эффективность обратной связи между пользователем и АОС.

Предложенная в работе модель организации учебного и контрольного материалов в АОС, а так же методы комплектования и адаптации учебного и контролирующего материалов методами искусственного интеллекта, позволили на практике повысить эффективность процесса самообучения на ЭУК.

Приложения содержат часть табличного материала, копии свидетельств о регистрации и актов о внедрении в учебный процесс прототипа программы СиТест.

Заключение

Анализ результатов диссертационного исследования позволил сделать следующие выводы:

1. Показано, что эффективный процесс обратной связи электронного учебного курса и пользователя/обучаемого может быть реализован с использованием компьютерного тестирования, интегрированного с учебным материалом на уровне семантических связей.

2. Показано, что метод итогового педагогического тестирования не позволяет эффективно решить задачу автоматизированного обучения;

3. Приведено определение обучающего компьютерного тестирования. Обосновано его выделение, как самостоятельного вида педагогического тестирования, и показано, что оно требует развития собственных методов и моделей.

4. Разработана концептуальная модель обучающего компьютерного тестирования и его интеграции с электронным учебным курсом. Выделено три основных процесса: индивидуализация тестовой выборки, оценивание результатов тестирования и индивидуализация/оптимизация траектории обучения.

5. Предложены математические модели, выявлены и проанализированы факторы, созданы алгоритмы, позволяющие на практике реализовать подход обучающего тестирования;

6. Предложена и реализована идея использования экспертных систем, нечёткой логики и семантических сетей для многофакторного анализа данных при обработке информации о ходе обучающего тестирования;

7. Разработан прототип программной среды (пакет СиТест), реализующий методы обучающего тестирования;

8. Подтверждена эффективность метода обучающего тестирования при самостоятельном обучении на примере дисциплин «Имитационное моделирование экономических процессов», «Теория экономических информационных систем», «Информационные системы маркетинга».

Полученные результаты могут быть применены при проектировании и разработке полноценной автоматизированной обучающей системы, включающей как электронные учебные курсы, так и подсистему обучающего компьютерного тестирования.

Публикации автора по теме диссертации

Публикации в изданиях по перечню ВАК:

1 Углев, В.А. Модель структурной адаптации электронных учебных курсов с помощью обучающего компьютерного тестирования / В.А. Углев,

B.А. Устинов, Б.С. Добронец // Вестник НГУ. — 2009. — Вып. 2. - Том 7 —

C. 74—87.

2 Углев, В.А. Системный подход к процессу обучающего компьютерного тестирования / В.А. Углев, В.А. Устинов, Б.С. Добронец // Информационные технологии. — 2008. — №4. — С. 81—87.

3 Углев, В.А. Структура электронного учебного курса / В.А. Устинов, В.А. Углев// Информатика и образование. 2007. —№8. —С. 123—125.

Основные публикации:

4 Углев, В.А. Обучающее компьютерное тестирование как инструмент управления индивидуализацией траектории обучения / В.А. Углев, В.А. Устинов // Решетневские чтения: Материалы XII Международной научной конференции. — Красноярск: Сиб. гос. аэрокосмич. ун-т, 2008. — С. 364—366.

5 Углев, В.А. Модель структурирования информации при наполнении электронных учебных курсов и систем обучающего тестирования // / В.А. Уг-

лев, В.А. Устинов // Повышение качества высшего профессионального образования: Материалы Всероссийской научно-методической конференции-Красноярск: ИПК СФУ, 2008. — В 2 ч. Ч. 1. — С. 297—301.

6 Углев, В.А. Модель индивидуализации траектории обучения в автоматизированных обучающих системах с применением обучающих тестов и экспертных систем / Углев В.А.// Нейроинформатика, ее приложения и анализ данных: сб. материалов XVI всероссийского семинара. — Красноярск, 2008. — С. 153—157.

7 Uglev V.A., Samrina F.I. Using of possibilities in learning tests for individualization of displaying material in electronic education courses // Modem Techniques and Technologies: The fourteenth International Scientific and Practical Conference of Students, Postgraduates and Young Scientists, Tomsk Polytechnic University. — Tomsk: TPU Press, 2008. — p. 96—100.

8 Углев, В.А. Обработка факторов процесса тестирования для базы знаний оценки обучающего теста / В.А. Углев // Современные проблемы информатизации в моделировании и социальных технологиях: сб. трудов . Вып. 13. — Воронеж: Научная книга, 2008. — С. 181—185.

9 Углев, В.А. Влияние целей проведения и условий организации компьютерного тестирования на эффективность проявления знаний / В.А. Углев // Системы и модели: границы интерпретации: сб. материалов всероссийской науч. конференции. — Томск: ТГПУ, 2007. — С. 192—194.

10 Углев, В.А. Предобработка входной информации для базы знаний, реализующей механизм адаптации обучающего тестирования / В.А. Углев // Информационные технологии в профессиональной деятельности и научной работе: сб. материалов всероссийской науч.-практич. конференции с международным участием. — Йошкар-Ола: Марийский государственный технический университет, 2007. — С. 9—13.

11 Углев, В.А. Комплексный подход к процессу оценивания при обучающем компьютерном тестировании / В.А. Углев // Теория и практика измерения латентных переменных в образовании: сб. материалов IX всероссийской науч.-практич. конференции. — Славянск-на-Кубани: СГПИ, 2007. —С. 151—155.

12 Углев, В.А. Обучающее компьютерное тестирование / В.А. Углев // Теоретические и прикладные вопросы современных информационных технологий: сб. материалов VIII всероссийской науч.-тех. конференции. — Улан-Удэ: ВСГТУ, 2007. — С. 312—316.

13 Углев, В.А. К вопросу об эффективности анализа факторов при обучающем компьютерном тестировании / В.А. Углев, В.А. Устинов // Информационные технологии в образовании и науке: сб. материалов всероссийской науч.-практич. конференции. — М.: МФА, 2007. —Ч. 1. — С. 203—208.

14 Углев, В.А. Модель оценивания при обучающем адаптивном компьютерном тестировании / В.А. Углев // Информационно-вычислительные технологии и их приложения: сб. материалов V международной науч.-тех. конференции. — Пенза: РИО ПГСХА, 2006.— С. 312—315.

15 Углев, В.А. Модель адаптации при обучающем адаптивном компьютерном тестировании / В.А. Углев // Теоретические и прикладные вопросы современных информационных технологий: сб. материалов всероссийской науч.-тех. конференции. — Улан-Удэ: ВСГТУ, 2006. — С. 238—242.

16 Углев, В.А. Статистический анализ результатов тестирования в адаптивной системе обучения и контроля / В.А. Углев, В.А. Устинов // Наука и образование: сб. материалов VI международной науч. конференции. — Бе-лово: Беловски полиграфист, 2006. — В 4 ч. Ч. 1. — С. 569—573.

17 Углев, В.А. Методы нечёткой логики при уточнении результатов тестирования / В.А. Углев // Молодёжь и наука: начало XXI века: сб. материалов всероссийской науч.-тех. конференции студентов, аспирантов и молодых учёных. — Красноярск: ИПЦ КГТУ, 2006. — В 3 ч. Ч. 1. — С. 301—304.

18 Углев, В.А. Разработка обучающей среды компьютерного тестирования / В.А. Углев, В.А. Устинов // Повышение качества непрерывного профессионального образования: сб. материалов всероссийской науч.-метод. конференции с международным участием. — Красноярск: ИПЦ КГТУ, 2006. — В2ч.Ч. 2. —С. 234—237.

19 Углев, В.А. Обучающее адаптивное тестирование с применением экспертных систем / В.А. Углев // Информационные технологии в образовании и науке: сб. материалов всероссийской науч.-практич. конференции. — М.: МФА, 2006. — В 3 ч. Ч. 3. — С. 606—611.

20 Углев, В.А. Система обучающего адаптивного компьютерного тестирования / В.А. Углев // Свидетельство об официальной регистрации программы для ЭВМ (Россия) — М.: ОФАП, 2006. — номер госрегистрации (ЕСПД) — 03524577.01414-01; заявл. 29.03.2006; опубл. в газете «Инновации в науке и образовании (Телеграф отраслевого фонда алгоритмов и программ)».—2006.—№4(15).—С. 19.

Выражаю благодарность доценту Хакасского технического института -филиала СФУ, кандидату технических наук Устинову В.А. за консультации и содействие в проведении эксперимента.

Углев Виктор Александрович Модели и методы построения систем обучающего компьютерного тестирования на основе экспертных систем с элементами нечёткой логики Автореф. дисс. на соискание учёной степени кандидата технических наук. Подписано в печать 19.08.2009. Заказ ¿/¡¡^ Формат 60x90/16. Усл. печ. л. 1,1. Тираж 100 экз. Отпечатано в типографии ИПК СФУ 660074, Красноярск, ул. Киренского, 28

Введение.

1 Анализ методов оценивания в системах компьютерного тестирования для целей обучения.

1.1 Компьютерное тестирование и проблемы автоматизированного оценивания знаний.

1.1.1 Основные определения и сокращения.

1.1.2 Место компьютерного тестирования в системах автоматизированного обучения.

1.1.3 Общие сведения о компьютерном тестировании.

1.1.4 Проблемы автоматизированного оценивания знаний.

1.2 Обзор методик и систем оценивания знаний.

1. 2. 1 Традиционные и адаптивные модели тестирования.

1.2.2 Модели тестирования, основанные на использовании методов искусственного интеллекта.

1. 2. 3 Проблема целеполагания при тестировании.

1. 2. 4 Применимость существующих программных реализаций для обучающего тестирования.

1. 3 Постановка задачи разработки обучающего компьютерного тестирования.

1. 3. 1 Обучающее компьютерное тестирование.

1.3.2 Системный подход к решению поставленной задачи через интеграцию обучающего теста с электронным учебным курсом.

1. 4 Выводы по первой главе.

2 Разработка методов обучающего компьютерного тестирования.

2. 1 Модель процесса обучающего тестирования.

2. 2 Уточнение модели данных в автоматизированной обучающей системе

2. 3 Выявление факторов, влияющих на результат обучающего тестирования.

2. 4 Методические особенности определения начальных параметров обучающего теста.

2. 5 Метод формирования тестовой выборки и её адаптация.

2. 6 Метод оценивания результатов обучающего теста.

2. 6. 1 в режиме итогового тестирования.

2. 6. 2 в режиме обучающего тестирования.

2. 7 Метод индивидуализации траектории обучения посредством обучающего тестирования.

2. 7. 1 Прямой метод индивидуализации.

2.1.2 Косвенный метод индивидуализации.

2. 8 Выводы по второй главе.

3 Применение экспертных систем для анализа обучающего компьютерного тестирования.

3. 1 Экспертные системы как метод преодоления неопределённости в сложных аналитических задачах.

3.1.1 Комплексный подход к анализу данных при обучающем тестировании.

3.1.2 Механизмы снижения неопределённости входных данных для обработки в экспертных системах.

3. 2 Усиление классифицирующей способности теста за счёт механизма нечёткой логики.

3. 2. 1 при формировании обучающей тестовой выборки.

3. 2. 2 при оценивании результатов теста.

3. 3 Уточнение моделей обучающего компьютерного тестирования.

3.3.1 Модель адаптации.

3.3.2 Модель оценивания.

3.3.3 Модель индивидуализации траектории обучения.

3. 4 Выводы по третьей главе.

4 Реализация системы адаптивного компьютерного тестирования, ориентированной на функцию обучения.

4. 1 Принципы реализации технических решений.

4. 1. 1 Система обучающего тестирования СиТест.

4. 1. 2 Система конструирования экспертных систем FLMBuilder.

4.1.3 Принцип интеграции экспертных систем с системой обучающего тестирования.

4. 2 Внедрение методики обучающего тестирования и предварительные результаты.

4. 2. 1 Разработка ЭУК и тестов.

4. 2. 2 Проведение обучающего тестирования.

4. 2. 3 Результаты обработки статистических данных.

4. 3 Выводы по четвёртой главе.

Актуальность темы. Развитие отраслей информатизации позволило системе массового образования воспользоваться высокотехнологичными достижениями научно-технического прогресса. Концепция массового образования и равных возможностей требуют разработки таких механизмов обучения, которые могут быть эффективно применены не только в системе классического (аудиторного) образования, но и при самостоятельном (дистанционном) обучении. Классик отечественной тестологии B.C. Аванесов отмечает: «В условиях массового образования только адаптивное обучение даёт возможность эффективной практической реализации принципов индивидуализации обучения» [1, дис. Стр. 121]. В связи с этим возникают задачи составления эффективно работающих электронных учебных курсов и разработки соответствующих программных средств, обеспечивающих жизненный цикл процесса образования, в контексте парадигмы личностно-ориентированного подхода. Электронные образовательные ресурсы объединяют учебный материал, методологические образовательные концепции, государственные стандарты, а так же различные тренажеры и системы компьютерного тестирования. От их слаженной работы зависят не только отчётные показатели учебных заведений, практикующих дистанционное обучение, но и квалификация выпускаемых специалистов.

Педагогическое компьютерное тестирование, как инструмент оценки уровня усвоения знания, на сегодняшний день широко применяется как в процессе классического, так и в процессе дистанционного обучения. Над методикой его применения для аудиторной формы занятий работали Аванесов B.C., Архангельский С.И., Беспалько В.П., Татур А.О. и многие другие. Преимущества тестового контроля очевидны: достигается массовость контроля, скорость обработки данных, непредвзятость и стандартизация процесса оценивания. Над задачей повышения эффективности применения автоматизации при тестовом контроле учебного процесса работает достаточно много специалистов, что говорит как об актуальности темы, так и о перспективах её дальнейшего исследования. Среди основных направлений в этой области можно выделить работы Пантелеева Е.Р., Тягуновой Т.Н., Жуковой И.Г, Строганова В.Ю. и проч.

В условиях реформирования системы образования и разработки новых стандартов обучения (переход к двухуровневой системе высшего профессионального образования), дистанционное обучение стало рассматриваться как неотъемлемая-компонента учебного процесса в крупных и средних ВУЗах [130]. Разработаны электронные учебные курсы и обеспечивающее их программное обеспечение. При этом компьютерное тестирование всё чаще применяется для промежуточного и итогового контролей. Но на сколько его потенциал корректно использован при проведении внеаудиторного и индивидуализированного обучения? С одной стороны, существует множество претензий к качеству оценки результатов тестирования, вызванных, в частности, отличием условий классического обучения от условий дистанционного (например, работы Аванесова B.C. [1] или Рудинского И.Д. [77]). С другой стороны, не ставится различие между этими формами обучения как в методиках, так и в программных реализациях систем компьютерного тестирования. Но насколько это адекватно современным требованиям качества образования? Образовательный и контролирующий этапы в автоматизированных обучающих системах так и остались совершенно изолированными процессами, т.е. механизмы четкой обратной связи отсутствуют как класс! Обычная практика: оценивание знаний по всему учебному курсу без вектора дифференцированных оценок по разделам курса. Такое положение существенно снижает как достоверность результатов тестирований, так и возможность целенаправленного управления процессом обучения (оптимизации траектории индивидуального обучения).

Таким образом, существует проблема эффективного управления самостоятельным (дистанционном) учебным процессом, при использовании электронных учебных курсов и систем компьютерного тестирования, как элементов единого образовательного процесса. Её решение позволит повысить эффективность процесса обучения, в условиях дефицита или отсутствия на местах квалифицированных педагогических кадров.

В своём диссертационном исследовании B.C. Аванесов отметил: «Обучающий потенциал тестовых заданий является огромным, но он практически не исследован». В связи с этим возникает научная проблема, связанная с отсутствием теоретической концепции, формальных моделей, методологической и программной реализаций систем компьютерного тестирования, эффективно интегрированных с автоматизированными обучающими системами, которые бы повысили результативность процесса самостоятельного обучения за счёт оптимизации траектории индивидуального обучения.

Объектом данного исследования выбран процесс управления компьютерным тестированием и его технической реализации.

Предметом исследования выступают модели, методы и алгоритмы интеграции процессов контроля и обучения в автоматизированных образовательных системах.

Цель диссертационной работы: разработать подход к организации компьютерного тестирования при самостоятельном обучении на электронных учебных курсах {обучающее тестирование), модели построения и реализации информационной системы с возможностями выработки приближенной к оптимальной стратегии обучения.

Гипотеза исследования, заключается в том, что процесс тестирования рассматривается как инструмент нелинейной обратной связи электронного учебного курса и обучаемого. Такой подход позволит:

• повысить эффективность работы' обучаемого с электронными учебными курсами;

• повысить достоверность механизма автоматизированной оценки уровня знаний обучаемого;

• представить опыт работы педагогов - экспертов в виде базы знаний в автоматизированной обучающей системе, реализующие механизмы обучения, оценивания и адаптации.

Для достижения поставленной цели и подтверждения выдвинутой гипотезы необходимо решить ряда задач:

• провести системный анализ методов, методик, моделей и программных пакетов компьютерного тестирования, которые применяются для решения задачи оценивания знаний в процессе обучения;

• обосновать необходимость выделения класса «обучающего тестирования» и выявить его сущность, содержание и особенности;

• разработать концептуальную модель обучающего компьютерного тестирования, позволяющую формализовать процессы взаимодействия компьютерных тестов и электронных учебных курсов;

• разработать математические, модельные и проектные подходы, позволяющие реализовать процесс обучающего тестирования;

• предложить реализацию моделей оценивания, адаптации и индивидуализации в виде модулей экспертной системы;

• разработать прототип программного обеспечения, позволяющий оценить эффективность обучающего тестирования;

• провести экспериментальные исследования в учебном процессе и подтвердить положения гипотезы обучающего компьютерного тестирования.

Методами исследования, на которых базируется работа, являются теория систем и системного анализа, инженерия знаний, теория экспертных (продукционных) систем, метод нечёткой логики, теория графов (семантические сети), теория вероятностей и математическая статистика, а так же тестология и тестометрия.

Научная новизна диссертационного исследования заключается в следующем:

• выделен новый подход к компьютерному тестированию, названный «обучающим» и введено соответствующее определение;

• обоснованы и приведены в систему положения об обучающем компьютерном тестировании, как инструменте оптимизации траектории учебного процесса;

• разработаны формальные модели процессов адаптации, оценивания и индивидуализации;

• представлены перечисленные выше модели в виде баз знаний экспертной системы.

Теоретическая значимость работы заключается в следующем:

• уточнён подход обучающего тестирования, названный обучающим, как одно из направлений тестологии;

• разработаны оригинальные механизмы адаптации тестовой выборки, оценивания и индивидуализации;

• применены методы искусственного интеллекта (семантические сети, экспертные системы, нечёткая логика) для повышения эффективности учебного процесса и достоверности результатов тестирования.

Практическая значимость исследования заключается в следующем:

• успешно внедрена в учебный процесс Хакасского технического института - Филиала СФУ и Хакасского института бизнеса система СиТест, опирающаяся на подход обучающего тестирования (приложение Г);

• повышена эффективность изучения дисциплин учащимися, осваиваемых самостоятельно.

Подтверждением достоверности и обоснованности результатов диссертационной работы служит устойчивый положительный эффект от применения методики обучающего тестирования на ряде учебных дисциплин («Имитационное моделирование экономических процессов», «Теория экономических информационных систем», «Информационные системы маркетинга»).

Результаты, выносимые на защиту:

• понятие и концептуальная модель обучающего компьютерного тестирования;

• модель автоматизированной обучающей системы, описывающей взаимодействие компонентов «электронный учебный курс» и «обучающее компьютерное тестирование»;

• система комплексного анализа факторов, выраженная в моделях адаптации, оценивания и индивидуализации;

• архитектура и содержание баз знаний, содержащих опыт специалистов-педагогов по рассматриваемым в моделях областям знаний;

• информационная система СиТест, основная на подходе обучающего компьютерного тестирования и методах искусственного интеллекта (экспертные системы с элементами нечёткой логики).

Личный вклад автора в, разработку теоретического подхода обучающего тестирования- можно прировнять- к 85%, исключая- идеи руководителя и консультантов (экспертов). Авторское право-на программный пакет СиТест, ядро экспертного оценивания (модуль FLMmoduhpas) и конструктора^ экспертных систем (FLMBuilder) подтверждается свидетельствами на регистрацию; под номерами' 03524577.01414-01, 03524577.01145-01 99 01 и 02069740.00000-01 99 01 соответственно (пункты литературы [122], [,108] и [125], а так же приложение Г).

Апробация результатов исследования^ осуществлялось на следующих мероприятиях: Республиканский конкурс научно-исследовательских работ (Абакан, 2005); Всероссийская научно-практическая конференция «Информационные технологии в образовании и науке» (Москва, 2006 и 2007); VI Международная научная конференция «Наука и образование» (Белово, 2006); V Международная научно-техническая конференция «Информационно-вычислительные технологии и их приложения» (Пенза, 2006); XIII Международная научная конференция «Современные техника и технологии» (Томск, 2007 и 2008); IX Всероссийская (с международным участием) научно - практическая конференция «Теория и практика измерения и мониторинга латентных переменных в образовании и других социально-экономических системах» (Славянск-на-Кубани, 2007); XIII Международная научно-практическая конференция «Современные проблемы информатизации» (Воронеж, 2008); Международная научно-методическая конференция «Совершенствование технологий обеспечения качества образования» (Омск, 2008); XII Международная научно-техническая конференция «Системный анализ в проектировании и управлении» (Санкт-Петербург, 2008); The fourteenth International Scientific and Practical Conference «Modern Techniques and Technologies» (Томск, 2008); XVI Всероссийский семинар «Нейроинформатика, ее приложения и анализ данных» (Красноярск, 2008); XII Международная научная конференция «Решетневские чтения» (Красноярск, 2008); Все российская научно-методическая конференция «Повышение качества высшего профессионального образования» (Красноярск, 2008); VIII Международная научно-техническая конференция «Интерактивные системы: проблемы человеко-компьютерного взаимодействия» (Ульяновск, 2009).

Использование результатов диссертации осуществляется в учебном процессе, на дисциплинах «Имитационное моделирование экономических процессов» и «Теория экономических информационных систем» при Хакасском техническом институте — филиале СФУ (г. Абакан, 2008-2009 гг.), «Информационные системы маркетинга» при Хакасском институте бизнеса (г. Абакан, 2007-2009 г.). Акты об использовании прилагаются.

По материалам диссертации опубликовано 28 печатных работ, из которых 26 статей (из них 3 статьи в журналах по списку ВАК), 2 свидетельства об официальной регистрации программ для ЭВМ.

Структура диссертации включает введение, 4 главы, заключение и списка использованных источников. Основное содержание работы изложено на 170 страницах текста, содержит 30 рисунков и 6 таблиц. Список используемых источников включает 142 наименования.

4. 3 Выводы по четвёртой главе

В четвёртой главе даётся краткое описание реализованных в рамках диссертационной работы программных модулей пакета СиТест с использованием ЭС. В качестве результатов отметим следующее:

1. Разработан прототип системы автоматизированной обучающей системы, включающий модули для обучения, контроля и обслуживания/сопровождения пакета;

2. Осуществлена интеграция системы КТ с внешними модулями интеллектуальной обработки данных (экспертные системы, нечёткая логика). Предложенный подход позволяет улучшить такие показатели проекта, как гибкость, скорость и простоту реализации, что, в свою очередь, ведёт к экономии времени разработчика ЭУК.

3. Проведён эксперимент по применению методики ОКТ в процессе подготовки студентов по дисциплине «Имитационное моделирование экономических процессов». Результаты проведённого педагогического эксперимента подтверждают гипотезу об эффективности применения методики обучающего компьютерного тестирования при самостоятельном учебном процессе, опирающемся на электронные учебные курсы (см. приложение Г).

4. Осуществлена регистрация системы СиТест в отраслевом фонде программ и алгоритмов под номером 03524577.01145-01 99 01 с общим названием «Система обучающего адаптивного компьютерного тестирования» [122] (см. приложение Г).

В заключение главы следует отметить, что представленный прототип системы ОКТ нуждается в дальнейшем развитии как в плане функциональных возможностей, так и в вопросах оптимизации базы знаний. Это открывает перспективы для дальнейших научных исследований в области обучающего тестирования, а так же для разработки коммерческой версии рассматриваемого программного продукта.

ЗАКЛЮЧЕНИЕ

Внедрение средств автоматизированного дистанционного обучения в ВУЗы получило в последнее время массовый характер. Повышаются требования к процессам предъявления учебного материала и контроля, делая необходимым реализацию идеи эффективного управления. Это делает задачу совершенствования автоматизированного обучения чрезвычайно актуальной.

Анализ результатов проделанного диссертационного исследования позволил сделать следующие выводы:

1. Показано, что эффективная реализация обратной связи электронного учебного курса и пользователя/обучаемого реализуема с использованием компьютерного тестирования, интегрированного с учебным материалом на уровне семантических связей.

2. Показано, что метод итогового педагогического тестирования не позволяет эффективно решить задачу автоматизированного обучения;

3. Приведено определение обучающего компьютерного тестирования. Обосновано его выделение, как самостоятельного вида педагогического тестирования, и показано, что оно требует развития собственных методов и моделей.

4. Разработана концептуальная модель обучающего компьютерного тестирования и его интеграции с электронным учебным курсом. Выделено три основных процесса: индивидуализация тестовой выборки, оценивание результатов тестирования и индивидуализация/оптимизация траектории обучения.

5. Предложены математические модели, выявлены и проанализированы факторы, созданы алгоритмы, позволяющие на практике реализовать подход обучающего тестирования; . - ■ • 143 .

6. Предложена и: реализована идея использования экспертных систем, нечёткой логики и семантических сетей для многофакторного анализа данных при обработке информации о ходе обучающего тестирования;

7. Разработан прототип программной среды (пакет СиТест), реализующий метод:обучающего тестирования;

8. Подтверждена эф фективность, метода обучающего тестирования ?при самостоятельном обучении на примере дисциплин «Имитационное, моделирование экономических, процессов», «Теория экономических информационных систем», «Информационные системы маркетинга».

Полученные результаты могут быть применены; при разработке полноценной автоматизированной обучающей системы,, содержащей1 как электронный учебный; курс, так и подсистему обучающего компьютерного тестирования. Подход: обучающего тестирования; может, быть применён в любых .учреждениях среднего, среднего, -специального, высшего образования. Методику обучающего компьютерного - тестирования, можно порекомендовать при решении^ задач дистанционного обучения; а так же при повышении, квалификации или переподготовке работников, различных учреждений. : •

Дальнейшим- направлением; исследования, обучающего тестирования . может быть оптимизация структуры и параметров экспертной.; системы^ а так же включение в модели, курса и; пользователям параметров работы с подсистемой «электронная тетрадь»: выполнение; практических работ и лабораторных экспериментов, решение задач. Возможным направлением в модернизации системы ОКТ СиТест будут расширение возможностей сервисов трансляцитучебного материала и интеграция с web-технологиями.

1. Аванесов, В. С. Методические и теоретические основы тестового педагогического контроля Текст.: дис. . доктора пед. наук: 13.00.01 / В. С. Аванесов. М., 1994. - 340 с.

2. Аванесов, В. С. Определение знаний школьников с помощью тестов Электронный ресурс. / B.C. Аванесов. Электрон, текстовые дан. - Режим доступа: www.botik.ru/ ~mupc/27.11.2002/mogilev2/mogilev2.htm.

3. Аксенов, М. В. Технология разработки экспертно-обучающих систем, ориентированных на обучение точным дисциплинам Текст.: дис. .канд. техн. наук: 05.13.01 /М. В. Аксенов.-СПб., 2004. 110 с.

4. Алтунин, А. Е. Модели и алгоритмы принятия решений в нечетких условиях Текст.: моногр. / А. Е. Алтунин, М. В. Семухин. Тюмень: ТГУ, 2000.-352 с.

5. Анастази, А. Психологическое тестирование Текст. / А. Анастази, С. Урбина. 7-е изд. - СПб.: Питер, 2006. - 688 с.

6. Анфилатов, В. С. Системный анализ в управлении Текст.: учеб. пособие / В. С. Анфилатов, А. А. Емельянов, А. А. Кукушкин. М.: Финансы и статистика, 2003.-368с.

7. Архангельский, А. Я. Программирование в Delphi 6 Текст. / А. Я. Архангельский. М.: Бином-пресс, 2002. — 1204 с.

8. Бершадский, А. М. Актуальные проблемы компьютерного контроля знаний Электронный ресурс. / А. М. Бершадский, А. А. Белов, Р. И. Вергазов, И. Г. Кревский. Режим доступа: www.uran.donetsk.ua/~masters/ 2005/fvti/changli/library/problems.htm.

9. Беспалько, В. П. Программированное обучение. Дидактические основы Текст. / В. П. Беспалько. М.: Высшая школа, 1970. — 300 с.

10. Ю.Боброва, Л. Н. Когнитивные аспекты компьютерного контроля знаний Текст. / Л. Н. Боброва, И. Н Емельянова, Г. А. Никулова //145 . :.■;.-' ;.':''.""•;. '

11. Информационные технологии в процессе подготовки современного специалиста: межвузовский сборник. — Вып. 4. Т. 1. — Липецк, 2001. — С 144— 150.

12. Буздова; А. А. Использование адаптивной среды тестирования в учебном процессе Текст. / А. А. Буздова // Теоретические и прикладные вопросы современных информационных технологий: материалы Всероссийской науч.-техн. конф. Улан-Удэ; 2005. — С. 349-352.

13. М.Васильев, В. И., Культура компьютерного тестирования Текст. / В. И. Васильев, Т. Н. Тягунова. М.: МГУП, 2002. - Ч. 2. Программно-дидактическое, тестовое: задание. — 90 с.

14. Вендров; А. М. Проектирование программного обеспечения экономических информационных систем; Текст.: учебник / А. М. Вендров. -М.: Финансы и статистика,,2002. 352 с.

15. Вергазов, Р. И: Система компьютерного тестирования знаний Текст.: дис. .канд. техн. наук: 05.13.107 Р. И. Вергазов. Пенза., 2006. -164 с.

16. Винер, Н;. Кибернетика: или управление и связь в животном и машине Текст. / Н. Винер. М.: Советское радио, 1968. — 330 с.

17. Гаврилова, Т. А. Базы знаний интеллектуальных систем Текст. / Т. А. Гаврилова, В. Ф. Хорошевский. СПб.: Питер, 2001. - 384 с.

18. Гмурман, В. Е. Теория вероятностей и математическая статистика Текст.: учеб. пособие для вузов / В. Е. Гмурман. — М.: Высш. шк, 2001. 479 с.

19. Давыдова, Н. А. Применение адаптивных интеллектуальных алгоритмов в процессе обучения Текст. / Н. А. Давыдова // Новые информационные технологии в образовании: материалы Международной науч.-практ. конф. Екатеринбург, 2008. — Ч. 1. - С. 73—75.

20. Данилова, С. Д. Адаптивная, нечёткая модель оценивания результатов автоматизированного тестирования с разделением заданий по уровням усвоения Текст.: дис. . канд. техн. наук: 05.13.01 / С. Д. Данилова. -М., 2005. 153 с.

21. Джексон П. Введение в экспертные системы Текст.: учеб. пособие / П. Джексон. -М.: Вильяме, 2001. 424 с.

22. Доррер, Г. А. Технология моделирования и> разработки учебных электронных изданий' Текст.: моногр. / Г. А. Доррер, Г. М. Рудакова. -Новосибирск: СО РАН, 2006. 272 с.

23. Емельянов, А. А. Имитационное моделирование экономических процессов Текст. : Учеб. пособие / А. А. Емельянов, Е. А. Власова, Р. В. Дума. М.: Финансы и статистика, 2002. — 368 с.

24. Жукова, И. Г. Концепция открытой адаптивной контрольно-обучающей системы на основе персоонализации процесса обучения Электронный ресурс. / И. Г. Жукова, М. Б. Сипливая, О. А. Шабалина. -Режим доступа: http://systech.miem.edu.ru/2003/nl/ Zhukova.htm.

25. Ивашина, А. В. Модели и методы построения профориентационной информационной системы с картографическим представлением Текст.: дис. . канд. техн. наук: 05.13.11 / А. В. Ивашина. Красноярск: РГБ. - 2008. -161 с.

26. Ивлева, Е. В. Разработка и исследование интеллектуальных контролирующих систем с настраиваемой нечеткой экспертной подсистемой выставления оценок Текст.: дис. . канд. техн. наук: 05.13.11 / Е. В. Ивлева -Рязань, 2004.-177 с.

27. Имитационное моделирование экономических процессов Текст.: методич. указания к выполнению лабораторных работ / сост. В. А. Углев. -Абакан: Сиб. федер. ун-т; ХТИ филиал СФУ, 2008. - 44 с.

28. Исаев, В. В. Модель обучаемого в интеллектуальных обучающих системах Текст. / В. В. Исаев, В. Ф. Мельников, В. М. Шацких // Педагогическая информатика. — 2003. №2. — С. 67—73.

29. Карданова, Е. Ю. Специальные методы анализа результатов тестирования, основанные на свойстве объективности моделей Раша Текст. // Е. Ю. Карданова, В. Б. Карпинский // Информационные технологии. 2008. - № 4. - С. 72-80 с.

30. Кудрявцев, Е. М. GPSS World. Основы имитационного моделирования различных систем Текст. / Е. М. Кудрявцев. М.: ДМК Пресс, 2004. - 320 с.

31. Магомедов, М. А. Адаптивное тестирование как аспект дистанционного обучения информационным технологиям Электронный ресурс. / М. А. Магомедов, Н. А. Магомедова. — Режим доступа: www.soft.netacademy.ru/docs/0001 .htm.

32. Маслоу, А.Г. Мотивация и личность Текст.: пер. с англ. / А. Г. Маслоу. СПб.: Питер, 2006. - 352 с.

33. Месарович, М. Общая теория систем: математические основы Текст.: пер. с англ. / М. Месарович, Я. Такахара. М.: Мир, 1978. - 312 с.

34. Мизинов, В. М. Решение проблемы точности оценивания при компьютерном тестировании Текст. / В. М. Мизинов // Информатика: проблемы, методология, технологии: материалы IX Международной науч.-метод. конф. Воронеж, 2009. - С. 42-45.

35. Нарыжный, Е. В: Построение интеллектуальных обучающих систем, основанных на экспертных знаниях Текст.: дис. . канд. техн. наук: 05.13.10 / Е. В. Нарыжный. Москва, 2000. - 114 с.

36. Неверов, П. А. Подтверждение качества тестовых заданий с использованием Z-оценки Текст. / П. А. Неверов // Измерение, контроль, информатизация: материалы IX Международной науч.-техн. конф. — Барнаул, 2008.-С. 218-221.

37. Нечёткие множества и теория возможностей. Последние достижения Текст.: пер. с англ. / под ред. Р. Р. Ягера. — М.: Радио и связь, 1986.-408 с.

38. Никаев, С. А. Модели и информационная система для оценки профессиональных знаний специалистов промышленного производства Текст.: дис. . канд. техн. наук: 05.13.01 / С. А. Никаев. — М.: РГБ, 2003. — 183 с.

39. Орел, Е. Создание тестов и компьютерное тестирование Текст. / Е. Орел, А. Прохоров // Компьютер-Пресс. 2006. - № 7. - С. 94-99.

40. Пантелеев, Е. Р. Распределённая- компонентная модель тестов в системе дистанционного образования ГИПЕРТЕСТ 2.0 Текст. / Е. Р. Пантелеев, В. В, Пекунов, М. А. Первовский // Информационные технологии. 2004. - № 8. - С. 41-46.

41. Пантелеев, Е. Р. Средства поддержки жизненного цикла в Web-обучения в инструментальном комплексе ГИПЕРТЕСТ 2.0 Текст. / Е. Р. Пантелеев // Информационные технологии. 2007. — № 2. - С. 39-45.

42. Переверзев, В. Ю. Моделирование процесса критериально-ориентированного педагогического тестирования курсантов вузов Текст.: дис. . канд. пед. наук / В. Ю. Переверзев. М.: РГБ, 2003. - 198 с.

43. Перегудов, Ф. И. Основы системного анализа Текст. / Ф. И. Перегудов, Ф. П. Тарасенко. 2-е изд., доп. - Томск.: HTJI, 1997. — 396 с.

44. Петров, Д. В. Оценка качества знаний учащихся с использованием экспертной обучающей системы Текст. / Д. В. Петров // Информатика и образование. 2007. - № 8. - С. 119-121.

45. Пивкин, В. Я. Нечеткие множества в системах управления Электронный ресурс.: метод, пособие под ред. Ю.Н. Золотухина / В. Я.

46. Пивкин, Е. П. Бакулин, Д. И. Кореньков. Режим доступа: www.idisys.iae.nsk.su.

47. Половко, А. М. Компьютерные технологии оценки знаний методами тестирования Текст. / А. М. Половко // Информационные технологии. — 2004.-№8.-С. 46-51.

48. Попов, Д. И. Способ оценки знаний в дистанционном обучении на основе нечётких отношений Электронный ресурс. / Д. И. Попов — Режим доступа: http://www.mesi.ru/joe/N600/ popov.html.

49. Портал дистанционного обучения Moodle Электронный ресурс. -Режим доступа: http://www.moodle.org.

50. Портал дистанционного обучения Intuit.ru Электронный ресурс. — Режим доступа: www.Intuit.ru.

51. Проект отраслевого терминологического стандарта Центра тестирования. Педагогические тесты. Термины и определения. Электронный ресурс. Режим доступа: http://www.ege.ru/dict/dictl.htm.

52. Протасов, А. С. Создание интеллектуальных средств адаптивного тестирования Электронный ресурс. / А. С. Протасов. — Режим доступа: www.bitpro.ru/ito/2003/VIimi-0-2057.html.

53. Прохоров, А. Программы для создания тестов и проведения тестирования Текст. / А. Прохоров // Компьютер Пресс. — 2005. № 11. - С. 167-169.

54. Пугачев, А. А. Высокоуровневое, специализированное программное обеспечение, пакет eCourse Publisher Электронный ресурс. / А. А. Пугачев. — Режим доступа: http://www.grnm.ru/ articles.html.

55. Рассел, С. Искусственный интеллект: современный подход-Текст.: пер. с англ. / С. Рассел, П. Норвиг. М.: Вильяме, 2006. - 1408 с.

56. Российская государственная библиотека. Диссертации Электронный ресурс. Режим доступа: www.diss.rsl.ru.

57. Рубан, А. И. Методы анализа данных Текст.: учеб. пособие / А. И. Рубан. 2-е изд. - Красноярск: ИПЦ КГТУ, 2004. - 319 с.

58. Рудинский, И. Д. Модель статистического оценивания знаний Текст. / И. Д. Рудинский, С. В". Грушецкий // Информационные технологии. 2004. - № 12.-С. 48-54.

59. Рыжиков, Ю. И. Имитационное моделирование. Теория и технологии Текст. Ю. И. Рыжиков. — СПб.: Корона Принт; М.: Альтекс-А, 2004.-384 с.

60. Сарвилина, И. Ю. Модели и средства представления знаний в информационных обучающих системах Текст.: дис. . канд. техн. наук: 05.13.17, 05.25.05 / И. Ю. Сарвилина. -Пенза.: РГБ, 2006. 176 с.

61. Саркисян, С. Г. ■ Генетические алгоритмы в интерактивных обучающих системах Текст. / С. Г. Саркисян, О. С. Овакимян, С. В. Бархударян // Новости искусственного интеллекта. — 2005. — № 1 — С. 58-62.

62. Система компьютерного тестирования ОРОКС Электронный ресурс. Режим доступа: http://ito.edu.ru/2001/ ito/111/1/111-1-15.html.

63. Система компьютерного, тестирования Прометей Электронный ресурс. Режим доступа: http:// www.prometeus.ru/products/test/.

64. Система компьютерного тестирования УНИТЕСТ Электронный ресурс. Режим-доступа: http:// unitest.edu.rt.ru.

65. Система компьютерного тестирования AVELife TestGold Studio Электронный ресурс. Режим доступа: http://soft.meta.ua/catalog/ prgram.php?ID=8752&progdesc=long.

66. Система компьютерного тестирования WebOT Электронный ресурс. Режим доступа: http://www.webct.ru.

67. Система электронного тестированиям • Разработка тестовых материалов,и компьютерное тестирование'Текст.: учеб.-метод. пособие / Ф. Ф. Захаров, О. В. Кравцова, Е. А. Новиков, А. Н. Широких. Красноярск: ИПЦКГТУ, 2005.-68 с.

68. Скок, Г. Б. Как спроектировать учебный процесс по курсу Текст.: учеб. пособие для преподавателей / F. Б. Скок. Новосибирск: НГТУ, 2001. -80 с.

69. Соловьёва, Т. В. К вопросу о математическом моделировании процесса тестирования Текст. / Т. В. Соловьёва // Вестник Хакасского техн. инст-та филиала КГТУ. - 2004. - Вып. 17. - С. 285-289.

70. Солодов, В. А. Система экспертного анализа знаний на основе программных имитаторов искусственных нейронных сетей Текст.: автореф. .канд. техн. наук: 05.13.01 / В. А. Солодов. Таганрог, 2008. - 110 с.

71. Спицын, В. Г. Базы знаний и экспертные системы Текст.: учеб. пособие / В. Г. Спицын. Томск: ТПУ, 2001. - 88с.

72. Толковый словарь по искусственному интеллекту Текст. / сост. А. Н. Аверкин, М. Г. Газе-Раппопорт, Д. А. Поспелов. М.: Радио и связь, 1992. - 256 с.

73. Тэрано, Т. Прикладные нечёткие системы Текст.: пер. с япон. / Т. Тэрано, К. Асаи, М. Сугэно. М.: Мир, 1993. - 368 с.

74. Тягу нова, Т. Н. Философия компьютерного тестирования Текст. / Т. Н. Тягунова М:: МГУП, 2003. - 246 с.

75. Углев, В. А. Анализ неопределённости тестовых заданий в зависимости от типа вопроса Текст.' / В. А. Углев, В. А. Устинов // Информационные технологии в науке, образовании и экономике: материалы 1ЬВсероссийской науч. конф. Якутск, 2007. - С. 173—176.

76. Углев, В. А. Влияние целей проведения и условий организации компьютерного тестирования на эффективность проявления, знаний Текст. / В. А. Углев // Системы и модели: границы интерпретации: материалы Всероссийской науч. конф. — Томск, 2007. С. 192-194.

77. Углев, В. А. Возможности новых информационных технологий при проведении тестирования и обучения Текст. / В. А. Углев, В. А. Устинов // Вестник Хакасского технического института — филиала КГТУ. — 2005.— № 19.- С. 165-171.

78. Углев, В. А. Методы нечёткой логики при уточнении результатов тестирования Текст. / В. А. Углев // Молодёжь и наука: начало XXI века: материалы Всероссийской науч.-техн. конф — Красноярск, 2006. — Ч. 1. — С. 301-304.

79. Углев, В. А. Модель адаптации при обучающем адаптивном компьютерном тестировании Текст. / В. А. Углев // Теоретические и прикладные вопросы современных информационных технологий: материалы Всероссийской науч.-техн. конф. Улан-Удэ, 2006. - С. 238-242.

80. Углев, В. А. Модель оценивания при обучающем адаптивном компьютерном тестировании Текст. / В. А. Углев // Информационно-вычислительные технологии и их приложения: материалы V Международной науч.-техн. конф. Пенза, 2006. - С. 312—315.

81. Углев, В. А. Модель структурной адаптации электронных учебных курсов с помощью обучающего компьютерного тестирования Текст. / В. А. Углев, В. А. Устинов, Б. С. Добронец // Вестник ИГУ. 2009. — Вып. 2. - Том 7 — С. 74—87.

82. Углев, В. А. Модуль создания экспертных систем с нечёткой логикой для среды программирования Delphi «FLMmodul.pas». М.: ОФАП, 2005. - номер госрегистрации (ЕСПД) - 03524577.01145-01 99 01.

83. Углев, В. А. Некоторые аспекты разработки программ для обучающего компьютерного тестирования Текст. / В. А. Углев, В. А. Устинов // Наука. Технологии. Инновации: материалы Всероссийской науч. конф. Новосибирск, 2006. -42.- С. 70-72.

84. Углев, В. А. Обработка факторов процесса тестирования для базы знаний оценки обучающего теста Текст. / В. А. Углев // Современные проблемы информатизации в моделировании и социальных технологиях. -Вып. 13.-Воронеж, 2008.-С. 181-185.

85. Углев, В. А. Обучающее компьютерное тестирование Текст. / В. А. Углев // Теоретические и прикладные вопросы современных информационных технологий: материалы VIII Всероссийской науч.-техн. конф. Улан-Удэ, 2007. - С. 312-316.

86. Углев, В. А. Обучающее компьютерное тестирование как инструмент управления индивидуализацией траектории обучения Текст. /

87. B. А. Углев, В. А. Устинов // Решетневские чтения: материалы XII Международной науч. конф. Красноярск, 2008. - С. 364-366.

88. Углев, В. А. Оценка возможностей случайных тестовых выборок Текст. / В. А. Углев, В. А. Устинов // Вестник Хакасского технического института филиала КГТУ. - 2006. - № 21. - С. 260-269.

89. Углев, В. А. Разработка экспертных систем с применением внешних модулей Текст. / В. А. Углев, Б. С. Добронец // Молодёжь и наука: начало XXI века: материалы Всероссийской науч.-техн. конф. — Красноярск, 2006.-Ч. 1.-С. 305-306.

90. Углев, В.А. Система обучающего адаптивного компьютерного тестирования. М.: ОФАП, 2006. - номер госрегистрации (ЕСПД) -03524577.01414-01.

91. Углев, В. А. Системный подход к процессу обучающего компьютерного тестирования Текст. / В. А. Углев, В. А. Устинов, Б. С. Добронец // Информационные технологии. 2008. — № 4 — С. 81-87.

92. Углев, В. А. Статистический анализ результатов тестирования в адаптивной системе обучения и контроля Текст. / В. А. Углев, В. А. Устинов // Наука и образование: материалы VI Международной науч. конф. Белово, 2006.-Ч. 1.-С. 569-573.

93. Углев, В. А., Дулесов, В. А. Создатель интеллектуальных систем на основе нечёткой логики. — М.: ОФАП, 2005. — номер госрегистрации (ЕСПД)-02069740.00000-01 99 01.

94. Ульянов, Д. А. Марковская модель адаптивного тестирования и ее программная реализация в условиях дистанционного обучения Текст.: дис. . канд. техн. наук: 05.13.18 / Д. А. Ульянов. Иркутск, 2005. - 164 с.

95. Ульянов, Д. А. Элементы адаптивного тестирования в системе дистанционного обучения основанного на стандарте SCORM Текст. / Д. А. Ульянов // Вестник ИрГТУ. Иркутск, 2003. - С. 114-117.

96. Устинов, В. А. Структура жизненного цикла электронных учебных курсов Текст. / В. А. Устинов, В. А. Углев // Интеллектуальные ресурсы ХТИ Филиала СФУ - Хакасии - 2007. - Красноярск, 2007. - С. 211-212.

97. Устинов, В. А. Структура электронного учебного курса Текст. / В. А. Устинов, В. А. Углев // Информатика и образование. 2007. - № 8 - С. 123-125.

98. Фельдман, Я. А. Качество образования и компьютеры Текст. / Я. А. Фельдман // IT-инновации в образовании. М., 2005. — С. 227-229.

99. Царегородцев, А. В. Математическое моделирование управляющих систем Текст.: учеб. пособие / А. В. Царегродцев. — М.: РУНД, 2003.-80 с.

100. Цибульский, Г. М. Автоматизированные обучающие системы Текст. / Г. М. Цибульский, А. М. Кутьин, Е. И. Герасимова, В. А. Ерошин // Вестник КГТУ. Математические методы и моделирование. — Красноярск, 2004. Вып. 33. - С. 267-286.

101. Чепегин, В. И. ПСС система обучения в стиле "Попробуй свои силы" Электронный ресурс. / В. И. Чепегин. — Режим- доступа: http://wwwis.win.tue.nl/asum99/.

102. Эрман, Е. А. Автоматизированная обучающая система с расширенными функциями тестового контроля, знаний, анализа и классификации информации Текст.: дис. . канд. техн. наук: 05.13.10 /Е. А. Эрман. -М.: РГБ, 2005. 150 с.

103. Triantafillou, Е. Computerized Adaptive Test — Adapting to What? Text. / E. Triantafillou // Informatics Education Europe II Conference. SEERC. -2007.-P. 379-385.

104. Georgiadou, E. Evaluation Parameters for computer adaptive testing Text. / E. Georgiadou, E. Triantafillou, A. Economides // British Journal of Educational Technology. 2006. - Vol. 37, № 2. - P. 261-278.

105. Kiv, A. T. Computer testing of operator's creative thinking Text. / A. T. Kiv, V. G. Orischenko, L. D. Tavalika, S. Holmes // Computer Modelling & New Technologies. 2000. - Vol. 4, № 2. - P. 107-109.

106. Rudner, L. An On-line, Interactive, Computer Adaptive Testing Tutorial Electronic resource. / Lawrence M. Rudner. Mode of access: http://edres.org/scripts/cat.

107. The International Journal of Artificial Intelligence in Education Electronic resource. Mode of access: http://aied.inf.ed.ac.uk.

108. Zadeh, L. A. Fuzzy Sets Text. / L. A. Zadeh // Information and control. New York, 1965. - № 8. - P. 338-353.