автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Принятие решений при оценивании знаний и управлении в интерактивной обучающей системе

На правах рукописи

ТУМБИНСКАЯ Марина Владимировна

ПРИНЯТИЕ РЕШЕНИЙ ПРИ ОЦЕНИВАНИИ ЗНАНИЙ И УПРАВЛЕНИИ В ИНТЕРАКТИВНОЙ ОБУЧАЮЩЕЙ СИСТЕМЕ

Специальность: 05.13.10 - Управление в социальных и экономических системах

1 7 НОЯ 2011

автореферат

диссертации на соискание учёной степени кандидата технических наук

Уфа-2011

005002306

Работа выполнена на кафедре систем информационной безопасности ФГБОУ ВПО «Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ»

Научный руководитель

канд. тех. наук, доцент

АЛЕКСАНДРОВА Людмила Авенировна

Официальные оппоненты

д-р техн. наук, проф.

ЧЕРНЯХОВСКАЯ Лилия Рашитовна,

Уфимский государственный авиационный технический университет

канд. тех. наук, д-р пед. наук, проф. ЗАЙНУТДИНОВА Лариса Хасановна,

Астраханский государственный университет

Ведущая организация

ФГАОУ ВПО Казанский (Приволжский) федеральный университет, г. Казань

Защита состоится 1 г. в 10:00 часов

на заседании диссертационного совета Д-212.288.03 при Уфимском государственном авиационном техническом университете по адресу: 450000, Уфа, ул. К. Маркса, 12.

С диссертацией можно ознакомиться в библиотеке университета

Автореферат разослан «_» ■_2011г.

Учёный секретарь диссертационного совета, д-р техн. наук, проф. ' "7" % В. В. Миронов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Аюуальность темы. Процессы глобализации информационного пространства, внедрение современных образовательных технологий изменяют подходы к решению традиционных вопросов образования. В последнее десятилетие остро строит проблема создания единого образовательного пространства. Единое образовательное пространство - это единые электронные образовательные ресурсы, совместимые обучающие платформы, системы, общие технологии обучения и управления процессом обучения, позволяющие выполнять стыковку с мировым образовательным процессом, осуществлять обмен электронными ресурсами.

В настоящее время обилие программного обеспечения для реализации электронного обучения не решает сформулированную проблему. Общим недостатком таких систем является их узкая направленность на решение отдельных задач процесса обучения и разрозненные структуры информационных ресурсов. С другой стороны существует гибкое программное обеспечение, которое позволяет управлять процессом обучения, но я&тяется сложным для пользователя и поэтому менее востребовано. Это вызвано отсутствием моделей обучающих систем, гибких алгоритмов обучения, интерактивных моделей, методов качественного оценивания знаний и выявления компетенций, алгоритмов поддержки принятия решений, позволяющих управлять объектом обучения. В связи с этим, возникает необходимость в разработке полнофункциональной модели обучающей системы, модели управления объектом обучения, процессом оценивания знаний, алгоритмов поддержки принятия решений при оценивании знаний и выявлении компетенций, алгоритмов подготовки качественного тестового материала для достоверного оценивания знаний и выявления компетенций с использованием современных информационных технологий.

Необходимость решения этих вопросов определили актуальность темы диссертационной работы, предопределили ее цель и задачи.

Проведенный анализ исследований в области обучающих систем в работах зарубежных и российских ученых, посвященных: развитию моделей программированного обучения (Н. Ф. Талызина, В. П. Беспалько, Е. С. Полат, В. Skinneiy и др.), созданию моделей обучаемого в обучающих системах (Г. А. Атанов, И. X. Галлеев, Н. Ю. Добровольская, JL В. Зайцева, Г. С. Курганская, М. Б. Челышкова, J. Self и др.), созданию мультимедийных и интерактивных обучающих систем (Н. Г.Семенова, Т. Т. Сидельникова, Д. А. Темников), моделей процесса оценивания знаний и выявления компетенций (В. С. Аванесов, А. Бирнбаум, Н. Б. Кунтурова, Г. Раш, Т. Н. Тягунова, Д. И. Попов и др.), созданию моделей управления в обучающих системах (В. Б. Кудрявцев, К. Vaschik), адаптивных моделей обучения (П. JI. Брусиловский, В. И. Глова, JI. А. Растригин, Р. De Bra, A. Kobsa, G. Knap, G. Weber и др.), созданию распределенных автоматизированных обучающих систем (А. И. и И. А. Башмаковы, А. В. Соловов, R. Sisón, С. Tan и др.), оценке качества электронного обучения и совершенствованию процесса упрашгения учебным процессом (М. Б. Гузаиров, JI. А. Громова, и др.) позволил выявить имеющиеся недостатки.

Объектом исследования являются процессы обучения и оценивания знаний на основе тестовых технологий в информационных обучающих системах.

Предметом исследования являются методы поддержки принятия решений при управлении объектом обучения с использованием информационных обучающих систем.

Цель работы и задачи исследования. Целью работы является повышение качества оценивания знаний объекта обучения на основе разработанных моделей, метода, алгоритмов поддержки принятия решений при оценивании знаний и управлении в интерактивной обучающей системе.

В соответствии с поставленной целью в работе определены следующие задачи.

1. Выполнить анализ существующих подходов к управлению объектом обучения с использованием обучающих систем, моделей, средств их создания, по результатам которого выявить проблемы и недостатки существующих обучающих систем, разработать структурную схему управления объектом обучения.

2. Разработать комплекс моделей интегрированной интерактивной обучающей системы (ИИнОС), включающий теоретико-множественную и функциональную модели системы, модель подсистемы оценивания знания, позволяющий автоматизировать процесс разработки обучающих систем, разработать модель формирования управляющих воздействий на объект обучения для обеспечения поддержки принятия решений при управлении процессом оценивания знаний.

3. Разработать метод оценивания знаний и выявления компетенций объекта обучения с использованием расширенной шкалы градаций ответа на тестовое задание.

4. Разработать алгоритмы поддержки принятия решений о корректности тестового материала, на основе структурно-синтаксического анализа тестового задания, о назначении весовых коэффициентов сложности содержания тестового задания (ТЗ), при управлении процессом тестирования, обеспечивающие повышение качества тестового материала и качества процесса оценивания знаний.

5. Разработать программное обеспечение оценивания тестовых заданий, позволяющее получать их количественную и качественную оценку. Оценить эффективность предложенной модели интерактивной подсистемы оценивания знаний, в частности метода оценивания и алгоритмов поддержки принятия решений.

Методы исследования. Для решения поставленных задач в диссертационной работе использовались: методы системного анализа, управления, обработки информации, принятия решений, теории вероятностей и математической статистики, теорий множеств, алгоритмов, автоматов, распознавания образов, кластерного анализа.

На защиту выносятся:

1) структурная схема управления объектом обучения;

2) комплекс моделей интегрированной интерактивной обучающей системы;

3) метод оценивания знаний и выявления компетенций «Штрафов и поощрений»;

4) алгоритмы поддержки принятия решений о корректности тестового материала, назначении веса тестового задания;

5) программное обеспечение оценивания тестовых заданий, результаты экспериментальных исследований по эффективности предложенной модели интерактивной подсистемы оценивания знаний.

Научная новизна работы заключается в следующем.

1. Предложена структурная схема управления объектом обучения, отличительной особенностью которой является интерактивность и гибкость процесса обучения и оценивания знаний, позволяющая адаптировать учебный процесс под внешние воздействия, в частности ФГОС, имеющиеся в вузе среды электронного обучения, индивидуальные характеристики объекта обучения.

2. Разработана теоретико-множественная модель интегрированной интерактивной обучающей системы, отличительной чертой которой является параметрический анализ существующих подсистем обучающих сред, в частности системы В1аскВоал1, которая позволяет формировать требования к ИИнОС, автоматизировать процесс разработки обучающих систем. Предложена конечно-автоматная модель в виде асинхронного автомата Мили для формирования управляющих воздействий на объект обучения по результатам оценивания знаний, позволяющая повысить качество полученных знаний.

3. Предложен метод оценивания знаний и выявления компетенций (метод «Штрафов и поощрений»), отличительной чертой которого является расширенная шкала градаций ответа на тестовые задания, позволяющая повысить достоверность оценки знаний, выявить компетенции, индивидуализировать управляющие воздействия на объект обучения.

4. Разработаны алгоритмы поддержки принятия решений о корректности тестового материала, назначении веса тестового задания, отличительной особенностью которых является структурно-синтаксический анализ тестового материала на соответствие предложенным критериям, анализ используемых форм тестовых заданий, определение количественных и качественных характеристик тестовых заданий на основе метода парных сравнений и метода анализа иерархий, позволяющие повысить качество тестового материала, достоверность оценки знаний и уровня компетентности объекта обучения.

5. Предложено программное обеспечение оценивания тестовых заданий, новизна которого обусловлена реализацией предложенных моделей ИИнОС и алгоритмов поддержки принятия решений, что позволяет анализировать качество тестового материала и обеспечивать поддержку принятия решений в интерактивном режиме.

Практическая значимость и внедрение результатов работы.

Практическую ценность имеют:

1) теоретико-множественная модель ИИнОС, позволяющая за счет существующих компонентов упростить процедуру проектирования обучающих систем, создавать высокоэффективные обучающие ресурсы;

2) конечно-автоматная модель формирования управляющих воздействий реализующая интерактивное управление объектом обучения, обеспечивающая процесс обучения активной обратной связью;

3) метод «Штрафов и поощрений» для оценивания знаний и выявления компетенций, позволяющий за счет расширенной шкалы градаций ответов на ТЗ осуществлять поддержку принятия решений при оценивании знаний и выявлении компетенций, получать более достоверный результат оценивания;

4) алгоритмы поддержки принятия решений, которые положены в основу разработанного программного обеспечения;

5) программное обеспечение позволяющее сократить временные и трудовые ресурсы при формировании банка качественных тестовых материалов, результаты экспериментальных исследований, подтверждающие работоспособность программного обеспечения и эффективность предложенной модели интерактивной подсистемы оценивания знаний.

Результаты проведенных исследований внедрены в учебный процесс КНИТУ-КАИ и используются при подготовке специалистов технических специальностей; прошли успешную апробацию и внедрены в ООО «Центр развития информационных технологий» г. Казань; используются в качестве ассистирующего

инструментария при сертификации тестового материала в «Инженерном центре информационных технологий», г. Казань.

Апробация работы и публикации. Основные положения и результаты диссертационной работы докладывались и обсуждались на: международных научно-практических и научно-методических конференциях «Инновационное образование в техническом университете» г. Казань, 2004 г.; «VIII Королевские чтения» г. Самара, 2005 г.; «Информационная культура в системе подготовки будущего инженера» г. Нижнекамск, 2006 г.; «XIV Туполевские чтения» г. Казань,

2006 г.; «Информационные технологии в науке, образовании и производстве», г. Казань, 2007 г; «Инфокоммуникационные технологии глобального информационного общества» г. Казань, 2007 г., 2008 г.; «XV Туполевские чтения» г. Казань,

2007 г.; «Наука и профессиональное образование» г. Нижнекамск, 2007 г.; «Технологии электронного обучения в современном вузе» г. Минск, 2008 г.; «Наука и профессиональная деятельность» г. Нижнекамск, 2008 г.; «XVI Туполевские чтения» г. Казань, 2008 г.; «XXXIV Гагаринские чтения» г. Москва, 2008 г.; «Проблемы техники и технологий телекоммуникаций ПТиТТ-2008» г. Казань,

2008 г.; «XXXVI Гагаринские чтения» г. Москва, 2010 г.

Основные положения, представленные в диссертации опубликованы в 27 работах, в том числе 2 статьи в рецензируемых журналах, рекомендованных ВАК, 4 статьи и 21 работа в материалах и трудах конференций.

Структура и объём диссертации. Диссертация изложена на 167 страницах машинописного текста, содержит 73 рисунка, 37 таблиц, состоит из введения, четырёх глав, заключения, списка использованной литературы из 169 наименований на 16 страницах.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, сформулированы объект, предмет, цель и задача исследования, отмечены методы исследования, достоверность и новизна полученных результатов, их практическая ценность, приведены данные о публикациях, апробации и реализации результатов, сформулированы научные положения, выносимые на защиту. Приведены данные о структуре и объеме диссертации, дан краткий обзор диссертации по главам.

В первой главе проведен анализ вопросов организации и управления процессом электронного обучения с использованием информационных обучающих систем. Определена цель, назначение и состояние электронного обучения в современном обществе. Проанализированы модели обучающих систем, инструментальные средства их создания российского и зарубежного производства, выявлены их преимущества и недостатки. Построена структурная схема управления объектом обучения. Поставлены задачи по разработке метода, моделей, алгоритмов поддержки принятия решений, которые позволят повысить качество оценивания знаний и выявления компетенций, индивидуализировать управляющее воздействие на объект обучения.

Анализ обучающих систем выполнен по следующим признакам: структуре, функционатьным возможностям, по принципам управления (интерактивности), методам оценивания знаний и компетенций, алгоритмам тестирования и управления процессом оценивания знаний. Проведен сравнительный анализ наиболее распространенных программных средств создания электронных ресурсов и организации электронного обучения. Анализ программных средств проведен по полноте функционального наполнения, открытости, гибкости составных элементов, возможности управления процессами обучения и тестирования. Анализ показал, что в настоящее

время существуют универсальные средства, которые позволяют создавать многофункциональные качественные обучающие системы, однако для массового их использования должны быть универсальные технологии создания и проектирования систем электронного обучения, обобщенные модели интерактивной обучающей системы и ее подсистем, модели оценивания знаний и выявления компетенций, алгоритмы принятия решений и управления процессами обучения, модели адаптации обучающего процесса к возможностям объекта обучения.

Анализ показал, что большинство обучающих систем представляют собой хранилище учебных и тестовых материалов, предъявление которых осуществляется по заданному сценарию, уровень представления учебных материалов в системе рассчитан на «среднего» обучаемого, алгоритмы управления процессом обучения характеризуются жесткой последовательностью действий с пассивной обратной связью, модуль подготовки тестовых материалов отсутствует, оценивание знаний на основе тестовых технологий выполняется по принципу сравнения с эталоном, не рассматриваются вопросы выявления компетенций, определения компетентности объекта обучения, отсутствует модуль поддержки принятия управленческих решений, не затрагиваются вопросы исследования личностных характеристик обучаемого. Таким образом, существующие обучающие системы не являются полнофункциональными и не позволяют всесторонне управлять процессом электронного обучения На основе проведенного анализа сделан вывод о необходимости разработки комплекса моделей интегрированной интерактивной обучающей системы, определения базового компонентного наполнения, алгоритмов поддержки принятия решений при управлении процессом обучения и оценивания знаний, при оценивании тестового материала.

На основе анализа в работе предложена структурная схема управления объектом обучения, которая представлена на рис. 1.

1 <ЫОС г

1 впо

150 9001:2001

требования к качеству ТЗ

Ж

=й.

модуль адаптации к измененным требов;

4-

модификация (обработка) ТЗ

Принцип работы алгоритмов прйня/ __оценивания

ЛБанкI '

1 « Г Г

оценивание

■ — знаний и -

Г "*■ компетенций

1 1 11

1 интерактивное

управление

Бага

Принцип работы модуля интерактивности

- управляющие механизмы процесса обучения

- изменяемые требования в процессе обучения

я решений модуля

14 15-

задания

некачественные тестовые задания модифицированные тестовые задания управляющие воздействия на объект обучения

и приобретенные компетенции объектом обуче! знаний и компетентность объекта обучения сценарий интеряктнвного управления параметры объекта обучения в процессе оценивания параметры и состояния объекта обучения в процессе

Рисунок 1

- некорректные тестовые задания 16-тестовые задания с назначенным весом 17 - решающие правила

- Структурная схема управления объектом обучения

Таким образом, проведенный анализ выявил актуальные задачи для решения в данной диссертационной работе, которые позволят упростить процесс разработки обучающих систем, повысить качество обучения, качество функционирования системы, повысить эффективность управления процессом электронного обучения.

Во второй главе предложен комплекс моделей интегрированной интерактивной обучающей системы, включающий теоретико-множественную и функциональную модели системы. Выполнен параметрический анализ струкгурно-функциональ-ных подсистем ИИнОС.

В данной работе под подсистемой будем понимать модуль, пакет или компонент, выполняющие определенные функции.

Теоретико-множественная модель интегрированной интерактивной обучающей системы М03={к,Р,Ргкм ,Кот^ объединяет модели структурно-

функциональных подсистем К = {к1 ]г = 1,л}, параметры Р = (рд5>К1'',ХР° ,РТ), Ргюм - процедуры для формирования компонентов, Кош - выходной параметр системы -уровень компетентности объекта обучения. В качестве параметров Р модели ИИнОС используются Р05 - индивидуальные параметры объекта обучения, К1' - эталонные

образы обучаемых, X - тестовые задания, Р° - параметры алгоритма управления процессом обучения, Рт - параметры алгоритма управления процессом тестирования.

Модели подсистем ИИнОС разработаны на основе структурно-параметрического анализа, в которых входные и выходные параметры обозначены одинаковыми символами (А): А -входные параметры, А -выходные параметры.

Модель подсистемы исследования кх = (Р0!,Р2ИС", Щ необходима для определения индивидуальных характеристик объекта обучения (Я) и адаптации процесса обучения и тестирования под его возможности. В модели подсистемы задействованы первоначальные данные об объекте обучения (Рш ) и множество существующих методик диагностирования (Рг"^). В модели подсистемы к2 = (Й,КГ',РПК1 ,гр,,Щ принимается решение о "принадлежности объекта обучения к эталонным образам (К(- ), на основе его индивидуальных характеристик (Я) с помощью решающих

правил (РП®). Реальный класс объекта обучения (К1) может быть пересмотрен с помощью управляющего воздействия гр,-, формируемое моделью подсистемы кА. Модель подсистемы формирования контента к} ={К1(, ¿с", йт1, гр1, ©у, работает с выходными параметрами моделей подсистем кг, к9, кц. Контент (О) ИИнОС формируется на основе класса объекта обучения (К1-1 ), учебного материала (г™,) и алгоритма управления процессом обучения (5 с°). Контент может быть скорректирован управляющими воздействиями (Яр,). Модель подсистемы обучения к5 =(К11 ¿¡^с^гр^Б',2,к\ работает с алгоритмами управления процессом

обучения ), с контентом (4), сформированными под определенный класс объекта обучения (К/, ). Все состояния и параметры объекта обучения в процессе обучения (5'), фиксируются моделью подсистемы к7. Процесс обучения может корректироваться управляющими воздействиями (гр,)- В процессе обучения объект

обучения приобретает различные виды знаний (2) и компетенции (К ). Оценивание знаний и выявление компетенций осуществляется с помощью модели подсистемы оценивания к6 = ^2,Хк,8с^,Яр,М,К,Кот^ методом (Л/), по алгоритму управления процессом тестирования (БсТ) на основе корректных ТЗ (Хк) с учетом критериев оценивания ТЗ и управляющих воздействий (Яр). В результате оценивания выявляются компетенции (К), на основе которых определяется компетентность объекта обучения (Кот). В данной работе модель подсистемы оценивания представлена в конечно-автоматном и функциональном виде и рассмотрена в главе 3.

Управление объектом обучения в ИИнОС осуществляется с помощью модели подсистемы интерактивного управления кА, которая вырабатывает управляющие воздействия (Яр = \гр1 | г = 1, л}), формируемые на основе состояний и параметров объекта обучения (5'), зафиксированных в процессах обучения, тестирования и

оценивания моделью подсистемы к1. Модель подсистемы обучения кд =

представлена в виде обобщенного алгоритма управления процессом обучения ¡с°, учитывающего все возможные параметры (Р°) процесса обучения. Модель подсистемы тестовых материалов кю = (х,МК,Хк^ формирует корректные ТЗ (Хк) на основе исходных ТЗ (Л") и алгоритма поддержки принятия решения о корректности тестового материала (МК). Алгоритм поддержки принятия решения о корректности тестового материала представлен в главе 3. Модель подсистемы алгоритмов управления процессом тестирования кп =(рт,Рг"^с^ представлена в виде алгоритма

поддержки принятия решений при управлении процессом тестирования 5ст, учитывающего все возможные параметры (_РТ) процесса тестирования и процедуру выбора алгоритма (Лгст). Модель репозитория к7 = ^ А', 5" ^ работает с моделями

подсистем к5, к4, к6 и фиксирует в процессе обучения состояния ($') системы, параметры объекта обучения, в т.ч. приобретенные знания (г) и компетенции ( К ).

Функциональное описание теоретико-множественной модели ИИнОС в нотации ШЕБО представлено на рис. 2. В диссертации модель детализирована до 4 уровня иерархии и содержит 19 диаграмм.

Предложенная теоретико-множественная модель ИИнОС обобщает наиболее значимые существующие модели процесса обучения, тестирования и оценивания.

ФГОГ ВПО учебны

ууокюы»_кклокк_пате

ЯЦСОММЕКРНР

ривислтюу

я процессом обучения

шые лАрым лЛу'И

-------- ь пронес ти

^ конгеит ; обучение

Е

пмлсПстоис (I И» о

тестовый материя

i

1оценитьшанпя

.....|кОм

Рисунок 2 — Основная диаграмма АО функциональной модели ИИнОС

В третьей главе предложена модель интерактивной подсистемы оценивания знаний (ИПоЗ), которая представлена в автоматном и функциональном виде. Определена модульная структура модели ИПоЗ. Разработаны алгоритмы поддержки принятия решений о корректности тестового материала, назначении веса ТЗ. Предложены метод оценивания знаний и выявления компетенций и конечно-автоматная модель формирования управляющих воздействий. Разработан алгоритм поддержки принятия решений при управлении процессом тестирования.

Эффективность обучения находится в прямой зависимости от уровня знаний и компетентности объекта обучения, что определяется достоверностью метода оценивания и качеством тестового материала. В работе оценивание знаний объекта обучения осуществляется с помощью модели интерактивной подсистемы оценивания знаний, на основе тестовых технологий, которая является одной из основных моделей интегрированной интерактивной обучающей системы. В работе модель ИПоЗ представлена в автоматном и функциональном виде. Функциональная модель ИПоЗ -детализация модели ИИнОС (блок АЗ на рис. 2). Структурная схема модели ИПоЗ представлена на рис. 3.

В качестве управляющего механизма в модели ИПоЗ используется модуль ин-теракгивности, описание которого представлено на рис. 1. В модели ИПоЗ используется продукционная модель представления знаний в модели базы знаний. При анализе тестового материала принимаются решения о корректности или некорректности тестовых заданий на основе решающих правил. В процессе анализа тестовых заданий с помощью модуля логического вывода осуществляется поиск решения.

Качество оценивания знаний и выявления компетенций объекта обучения определяется качеством тестового материала, гибкостью алгоритмов управления процессом тестирования и достоверностью метода оценивания. Для определения точного и достоверного результата оценивания знаний в работе предложен алгоритм поддержки принятия решений о назначении веса ТЗ. Алгоритм поддержки принятия

решений о назначении веса ТЗ базируется на весах сложности содержания ТЗ и весах сложности формы ТЗ. В общем виде, вес ТЗ (х;) определяется:

К(х,) = у"'• рх(х1) + %2 ■ Р2<Л))> ' = где Vм - весовой коэффициент уровня сложности класса ТЗ, р] (х;) = с11 - вес сложности содержания ТЗ, который основан на методе парных сравнений, (*/) - вес формы ТЗ, основанный на методе анализа иерархий, , 6 [0;1] - свободные параметры.

Алгоритм сводится к следующим шагам:

a) \/х,- е X классифицируется по степени сложности, т.е. X разбивается на классы простых (А7П), сложных ТЗ (К1С) и ТЗ средней сложности (А7ср);

b)элементы V класса К1п,К1ср,К1с упорядочиваются по степени сложности;

c) упорядоченные ТЗ ранжируются: для \/ху е КГ, т = 13, di = с!1Л + Д, '= 1>7тп > С, 6 [а, б], _/„, - количество элементов в классе А7Ш, Д - шаг приращения, [а, Ь] - минимальная и максимальная градации в классе К1т, определяемые экспертным путем, Д =--, п - количество градаций в классе К1т, с!0 = 0, с10 е [а, Ь].

Вес формы х, ТЗ (Р2 )) определяется на основе сложности формы ТЗ Щу]) И сложности конструкции ответов формы ТЗ где у ■ -/-я форма ТЗ.

Значения параметра (/у) определяются экспериментальным путем. Значения параметра ) определяются методом анализа иерархий.

В работе предложен метод оценивания знаний и выявления компетенций -метод «Штрафов и поощрений» (ШиП) с помощью которого можно определить уровень компетентности объекта обучения. Метод ШиП, основан на следующих параметрах: р{ - вес сложности содержания ТЗ, р2 - вес формы ТЗ, ръ - параметр качества ответа на ТЗ, который оценивается градациями: правильный ответ на ТЗ, неполный правильный, неопределенный и ложный.

«Правильный» ответ (Ра) для конкретной конструкции ответа ТЗ - это полное совпадение с эталоном, «неполный правильный» (Аопределяется правильными элементами в ответе на ТЗ, «ложный ответ» ) - это отсутствие правильных элементов в ответе, «неопределенный» отает (Иу ) - содержит правильные и ложные

элементы в ответе на ТЗ.

Конструкции ответа ТЗ, определяемой множеством элементов

Эх< = (,;< | у = Ц?}, V эх< = {0;1}, ставится в соответствие набор параметров р\1\ъ,

где р -мощность множества истинных элементов, /' - мощность множества ложных

элементов, - мощность множества Э*', У = р' +Г. Ложные Эу' = {о}, истинные

эх/ = {1} и элемент «ловушка» э*' = {о} определяет эксперт.

Ответ объекта обучения на ТЗ х, характеризуется конструкцией О*' = | у = и"}, V о*' = {0;1}. Объект обучения указывает в ответе на ТЗ истинные ох/ = {1} и ложные элементы о*' = {о}. Т.о. конструкции ставится в соответствие набор параметров р\Г,$", где р" - мощность множества истинных элементов, Г -мощность множества ложных элементов, 5" - мощность множества 0х', л" = р" + Г.

6 т

Итоговая оценка знаний определяется: У = а,(х,)' оценка за

у-1 /.1

ответ на х1 ТЗ. Значения параметра оДх,) представлены в таблице.

Значения параметров

Условие принятия решения Г = 0 1"<1',р" = 0 0р =э/',р"20 Г = 0,р" <р' 1"<1',р"<р"

в/*,) А -А -А р'хД Ы-Ра)

где Д + Д свободные параметры.

Итоговая оценка у может бьпъ представлена в шкалах бально-рейтинговой аттестации (/) или традиционной оценкой {у"). Методами кластерного анализа на основе параметров метода ШиП, формируются образы объекта обучения (ОЪг{), которые в работе рекомендуется использовать как уровни компетентности, Кот = {ОЬг^\,Ы\,к. Компетентность объекта обучения - совокупность приобретенных компетенций объекта обучения К = \к1 \ у = 1,я}, которые выявляются с помощью тестов {£],£2,:

I* /} 1Ы> /2: 1М Кот ■ Компетенция [1, если у > р

к определяется на основе значений у, к,=< _ „, где (р - пороговое

' ' [0, если у < (р

значение, определяемое экспертом.

Основное преимущество предложенной модели ИИнОС заключается в модели подсистемы интерактивного управления. Современная обучающая система должна быть гибкой. Гибкость системы, отклик на различные отклонения от типового сценария обучения, тестирования, должен выражаться в реакциях системы, в качестве управляющих воздействий. В работе модель подсистемы интерактивного управления кл представлена в виде конечного автомата (рис. 4), который по результатам оценивания формирует управляющие воздействия: ^ = , где А = {а0,а2,...,ап} -конечное множество внутренних состояний, X = {хих2,...,х23} - множество входных сигналов, У = {У\,У2,—,У2б} ~ множество выходных сигналов, функция перехода 3: Ах. X С, функция выхода А : ЛхХ -> Г.

Функции выходов: Л =/{а3,хх),у2 =/{а5,х2),у3 =/(а7,х3), у4 ^/(а13,х4), У5=Ла4,х5), у в = /(а{,х6), у7=/(аи,х7), у& =/(а18,*8), у9=/(а1&,х9), У\о = /(а1,*м)>Уи =/(«17.*п). У\2 =Аа9>хи)> У13 =/(вю,*1з)> Ум =/(а6,хи), У\5 =/(а7.^15).Лб=/(«7.*1б).Л7 = /(а№>х\т}> УМ =/(а«,Х1&),У19=/{а14,Х2), У20 =/(а0,х1), У21=/{а12,хп), У22 = /(ап,х23), у23 = /(а2,х19), у24 = /(а16,х20), Ун = Ла14>х22')>У26 = Ла1'х2\)-Функции переходов: /(аа,х7)=аи/(аихт)= а3,

/(а3>х\)= а6> /(вб.*14) = а7> /(а7>*з) = а12. /(а12>х\о) = а\4> /(а14, *22 ) = й15 > /{ан,х2) = а0, /(а7,х15)=я10, /(а7,х16) = а9, /(09,^2) = я0, /{а0,х7) = аь

/(а10.*1з)=а0> /(«5.^2)= «о. /(а4>х5)= а5> /(а17>хп) = а4> /(а17,Х7)= а,, /(а16>*2о) = а17> /(а2,х19)=а1б, /(а],хб) = а2> /(а,з,х4) = аб, /(а18,х17) = а13, Ла]8'х9) = а8> /(а\Ъ>ч) = аи, /{ап,х2г) = а14, /(а8,х18)=а14, /{а7,х21) = ап.

Сущность интерактивного управления процессом оценивания знаний и выявления компетенций заключается в гибкости сценариев тестирования, в соответствии с предложенным в работе алгоритмом поддержки принятия решений при управлении процессом тестирования.

Повышение качества процесса оценивания знаний и выявления компетенций, достоверности его результата достигается с помощью качественного материала. Для определения качества тестового материала в работе разработан алгоритм поддержки принятая решений о корректности тестового материала. Тестовый материал - это совокупность тестовых заданий. Оценивание тестового материала сводится к структурно-синтаксическому анализу и требует непосредственного участия преподавателя-эксперта.

Алгоритм поддержки принятия решений о корректности тестового материала сводится к следующим шагам: _

Шаг 1. Преподаватель-эксперт подготавливает множество ТЗ X = 1 /' = 1 ,т),

выбирает из предложенного набора критериев, те \рГ }е Р, г = 1,а, по которым будет осуществляться структурно-синтаксический анализ ТЗ (основными критериями являются: корректность формулировки вопроса ТЗ, ответа ТЗ, соответствие ТЗ предметной области и др.).

Шаг 2. Для каждого х, определяется значение критериев ру.

Шаг 3. С помощью решающих правил РП,,РП2 определяются классы корректных и некорректных ТЗ.

Шаг 4. Принимается решение о корректности или некорректности ТЗ.

Шаг 5. Выдаются рекомендации преподавателю по модификации некорректных тестовых заданий.

В четвертой главе введены показатели качества оценивания знаний и выявления компетенций. Описана методика проведения экспериментальных исследований качества предложенной модели интерактивной подсистемы оценивания знаний с использованием методологии квалиметрии. Выявлены параметры, влияющие на показатели качества, и определены их экспериментальные зависимости. Показано, что предложенный метод «Штрафов и поощрений» позволяет выявить образы, которые отражают уровень компетентности объекта обучения. Описана структура и предложена реализация программного обеспечения оценивания тестовых заданий, которое позволяет выполнить структурно-синтаксический анализ тестового материала, обеспечить информационную поддержку принятия решений о корректности, назначении веса сложности тестовым заданиям.

В работе введены следующие показатели качества: время тестирования (гср),

процент правильных ответов наТЗ(р), эффективность модели ИПоЗ (Д). Проведено экспериментальное исследование зависимости предложенных показателей от параметров: корректность ТЗ, формаТЗ, градации ответа на ТЗ. В эксперименте участвовали 1450 -1500 обучаемых института ТКиИ КНИТУ-КАИ.

Методика проведения экспериментальных исследований, предложенная в работе, заключается в следующем:

1) определить влияние параметра «корректность ТЗ» на качество оценивания

знаний и выявления компетенций;

2) определить выигрыш Гср за счет корректного тестового материала;

3) определить влияние параметра «форма ТЗ» на качество оценивания знаний

и выявление компетенций;

4) выявить влияние расширенной шкалы градаций ответа на ТЗ на качество оценивания знаний и выявление компетенций, определить образы объекта обучения;

5) определить пороговые значения параметров^, у метода ШиП;

6) определить эффективность использования предложенной модели ИПоЗ.

Для эксперимента были разработаны ТЗ для определения различных компетенций объекта обучения. Корректность ТЗ определялась критериями щ-п-,. Полученные результаты представлены на рис. 5. Из рисунка 5 видно, что наиболее значимыми критериями корректности являются п6 и п-, (длина вопроса меньше 2 строк, меньше 3 строк). Сокращение длины вопроса ТЗ до 1 строки дает увеличение показателя р

р,% 100

Кр|ггерин корректности (л;

Рисунок 5 - Зависимость результата -тестирования от корректности ТЗ

: = 1 С £ '

Рисунок 6 - Гистограмма распределения весов сложности форм ТЗ

в среднем на 74,5%. Исключение нестрогих слов в ТЗ также дает повышение показателя р на 17%. Присутствие в ТЗ слов повелительного наклонения дает изменение показателя р на 6%. После общей корректировки ТЗ р увеличивается в среднем на 32%. Эксперимент показал, что увеличение показателя /ср в 1,33 раза произошло за счет использования корректного тестового материала.

В работе исследовано влияние форм ТЗ на качество оценивания знаний и выявления компетенций. Определены веса сложности форм ТЗ (рис. 6). Гистограмма показывает, что наименьший вес имеет закрытая форма ТЗ с одним правильным элементом конструкции ответа, а наибольший вес - формы ТЗ на упорядочивание, соответствие и конструирование. Определение весов ТЗ позволяет повысить точность, достоверность оценки знаний и выявления компетенций объекта обучения. Фрагмент результата эксперимента представлен на рис. 7.

I :

2 А 5 6 7 8 9 19 58 34 95 95 67 32 94 88 45

порядковый номер ТЗ

Рисунок 7—Экспериментальные данные по определению веса ТЗ

□ рейтинг группы

номор группы

Рисунок 8 - Динамика рейтинга студентов

В работе показано, что введение расширенной шкалы градаций метода ШиП, позволяет выявить компетенции объекта обучения. Путем кластерного анализа, выявлены 4 образа, отражающие уровни компетентности {ОЪг^1 = 1^4). Экспериментальным путем для каждого образа определены значения параметров.

Для определения эффективности предложенной модели ИПоЗ был проведен эксперимент, в котором участвовали студенты 1 и 3 курсов (выборка составила 175

человек). Студенты 1 курса обучались традиционно, студенты 3 курса - с использованием модели ИПоЗ. Показатель Д определялся на основе рейтинга студентов, динамика результатов эксперимента показана на рис. 8, Д в среднем повысилась в 1,3 раза. В работе предложено программное обеспечение оценивания ТЗ.

Программное обеспечение оценивания ТЗ разработано для решения задач структурно-синтаксического анализа банка ТЗ, определения веса ТЗ и выработки рекомендаций по модификации ТЗ. Апробация программного обеспечения была проведена на тестовых материалах различных дисциплин, читаемых в КНИТУ-КАИ.

Результаты экспериментальных исследований показали, что качественный тестовый материал и метод ШиП позволяют дать более обоснованную оценку знаний и компетенций объекта обучения, способствуют повышению эффективности принимаемых решений по управлению процессом обучения.

В заключении диссертационной работы сформулированы научные результаты, полученные в ходе её выполнения, намечены направления перспективных исследований.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Выполнен анализ моделей обучающих систем и инструментальных средств их создания, по результатам которого выявлены проблемы и недостатки существующих обучающих систем, предложена структурная схема управления объектом обучения, позволяющая повысить качество процесса оценивания знаний и выявления компетенций, совершенствовать управление объектом обучения.

2. Разработан комплекс моделей интегрированной интерактивной обучающей системы, включающий теоретико-множественную и функциональную модели системы, модель подсистемы оценивания знания, модель формирования управляющих воздействий на объект обучения, позволяющий выявить параметрические взаимосвязи подсистем ИИнОС, автоматизировать процесс разработки обучающих систем, обеспечить поддержку принятая решений при формировании управляющих воздействий по результатам оценивания и выявления компетенции.

3. Предложен метод оценивания знаний и выявления компетенций объекта обучения - метод «Штрафов и поощрений», основанный на использовании весовых коэффициентов тестовых заданий, расширенной шкалы градаций ответа на тестовые задания, позволяющий получить дифференцированную оценку знаний, выявить компетенции и определить уровень компетентности объекта обучения.

4. Разработаны алгоритмы поддержки принятия решения о корректности тестового материала, реализующие метод оценивания знаний, позволяющие автоматизировать процесс структурно-синтаксического анализа и модификации тестовых заданий, процесс оценивания их сложности. Разработан алгоритм поддержки принятия решений при управлении процессом тестирования, позволяющий адаптировать его под индивидуальные характеристики объекта обучения и требования преподавателя.

5. Разработано программное обеспечение оценивания тестовых задании, позволяющее анализировать тестовый материал на корректность, определить вес сложности тестовых заданий, обеспечить информационную поддержку принятая решений

преподавателю при создании банка тестовых заданий, сократить время подготовки банка тестовых заданий, повысить качество тестового материала, сократить время тестирования, увеличить процент правильных ответов, повысить рейтинг объекта обучения.

Для определения эффективности предложенной модели интерактивной подсистемы оценивания знаний разработана методика экспериментальных исследований. Эксперимент показал, что использование корректных тестовых заданий сокращает общее время тестирования на 25%, увеличивает процент правильных ответов за счет сокращения длины вопроса тестового задания на 79%, за счет удаления размытых формулировок - на 17%. Экспериментально определен вес форм тестового задания.

В результате экспериментальных исследований выявлена эффективность предложенного метода, моделей и алгоритмов. Эксперимент показал, что использование предложенной модели ИПоЗ позволяет обеспечить переход к более качественному оцениванию знаний и выявлению компетенций объекта обучения, увеличить процент обучаемых, имеющих достаточный уровень компетентности, за счет повышения рейтинга студентов, в среднем на 16,7%, что в дальнейшем способствует более эффективному трудоустройству объекта обучения и его адаптации на рынке труда.

Разработанные модели, метод, алгоритмы поддержки принятия решений, программное обеспечение могут быть использованы: в качестве информационной, методологической и технологической поддержки образовательной деятельности учреждений; в качестве поддержки принятия решений при диагностике, оценивании социальных и организационных процессов; в качестве основного инструмента при работе с бально-рейтинговой системой; в качестве ассистирующего инструментария при оцениваний ТЗ, формировании банка ТЗ; для сертификации качества тестового материала.

ОСНОВНЫЕ ПУБЛИКАЦИИ

В рецензируемых журналах из списка ВАК

1. Модель интерактивной обучающей системы / М. В. Тумбинская, JI. А. Александрова // Программные продукты и системы. 2009. № 2. С. 175-178.

2. Модель и алгоритмы интерактивного оценивания знаний / М. В. Тумбинская, JI. А. Александрова // Программные продукты и системы. 2009. №3. С. 48-51.

В других экурналах и материалах научных конференций

3. Новые информационные технологии в образовании / М. В. Кузьмина (Тумбинская), Л. А. Александрова // Инновационное образование в техническом университете: международная науч. метод, конф. Казань, 2004. С. 227-229.

4. Использование современных информационных технологий в дистанционном образовании / М. В. Кузьмина (Тумбинская) // VIII Королевские чтения: Всерос. молодежи, науч. конф. с междунар. участием. Самара, 2005. С. 314-315.

5. Методы и методология электронного обучения / М. В. Кузьмина (Тумбин-ская), JI. А. Александрова // Информационная культура в системе подготовки будущего инженера: материалы per. науч. практ. конф. Нижнекамск, 2006. С. 5-6.

6. Анализ и оценивание тестов и тестовых заданий / М. В. Кузьмина (Тумбин-ская) // XIV Туполевские чтения: междунар. молодёжи, науч. конф.: материалы конференции. Казань, 2006. С. 53-55.

7. Использование возможностей искусственного интеллекта на этапах создания обучающих электронных изданий / М. В. Тумбинская, Е. Е. Горелова // Инфо-коммуникационные технологии глобального информационного общества: тез. докл. 5-й ежегодной междунар. науч. практ. конф. Казань, 2007. С. 237-239.

8. Моделирование интерактивного процесса обучения / М. В. Тумбинская, Е. Е. Горелова // Технологии электронного обучения в современном вузе: материалы междунар. науч. практ. конф. Минск, Республика Беларусь: ГИУСТ БГУ, 2008.

9. Адаптивные сценарии в электронном обучении / М. В. Тумбинская // Технологии электронного обучения в современном вузе: материалы междунар. науч. практ. конф. Минск, Республика Беларусь: ГИУСТ БГУ, 2008. С. 105-106.

10. Интерактивность процесса обучения в интеллектуальных обучающих системах / М. В. Тумбинская, Е. Е. Горелова // XVI Туполевские чтения: материалы междунар. молодёжи, науч. конф. Казань, 2008. С. 105-107.

11. Модели и алгоритмы управления процессом обучения с помощью обучающих систем / М. В. Тумбинская // XVI Туполевские чтения: материалы междунар. молодёжи, науч. конф. Казань, 2008. С. 110-112.

12. Модель обучаемого в электронных обучающих системах / М. В. Тумбинская // XXXIV Гагаринские чтения: материалы междунар. молодёжи, науч. конф. Т. 4. М.: МАТИ, 2008. С. 174-175.

13. Автоматизированное тестирование в электронных обучающих системах / М. В. Тумбинская, Е. Е. Мякушкина // Проблемы техники и технологии телекоммуникации и Оптические технологии в телекоммуникациях: материалы междунар. науч. техн. конф. Казань, 2008. С. 479-481.

14.Моделирование интерактивных обучающих систем / М. В. Тумбинская, JI А. Александрова // Проблемы техники и технологии телекоммуникации и Оптические технологии в телекоммуникациях: материалы междунар. науч. техн. конф. Казань, 2008. С. 492-494.

15. Исследование зависимости веса тестового задания от набора дистрахторов / ' А. А. Свиягина, М. В. Тумбинская // XXXVI Гагаринские чтения: материалы междунар. молодёжи, науч. конф. Т. 4. М.: МАТИ, 2010. С. 236-238.

С. 63-64.

Диссертант

М.В. Тумбинская

ТУМБИНСКАЯ Марина Владимировна

ПРИНЯТИЕ РЕШЕНИЙ ПРИ ОЦЕНИВАНИИ ЗНАНИЙ И УПРАВЛЕНИИ В ИНТЕРАКТИВНОЙ ОБУЧАЮЩЕЙ СИСТЕМЕ

Специальность: 05.13.10 - Управление в социальных и экономических системах

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Формат 60 х 84 1/6. Бумага офсетная. Печать офсетная. Печ. л. 1,0. Усл. печ. л. 0,93. Уч.-изд. л. 1,0. Тираж 100. Заказ О 130.

Типография Казанского государственного технического университета 420111, Казань, К.Маркса, 10.

61 12-5/73

Министерство образования и науки Российской Федерации ФГБОУ ВПО Казанский национальный исследовательский технический университет им. А.Н. Туполева - КАИ

На правах рукописи

Тумбинская Марина Владимировна

ПРИНЯТИЕ РЕШЕНИИ ПРИ ОЦЕНИВАНИИ ЗНАНИЙ И УПРАВЛЕНИИ В ИНТЕРАКТИВНОЙ ОБУЧАЮЩЕЙ СИСТЕМЕ

Специальность: 05.13.10 - Управление в социальных и экономических системах

ДИССЕРТАЦИЯ на соискание учёной степени кандидата технических наук

Научный руководитель: кандидат технических наук, доцент Л.А.Александрова

УФА-2011

СОДЕРЖАНИЕ

СПИСОК ИСПОЛЬЗУЕМЫХ СОКРАЩЕНИЙ......................................................................................................................................5

ВВЕДЕНИЕ..........................................................................................................................................................................................................................................................................................................6

1. АНАЛИЗ ВОПРОСОВ ОРГАНИЗАЦИИ И УПРАВЛЕНИЯ ПРОЦЕССОМ ЭЛЕКТРОННОГО ОБУЧЕНИЯ С ИСПОЛЬЗОВАНИЕМ ИНФОРМАЦИОННЫХ ОБУЧАЮЩИХ СИСТЕМ................................................................................................................................................................................13

1.1. Роль и состояние электронного обучения в современном обществе......................................................13

1.2. Существующие подходы к управлению процессом обучения с использованием информационных обучающих систем и основные этапы их развития..........................................................16

1.3. Анализ существующих моделей информационных обучающих систем. 20

1.3.1. Модели управления процессом обучения.............................................................21

1.3.2. Модели управления процессом оценивания знаний................................................................23

1.3.3. Анализ функционального наполнения моделей информационных обучающих систем..............................................................................................................................................................................................................................................................................26

1.4. Анализ инструментальных средств создания обучающих систем................................................................30

1.5. Анализ состояния и проблемы электронного обучения......................................................................................................33

1.6. Выводы................................................................................................................................................................................................................................................................................................................37

2. ТЕОРЕТИКО-МНОЖЕСТВЕННАЯ МОДЕЛЬ ИНТЕГРИРОВАННОЙ ИНТЕРАКТИВНОЙ ОБУЧАЮЩЕЙ СИСТЕМЫ............................................................................................................................39

2.1. Теоретико-множественная модель интегрированной интерактивной обучающей системы..........................................................................................................................................................................................................................................................................................................39

2.1.1. Структурно-параметрический анализ моделей подсистем интегрированной интерактивной обучающей системы....................................................................................................................................................................43

2.1.2. Функциональная модель интегрированной интерактивной обучающей системы....................................................................................................................................................................................................................47

2.2. СЬруктурно-функциональнь1еподсистемь1 интегрированной интерактивной обучающей системы...................................................... ........................................................................................................................................................52

2.2.1. Подсистема исследования..................................................................................................................................................................................................................52

2.2.2. Подсистема принятия решения..............................................................................................................................................................................................54

2.2.3. Подсистема формирования контента.....................................................................................................................................................................54

2.2.4. Подсистема репозиторий учебного процесса..................................................................................................................................56

2.2.5. Подсистема интерактивного управления........................................................................................................................................................57

2.2.6. Подсистема обучения....................................................................................................................................................................................................................................58

2.2.7. Подсистема оценивания..........................................................................................................................................................................................................................59

2.2.8. Подсистема учебного материала......................................................................................................................................................................................60

2.2.9. Подсистема алгоритмов поддержки принятия решений при управлении процессом обучения..............................................................................................................................................................................................................................................................................61

2.2.10. Подсистема тестовых материалов..............................................................................................................................................................................61

2.2.11. Подсистема алгоритмов поддержки принятия решений при управлении процессом тестирования..............................................................................................................................................................................................................................................................62

2.3. Выводы................................................................................................................................................................................................................................................................................................................63

3. МОДЕЛЬ ИНТЕРАКТИВНОЙ ПОДСИСТЕМЫ ОЦЕНИВАНИЯ ЗНАНИЙ. 64

3.1. Модель интерактивной подсистемы оценивания знаний..................................................................................................................64

3.1.1. Автоматное представление модели интерактивной подсистемы оценивания знаний..........................................................................................................................................................................................................................................................................................................................66

3.1.2. Функциональное представление модели интерактивной подсистемы оценивания знаний......................................................................................................................................................................................................................................................................................................67

3.2. Алгоритмы поддержки принятия решений о качестве тестового материала модели интерактивной подсистемы оценивания знаний....................................................................................................................................................................78

3.2.1. Критерии и алгоритмы поддержки принятия решений о качестве тестового материала...........................................................................................................................................................................................................................................................................................................78

3.2.1.1. Критерии структурнскмнгжсического анатазатестового материала...........................79

3.2.1.2. Алгоритм поддержки принятия решений о корректности тестового материала..................................................................................................................................................................................................................................................................................................84

3.2.2. Алгоритм поддержки принятия решений о назначении веса тестовым заданиям.. 85

3.3. Метод оценивания знаний и выявления компетенций объекта обучения..................................................90

3.4. Параметры и алгоритм поддержки принятия решений при управлении процессом тестирования..............................................................................................................................................................................................................................................................................................................99

3.4.1. Параметры алгоритма управления процессом тестирования........................................................100

3.4.2. Алгоритм поддержки принятия решений при управлении процессом тестиро- 102 вания...........................................................................................................................................................

3.5. Конечно-автоматная модель формирования управляющих воздействий..............................107

3.6. Выводы................................................................................................................................................................................................................................................................................................................112

4. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЩДОВАНИЕ ПАРАМЕТРОВ МОДЕЛИ ИНТЕРАКТИВНОЙ ПОДСИСТЕМЫ ОЦЕНИВАНИЯ ЗНАНИЙ И РАЗРАБОТКА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ОЦЕНИВАНИЯ ТЕСТОВЫХ

ЗАДАНИЙ................................................................................................................................................................................................................................................................................................................114

4.1. Экспериментальное исследование параметров модели интерактивной подсистемы оценивания знаний......................................................................................................................................................................................................................................................................................114

4.1.1. Методика проведения экспериментальных: исследований качества модели интерактивной подсистемы оценивания знаний....................................................................................................................................................115

4.1.2. Влияние корректности тестовых заданий на качество оценивания знаний........................115

4.1.3. Влияние форм тестовых заданий на качество оценивания знаний и выявления компетенций................................................................................................................................................................................................................................................................................................118

4.1.4. Зависимость качества оценивания от градаций ответа на тестовое задание......................125

4.1.5. Определение образов обучаемых........................................................................................................................................................................................126

4.1.6. Определение свободных параметров метода «Штрафов и поощрений»............................131

4.1.7. Определение эффективности использования модели интерактивной подсистемы оценивания знаний..........................................................................................................................................................................................................................134

4.2. Разработка программного обеспечения оценивания тестовых заданий..........................................................139

4.2.1. Назначение, основные функции программного обеспечения....................................................................139

4.2.2. Распределение привилегий пользователей программного обеспечения......................141

4.2.3. Рекомендации по созданию качественных тестовых заданий........................................................................145

4.2.4. Функционирование программного обеспечения......................................................................................................................146

4.3. Выводы..................................................................................................................................................................................................................................................................................................................148

ЗАКЛЮЧЕНИЕ..........................................................................................................................................................................................................................................................................................149

СПИСОК ЛИТЕРАТУРЫ............................................................................................................................................................................................................................................151

СПИСОК ИСПОЛЬЗУЕМЫХ СОКРАЩЕНИЙ

БД - база данных

ИИнОС - интегрированная интерактивная обучающая система ИПоЗ - интерактивная подсистема оценивания знаний ОТЗ - оценивание тестовых заданий ТЗ - тестовое задание УВ - управляющее воздействие

ФГОС ВПО - федеральный государственный стандарт высшего профессионального образования

ТТТиП - метод «Штрафов и поощрений»

ЭВМ - электронно-вычислительная машина

IDEF - Integrated Computer Automated Manufacturing DEFinition

UML - Unified Modeling Language

ВВЕДЕНИЕ

Актуальность темы. Процессы глобализации информационного пространства, внедрение современных образовательных технологий изменяют подходы к решению традиционных вопросов образования. В последнее десятилетие остро строит проблема создания единого образовательного пространства. Единое образовательное пространство - это единые электронные образовательные ресурсы, совместимые обучающие платформы, системы, общие технологии обучения и управления процессом обучения, позволяющие выполнять стыковку с мировым образовательным процессом, осуществлять обмен электронными ресурсами.

В настоящее время обилие программного обеспечения для реализации электронного обучения не решает сформулированную проблему. Общим недостатком таких систем является их узкая направленность на решение отдельных задач процесса обучения и разрозненные структуры информационных ресурсов. С другой стороны существует гибкое программное обеспечение, которое позволяет управлять процессом обучения, но является сложным для пользователя и поэтому менее востребовано. Это вызвано отсутствием моделей обучающих систем, гибких алгоритмов обучения, интерактивных моделей, методов качественного оценивания знаний и выявления компетенций, алгоритмов поддержки принятия решений, позволяющих управлять объектом обучения. В связи с этим, возникает необходимость в разработке полнофункциональной модели обучающей системы, модели управления объектом обучения, процессом оценивания знаний, алгоритмов поддержки принятия решений при оценивании знаний и выявлении компетенций, алгоритмов подготовки качественного тестового материала для достоверного оценивания знаний и выявления компетенций с использованием современных информационных технологий.

Необходимость решения этих вопросов определили актуальность темы диссертационной работы, предопределили ее цель и задачи.

Проведенный анализ исследований в области обучающих систем в работах зарубежных и российских ученых, посвященных: развитию моделей программированного обучения (Н. Ф. Талызина, В. П. Беспалько, Е. С. Полат, В. 8ктпегу и др.), созданию моделей обучаемого в обучающих системах (Г. А. Атанов, И. X. Галлеев,

Н. Ю. Добровольская, JL В. Зайцева, Г. С. Курганская, М. Б. Челышкова, J. Self и др.), созданию мультимедийных и интерактивных обучающих систем (JI.X. Зайнутдинова, Н. Г.Семенова, Т. Т. Сидельникова, Д. А. Темников), моделей процесса оценивания знаний и выявления компетенций (В. С. Аванесов, А. Бирнбаум, Н. Б. Кунтурова, Г. Раш, Т. Н. Тягунова, Д. И. Попов и др.), созданию моделей управления в обучающих системах (В. Б. Кудрявцев, К. Vaschik), адаптивных моделей обучения (П. JI. Брусиловский, В. И. Глова, JI. А. Растригин, Р. De Bra, A. Kobsa, G. Knap, G. Weber и др.), созданию распределенных автоматизированных обучающих систем (А. И. и И. А. Башмаковы, А. В. Соловов, R. Sisón, С. Tan и др.), оценке качества электронного обучения и совершенствованию процесса управления учебным процессом (М. Б. Гузаиров, JI. А. Громова, и др.) позволил выявить имеющиеся недостатки.

Объект исследования: процессы обучения и оценивания знаний на основе тестовых технологий в информационных обучающих системах.

Предмет исследования: методы поддержки принятия решений при управлении объектом обучения с использованием информационных обучающих систем.

Цель работы и задачи исследования. Целью работы является повышение качества оценивания знаний объекта обучения на основе разработанных моделей, метода, алгоритмов поддержки принятия решений при оценивании знаний и управлении в интерактивной обучающей системе.

В соответствии с поставленной целью в работе определены следующие задачи.

1. Выполнить анализ существующих подходов к управлению объектом обучения с использованием обучающих систем, моделей, средств их создания, по результатам которого выявить проблемы и недостатки существующих обучающих систем, разработать структурную схему управления объектом обучения.

2. Разработать комплекс моделей интегрированной интерактивной обучающей системы (ИИнОС), включающий теоретико-множественную и функциональную модели системы, модель подсистемы оценивания знания, позволяющий автоматизировать процесс разработки обучающих систем, разработать модель формирования управляющих воздействий на объект обучения для обеспечения поддержки принятия решений при управлении процессом оценивания знаний.

3. Разработать метод оценивания знаний и выявления компетенций объекта обучения с использованием расширенной шкалы градаций ответа на тестовое задание.

4. Разработать алгоритмы поддержки принятия решений о корректности тестового материала, на основе структурно-синтаксического анализа тестового задания, о назначении весовых коэффициентов сложности содержания тестового задания (ТЗ), об управлении процессом тестирования, обеспечивающие повышение качества тестового материала и качества процесса оценивания знаний.

5. Разработать программное обеспечение оценивания тестовых заданий, позволяющее получать их количественную и качественную оценку. Оценить эффективность предложенной модели интерактивной подсистемы оценивания знаний, в частности метода оценивания и алгоритмов поддержки принятия решений.

Методы исследования: методы системного анализа, управления, обработки информации, принятия решений, теории вероятностей и математической статистики, теорий множеств, алгоритмов, автоматов, распознавания образов, кластерного анализа.

Достоверность полученных результатов обоснована корректными теоретическими положениями, сравнением с результатами других авторов, проведением экспериментальных исследований с применением математических методов для количественной оценки полученных результатов, качественной интерпретацией, внедрением результатов работы.

На защиту выносятся:

1) структурная схема управления объектом обучения;

2) комплекс моделей интег