автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Модели, алгоритмы и комплекс программ оценивания знаний в интерактивной обучающей системе

На правах рукописи

004603129

ТУМБИНСКАЯ Марина Владимировна

МОДЕЛИ, АЛГОРИТМЫ И КОМПЛЕКС ПРОГРАММ ОЦЕНИВАНИЯ ЗНАНИЙ В ИНТЕРАКТИВНОЙ ОБУЧАЮЩЕЙ СИСТЕМЕ

Специальность: 05.13.18 — математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание учёной степени кандидата технических наук

1 6 СЕН 7П10

Казань-2010

004608129

Работа выполнена на кафедре систем информационной безопасности государственного образовательного учреждения высшего профессионального образования «Казанский государственный технический университет им. А.Н. Туполева».

Научный руководитель: кандидат технических наук, доцент

Александрова Людмила Авсппровна

Официальные оппоненш: доктор физико-математических наук, доцент

Ишмухамегов Шамиль Талгатович

доктор технических наук, профессор Пссопган Валерий Андреевич

Ведущая оргашшция: Марийский государственный технический университет, г. Йошкар-Ола

Защита состоится «1» октября 2010 г. в_часов на заседании диссертационного совета Д 212.079.01 при ГОУ ВПО «Казанский государственный технический университет им. АЛ Туполева» по адресу: 420111, г. Казань, ул. К. Маркса, д. 10, зал заседаний Учёного совета.

Ваши отзывы, заверенные печатью, просим выслать по адресу 420111, г. Казань, ул. К.Маркса, д. 10 на имя ученого секретаря.

С диссертацией можно ознакомиться в библиотеке Казанского государственного технического университета им. А.Н. Туполева, с авторефератом - на сайте КГТУ: http://www.kai.ru.

Автореферат разослан «_»__2010г.

Учёный секретарь •

диссертационного совета

доктор физико-математических наук, профессор

П.Г. Данилаев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Процессы глобализации, становление мирового информационного пространства, внедрение новых образовательных технологий изменяют подходы к решению традиционных вопросов образования. В последнее десятилетие остро строит проблема создания единого образовательного пространства. Не решение требует внедрения обучающих систем в учебный процесс. Ряд известных коммерческих компаний разрабатывает высококачественные с точки зрения технических, профаммных, эргономических и других требований программные продукты учебного назначения, но не решает проблемы интерактивности, качественного оценивания знаний, широкою внедрения в образовательный процесс. Анализ данной области показал, что:

- современные обучающие системы в полной мере не используют современные технологии обучения, в частности технологии e-Leaming, признанные европейскими образовательными учреждениями;

- в существующих обучающих системах отсугствуют готовые интерактивные, мультимедийные компоненты;

- не уделяется достаточного внимания задачам подготовки качественных тестовых заданий (ТЗ);

- отсутствует обобщенная модель, привязанная к существующему профамм-ному обеспечению, позволяющая ускорить процесс внедрения обучающих систем и учебный процесс.

Необходимость решения этих вопросов определили актуальность темы диссертационной работы, предопределили ее цель и задачи.

Исследованию задач разработки обучающих и тестирующих систем посвящены работы следующих российских учёных: B.C. Аванесова, J1.A. Александровой, 1 '.А. Лта-нова, А.И. и И.А. Башмаковых, В.П. Беспалько, П.Л. Брусиловского, В.И. Васильева, И.Х. Галеева, В.И. Гловы, Н.Ю. Добровольской, Л.Х. Зайнутдиновой, Л.В. Зайцевой, А.Д. Иванникова, Ю.В.Кольцова, Г.С. Курганской, А.Н. Майорова, II.С. Полат, Л.А. Растригина, А.П. Свиридова, A.B. Соловова, Н.Ф. Талызиной, Т.Н. Тягу-новой, М.Б. Челышковой и др. Зарубежный опыт по проблемам электронного обучения представлен в исследованиях таких авторов, как Н. Böcker, Р. De Bra, R. Glaser, G.J. Houben, В. Holtmerg, С. Kaplan, M. Keane, M. Kiyama, A. Kobsa, A.A. Lumsdaine, P. Miller, L. Pesin, E. Rich, S. Ritter, J. Self, B. Skinnery, G. Weber и др.

Объектом исследования являются технологии разработки информационных обучающих и тестирующих систем, используемых в учебном процессе технических вузов.

Предметом исследования являются методы, модели, алгоритмы дня автоматизации создания обучающих систем.

Целью работы является повышение качества оценивания знаний обучаемого.

Научная задача работа,! заключается в разработке обобщенной модели жггари-рованной интерактивной обучающей системы, метода, алгоритмов оценивания знаний и комплекса программ оценивания тестовых заданий.

Достижение поставленной цели и задачи потребовало решения следующих вопросов:

- анализа моделей создания интерактивных обучающих и тестирующих систем;

- разработки обобщешюй модели интефированной интерактивной обучающей системы, модели интерактивной подсистемы оценивания знаний, конечно-аптомапюй модели выработки интерактивных воздействий;

- разработки метода оценивания знаний;

- разработки алгоритмов определения веса 13, оценивания корректности тестового материала, сценариев тестирования;

- создания и реализации комплекса программ оценивания тестовых заданий.

Методы исследований. Для решения поставленной задачи в диссертационной

работе использовались: методы математического моделирования, математической статистки, теории множеств и алгоритмов, системное и кластерного анализа, распознавания образов.

Достоверность полученных результатов обоснована корректными теоретическими положениями, сравнением с результатами других авторов, проведением экспериментальных исследований с применением математических методов для количественной оценки полученных результатов и их качественной интерпретации, внедрением результатов работы.

Научная новизна работы заключается в следующем:

- разработаны обобщенная модель интегрированной интерактивной обучающей системы и модель интерактивной подсистемы оценивания знаний;

- разработана конечно-автоматная модель выработки интерактивных воздействий;

- предложен метод оценивания знаний «Штрафов и поощрений»;

- разработан алгоритм определения веса тестовых заданий;

- разработан алгоритм оценивания корректности тестового материала.

Теоретическая значимость работы заключается в разработке моделей интегрированной интерактивной обучающей системы (ИИнОС) и интерактивной подсистемы оценивания знаний, конечно-автоматной модели выработки интерактивных воздействий, а также в разработке метода оценивания знаний.

Практическая ценность работы заключается в реализации на основе предложенных алгоритмов комплекса программ оценивания корректности тестового материала и определения веса тестовых заданий.

Публикации. Основное содержание диссертационной работы отражено в 27 работах, из них 2 статьи в журналах, рекомендованных ВАК РФ, 4 статьи и 21 работа в материалах и трудах конференций.

Апробация работы. Основные положения и результаты диссертационной работы докладывались и. обсуждались на: международных научно-практических и научно-методических конференциях «Инновационное образование в техническом университете» г. Казань, 2004г.; «VIII Королевские чтения» г. Самара, 2005г.; «Информационная культура в системе подготовки будущего инженера» г. Нижнекамск, 2006г.; «XIV Тугюлевские чтения» г. Казань, 2006г.; «Информационные технологии в науке, образовании и производстве», г. Казань, 2007г, «Инфокоммуникашонные технологии глобального информационного общества» г. . Казань, 2007г., 2008г.; «XV Туполевские чтения» г. Казань, 2007г.; «Наука и профессиональное образование» г. Нижнекамск, 2007г.; «Технологии электронного обучения в современном вузе» г. Минск, 2008г.; «Наука и профессиональная деятельность» г. Нижнекамск, 2008г.; «XVI Туполевские чтения» г. Казань, 2008г.; «XXXIV Гагаринские чтения» г. Москва, 2008г.; «Проблемы техники и технологий телекоммуникаций ПТиТТ-2008» г. Казань, 2008г.

Реализация результатов работы. Результаты проведенных исследований:

- внедрены в учебный процесс КГТУ им. А.Н. Туполева и используются при подготовке тестовых заданий преподавателями кафедры СИБ;

- прошли успешную апробацию и внедрены в учебный процесс ЧОУ ВПО Институт экономики, управления и права г. Казань;

- используются при оценивании тестового материала в Региональном учебно-информационном центре «ОБРАЗОВАНИЕ».

Пути дальнейшей реализации результатов работы. Созданный комплекс программ планируется использовать в составе интегрированных интерактивных обучающих систем, как инструмент преподавателя для формирования тестового банка и оценивания знаний обучаемого.

На защиту выносятся:

- функциональные модели интегрированной интерактивной обучающей системы и подсистемы оценивания знаний;

- конечно-автоматная модель выработки интерактивных воздействий;

- метод оценивания знаний;

- алгоритмы определения веса тестового задания и оценки корректности тестового материала;

- комплекс программ оценивания тестовых заданий.

Структура и объём диссертации. Диссертация изложена на 148 страницах машинописного текста, содержит 75 рисунков, 34 таблицы, состоит из введения, четырёх глав, заключения, списка использованной литературы из 180 наименований на 17 страницах.

Личный вклад автора состоит в следующем:

- выполнен анализ структур обучающих систем, их наполнения и технологий реализации;

- разработана обобщенная модель интегрированной интерактивной обучающей системы;

- разработана модель интерактивной подсистемы оценивания знаний;

- разработана конечно-автоматная модель выработки интерактивных воздействий;

- разработаны алгоритмы оценивания знаний, оценивания тестового материала;

- реализован комплекс программ оценивания тестовых заданий.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертации, формулируются объект, предмет, цель и задача исследования, отмечены методы исследования, достоверность и новизна полученных результатов, их теоретическая значимость и практическая ценность, приведены данные о публикациях, апробации и реализации результатов, сформулированы научные положения, выносимые на защиту. Приведены данные о структуре и объеме диссертации, дается краткий обзор диссертации по главам.

В первой главе определяется роль обучающих систем в современных электронных образовательных ресурсах. Анализируются функциональные возможности существующих обучающих систем, их модели, методы и средства моделирования. Выявляются преимущества и недостатки инструментальных средств создания обучающих систем.

Анализ современных обучающих систем показал, что современные системы не совершенны и выявил необходимость универсальной обобщенной модели интерактивной обучающей системы, а также моделей, алгоритмов, программного обеспечения интерактивного оценивания знаний.

Во второй главе предлагается обобщенная модель ИИнОС, разработанная на основе компонентного подхода. Определена структура ИИнОС. Дано теоретико-множественное и функциональное представление модели ИИнОС. Продемонстрирована

обобщающая роль предложенной модели и ее связь с существующими моделями обучающих систем.

В данной работе будем использовать термин «компонент», в виду его функциональной самостоятельности и возможности работы. Под компонентом понимается модуль, макет или подсис тема, выполняющие определенные функции. Каждый компонент разрабатывается но принципу «черного ящика», имеющего входные и выходные пара-моры.

Модель итерированной интерактивной обучающей системы А/м = {к,Р,Р2кт' Л'^ построена на основе компонентов = = параметров, определяющих ИИнОС - (/Л/>'/,',К,Н'"./'"./',) и процедур для формирования компонентов Л™", где о -индивидуальные параметры обучаемого, К!,' - эталонные образы обучаемых, X -тестовые задания, II" - банк методик диагностирования обучаемого, Р" - параметры сценария обучения, /;, - параметры сценария тестирования, У - выходной параметр системы (результат оценивания знаний).

При тххзретико-множественном представлении компонентов выходные параметры одного компонента могут быть входными для другого. В работе входные и выходные параметры обозначены одинаковыми символами (А): А - входные параметры, А -выходные параметры.

Модель компонента исследования к, необходима для определения

индивидуальных характеристик обучаемого (Я) и дальнейшей адаптации процесса обучения и тестирования под возможности обучаемого. В модели задействованы первоначальные данные об обучаемом (Р„,) и множество существующих методик диагностирования

(/'г14'1'). Компонент принимает решение о принадлежности

обучаемого к эталонным образам (К1]), на основе ело индивидуальных характеристик (Н), которое выполняется с помощью решающих правил (РП"). Реальный класс обучаемого (К1 ) может быть пересмотрен с помощью интерактивного воздействия гр,, вырабатываемое компонетом . Модель компонента формирования контента к, = [К1, ,йт„гр„Щ, работает с выходными параметрами компонентов к2, к9, к%, кА. Контент (0) ИИнОС получается ш основе класса обучаемого (Д ), учебного материала (Г/т,) и сценария обучения (.«•"). Контент корректируется интерактивными воздействиями (гр,). Модель компо-нс! па обучения к$ работает со сценариями обучения («•"), с контен-

том (д,), сформированными под определенный класс обучаемого (К!,). Все состояния и параметры обучаемого в процессе обучения (Я'), фиксируются компонентом к-,. Процесс обучения корректируется 'интерактивными воздейсгвиямй (гр,-). В процессе обучения обучаемый приобретает различные виды знаний (2). Знания оцениваются с помощью компонент оценивания кь = ^ У..Хк ,$с\,кр,М.У} мегодом(М ), по сценарию тестирования (Л-,) па основе корректых ТЗ (Хк) с учетом параметров качества и интерактивных ишдейсгеий (Кр). В результате оценивания определяется показатель знаний (?), который может' бьпъ представлен традиционной оценкой, бально-рейтинговой оценкой или профилем обучаемого. В данной работе компонент оценивания представлен в виде конечно-автоматной модели и рассмотрен в главе 3. Основной компонент предложенной модели ИИнОС компонент ингерактавности 1с4, который вырабатывает интерактивные воздействия

(Ёр = {гр( \ 1 = 1,«}) на процесс обучения, тестирования и оценивания, (¡нормируемые на основе состояний обучаемого ), хранимых компонентом к7. Модель компонента сценария обучения кч = представляег собой обобщенный алгоршм формирования сценария

обучения .«■", учитывающий все возможные параметры (/'") процесса обучения. Компонент анатиза тестового материала = формирует корректные ТЗ (X1) па основе исходных ТЗ (Л-) и алгоритма оценки коррекпюсга 'П (Л/к). Алгоритм оценки корректности ТЗ представлен в главе 3. Модель компонент сценария тестирования

Л] ] = (Р7,Рг™ представляет собой обобщенный алгоритм формирования сценария Л'с,, учитывающий все возможные параметры ( Я,) процесса тестирования и проце;1уру выбора сценария тестирования (Рг"). Модель компонента репозитория Л7 работает с

компонентами к5, кА, к6 и фиксирует состояния () системы, параметры обучаемого, в т.ч. приобретенные знания (2) в процессе обучения.

Функциональная модель ИИнОС в нотации ГОЕРО представлена на рис.1. И диссертации модель детализирована до 4 уровня иерархии и содержит 19 диаграмм.

ФГОС у^бньш

учебная программа

параметры сценария тестирования:

---------

ияраиет ры сиснирнн оСученш^

, тестовые задания____^

ттатинкые оБряты об^1аемыт

С

МГГОДНК» ДНаПЮСтрОваМНЯ 1 ' обучаемых

▼ .У ▼ тт

подготовка к обучению

¡ЫП.1М класс оКучасмАгп . 1 ; сценарий обучения I

процесс V контгнт^| обучения

| унрапликли«'

сценарии юстрипаип

опенининш мьшш'1

II

преподам тели

оГ. у тем ми

Рис.1. Основная диаграмма функциональной модели ИИнОС

Функционатьная модель в нотации ЮЕРО отражает три основные функции: подготовка к обучению, обучение и оценивание знаний. В модели отражены входные, выходные параметры, управляющие и исполнительные механизмы. Исполнительными механизмами модели ИИнОС традиционно являются: преподаватель, обучаемый, тес-толог - специалист по тестовым технологиям и интерактивная обучающая система. Входными параметрами являются: исходные данные об обучаемом, методики диагностирования, параметры сценариев тестирования и обучения, которые определяются преподавателем из созданных банков сценариев. Эти входные параметры подготовить

преподавателю не составляет особого труда, пользуясь готовыми методиками и банками сценариев тестирования и обучения, которые можно сформировать на основе обобщенных алгоритмов предложенных в главе 3. Управляющие механизмы можно поделить на два класса - это традиционные механизмы управления: ФГОС, учебный план, учебная профамма и механизмы необходимые для организации интерактивног о обучения и качественного тестирования: модель выработки интерактивных управляющих воздействий, предложенная в данной работе и требования к 'ГЗ. Выходным параметром модели является показатель приобретенных знаний, который выражается либо традиционной оценкой, либо балыю-рейгинговой оценкой или профилем обучаемого.

Предложенная модель ИИнОС обобщает наиболее значимые существующие модели процесса обучения. В модели ИИнОС большое внимание уделено компоненту ин-тсрактивности и новому подходу к оцениванию знаний, на основе предложенного метода «Штрафов и Поощрений» (ШиП).

В третьей главе модель интерактивной подсистемы оценивания знаний (ИПоЗ), разработана на основе предложенных алгоритмов и метода оценивания знаний, алгоритма определения качества ТЗ, обобщенного алгоритма сценария тестирования. Дано автоматное и функциональное представление модели ИПоЗ. Определена структура ИПоЗ. Разработана конечно-автоматная модель выработки интерактивных управляющих воздействий, на весь обучающий процесс: процесс обучения, тестирования, оценивания знаний.

В настоящее время наиболее распространенной технологией оценивания знаний является тестовая технология. Качество оценивания знаний определяется методами оценивания, качеством тестового материала, моделью оценивания знаний, степенью ее интерактивности. Наряду с автоматной моделью ИПоЗ, представленной в диссертации, разработана функциональная модель ИПоЗ. Функциональная модель ИПоЗ (рис.2) детализирует процесс АЗ диафаммы АО предсташтенной на рис. 1.

тестовый материал, £________1

12 проверка нп \ корректнее ТЗ

I корректность [.^Л -

ксюппго ; I

материала | |

"" * л !

; I ! !

I

^сценарий тестирования

решение о допуске .. решение о дсжч итюи.иом у^ЦС.иивлкнн ____________

^ формнрпнание неся I I

общий весТЗ

. оцениваниегнхниП

показа теги э-аний

резуп»тать: аттестации

орцподаватепь

Рис. 2. Основная диаграмма функциональной модели ИПоЗ

Основное преимущество предложенной модели ИИнОС заключается в компонуете интерактнвности. Современная обучающая система должна быть гибкой. Гибкость системы, отклик на различные отклонения от типового сценария обучения, тести-

рования, должен выражаться в реакциях системы, в качестве интерактивных управляющих воздействий. В работе компонент представлен в виде конечно-автоматной модели выработки интерактивных управляющих воздействий: /-' = (/1,Л'. У.};../'), где .'1 -конечное множество внутренних состояний, «0еЛ, Л" = {у, |/ = \.п) - множество входных сигналов, }' - множество выходных сигналов, х(и,х) - функция выхода, Ди.х) - функция перехода. Данная модель представлена в виде конечного автомата на рис. 3.

Рис. 3. Граф автомата интерактивное™

В конечно-автоматной модели выработки интерактивных воздействий приняты следующие обозначения: а0 - обучение; а, - самоатгестация по теме а2 - неудовлетворительный результат самоатгестации; аъ - удовлетворительный результат самоатгестации; «4 -отнесение обучаемого к другому классу; а5 - формирование нового контента; а6 - оценивание знаний; а7 - вычисление оценки знаний; а8 - завершение процесса обучения с удоачетворитеяьным результатом; а9 -рекомендации к повторному обучению по темам; я10 - рекомендации по допатшпельной проработке тем; а,, - завершение процесса обучения с неудовлетворительным результатом; а,2 - признание итоговой оценки знаний; оп -рекомендации по прохождению дополнительного оценивания; о14 - оценка У; д|5 - принятие решения преподавателем; а16 - определение количества попыток самоатгестации по теме^У; ап - проверка огрантенийш количество шпьтжсамсштестацда; х, -допустить к итоговому оцениванию; х2 - пройти повторное обучение; х3 - признать тггоговую оценку знаний; х4 - провести дополнительное оценивание знаний; х5 - сформировать новый контент, хь - завершить процесс самоатгестации по теме N с неудовлетворительным результатом; х7 - пройти самоаттестацию по теме Щ х8 - завершить процесс обучения с неудовлетворительным результатом; х9 - завершить процесс обучения с удовлетворительным результатом; х|0 - подтвердил, результаты аттестаций; хм - пересмотреть решение об идентификации образа обучаемого; х, 2 - возврат к обучающему материалу для подготовки к повторному оцениванию знаний; х13 - дополнительно проработать темы х,4 - завершить процесс оценивания знаний; х,5 - вывести рекомендации по дополшгтелыюй проработке тем Л'; х16 - вьшести рекомендации по повторному прохожденшо тем /V; х17 - вывести рекомендации по прохождению дополнительного оценившшя; х18 - вывод оценки зншшй; л-1Ч -уменьшить количество попыток самоатгестации по теме Л1; х20 - проверь ограничение на количество итераций самоаттестации темы Л^; х21 - утверждение преподавателем решения интерактивной обучающей системы; ух = >2 = /(о3,х2), .г., =./ (г/7. л-,),

Л =/("13.^4). У'Ь =/("4-^). Л =/(в„*6)» >':=/(" 17.Л» =/(«7.*»). Л = /(«7 ■*'))•

Д']0=/("1-л'ю). >'и= /(«17.^11). У\г=Аа 9>*п)> >'13 =/(«10^13Ун =/(«<,•*).)).

,1'is /(»7-Vish Л<,=/("7-*|б). >17 =/("7^17). Ля =/(««■■< )8) ■> >1') =./'(«i4,V2),

/(«(1..V7), V2: - / (f|2- v!x). >'23 =/("11**1 s). >'23 =/(«:--vlv). >24 = /(«17-*2())<

rjs : ,/("M-v2l)'

Качество оценивания знаний определяется качеством тестового материала, пто-костыо сценариев тест ирования и качеством метода оценивания знаний. В данной работе для определения качества тестового материала предложен алгоритм оценивания корректное™ ТЗ.

Алгоритм оценки корректности ТЗ. В основу алгоритма заложен набор показателей оценивания ТЗ /'={//1у = 1,ст}, сформированных на существующих требованиях к профаммно-дидактическим материалам и технологиям компьютерного тестирования и решающие правила РП,,1>И2 отнесения ТЗ к классам корректных и не корректных тестовых заданий, соответственно. Основным^ показателями оценивания ТЗ являются: корректность формулировки вопроса, ответа ТЗ, соответствие ТЗ предметной области и др. Алгоритм сводится к следующим шагам.

- Преподаватель подготавливает множество ТЗ X = {х, | i = l,m}, выбирает из предложенного набора показателей, те , по которым будет оцениваться корректность ТЗ.

- Для каждого л-, определяется значение показателей ру.

- С помощью РМ|,РП2 определяются корректные и не корректные ТЗ.

- Выдаются рекомендации преподавателю по модификации не корректных ТЗ.

В основу метода оценивания знаний ШиП заложены весовые коэффициенты ТЗ.

Алгоритм определения весовых коэффициентов ТЗ основан на весах сложности содержания 13 и весах сложности формы ТЗ. В общем виде, вес ТЗ (х,) определяется:

) = >,0,(<?| • /'i(-v,) + ¿2 '/>2(*<))' рДе v"' - весовой коэффициент уровня сложности класса'13, р,(х,) - вес сложности содержания ТЗ, р2(х,) - вес формы ТЗ, s [0;l].

Вес сложности содержания ТЗ определяется rio следующему алгоритму:

a) каждое '13 х, е X классифицируется преподавателем-экспертом по степени сложности, т.е. исходное множество X разбивается на классы простых (К!"), сложных ТЗ (КГ) и ТЗ средней сложности (Kltf);

b) элементы каждого класса Kl",Klcf ,К1С упорядочиваются по степени сложности »соответствии с процедурой упорядочения (рис. 4);

c) упорядоченные ТЗ ранжируются: каяедому х, ТЗ класса КГ, т = 1,3, присваивается свой ранг: ¡У, = с/,.., + Д, / = 1 ,jm , d( е [a,¿], jm - количество элементов в классе К!'", А - шаг приращения, [а,/;] - минимальная и максимальная фадации в

kj шссе КГ', Л = h- , п - количество фадаций в классе Klm, d0 = 0, с/0 е [с/, б]; и

ti) определяются весовые коэффициенты vm классов ТЗ КГ, х, 6 КГ;

с) вычисляется пес сложности содержания ТЗ, p-¡ (х,) = v'" • í/, .

Вес формы х, ТЗ (/ь(х,)) определяется на основе сложности формы ТЗ SL(-/j) и сложншги конструкции ответов формы ТЗ П(^), где y¡ - j-ая форма ТЗ. Значение парамефа Sl.{y,) определяется экспериментальным путем. Значения параметра определяются методом анализа иерархий.

Ьолыпинство известных методов оценивания знаний проверяют правильность ответа на 13, путем сравнения с эталоном (под эталоном понимается правильный отв

8

на ТЗ). Предложенный метод ШиП, построен на следующих параметрах: ¡^ - вес сложности содержания ТЗ, р2 - вес формы ТЗ, />3 - вес уровня сложности класса ТЗ,

Рис. 4. Схема процедуры упорядочения тестовых заданий

р4 - параметр качества ответа на ТЗ. Параметр />4 оценивается 4 градациями: правильный ответ на ТЗ, неполный правильный, ложный и случайный.

«Правильный» ответ - это полное совпадение с эталоном и соответствует истинному знанию (ИЗ). Градация «неполный правильный» соответствует ситуации, когда в ответе обучаемого нет неверных вариантов ответов (элементов), но ответ обучаемого является неполным. Такую ситуацию будем называть неполным знанием (Н1Т), НП с ИЗ. «Ложный ответ» (ЛЗ) - это отсутствие правильных элементов в ответе обучаемого. «Случайный ответ» включает правильные и ложные элементы в ответе обучаемого на ТЗ и характеризует случайный выбор ответов ТЗ. Случайный ответ говорит о неподготовлешости обучаемого и отсутствии знания, т.е. о незнании (Ю).

Метод ШиП вводит для оценки ответа на ТЗ такие градации как: правильный ответ на ТЗ, неполный правильный, ложный, случайный и отказ от ответа на ТЗ. На основе данных градаций определяется общая оценка за тест. Продемонстрируем данный метод на ТЗ закрытой формы с несколькими вариантами правильных ответов. Оценка определяется на основе показателей о,, аг, а}, аА, а5.

Значение показателя а, определяется:

«1 =!>(*,■)*»'(*,); °'если°Л' =э*' ,дпя V*,

м (д, если О*' = ЭТ'

где Ол- - ответ обучаемого на х,- ТЗ, Э г' - эталонный ответ на х, ТЗ, !■'(*,■) - весовой коэффициент .V; ТЗ, Д - значите свободного параметра. Показатель а, отражает количество правильных ответов и обычно определяется положительной величиной.

При определении показателей а2 и ах вводится понятие «штраф», под которым понимается отрицательное значение, назначаемое за неправильный или случайный ответ, указанный обучаемым при выполнении ТЗ. "Штраф" также распространяется на элемент «ловушка» (ЛВ1'), указанный обучаемым при ответе на ТЗ. Некоторые вари-

aim.i неправильных ответов ТЗ могут содержать «ловушки», и попадание в «ловушку» влечет больший штраф.

V" / \ с/ . I \ А. если С' -3х' м " [, если Ол' = ЛВ'"'

- [(). если 0Л| =

"•I -Е«;(*,)х<'(.г,), / ~~Г\> P~(hx К (л",)

77J р,сели О ' cl О ' лЭ 1

где р - "ипраф" за случайный ответ на ТЗ, К" (х,-) - количество ложных элементов в от-нотс па'П, /12, Д|, fis - свободные параметры, размер "штрафа".

11ри определении а3 вводится понятие «поощрение», под которым понимается положительное значение, назначаемое за «неполный правильный» ответ на ТЗ.

«,, = f>,(.v,)*У(х, ), *,<*,■) = , Ç = /?з X К"(.т,),

7л ' [0, если О ' е Э '

где <р - "поощрение" за неполный правильный ответ на ТЗ, К"(*;) - количество правильных элементов в неполном ответе на ТЗ, р} - свободный параметр, размер "поощрения" за каждый правильный элемент ответа на ТЗ. В неполном правильном ответе на ТЗ недопустимо наличие ложных вариантов ответов.

При отказе от ответа на ТЗ ( «5 ) баллы не начисляются, о5 - 0.

Значения свободных параметров Р\,рг,ръ,рА,р$ будут определены экспериментальным путем в главе 4.

Итоговая оценка за тест с помощью метода ШиП определяется следующим образом:

- определяется общее время тестирования;

- определяются значения показателей а,, а2, а3, а4, as ;

5

- вычисляется итоговая оценка у ;

к=\

- оценка у масштабируется в у2, в соответствии с максимальным количеством баллов >•?1L<, которые может получить обучаемый за аттестацию, у2 = — где, упш

максимально возможное количество баллов, за которые выставляется наивысшая оценка;

- определяется традиционная оценка в соответствии с граничными значениями параметров /"■', vNni'.y ;">1'-'1, определяемых экспертным путем;

- определяется профиль обучаемого.

Данный метод предполагает определение профиля обучаемого, на основе параметров />,, р2, ру, />4. Задача определения профиля обучаемого сводится к построению реальных классов обучаемых, решение которой будет рассмотрено в 4 главе.

В «кггвергой главе проведено экспериментальное исследование качества предложенной модели оценивания знаний. Введены показатели качества оценивания знаний, выявлены параметры, влияющие на эти показатели и определены их экспериментальные зависимости. 1 [оказано, чат предложенный метод ШиП позволяет выявить четыре профиля обучаемых. Оиисываегся струкгура и реализация комплекса программ для оценивания ТЗ.

И работе для оценивания качества предложенной модели введены показатели: время тестирования (/ ), процент обучаемых, успешно справившихся с ТЗ [р ), чувствительность

к профилю обучаемого (г). Проведено -экспериментальное исследование зависимости предложенных показателей от корректности 13, формы '13, количества и вида [радаций oi-вета на 13. В эксперименте участвовали 450 - 500 обучаемых института Ч'КиИ, KI 'ГУ им. А.Н. Туполева

Корректность ТЗ определялась критериями - л7. Полученные результаты представлены на рис. 5,6. Из рис. 5 видно, что наиболее значимыми критериями коррекп юсти гатся пь и щ (ТЗ, в котором длина вопроса больше двух и трех арок) Увеличение показателя р в среднем на 74,5% дает сокращение длины вопроса ТЗ до од| юй строки. С 'ymeensci i-ное повышение показателя р дает исключение нестрогих слов в формулировке 13 (критерий 1Ц )-р увеличивается на 17%. Меньше всего дает изменение показателя р критерий (присутствие в ТЗ слов повелительного наклонения) - на 6%, что говорит о не значительности данного критерия. После корректировки ТЗ значение р увеличивается в среднем на 32%.

! 20 : I, 10 i 4

г:

корректировки

п7 пб пЗ п1 п2 пб п4

Критерии корректное?" (л,)

£ зо

К 25

2

£ 20 f 15 110 S s ; о

до корректировки после коррешировкм

Рис. 5. Зависимость результата тестирования от корректности ТЗ

Рис. 6. Зависимость времени тестирования от корректности ТЗ

На рис. 6. показано время, затрачиваемое на тестирование до корректировки ТЗ (2Х мин.) и после корректировки (21 мин.). Улучшение показателя /ср в 1,33 раза происходит за счет корректного тестового материала

В работе исследовано влияние форм ТЗ на качество оценивания. Определены веса сложности форм ТЗ (рис. 7). Гистограмма показывает, что наименьший вес имеет закрытая форма ТЗ с одним вариантом правильного ответа, наибольший вес - форма 13 на упорядочивание. В работе показано, что градации, введенные в метод ШиП (ОР, ОЫ, О/-, 0$, ОТ) I ю-зволяюг выявить 4 профиля обучаемых. Графическое изображение 1грофилей показано на рис. 8, где ОР - процент правильных ответов обучаемого, ОМ - пропет' неполных ответов, 01 - процент ложных ответов ОБ - процент случайных ответов, ОТ- процент отказов от от вета на ТЗ.

На основе экспериментальных данных определены свободные параметры /¡г/!,,/!,, используемые в методе ШиП (д =0,56, д, =0,49, Д,=0,39).

В данной работе разработан комплекс программ оценивания 13, в основу которого заложены алгоритмы оценки корректности ТЗ и определения веса тестового задания. Структура комплекса программ представлена на рис. 9.

Комплекс программ разработан для решения задач:

- анализа банка тестовых материалов на соответствие требованиям и выработки рекомендаций но модификации ТЗ;

- определения общего весового коэффициента 13.

В заключении диссертационной работы сформулированы научные результаты, полученные в ходе её выполнения, намечены направления перспективных исследований.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Результатом исследования является научно-обоснованная разработка моделей, метода, алгоритмов для автоматизации процесса создания обучающих систем, имеющих существенное значение для различных отраслей знаний, использующих информационные обучающие системы.

1. Г (роведен анализ моделей и методов моделирования обучающих систем. Обоснована необходимость разработки обобщенной модели интегрированной интерактивной обучающей системы. Выбран компонентный метод моделирования ИИнОС.

2. Разработана обобщенная модель ИИнОС, представленная в теоретико-множественном и функциональном виде. Разработана модель интерактивной подсистемы оценивания знаний, представленная в автоматном и функциональном виде. Функциональная модель ИПоЗ де. авизирована до 4 уровня иерархии и содержит 15 диаграмм в нотации ЮЕРО. Детализация данной модели облегчит процесс реализации обучающей системы. Раз-

работала конечно-автоматная модель выработки интерактивных управляющих воздействий на процесс обучения, тестирования и оценивания знаний. Применение данной модели, позволит корректировать обучающий процесс в соответствии с результатами оценивания знаний, тем самым, адаптируя процесс обучения под возможности обучаемого и требования преподавателя.

3. Предложен метод оценивания знаний - метод «цпрафов и поощрений», который основан на весе сложности содержания ТЗ, весе формы 'ГЗ, весе уровня сложности класса' 13, количестве и видах градаций ответов на ТЗ. В основу метода ШиП заложены свободные параметры, которые определяются экспериментальным путем. Предложенный метод позволяет выявить профиль обучаемого (выявлено 4 профиля). Ошесение обучаемого к конкретному профилю позволяет прогнозировать, определять дальнейший процесс обучения, выявлять слабых обучаемых, корректировать и направлять процесс повышения знаний.

4. Разработан алгоритм определения общего веса ТЗ, в основу которого заложены алгоршмы определения веса сложности ТЗ, на основе метода попарных сравнений и алгоритм определения сложности формы ТЗ, основанный на методе анализа иерархий. Предложенный алгоритм заложен в основу комплекса программ оценивания ТЗ и позволит облегчить трудоемкий процесс оценивания преподавателем сложности ТЗ. Разработан алгоритм оценки корректности тестового материала, положенный в основу комплекса программ, что позволяет автоматизировать процесс оценивания корректности ТЗ и получать рекомендации по модификации ТЗ. Разработан обобщенный алгоритм сценариев тестирования, учитывающий все возможные параметры процесса тестирования.

5. Разработан и реализован комплекс программ оценивания тестового материала на корректность и определения веса ТЗ. Разработанный комплекс программ позволяет сократить время подготовки тестового материала, модифицировать ТЗ на основе выданных рекомендаций, включать в процесс тестирования корректные ТЗ, что приводит к сокращению времени тестирования и увеличению процента правильных ответов на ТЗ, облегчить трудоемкий процесс определения веса ТЗ.

Проведены экспериментальные исследования по определению качества оценивания в зависимости от параметров корректности ТЗ, сложности формы, количества и видов градаций ответов на ТЗ. Использование корректных ТЗ позволяет сократил, время тестирования на 25%, увеличить процент правильных ответов на ТЗ. Так, за счет амфащения длины формулировки вопроса ТЗ значение показателя р увеличивается на 79%, за счет удаления размытых формулировок р увеличивается на 17%.

Определено, что каждая форма ТЗ имеет свой вес. Самой легкой является закрытая форма ТЗ с одним вариантом правильного ответа (вес 0,04), что требует исключения данной формы из теста при оценивании знаний. Более сложными формами ТЗ оказались формы 13 на соответствие (вес 0,66 ) и на упорядочивание (вес 0,91), из чего следует рекомендовать разнообразить тест различными формами ТЗ.

Определено оптимальное количество вариантов ответов для ТЗ закрытой формы (с несколькими вариантами правильного швета) - от 4 до 7. Определено соотношение правильных и ложных ответов для студентов младших курсов 1 :п, для старших курсов - 2 :п. Введение дополнительных градаций ответов на ТЗ позволяет экспериментальным путем определить профиль обучаемого и свободные параметры метода ШиП.

Предложенные модели, метод и алгоритмы оценивания знаний позволяют автоматизировать процесс оценивания знаний, обеспечить интерактивное взаимодействие обучаемого и преподавателя, повысить качество оценивания знаний и определить профиль обучаемого.

Таким образом, повышение качества оценивания знаний (сокращение времени тестирования, увеличение процента правильных ответов на ТЗ) произошло за счет корректности

П и метода оценивания. Предложенный метод оценивания знаний является чувствительным к профилю обучаемого.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Сглп.и и журналах из списка, рекомендованного ВАК РФ:

1. Тумбинская, М.В. Модель интерактивной обучающей системы / М.В. Тумбинская, Л.А. Александрова//11ро1раммныс продукты и системы.-2009.-№2.-С. 175-178.

2. Тумбинская, М.В. Модель и алгоритмы интерактивного оценивания знаний / М.В. Тумбинская, Л.А. Александрова//Программные продукты и системы.-2009. -№3.

■С.48-51. .

В других журналах и материалах научных конференций:

3. Купмина, М.В. Новые информационные технологии в образовании / М.В. Кузьмина, Л.А. Александрова И Инновационное образование в техническом университете: международная научно-методическая конференция. - Казань, 2004. -С. 227 - 229.

4. Купмина, М.В. Использование современных информационных технологий в дистанционном образовании / М.В. Кузьмина // VIII Королевские чтения: Всероссийская молодежная научная конференция с международным участием. -Самара, 2005.-С. 314-315.

5. Кузьмина, М.В. Традиционное и электронное обучение в образовании / М.В. Кузьмина // Туполевские чтения: Международная молодёжная научная конференция, посвященная 1000-летию города Казани: материалы конференции. -Казань, 2005.-С. 37-38.

6. Купмина, М.В. Методы и методология электронного обучения / М.В. Кузьмина, Л.А. Александрова // Информационная культура в системе подготовки будущего инженера: материалы региональной научно-практической конференции. - Нижнекамск, 2006. -С. 5-6.

7. Кулмина, М.В. Тестирование в электронном обучении / М.В. Кузьмина, Л.А. Александрова II Информационная культура в системе подготовки будущего инженера: материалы региональной научно-практической конференции. - Нижнекамск,

2006.-С. 7-8.

8. Купмина, М.В. Анализ и оценивание тестов и тестовых заданий / М.В. Кузьмина // XIV Туполевские чтения: Международная молодёжная научная конференция: материалы конференции. - Казань, 2006. - С. 53 - 55.

9. Купмина, М.В. Использование тестирования, как формы образовательных техно-Л01ИЙ / М.В. Кузьмина // XIV Туполевские чтения: Международная молодёжная научная конферешщя: материалы конференции.-Казань, 2006.-С. 162-163.

10. Купмина, М.В. Функции котроля в процессе обучения / М.В. Кузьмина // XIV Туполевские чтения: Международная молодёжная научная конференция: материалы конференции. -Казань, 2006. -С. 163 - 165.

11. Тумбинская, М.В. Использоваше технологий моделирования в профессионать-ном образовании / М.В. Тумбинская, Л.А. Александрова // Наука и профессиональное образование: матсриачы региональной научно-практической конференции. - Казань,

2007. С. 3-7.

12. Тумбинская. М.В. Моделирование обучающего процесса / М.В. Тумбинская, Л.А. Александрова // Информационные технологии в науке, образовании и производстве: материалы всерсхгсийской научной конференции, посвященной 75-летию Казанского государствен! гого технического у\ мверстста им. А.НТуполева - Казань, 2007. -С. 700 - 703.

13. Тумбинская. М.В. Особенности модели приобретения новых знаний в процессе обучения / М.В. Тумбинская, Е.Е. Горелою//XV Туполевские чгепия: материалы международной молодёжной научной конференции. - Казань, 2007. - С. 49 - 53.

14. Тумбинская. М.В. Моделирование знаний учебною процесса иа основе дидакт ики /М.В. Тумбинская // XV Туполевские чтения: материалы между! ыро; ч юй молодёж] юй i ia-учной конференции. - Казань, 2007. - С. 80 - 83. ■

15. Тумбинская. М.В. Использование возможностей искусственного интеллекта иа этапах создания обучающих элекгронных изданий / М.В. Тумбинская, Н.Н. Горелова // Инфокоммуникационные технологаи глобального информационною общества: та. докл. 5-й ежегодной международной научно-практической конференции. - Каши., 2007.-С. 237-239.

16. Тумбинская, М.В. Практическая значимость модели формирования знаний в образовательном процессе / М.В. Тумбинская, Е.Е. Горелова // Инфокоммуникационные технологии глобального информационного общества: то. докл. 5-й ежегодной международной научно-пракгаческой конференции. - Казань, 2007. - С. 239 - 240.

17. Тумбинская, М.В. Моделирование интерактивного процесса обучения / М.В. Тумбинская, ЕЕ. Горелова // Технологии электронного обучения в современном вузе: мат-риалы международной научно-практической конференции. - Минск, Республика Беларусь: ШУСТ БГУ, 2008. - С. 63 - 64.

18. Тумбинская, М.В. Адаптивные сценарии в электронном обучении / М.В. Тумбинская // Технологии электронного обучения в современном вузе: материалы между i íapoj ц юй научно-практической конференции. - Минск, Республика Беларусь: ГИУСГ БГУ, 2008. С. 105-106.

19. Тумбинская, М.В. Интерактивность процесса обучения в шпеллекгуатьных обучающих системах / М.В. Тумбинская, Е.Е. Горелова // XVI Туполевские чгения: Материалы международной молодёжной научной конференции. - Казань, 2008. - С. 105 -107.

20. Тумбинская, МВ. Модели и алгоритмы управления процессом обучения с помощью обучающих систем / М.В. Тумбинская // XVI Туполевские тения: материалы международной молодёжной научной конференции. - Казань, 2008. - С. И 0 -112.

21. Тумбинская, М.В. Моделирование процессов обучения при создании обучающих систем / М.В. Тумбинская // XXXTV Гагаринские чтения: материалы международной молодёжной научной конференции. Т.4.-М.:МАТИ,2008.-С. 170-172.

22. Тумбинская, М.В. Модель обучаемого в элекгронных обучающих системах / М.В. Тумбинская IIXXXIV Гагаринские чтения: Материалы международной молодёжной научной конференции. Т. 4. - М.: МАТИ, 2008. - С. 174 -175.

23. Тумбинская, М.В. Особенности моделирования ишеллекгуальпых обучающих систем / М.В. Тумбинская, Е.Е. Мякушкина // Инфокоммуникационные технологии i'ju>-бального информационного общества: тез. докл. 6-й ежегодной международной научно-практической конференции. - Казань, 2008. - С. 245 - 246.

24. Тумбинская, МВ. Исследование повышения качества обучения пугем моделирования образовательного процесса / М.В. Тумбинская, Л.А. Алексшщрова //11аука и профессиональная деятельность: материалы Всероссийской научно-нракгичсской конг^рсп-ции. - Нижнекамск, 2008. - С. 280 - 282.

25. Тумбинская, М.В. Автоматизированное тестирование в электронных обучающих системах / М.В. Тумбинская, Е.Е. Мякушкина // Проблемы техники и техполоти телекоммуникации и Оптические технологии в телекоммуникациях: материалы международных научно-технических конференций. - Казань, 2008. - С. 479 - 481.

26. Тумбинская, М.В. Моделирование интерактивных обучающих систем / М.В. Тумбинская, Л.А. Александрова// Проблемы техники и технологии телекоммуникации и Оп-

тические технолоти в телекоммуникациях: материалы международных научно-технических конференций.—Казань, 2008. - С. 492 - 494.

27. ТумСптская. МП Проектирование ишеллскгуальных электронных средств обучения и их зашита / М.В. '1'умбинская, Е.Е. Мякушкина // Проблемы техники и технологии телекоммуникации и Оптические технологии в телекоммуникациях: материаты международных научно-технических кон(|х:решдай. - Казань, 2008. -С. 462 - 463.

М В. п 1и'1У емшши <1амилию I и Тумбгак^ №729158).

Формат 60x84 1/16. Бумага офсетная. Печать офсетная. Печ. л. 1,0. Усл. печ. л. 0,93. Уч.-изд. л. 1,0. Тираж 110. Заказ Н 149.

Типография Издательства Казанского государственного технического университета 420111 Казань, К. Маркса, 10