автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Система интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании

БАЗАРОН СЭСЭГ АРСАЛАНОВНА

СИСТЕМА ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА И ОЦЕНИВАНИЯ КОНСТРУИРУЕМЫХ ОТВЕТОВ ПРИ АВТОМАТИЗИРОВАННОМ ТЕСТИРОВАНИИ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (космические и информационные технологии)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 О АЛР 2077

Красноярск - 2011

4844658

Диссертация выполнена в Восточно-Сибирском государственном технологическом университете, г. Улан-Удэ

Научный руководитель: доктор технических наук, профессор

Найханова Лариса Владимировна

доктор технических наук, профессор Семенкин Евгений Станиславович доктор физико-математических наук, профессор

Муратова Галина Викторовна

Ведущая организация: Федеральное государственное учреждение

«Государственный научно-исследовательский институт информационных технологий и телекоммуникаций» (ФГУ ГНИИ ИТТ «Информика»)

ЗайЦита диссертации состоится «12» мая 2011 г. в 14 часов на заседании диссертационного совета Д 212.249.02 при Сибирском государственном аэрокосмическом университете имени академика М.Ф. Решетнева по адресу: 660014, г. Красноярск, проспект имени газеты «Красноярский рабочий», 31, ауд. П-207

С диссертацией можно ознакомиться в библиотеке Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева.

Автореферат разослан «12»

т

Ученый секретарь диссертационного совета

Официальные оппоненты:

ОБЩАЯ ХАРАКТЕРИСТИКА ДИССЕРТАЦИИ

Актуальность темы диссертации. Актуальность данной работы обусловлена интенсификацией и компьютеризацией сферы образования, а также комплексной автоматизацией процесса обучения. Одним из важных направлений информатизации сферы образования является разработка и применение автоматизированных систем контроля знаний (АСКЗ). В любой образовательной системе особое место занимает контроль - отслеживание усвоения знаний и мониторинг качества обучения.

Повышение эффективности управления образовательным процессом напрямую связано с внедрением новых образовательных и информационных технологий в учебный процесс, что увеличивает потребность в автоматизированных системах, включая автоматизированные системы контроля знаний, которые позволяют оперативно оценивать знания учащихся. На сегодняшний день тестирование, как одна из наиболее технологичных и объективных форм контроля знаний, повсеместно используется как в процессе обучения, так и в системах мониторинга и оценки качества образования во многих странах мира.

Анализ работ по теории и практике тестирования показал, что информатизация образования позволила существенно модернизировать тестовые технологии контроля знаний и поднять их на качественно иной уровень. Использование новых информационных технологий, во-первых, позволило автоматизировать обработку информации, полученной в результате тестирования, благодаря чему стало возможным массовое тестирование, во-вторых, привело к созданию автоматизированных систем контроля знаний (МООБЬЕ, АСТ-Тест, НурегТеэ!, БипИауТезЮГАсеРго и др.). Такие системы позволяют не только компьютеризировать традиционные бланковые тесты посредством автоматизации процессов формирования теста и предъявления тестовых заданий, но и открывают новые возможности представления предметной области за счёт включения в тест заданий открытого типа. В работе рассматриваются задания второго уровня усвоения, которые содержат открытые по форме вопросы. По классификации Беспалько В.П. к заданиям второго уровня усвоения относятся задания на подстановку, воспроизведение и решение типовых задач.

На задание открытого типа тестируемый дает конструируемый по памяти ответ. Трудность обработки информации в таком ответе заключается в ее неоднозначности, что представляет серьезную проблему при оценивании результатов автоматизированного тестирования, поскольку для адекватного оценивания необходимо предусмотреть все возможные варианты ответа при создании эталонных ответов. Как правило, оценивание конструируемых ответов осуществляется сопоставлением эталонного ответа и ответа тестируемого на полную идентичность, что зачастую в конечном

итоге не совсем корректно отражает уровень знаний тестируемого.

Из изложенного выше следует, что одним из направлений дальнейшего повышения эффективности контрольно-оценочных процедур связано с обработкой информации в системах автоматизированного тестирования, основанной наинтеллектуальном анализе и оценивании конструируемых ответов с применением нечеткой логики и онтологического подхода. Интеллектуальный анализ был применен при обработке информации АСКЗ в работах И.А. Данилова, C.B. Дуплика, И.Д. Рудинского, C.B. Грушецкого, Е.А. Белова и др. Надо заметить, что в данных работах рассматривались в основном тестовые задания на подстановку.

В связи с этим особую актуальность приобретает вопрос совершенствования процесса обработки информации в системах автоматизированного тестирования за счет интеллектуализации анализа и оценивания конструируемых ответов (далее ответов) на задания открытого типав автоматизированных системах контроля знаний.

Таким образом, на основании проведенного анализа определена проблемная ситуация, сущность которой состоит в противоречии между практической необходимостью применять в процессе автоматизированного тестирования задания открытого типа и отсутствием адекватной обработки информации при оценивании получаемых на них ответов.

Исходя из данной проблемной ситуации, решаемая в диссертационной работе научная задача заключается в исследовании процессов обработки информации в системах автоматизированного тестирования по вопросам открытого типа и разработке интеллектуальных способов анализа и оценивания ответов тестируемого.

Объект исследования - обработка информации в системах автоматизированного тестирования.

Предмет исследования - способы интеллектуального анализа и оценивания ответов на открытые по форме вопросы в заданиях второго уровня усвоения в системе автоматизированного тестирования.

Цель работы - совершенствование процесса обработки результатов автоматизированного тестирования за счет интеллектуальной обработки неточной и неполной информации, содержащейся в конструируемых ответах.

Для достижения поставленной цели необходимо решить следующие задачи.

1. Выполнить анализ существующих моделей, методов и алгоритмов обработки информации при оценивании результатов тестирования, на основе которого определить подход к решению поставленной задачи.

2. Разработать обобщенную модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах

на задания второго уровня усвоения АСКЗ для определения способов решения поставленной задачи. . .

3. Разработать способы интеллектуального анализа и оценивания ответов на тестовые задания второго уровня усвоения на основе аппарата нечеткой логики и онтологического подхода.

4. На основе предложенной модели и способов интеллектуального анализа и оценивания ответов на тестовые задания второго уровня усвоения разработать систему интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании.

5. Провести вычислительные эксперименты для определения корректности разработанных способов.

Методы исследования базируются на математическом аппарате теории множеств, нечеткой и математической логики, системного анализа, искусственного интеллекта, теории алгоритмов и автоматов.

Для описания понятий и отношений проблемной области использован теоретико-множественный подход. Разработка методов оценивания конструируемых ответов основана на методах искусственного интеллекта (нечеткое регулирование, онтологический подход, инженерия знаний и др.) и теории автоматов. Метод групповых экспертных оценок использован для проверки корректности модели. Системный анализ использован при исследовании предметной области, выработке подхода к решению задачи, определении методов решения задачи.

Достоверность научных выводов и практических рекомендаций основывается на теоретических и методологических положениях, сформулированных в исследованиях российских и зарубежных ученых, таких как А.Е. Алтунин, М.В. Семухин, Г.С. Осипов, Л.А. Заде, Е. Мамдани, Н. Бел-нап и других, а также на положительном исходе сравнения результатов вычислительных экспериментов и теоретических положений работы.

Научные результаты, выносимые на защиту.

1. Обобщенная модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах на тестовые задания второго уровня усвоения.

2. Способы анализа и оценивания ответов на задания типов «Подстановка», «Воспроизведение» и «Типовая задача».

3. Способ автоматического построения базы нечетких продукционных правил.

Научная новизна и теоретическая значимость.

1. Разработана четырехкомпонентная модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах на задания второго уровня усвоения.

2. Разработаны способы интеллектуального анализа ответов на зада-

• ния типов «Подстановка» и «Воспроизведение», отличительной чертой которых является возможность распознавать неточный или неполный ответ.

3. Предложен способ интеллектуального анализа ответов на задания «Типовая задача», новизна которого заключается в том, что анализ хода решения задачи осуществляется вычислительной системой, а не экспертом.

4. Предложен способ автоматического построения базы нечетких продукционных правил, которые позволяют оценить степень правильности ответа. Особенностью предложенного способа является то, что система нечетких продукций обладает свойствами полноты и непротиворечивости, при условии, что центры ядер нечетких множеств, образующих значения входных и выходных лингвистических шкал, включают элементы действительной порядковой шкалы, равномерно градуированной на интервале [0;1].

5. На основе предложенной модели и способов интеллектуального анализа и оценивания ответов на тестовые задания второго уровня усвоения разработан прототип системы интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании.

Практическая значимость исследований. Практическая значимость исследования заключается в том, что полученные результаты могут быть применены при разработке интеллектуальных автоматизированныхсистем контроля знаний, включающих оценку знаний студентов по тестовым заданиям открытого типа. Результаты тестирования могут быть использованы для определения уровня подготовленности студентов в различных плоскостях: раздела дисциплины, дисциплины в целом, специальности, факультета, вуза и т.д. и служить основой разработки рейтинговой системы успеваемости учащихся.

Апробация результатов. Основные положения диссертационной работы докладывались иобсуждались на пятой Международной научно-технической конференции (Вологда, 2009), всероссийской научно-практической конференции (Новокузнецк, 2009), седьмой, девятой идеся-той Всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2006, 2008, 2009), научно-методической конференции «Развитие творческих способностей студента в инновационном обучении» (Улан-Удэ, 2008).

По теме диссертации опубликовано 11 работ. Среди наиболее значимых публикаций: 3 статьи в 2 научно-технических журналах, из перечня рекомендуемых ВАК РФ для публикации научных результатов диссертации на соискание ученой степени кандидата технических наук; 2 статьи в научных и технических изданиях; 5 работ в материалах всероссийских и международных научных конференций; 1 свидетельство об официальной

регистрации программ для ЭВМ.

Внедрение результатов. Результаты диссертации используются ву-чебной деятельности Восточно-Сибирского государственного технологического университета и включены в программу учебных дисциплин «Нечеткая логика» и «Системы искусственного интеллекта» специальности 010503 «Математическое обеспечение и администрирование информационных систем». Кроме того, методика создания подсистемы оценивания результатов тестированияиспользуется при разработке интеллектуальной автоматизированнойсистемыудаленного тестирования. Также результаты исследований используются в дистанционном обучении центра информационно-методической поддержки образования Воронежского государственного технического университета для составления методики оценивания знаний обучаемых при удаленном тестировании. Внедрение результатов подтверждено соответствующими актами об использовании результатов.

Структура диссертации. Работа состоит из введения, пяти глав, заключения, списка использованной литературы и семи приложений. Диссертация объемом 143 страницы включает 39 рисунков и 20 таблиц. Объем приложений составляет 47 страниц.

СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении к диссертации обоснована актуальность выбранной темы, раскрыты цель и содержание поставленных задач, указаны применяемые методы исследования, показана научная новизна и практическая значимость работы, перечислены основные научные результаты, выносимые на защиту.

Первый раздел посвящен описанию проблемной ситуации. Определены основные понятия предметной области. Выполнены обзор и анализ научных работ, посвященныхоцениванию результатов автоматизированного тестирования, и исследованы существующие автоматизированные системы контроля знаний на предмет реализации методов оценивания ответов на задания открытого типа.

Это позволило выявить проблемную ситуацию, определить методы исследования для ее разрешения и разработать постановку задачу.

Во втором разделе разработана обобщенная модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах на задания второго уровня усвоения АСКЗ.

К заданиям второго уровня усвоения относятся задания типов «Подстановка», «Воспроизведение», «Типовая задача». Данная классификация определила структуру модели (рис. 1). Структурно вышеназванная модель состоит из четырех компонентов. Первый компонент предназначен для интеллектуального анализа ответов на задания типа «Подстановка». Второй -

для интеллектуального анализа естественно-языкового текста ответа. Третий - для интеллектуального анализа ответа, представляющего собой ход решения типовой задачи тестового задания. Четвертый компонент является нечетким логическим регулятором, который посредством нечеткого логического вывода оцениваетстепень правильности ответа.

Компонент анализа ответа На ТЗ тела "Подстановка"

Формирование нечеткого множества й'нОнийов эталонного ответа

(Пом «исправление i йрфвфзфйчесок { «рйжвсгаете ! испытуемого

Онтмшй гчвдыетъой области

Компонент анализа ответа на ТЗ типа "Воспроизведение"

Анализ естесгэенно-яаыадвога ответа

Сшшзлвиий анализ

ТЕюла ответе

тестируемого и эталонна)

IE

С|ИвИвНИв графов

•Анализ ответа на ТЗ, требующее перечиспент харапертип о5шта Про дисциплины : (аналогично анализу ответа на задание типа "Подстановки

Нечеткий логический регулятор

Фаззифинция j

f

} База мшмп1чщкций оценивания ТЗ. . LjpwbMMMf и 'BccnpoweHV^J \J Нечеткий лотческий -—— • 1 1 вывод степени

правильности ответа ^--—

Ё

База нечетки* продэдий оценив

Компонент анализа ответа на ТЗ типа "Типовая задача"

Анализ ответа на та, требующее одно или несколько вычисленных значений (аналогично анализу ответа на ТЗ типа "Подстановка")

Анализ ответа на ТЗ, требующее в качестве ответа текстовое описание решения задачи (аналогично анализу ответа на ТЗ типа "Воспроизведение*}

Анализ ответа на ТЗ, требующее в качестве ответа .написание хеша решения задачи

1 Сравнение формул ответа ] тестируемого с формулами " I эталонного ответа

[* Выбф формулы для вывода"!

формул

Аиатоз ответа на ТЗ, требующее в качестве ответа • табличное представление решений зада1«»

Приведение таблицы | f Сравнение ответетБотрушюк.? > соответствующих

таблице эталонного [-^ элементов таблиц отаега

отвга I | твстир)*емого и этало1мого

i !

Рисунок 1 - Обобщенная модель системы автоматизированной обработки информации

при неточных и неполных конструируемых ответах на задания второго уровня

Нечеткий логический вывод осуществляется на базе знаний, представляющей собой систему нечетких продукционных правил. Базу знаний, как правило, строит эксперт вручную. Это очень трудоемкая и сложная работа. В связи с этим в работе разработан способ генерации базы нечетких продукционных правил.

Способ генерации базы нечетких продукционных правил. Исходная информация: множество входных лингвистических переменных /«={/«/,... Jnk}\ выходная лингвистическая переменная Out\ симметричная функция принадлежности \i(Out); логическая операция «and» в подуслови-ях нечетких продукционных правил;- TRln(TR0ll() - терм-множество входных (выходных) лингвистических переменных In (Out).

Основные этапы алгоритма.

1. Сформируем множество подусловий нечетких продукционных правил вида iru = (¡щ is щ) е IRh где щ б TRlni i = l../с, I = 1.. |ЩП|. Для этого с каждой входной лингвистической переменной int построим декартово произведение {1щ} х TR,n и зададим на нем полное соответствие

is:Irii -> Щ.

2. Сформируем множество заключений нечетких продукционных правил вида cr( = (Out is trm) в CR, где trm £ TR0ut, m = l..\TR0ut\. Для этого аналогично построим декартово произведение {Out} х TR0ut и зададим на нем полное соответствие is: Out -»tm.

3. Сформируем нечеткие продукционные правила prj. Для этого построим декартово произведение D = IR1x ... х IRk х CR. В каждом компоненте dj — (irlq,...,irkg,crs) Е Д добавим ключевые элементы правила рг;-: оператор «if», логическую операцию «and» и оператор «then». Оператор «if» определяет начало правила, операция «and» соединяет подусловия irti компонента dj, оператор «then» соединяет ряд подусловий iru с заключении crs.

Таким образом, генерируется база нечетких продукционных правил PR, отвечающая требованию полноты, но обладающая свойством противоречивости. Устранение противоречивости базы знаний происходит путем поиска минимального покрытия MinPR базы нечетких продукцион-ныхправил PR.

4. Для каждого условия правила рг;- вычислим t-норму. t-норма (дополнительная бинарная операция Т на [ОД] х [0,1] -» [ОД]) вычисляется как вероятностное пересечение центров ядер MidInL нечетких множеств At, термы которых £гг входят в подусловия iru — правила рг,- : Tj{MidIni, ...,MidInk) = П?=1 Midlnt. При этом t-норма должна удовлетворять аксиомам граничного условия, монотонности, коммутативности и ассоциативности. Покажем, что полученная t-норма удовлетворяет всем аксиомам:

a) граничное условие: TiMidln^l) = Midhii, например, МШщ = 0.4, тогда 7'(0.4,1) = 0.4 • 1 = 0.4;

b) монотонность: (Midlna, Midlnb) < T{Midlna,Midlnc), если Midlnb < < Midlnc , например, Midlna = 0.4 и Midlnb = 0.3 < Midlnc = 0., тогда 7X0.4,0.3) = 0.4 • 0.3 = 0.12<7X0.4,0.6) = 0.4 • 0.6 = 0.24;

c) коммутативность: T(Midlna, Midlnb) = T(MidInb,MidIna), например, Mid!na = 0.4, Midlnb = 0., тогда T(0.4,0.3) = 7X0.3,0.4) = 0.4 ■ 0.3 = 0.3 ■ 0.4 = 0.12;

d) ассоциативность: T(Midlna,T(MidInb,MidInc)) =

= T(T(MidIna, Midlnb~), Midln^, например, Midlna = 0.4, Midlnb - 0.3, Midlnc = 0.6, тогда Г(0.4,7X0.3,0.6)) = 0.4 • (0.3 ■ 0.6) = 7X7X0.4, 0.3), 0.6) = = (0.4-0.3)-0.6 = 0.07

5. Вычислим отклонение t-нормы от центра ядра MidOut. Для нечет-

ких множеств Ат, термы гтт которых входят в заключение с?} = (ОЩ 15 Сгт) правила р?) вычислим отклонение г-нормы от центра ядра ЛШОиГ. А; = |7} - М1<10щ\.

6. Определим а-сечение нечеткого множества Лт каждого терма

^ с ТВ ■ „ -

™т ь 1 • «| --2 '

7. Отбор правил в минимальное покрытие МтРЯ. Если то правило ргу включаем во множество МтРЯ, т.е.р^еМтРЯ.

Таким образом, генерируется база нечетких продукционных правил, отвечающая требованию полноты и непротиворечивости.

В третьем разделе разработаны интеллектуальные способы, предназначенные для анализа ответов на задания типов «Подстановка» и «Воспроизведение» и необходимые для реализации 1 -го и 2-го компонентов системы, представленной на рисунке 1.

Способ анализа ответа на тестовое задание типа «Подстановка». Ответ на вопрос тестового задания типа «Подстановка» может быть простым или составным. Простой ответ состоит из одного термина, а составной - из нескольких. Введем следующие обозначения:

£ = {е;|е; - г'-я подстановкатермина, г = ~ множество терминов, составляющих эталонный ответ;

5 = {эц^ц - ) - й синоним I - го термина,] = 1..п} - множество

синонимов терминов эталонного ответа;

Рр

р:Е х 5 -> [ОД] - нечеткое отношение, определяющее степень близости синонима 5 Е 51 и термина эталонного ответа е £ Е;

Я = {г^ — ¿-я подстановка, I = 1..п]~ множество терминов, составляющих ответ тестируемого;

Яеггог с Я- упорядоченное множество неверных терминов в ответе тестируемого;

01 и 02- количественный и качественный показатели правильности ответа Л.

Таким образом, имеем эталонный ответ Е тестового задания и ответ тестируемого/?.

Яеобходшюопределить количественный©^. качественный02 показатели ответа Я.

Для решения задачи:

1) сформируем множество синонимов 5 эталонного ответа Е и нечеткое отношение р; 2) найдем и исправим термины, имеющие орфографические ошибки; 3) определим количественный 0| и качественный 02 показатели ответа Я.

Формирование множества синонимов и нечеткого отношения р. При

формировании множества синонимов 5 терминов эталонного ответа Е используется онтология предметной области, соответствующая теме тестового задания. Для каждого термина е, в семантической сети фреймов онтологии осуществляется поиск фрейма, в котором описан данный термин. Из найденного фрейма извлекаются синонимы я,у, которые включаются во множество 5. Нечеткое отношение р — $/;•))} формирует-

ся экспертом (составителем теста) в процессе формирования теста: каждому синониму я у эксперт задает меру близости цр1 £ [0,1] к термину эталонного ответа е,.

Определение терминов с орфографическими ошибками и их исправление. Для решения этой задачи необходимо найти множество ошибочных терминов в ответе тестируемого и провести их анализ.

Правильный ответ студента определяется поформуле:Яр = Нер и И5р, где Лер- множество абсолютно правильных подстановок: Иер = Е П Я; Я5р -множество частично правильных подстановок: = .9 П И. Тогда множество, содержащее неправильную часть ответа, вычисляется по формуле Яеггог — ДУ?р. В полученном множестве Яе,ГОг найдем ответы, содержащие орфографические ошибки следующим образом:

1. Представим геЯеп.ог, е £ Я и $£5 в виде множества литер г = {/^-д-я литера термина г}, я литера терминае} и

литера термина?}.

2. Для геЯе1ГОГ и е £ Е составим отношение рг:г х е [ОД], которое можно представить в виде матрицы вида:__

Термины Е

е\ е:

Г| tu Т|2 tlm

l"v TV1 Tv2 t'vm

В таблице символом! обозначена процентная мера совпадения литер сравниваемых терминов е, и г,, которая вычисляется по формуле: т = \{rne}\/maxQr\, |е|) -100%.

3. Представим отношениер^ в виде взвешенного двудольного графа Ge=(V(ReiroruE),M), где V{RerrayjE)- множество вершин: к первой доле относятся вершины, содержащие термины rsRenon а ко второй доле - вершины, содержащие термины е € Е; М- множество дуг: дуга, соединяющая вершины г не, имеет вес т.

4. Найдем в графе Ge дуги, вес которых т > 50%, и инцидентные им вершины. Они составят множество

h = {fo, Ч. ex), (г2, т2, е2).....(rk, тк, ек)}.

Повторим пункты 2-4 для reRerror и s £ S, в результате получим

множество ¿8 = {(71, тх, еД (г2, т2, е2).....(гг, т2, е2)}.

5. Объединим полученные множества Ь — 1е и 15.

6. Во множестве Ь найдем все пары элементов (г;,Т;, е;) и (гу,ту,5у),у которых п = 7*у.

7. Исключим из множества ¿один из элементов каждой найденной пары: // = Ь \ {/}:

1 _ ((П-ед, если тг < ту ~ ((?}■, т;-, если т; < тг'

Таким образом, в каждом элементе (г;,тг, £¡1^) 6 ¿ошибочному термину г, будет соответствовать термин е±Е.Е или 65с процентной мерой близости

Исправление ошибочных терминов r¡ производится путем замены их на соответствующие термины 6 Е или 6 5 . Для этого введем 11ес - множество скорректированных ошибочных терминов множества Е,

множество скорректированных терминов множества 5 (Лк=Лк=0). Во множество Яес включим элементы е^ £ Ь = {(гг, г^, е;)}, то есть йес:{е;} и йес, а во множество элементы Яу Е I = (Оу^у^у)}, то есть и В результате получим множество скорректированных терминов = Яес и Элементы ц 6 I = {(г;,Т;,е(|.?;)} исключим из множества Леггог' Кеттог\{Г1}•

Таким образом, получим три множества: - множество изначально правильных ответов, множество скорректированных ответов и

Кегго- множество неверных ответов, не подлежащих исправлению.

Определение количественного и качественного показателей ответа. Количественный показатель правильности ответа вычисляется по формуле (1), а качественный показатель - по формуле (2).

п, еслиГ1ЕЯериЯес £"=1] если Г(бК5г,ий5(; и 0!=- (1), 62 =-1о. если Г;ЕЛеггог-- (2)>

71 /С

где к — |Др| + |йс| - количество верно выполненных подстановок в ответе тестируемого; п~\Е\ - общее количество подстановок для выполнения задания.

Значения показателей 8г и 92 подаются на вход нечеткого регулятора для определения степени правильности ответа тестируемого.

Способ анализа ответов на тестовые задания типа «Воспроизведение». Задания типа «Воспроизведение» можно разделить на четыре класса: 1) задания, требующие перечисления каких-либо характеристик того или иного объекта (явления) предметной области дисциплины; 2) задания, требующие написания формулы (уравнения); 3) задания, требующие

выполнения чертежа или графика; 4) задания, требующие воспроизведения определения понятия предметной области дисциплины.

Анализ ответа на задание первого или второго классов осуществляется также как и в случае с заданиями типа «Подстановка». Задания, требующие графического представления, в данной работе не рассматриваются.

Рассмотрим способ анализа ответа на вопросы тестового задания четвертого класса, представляющего собой фрагмент текста на естественном языке. Для этого необходимо основываться на результатах методов естественно-языковой обработки текста ответа тестируемого.

В качестве допущения будем считать, что после проведения лингвистического анализа ответа тестируемого (морфологического и синтаксического анализов и замены местоимений) имеем два корректных графа:

(? = (¿(2, Сд) - граф зависимостей синтаксического анализа лексем эталонного ответа Е\

В = (¿о, - граф зависимостей синтаксического анализа лексем ответа тестируемого Я.

Для определения степени близости графов 9 применим известные в теории графов коэффициенты:

к, =|/.„ ».-а^ЧЛМ + М«

к,=\к>п11>\/т<п{\к>[\ь:>\)-

Здесь к\ - простое соответствие; к2 - коэффициент Дайса; Аз - модифицированный коэффициент Дайса; кА - коэффициент Жаккарда; к5 — косинусный коэффициент; к6 - коэффициент перекрытия. Степень близости графов 0 определяет расстояние между графами зависимости эталонного ответа и ответа тестируемого.

Для выбора коэффициентов был проведен ряд вычислительных экспериментов. На первом этапе проведено тестирование студентов по тестовым заданиям типа «Воспроизведение». Затем выполнен лингвистический анализ эталонного ответа и ответа тестируемого, в результате которого построены графы зависимостей 0 и Л. На последнем этапе были вычислены значения шести вышеуказанных коэффициентов, и проведена экспертная оценка результатов тестирования.

Результаты экспериментов показали, что коэффициент перекрытия кь даёт наименьшие отклонения от оценки эксперта кроме случаев, когда к(, = 1, которое получается при выполнении равенства \Ь0п,1п\=тт(\1.0\,\1.0\). В этом случае можно использовать коэффициент

Дайса к2, который дает меньшие отклонения от оценки эксперта, чем остальные коэффициенты. Поэтому было принято решение для определе-

ния степени близости 9 графов зависимостей использовать коэффициент Дайса и коэффициент перекрытия по следующему правилу:

Если | Ь0г\Ь0 тт{\ Ьд |,| , то9 = к2 иначе 0 = кй. (3)

Далее значение качественного показателя 9, подается на вход нечеткого регулятора для вычисления степени правильности ответа тестируемого.

В четвертом разделе рассмотрен способ интеллектуального анализа ответа тестируемого на тестовое задание «Типовая задача», необходимый для разработки третьего компонента системы, представленного на рисунке 1. Ответы на тестовые задания по решению типовых задач, условно можно разделить на пять групп в зависимости от их представления: 1) одно или несколько вычисленных значений; 2) текстовое представление; 3) табличное представление; 4) последовательность формул; 5) графическое представление.

Анализ заданий пятой группы в данной работе не рассматривается. Анализ ответов на задания первой и второй групп аналогично анализу ответов на тестовые задания типов «Подстановка» и «Воспроизведение» соответственно. В методе анализа заданий, требующих в качестве ответа табличное представление решения задачи, используется традиционный метод сравнения матриц.

Способ анализа ответов, представляющих собой написание хода решения задачи. Данный способ рассмотрим для случая, когда составитель теста и тестируемый представляют этапы решения задачи в виде последовательности формул. Этот случай интсрссен тем, что до настоящего времени анализ и оценивание последовательного вывода формул для получения конечного результата могли осуществляться только экспертом (предметным преподавателем). Будем полагать, что тестируемый представляет ход решения задачи в виде ряда формул.

Введем следующие обозначения:

Т- теория, по которой создано тестовое задание;

А = [а^щ — символу = 1.. к} -алфавит теории Г;

А*е={[1е- формула /-го этапа в эталонном ответе (слово в алфавите

Л)};

А"Г:={Ц\Ц - формула ;-го этапа вычисления в ответе испытуемого (слово в алфавите Л)};

9 - качественный показатель, определяющий степень близости множеств Л'г (множество формул эталонного ответа) и л' (множество формул ответа тестируемого);

П(х,.у) - предикат, определяющий истинность равенства х=у, где х - конечный результат эталонного ответа, у - конечный результат ответа

тестируемого.

Имеем множество формул эталонного ответа А' и множество формул ответа тестируемого А'.

Необходимо выполнить анализ множества формул А", определить значения показателей, позволяющих оценить степень правильности ответа.

Анализ множества формул А'. В первую очередь определим, включает ли множество А' формулы, несовпадающие с формулами эталонного ответа.

Множества совпадающих и несовпадающих формул ответа тестируе-могос формулами эталонного ответа определяются по формулам (4) и (5) соответственно:

а;=а;па;, (4) л-еггог = а;\а;. (5)

Если множество А'еггог ^ 0, то несовпадающие формулы//" 6 А*еггог проанализируем и попытаемся построить их вывод.

1. Анализ формул на правильное построение.

Вначале для рассматриваемой теории Т необходимо определить алфавит, правила построения формул, аксиомы и правила вывода в данной теории. В качестве правил вывода будем использовать метод систем ориентированных подстановок, который впервые предложил Э.Пост. В общем виде система подстановок описывается следующим образом:

Ь X _

Так как аксиома по своему определению представляет собой правила преобразования одних формул в другие, то ее можно описать в виде ориентированной системы подстановок, например, аксиома Аи0=А может быть представлена как система подстановок:

Г А и 0 -> А

ас = <

[ А -у А и 0

Таким образом, формально теорию Т определим как совокупность следующих множеств:

7={Л, О, АС, Р],

где А={У, С, 2, 5}- алфавит теории Т: V- множество переменных, С - множество констант, 2- упорядоченное по приоритету множество знаков операций, 5 - множество разделительных символов;

П={со}- множество правил построения формул теории Г;

АС={ас} - аксиомы теории Г;

Р— правила вывода, т.е. система подстановок.

Используя правила построения формул О, определяется правильность построения формул //" 6 А*еггог. Если формула //"правильно построена, то

она включается во множество А'с: {f[) и А*с. Для определения, является ли формула f[ правильно построенной, разработан конечный автомат, являющийся компонентом конечного преобразователя формул, который описан в нижеследующем пункте.

2. Вывод формул множества А*с.

Обозначим множество формултеории как 4J=AC(jA*c. Тогда ff £ А*с должны выводиться из мЕюжества Каждая формула представляется в виде ориентированного двоичного дерева G=(data, left, right), где data - знаки операций и атомы, входящие в формулу; left, right - ссылки на узлы, являющиеся потомками узла data. Дерево строится относительно самой младшей по приоритету операции, входящей в формулу f.

Составителю теста при формировании тестового задания типа «Типовая задача» необходимо будет указать теорию Т и задать множество аксиом АС= {ас}. Для этого была разработана спецификация теории, которую удобно представлять в виде XML-описания для файлов, содержащих описание аксиом теории Т и формул эталонного ответа и ответа тестируемого.

На вход преобразователя поступают формула f[ £ А*с и предшествующая ей формула ff Е Ар. Для вывода формулы f{ Е АI конечный преобразователь использует базу знаний АС, состоящую из аксиом теории Т- В случае, если формула не выводима, то она исключается из множества A*c:A*c\{f[}. Затем осуществляется переход к рассмотрению (/+1)-ой формулы. После анализа всех формул множества А*с в нем останутся только выводимые формулы. Исключим выводимые формулы из множества неправильных формул; A*error\A*c.

Таким образом, получим три множества А*р - множество правильных формул ответа тестируемого, А"с - множество формул, выведенных преобразователем и A*error - множество неправильных формул.

Определение значений показателей. Для данного метода показателями степени правильности ответа являются: степень близости 9 множеств А*е и А'г и предикат П(х,у). Показатель 9 определяется по формуле:

0 = (/с, + k2)lmax(nt,n2), (6)

где кг = |Лр| - количество формул ответа тестируемого, равных формулам эталонного ответа; к2 = \А*С \ — количество выведенных преобразователем формул; щ = | Ag | — количество формул эталонного ответа; n2 = |AJ.| - количество формул ответа тестируемого.

Предикат П(х,у) определяет истинность равенства х-у, где х - численное значение вычисления формул эталонного ответа, у - численное значение вычисления формул ответа тестируемого.

ПредикатЩ*.у) = фУу

Значения показателя 9 и предиката как значения входных

лингвистических переменных, подаются на вход нечеткого регулятора для определения степени правильности ответа тестируемого.

Таким образом, рассмотрены все способы, необходимые для программной реализации процесса оценивания ответов на вопросы открытого типа.

В пятом разделе приводится описание разработанного программного обеспечения и проведенных вычислительных экспериментов.

Для проведения вычислительных экспериментов с целью проверки корректности разработанных способов было разработано программное обеспечение, представляющее собой прототип системы интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании, одним из компонентов которого является нечеткий логический регулятор. Кроме того, для апробации методов создана онтология предметной области по основным понятиям теории множеств, в которой множество понятий представлено в виде семантической сети фреймов.

Онтология предметной области. Для обработки ответа на задание открытого типа его нужно вначале проанализировать, что почти невозможно без применения онтологии предметной области. Под онтологией обычно понимается спецификация некоторого объекта. В работе была построена онтология предметной области, необходимая для проведения вычислительных экспериментов. Онтология представляет собой семантическую сеть фреймов: каждая вершина сети является фреймом термина, соответствующего вершине. Семантическая сеть предметной области «Теория множеств» содержит 50 фреймов, количество вершин во фреймах колеблется от одной до шести вершин.

Вычислительные эксперименты. С помощью разработанного программного обеспечения были проведены следующие эксперименты: протестирован метод нахождения и исправления орфографических ошибок в ответе тестируемого; произведен выбор коэффициентов соответствия для определения степени близости графов зависимостей, протестирован конечный преобразователь формул, позволяющий построить вывод формул ответа тестируемого; произведен выбор метода дефаззификации и функций принадлежности для входных и выходных лингвистических переменных; протестированы базы нечетких продукционных правил оценивания правильности ответов на вопросы тестовых заданий второго уровня усвоения.

Для примера рассмотрим определение расстояния между двумя графами зависимости эталонного ответа и ответа тестируемого, а также те-

стирование базы нечетких продукционных правил оценивания правильности ответов тестируемого.

1. Определение расстояния между двумя графами зависимости эталонного ответа и ответа тестируемого. Для этого был проведен простой тест с 11-тью тестовыми заданиями типа «Воспроизведение». При выполнении теста студенты должны были воспроизвести определение указанного в задании понятия. Экспертным путем была определена степень близости эталонных и полученных в результате тестирования определений. Выполнен лингвистический анализ эталонного ответа и ответа тестируемого, в результате которого были получены графы зависимостей £) и В для каждого определения понятия. После чего вычислены степени близости данных графов и расстояния между ними (рис. 2).

1 ) 3 4 Л Ь / К Ч 1(1 11

вотноскте/.ьное число вершин в эталонном ответе, к! В относительное число вершин в ответе тестируемого,

а Степень близости графов зависимостей по с (расстояние между графами), (11 Степень близости графов зависимос-ей, заданная экспертом (расстояние между графами), 12

Рисунок 2 - Результаты эксперимента

Согласно проведенным расчетам Д=|а?гг/2| лежит в интервале [0,0.9], из этого можно сделать вывод, что расстояние между графами рассчитывается вполне корректно.

2. Тестирование базы нечетких продукционных правил оценивания правильности ответов тестируемого. Для этого был разработан тест, который содержал тестовые задания II уровня усвоения, по которому было проведено тестирование студентов. Результаты тестирования оценивала группа экспертов по шкале [0;1]. По результатам экспертных оценок был проведен анализ, определивший согласованность мнений экспертов путем вычисления коэффициентов вариабельности. Этот же тест был оценен с помощью нечеткого регулятора.

Таблица - Фрагмент теста и результаты оценивания

Вопрос Эталонный ответ Ответ тестируемого Оценка эксперта Оценка, нем. рег-ра Отклонение от оценки эксперта

Дайте определение универсальному множеству 1) Множество всех рассматриваемых в задаче элементов Множество всех элементов 0,94 0,89 0,05

Вопрос Эталонный ответ Ответ тестируемого Оценка эксперта Оценка, неч. рег-ра Отклонение от оценки эксперта

Дайте определение мощности множества М Число элементов в конечном множестве М Количество элементов множества М 1 0,978 0,04

Общезначима ли формула (А-»В)лВ—»А? Ре-шениепредставить методом равносильных преобразований ( А -> В ) л В -> А (( А -» В )л В) V А (-, (А -> В) V -. В) V А (АЛ-ПВУПВ)УЛ (ПВУ-1ВЛА)УА В —> А Л (А-»В)дВ->А -,АУВЛВ-»А -■ (А V В Л В ) V В ч ( А V В ) V -, В V В АА^ВУПВУВ А л -1 В V В АлИ л 1 0,978 0,02

Анализ результатов тестирования баз нечетких продукционных правил показал, что отклонение оценки нечеткого регулятора от оценки эксперта не превышает 0.05, что говорит о корректности разработанных баз нечетких продукционных правил, предназначенных для оценивания заданий открытого типа, и отражающих корректность работы разработанных способов.

В приложениях приведены таблица соответствия значений входных и выходных лингвистических переменных, базы нечетких продукционных правил для оценивания ответов на тестовые задания типов «Подстановка», «Воспроизведение» и «Типовая задача», таблица сравнительного анализа коэффициентов соответствия двух графов, знаки-фреймы семантической сети онтологии по теории множеств, пример оценивания экспертом ответов тестируемого, акты об использовании материалов диссертационной работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Выполненный анализ существующих моделей, методов и алгоритмов обработки информации при оценивании результатов тестирования показал, что совершенствование процесса обработки результатов автоматизированного тестирования связано в первую очередь с анализом и оцениванием конструируемых ответов на открытые по форме вопросы тестовых заданий. В связи с этим, на наш взгляд, совершенствование процесса обработки результатов автоматизированного тестирования связано с необходимостью применения при обработке информации методов нечеткой логики. Это определило проблемную ситуацию и постановку задачи.

2. Для решения поставленной задачи разработана четырехкомпонент-ная модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах на задания второго уровня усвоения. Предложенная модель позволила определить подзадачи, для решения которых требовалось разработать способы их решения. Обработка информации при решении каждой подзадачи должна состоять из двух эта-

пов: интеллектуального анализа ответов и оценивания степени правильности ответа. Исходя из этого, было определено, что на первом этапе необходимо использовать методы естественно-языковой обработки информации и онтологический подход; на втором этапе - разработать нечеткий логический регулятор.

3. Для интеллектуального анализа ответов предложены способы формирования множества синонимов эталонного ответа; определения орфографических ошибок в ответе испытуемого; анализа ответа на задание, предполагающее воспроизведение определения понятий предметной области. По технологии автоматного программирования построены конечный автомат, определяющий корректность построения формулы, и конечный преобразователь формул, осуществляющий логический вывод формулы ответа тестируемого. Разработана методика составления спецификации, задающей конфигурацию предметной области типовой задачи тестового задания и позволяющей конечным автоматам выполнить анализ решений типовых задач различных предметных областей.

Для оценивания степени правильности ответа разработан нечеткий логический регулятор, в основу которого положен алгоритм Е. Мамдани, работа которого требует наличия системы продукционных правил. Разработанный способ генерации нечетких продукционных правил позволяет автоматически строить системы нечетких продукций, включая и системы по определению степени правильности ответа.

Предложенное решение задачи, основанное на применении методов нечеткой логики, естественно-языковой обработки информации и онтологического подхода, позволяет более адекватно оценить неточные и неполные конструируемые ответы тестируемого, полученные в ходе автоматизированного тестирования.

4. Для проведения вычислительных экспериментов был разработан прототип системы интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании, который позволил провести вычислительные эксперименты по тестированию: метода нахождения и исправления орфографических ошибок в ответе тестируемого; конечного преобразователя формул; базы нечетких продукционных правил оценивания правильности ответов; коэффициентов соответствия графов зависимостей эталонного ответа и ответа тестируемого; методов дефаззи-фикации; функций принадлежности.

Сравнение результатов вычислительных экспериментов и экспертной оценки показали достоверность разработанных способов, необходимых для реализации системы.

Таким образом, поставленные задачи решены, цель достигнута.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Публикации в рецензируемыхжурлалах ВАК

1. Базарон С.А. Апробация метода нечеткого оценивания тестовых заданий типа «Подстановка» // Системы управления и информационные технологии: науч.-техн. журн. М.; Воронеж: Научная книга, 2009. № 1.1(35). С. 113-116.

2. БазаронС.А., Данилова С.Д. Метод оценивания тестовых заданий типа «Подстановка» с учетом орфографических ошибок// Системы управления и информационные технологии: науч.-техн. журн. М.; Воронеж: Научная книга, 2009.№ 1.1(35). С. 108-112.

3. Базарон С.А. Нечеткая модель оценивания результатов автоматизированного тестирования по тестовым заданиям открытого типа // Информатизация образования и науки: науч.-метод, журн. М.: ФГУ ГНИИ ИТТ «Информика»,2010. № 3(7). С. 89-106.

Другие публикации результатов диссертационного исследования

4. БазаронС.А.Данилова С.Д., Доржиева Е.В. Нечеткое оценивание открытых по форме тестовых заданий типа «Подстановка» // Теоретические и прикладные вопросы современных информационных технологий: материалы всерос. науч.-техн.конф. Улан-Удэ: ВСГТУ, 2008. С. 99-107.

5. Базарон С.А. Оценивание тестовых заданий «типовая задача» по естественно-научному циклу дисциплин // Теоретические и прикладные вопросы современных информационных технологий: материалы всерос. науч.-техн.конф.Улан-Удэ: ВСГТУ, 2009. С. 368-374.

6. Базарон, С.А. Оценивание тестовых заданий, требующих ответ от испытуемого на естественном языке // Системы автоматизации в образовании, науке и производстве - АБ' 2009: материалы УН-й науч-практ. конф. Новокузнецк: СибГИУ,2009. С. 279- 283.

7. Найханова Л.В., Данилова С.Д.,Базарон С.А. Подход к моделированию тестовых заданий с открытыми по форме вопросами// Вестник ВСГТУ. Улан-Удэ: ВСГТУ, 2007. № 4. С. 68-72.

8. Данилова С.Д.,Базарон С.А. Проблемы оценивания знаний в системах автоматизированного тестирования // Развитие творческих способностей студента в инновационном обучении: Сб. науч.-метод, статей. Вып. 15. Т.2. Улан-Удэ: ВСГТУ, 2008. С. 17-19.

9. Базарон С.А.,НайхановаЛ.В., Данилова С.Д. Формализация открытых по форме вопросов в тестовом задании // Теоретические и прикладные вопросы современных информационных технологий: материалы всерос. науч.-техн.конф. Улан-Удэ: ВСГТУ, 2006. С. 220-224.

10. Базарон С.А. Шкалирование входной и выходной информации при оценивании открытых по форме вопросов тестовых заданий // Информатизация процессов формирования открытых систем на основе САПР, АСНИ, СУБД и систем искусственного интеллекта: материалы 5-й межд. науч.-техн. конф. Вологда: ВоГТУ, 2009. С. 21-24.

11. Свидетельство о государственной регистрации программ для ЭВМ № 2010616051 «Подсистема автоматизированного тестирования по тестовым заданиям открытого типа»/ С.А. Базарон, A.B. Рукавичников. - М.: Федеральная служба по интеллектуальной собственности, патентам и товарным знакам, 2010.

Базарон Сэсэг Арсалановна

Система интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании

Автореферат

Подписано в печать 06.04.2011 Заказ № ^ Формат бумаги 60x84/16. Усл. печ. л. 1. Тираж 100 экз.

Отпечатано в СибГАУббОО 14, г.Красноярск, пр. им.газ. «Красноярский рабочий»

Введение.

1. Обзор современного состояния проблем оценивания ответов при автоматизированном тестировании.

1.1 Основные понятия и определения.

1.2 Модели оценивания знаний в системах автоматизированного тестирования

1.2.1 Модели оценки знаний с использованием «четких» тестов.

1.2.2 Модели оценки знаний с использованием «нечетких» тестов.

1.3 Обзор методов и алгоритмов оценивания ответов на открытый по форме вопрос в системах тестирования.

1.4 Описание проблемы и постановка задачи.

1.5 Выводы по разделу.

2. Модель системы автоматизированной обработки информации в конструируемых ответах на задания второго уровня усвоения АСКЗ.

2.1 Компонент анализа ответа на тестовое задание типа «Подстановка».

2.2 Компонент анализа ответа на тестовое задание типа «Воспроизведение»

2.3 Компонент анализа ответа на тестовое задание «Типовая задача».

2.4 Компонент - нечеткий логический регулятор, определяющий степень правильности ответа.

2.4.1 Основные положения применения аппарата нечеткой логики.

2.4.2 Фаззификация.

2.4.3 Нечеткий логический вывод.

2.4.4 Дефаззификация.

2.5 Способ генерации базы нечетких продукционных правил.

2.6 Выводы по разделу.

3. Способы интеллектуального анализа ответов на вопросы типа «Подстановка» и «Воспроизведение».

3.1 Примеры тестовых заданий типа «Подстановка» и «Воспроизведение».

3.2 Способ анализа ответа на вопрос типа «Подстановка».

3.2.1 Формирование множества синонимов эталонного ответа и нечеткого отношения.

3.2.2 Определение терминов с орфографическими ошибками и их исправление.

3.2.3 Определение количественного и качественного показателей ответа.

3.3 Способ анализа ответов на вопросы типа «Воспроизведение».

3.3.1 Построение графов зависимостей и их обработка.

3.3.2 Определение степени близости двух графов.

3.4 Построение базы нечетких продукционных правил оценивания ответов на задания типа «Подстановка» и «Воспроизведение».

3.5 Выводы по разделу.

4. Способ интеллектуального анализа ответов на вопрос «Типовая задача» по естественно-научному циклу дисциплин.

4.1 Способ анализа ответов на вопросы, требующие в качестве ответа табличное представление решения задачи.

4.2 Способ анализа ответа на вопрос, требующий написание хода решения задачи.

4.2.1 Методика составления спецификации теории.

4.2.1.1 Аксиомы различных теорий.

4.2.1.2 Описание методики составления спецификации теории.

4.2.2 Анализ множества формул ответа тестируемого.

4.2.3 Вывод формул на основе преобразований.

4.2.3.1 Модель автомата преобразователя.

4.2.3.2 Пример вывода формул на основе преобразований.

4.2.4 Определение показателей ответа.

4.3 Построение базы нечетких продукционных правил оценивания ответов на задания «Типовая задача».

4.4 Выводы по разделу.

5. Описание вычислительных экспериментов.

5.1 Онтология предметной области дисциплины специальности.

5.1.1 Модель онтологии.

5.1.1.1 Конструкция знаков концептуальных объектов.

5.1.1.2 Структуры словарных статей концептуальных объектов.

5.1.2 Пример фрагмента онтологии.

5.2 Описание программного обеспечения.

5.2.1 Компонент «Интерфейсная часть» системы.

5.2.2 Компонент «Создание тестовых заданий».

5.2.3 Подсистема автоматизированного оценивания ответов на тестовое задание открытого типа.

5.3 Анализ вычислительных экспериментов.

5.3.1 Выбор функции принадлежности и метода дефаззификации.

5.3.1 Тестирование базы нечетких продукционных правил.

5.3.1.1 Определение согласованности мнений экспертов.

5.3.1.2 Экспертный анализ результатов.

5.3.2 Тестирование способа обнаружения и исправления орфографических ошибок.

5.3.3 Тестирование автомата-преобразователя.

5.4 Выводы по разделу.

Актуальность данной работы обусловлена интенсификацией и компьютеризацией сферы образования, а также комплексной автоматизацией процесса обучения. Одним из важных направлений информатизации сферы образования является разработка и применение автоматизированных систем контроля знаний (АСКЗ). В любой образовательной системе особое место занимает контроль — отслеживание усвоения знаний и мониторинг качества обучения.

Повышение эффективности управления образовательным процессом напрямую связано с внедрением новых образовательных и информационных технологий в учебный процесс, что увеличивает потребность в автоматизированных системах, включая автоматизированные системы контроля знаний, которые позволяют оперативно оценивать знания учащихся. На сегодняшний день тестирование как одна из наиболее технологичных и объективных форм контроля знаний повсеместно используется как в процессе обучения, так и в системах мониторинга и оценки качества образования во многих странах мира.

Анализ работ по теории и практике тестирования показывает, что информатизация образования позволила существенно модернизировать тестовые технологии контроля знаний и поднять их на качественно иной уровень. Использование новых информационных технологий, во-первых, позволило автоматизировать обработку информации, полученной в результате тестирования, благодаря чему стало возможным массовое тестирование, во-вторых, привело к созданию автоматизированных систем контроля знаний (МОСЮЬЕ, АСТ-Тест, НурегТез1:, ЗипКауТезЮШсеРго и др.). Такие системы позволяют не только компьютеризировать традиционные бланковые тесты посредством автоматизации процессов формирования теста и предъявления тестовых заданий, но и открывают новые возможности представления предметной области за счёт включения в тест заданий открытого типа. В работе рассматриваются задания второго уровня усвоения, которые содержат открытые по форме вопросы. По классификации Беспалько В.П. к заданиям второго уровня усвоения относятся задания на подстановку, воспроизведение и решение типовых задач [25].

На задание открытого типа тестируемый дает конструируемый по памяти ответ. Трудность обработки информации в таком ответе заключается в ее неоднозначности, что представляет серьезную проблему при оценивании результатов автоматизированного тестирования, поскольку для адекватного оценивания необходимо предусмотреть все возможные варианты ответа при создании эталонных ответов. Как правило, оценивание конструируемых ответов осуществляется сопоставлением эталонного ответа и ответа тестируемого на полную идентичность, что зачастую в конечном итоге не совсем корректно отражает уровень знаний тестируемого.

Из изложенного выше следует, что одним из направлений дальнейшего повышения эффективности контрольно-оценочных процедур является обработка информации в системах автоматизированного тестирования, основанная на интеллектуальном анализе и оценивании конструируемых ответов. Интеллектуальный анализ был применен при обработке информации АСКЗ в работах C.B. Дуплика [49], И.Д. Рудинского [85], C.B. Грушецкого [34], Е.А. Белова [23] и др. Надо заметить, что в данных работах рассматривались в основном тестовые задания на подстановку.

В связи с этим особую актуальность приобретает вопрос совершенствования процесса обработки информации в системах автоматизированного тестирования за счет интеллектуализации анализа и оценивания конструируемых ответов {далее ответов) на задания открытого типа в автоматизированных системах контроля знаний.

Таким образом, на основании проведенного анализа определена проблемная ситуация, сущность которой состоит в противоречии между практической необходимостью применять в процессе автоматизированного тестирования задания открытого типа и отсутствием адекватной технологии 6 автоматизированной обработки информации при оценивании получаемых на них ответов.

Исходя из данной проблемной ситуации, решаемая в диссертационной работе научная задача заключается в исследовании процессов обработки информации в системах автоматизированного тестирования по вопросам открытого типа и разработке интеллектуальных способов анализа и оценивания ответов тестируемого.

Объект исследования — обработка информации в системах автоматизированного тестирования.

Предмет исследования — способы интеллектуального анализа и оценивания ответов на открытые по форме вопросы в заданиях второго уровня усвоения в системе автоматизированного тестирования.

Цель работы — совершенствование процесса обработки результатов тестирования за счет автоматизированной интеллектуальной обработки неточной и неполной информации, содержащейся в конструируемых ответах.

Для достижения поставленной цели необходимо решить следующие задачи.

1. Выполнить анализ существующих моделей, методов и алгоритмов обработки информации при оценивании результатов тестирования, на основе которого определить подход к решению поставленной задачи.

2. Разработать обобщенную модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах на задания второго уровня усвоения автоматизированной системы контроля знаний для определения способов решения поставленной задачи.

3. Разработать способы интеллектуального анализа и оценивания ответов на тестовые задания второго уровня усвоения.

4. На основе предложенной модели и способов интеллектуального анализа и оценивания ответов на тестовые задания второго уровня усвоения разработать систему интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании.

5. Провести вычислительные эксперименты для определения корректности разработанных способов.

Методы исследования базируются на математическом аппарате теории множеств, нечеткой и математической логики, системного анализа, искусственного интеллекта, теории алгоритмов и автоматов.

Для описания понятий и отношений проблемной области использован теоретико-множественный подход. Разработка методов оценивания конструируемых ответов основана на методах искусственного интеллекта (нечеткое регулирование, онтологический подход, инженерия знаний и др.) и теории автоматов. Метод групповых экспертных оценок использован для проверки корректности модели. Системный анализ использован при исследовании предметной области, выработке подхода к решению задачи, определении методов решения задачи.

Достоверность научных выводов и практических рекомендаций основывается на теоретических и методологических положениях, сформулированных в исследованиях российских и зарубежных ученых, таких как А.Е. Алтунин, М.В. Семухин, Г.С. Осипов, Л.А. Заде, Е. Мамдани, Н. Белнап и других, а также на положительном исходе сравнения результатов вычислительных экспериментов и теоретических положений работы.

Научные результаты, выносимые на защиту.

1. Обобщенная модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах на тестовые задания второго уровня усвоения.

2. Способы анализа и оценивания ответов на задания типов «Подстановка», «Воспроизведение» и «Типовая задача».

3. Способ автоматического построения базы нечетких продукционных правил.

Научная новизна и теоретическая значимость.

1. Разработана четырехкомпонентная модель системы автоматизированной обработки информации при неточных и неполных 8 конструируемых ответах на задания второго уровня усвоения.

2. Разработаны способы интеллектуального анализа ответов на задания типов «Подстановка» и «Воспроизведение», отличительной чертой которых является возможность распознавать неточный или неполный ответ.

3. Предложен способ интеллектуального анализа ответов на задания «Типовая задача», новизна которого заключается в том, что анализ хода решения задачи осуществляется вычислительной системой, а не экспертом.

4. Предложен способ автоматического построения базы нечетких продукционных правил, которые позволяют оценить степень правильности ответа. Особенностью предложенного способа является то, что система нечетких продукций обладает свойствами полноты и непротиворечивости, при условии, что центры ядер нечетких множеств, образующих значения входных и выходных лингвистических шкал, включают элементы действительной порядковой шкалы, равномерно градуированной на интервале [0;1].

5. На основе предложенной модели и способов интеллектуального анализа и оценивания ответов на тестовые задания второго уровня усвоения разработан прототип системы интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании.

Практическая значимость исследований. Практическая значимость исследования заключается в том, что полученные результаты могут быть применены при разработке интеллектуальных автоматизированных систем контроля знаний, включающих оценку знаний студентов по тестовым заданиям открытого типа. Результаты тестирования могут быть использованы для определения уровня подготовленности студентов в различных плоскостях: раздела дисциплины, дисциплины в целом, специальности, факультета, вуза и т.д. и служить основой разработки рейтинговой системы успеваемости учащихся.

Апробация результатов. Основные положения диссертационной работы докладывались и обсуждались на пятой Международной научно-технической конференции «Информатизация процессов формирования открытых систем на 9 основе САПР, АСНИ, СУБД и систем искусственного интеллекта (ИНФОС— 2009)» (Вологда, 2009), седьмой всероссийской научно-практической конференции «Системы автоматизации в образовании, науке и производстве — А8'2009» (Новокузнецк, 2009), седьмой, девятой и десятой Всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2006, 2008, 2009), научно-методической конференции «Развитие творческих способностей студента в инновационном обучении» (Улан-Удэ, 2008).

По теме диссертации опубликовано 11 работ. Среди наиболее значимых публикаций: 3 статьи в 2 научно-технических журналах из перечня рекомендуемых ВАК РФ для публикации научных результатов диссертации на соискание ученой степени кандидата технических наук; 2 статьи в научных и технических изданиях; 5 работ в материалах всероссийских и международных научных конференций; 1 свидетельство об официальной регистрации программы для ЭВМ.

Внедрение результатов. Результаты диссертации используются в учебной деятельности Восточно-Сибирского государственного технологического университета и включены в программу учебных дисциплин «Нечеткая логика» и «Системы искусственного интеллекта» специальности 010503 «Математическое обеспечение и администрирование информационных систем». Кроме того, методика создания подсистемы оценивания результатов тестирования используется при разработке интеллектуальной автоматизированной системы удаленного тестирования. Также результаты исследований используются в информационно-исследовательской работе Центра дистанционного образования Воронежского государственного технического университета для составления методики оценивания знаний обучаемых при удаленном тестировании. Внедрение результатов подтверждено соответствующими актами об использовании результатов.

Во введении к диссертации обоснована актуальность выбранной темы, поставлены цель и задачи диссертационной работы, указаны применяемые ю методы исследования, показана научная новизна и практическая значимость работы, перечислены основные научные результаты, выносимые на защиту.

Первый раздел посвящен описанию проблемной ситуации. Определены основные понятия предметной области. Выполнены обзор и анализ научных работ, посвященных оцениванию результатов автоматизированного тестирования. Исследованы существующие автоматизированные системы контроля знаний на предмет реализации методов оценивания ответов на задания открытого типа.

Это позволило выявить проблемную ситуацию, разработать постановку задачу и определить методы исследования для ее решения.

Во втором разделе разработана обобщенная модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах на задания второго уровня усвоения АСКЗ. Структурно вышеназванная модель состоит из четырех компонентов. Первый компонент предназначен для интеллектуального анализа ответов на задания типа «Подстановка». Второй — для интеллектуального анализа естественно-языкового текста ответа. Третий — для интеллектуального анализа ответа, представляющего собой ход решения типовой задачи тестового задания. Четвертый компонент является нечетким логическим регулятором, который посредством нечеткого логического вывода оценивает степень правильности ответа.

В третьем разделе разработаны интеллектуальные способы, предназначенные для анализа ответов на задания типов «Подстановка» и «Воспроизведение» и необходимые для реализации первого и второго компонентов системы.

В четвертом разделе рассмотрен способ интеллектуального анализа ответа тестируемого на тестовое задание «Типовая задача», необходимый для разработки третьего компонента системы.

В пятом разделе приводится описание разработанного программного обеспечения и проведенных вычислительных экспериментов.

Для проведения вычислительных экспериментов с целью проверки

11 корректности разработанных способов было разработано программное обеспечение, представляющее собой прототип системы интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании, одним из компонентов которого является нечеткий логический регулятор. Кроме того, для апробации методов создана онтология предметной области по основным понятиям теории множеств, в которой множество понятий представлено в виде семантической сети фреймов.

Заключение по работе содержит перечень научных и практических результатов, полученных при решении поставленной в работе задачи.

В приложениях приведены таблица соответствия значений входных и выходных лингвистических переменных, базы нечетких продукционных правил для оценивания ответов на тестовые задания типов «Подстановка», «Воспроизведение» и «Типовая задача», таблица сравнительного анализа коэффициентов соответствия двух графов, знаки-фреймы семантической сети онтологии по теории множеств, пример оценивания экспертом ответов тестируемого, акты об использовании материалов диссертационной работы.

5.4 Выводы по разделу

В пятой главе приведено описание упрощенного прототипа программного обеспечения, представляющего собой систему анализа и оценивания конструируемых ответов при автоматизированном тестировании, одним из модулей которого является система нечеткого логического вывода в виде нечеткого логического регулятора; вычислительных экспериментов, проведенных методом групповой экспертной оценки для проверки объективности полученных нечетким регулятором результатов.

Разработка программного обеспечения выполнена на основе применения объектно-ориентированного и автоматного подхода. Все компоненты программы оформлены в виде отдельных единиц с целью максимального разграничения всех возможных функций по группам.

Сравнение результатов вычислительных экспериментов и экспертной оценки показали достоверность разработанных способов, необходимых для реализации системы.

Заключение

1. Выполненный анализ существующих моделей, методов и алгоритмов обработки информации при оценивании результатов тестирования показал, что совершенствование процесса обработки результатов автоматизированного тестирования связано в первую очередь с анализом и оцениванием конструируемых ответов на открытые по форме вопросы тестовых заданий. В связи с этим, на наш взгляд, совершенствование процесса обработки результатов автоматизированного тестирования связано с необходимостью применения при обработке информации методов нечеткой логики. Это определило проблемную ситуацию и постановку задачи.

2. Для решения поставленной задачи разработана четырехкомпонентная модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах на задания второго уровня усвоения. Предложенная модель позволила определить подзадачи, для решения которых требовалось разработать способы их решения. Обработка информации при решении каждой подзадачи должна состоять из двух этапов: интеллектуального анализа ответов и оценивания степени правильности ответа. Исходя из этого, было определено, что на первом этапе необходимо использовать методы естественно-языковой обработки информации и онтологический подход; на втором этапе -разработать нечеткий логический регулятор.

3. Для интеллектуального анализа ответов предложены способы формирования множества синонимов эталонного ответа; определения орфографических ошибок в ответе испытуемого; анализа ответа на задание, предполагающее воспроизведение определения понятий предметной области.

По технологии автоматного программирования построены конечный автомат, определяющий корректность построения формулы, и конечный преобразователь формул, осуществляющий логический вывод формулы

136 ответа тестируемого. Разработана методика составления спецификации, задающей конфигурацию предметной области типовой задачи тестового задания и позволяющей конечным автоматам выполнить анализ решений типовых задач различных предметных областей.

Для оценивания степени правильности ответа разработан нечеткий логический регулятор, в основу которого положен алгоритм Е. Мамдани, работа которого требует наличия системы продукционных правил. Разработанный способ генерации нечетких продукционных правил позволяет автоматически строить системы нечетких продукций, включая и системы по определению степени правильности ответа.

Предложенное решение задачи, основанное на применении методов нечеткой логики, естественно-языковой обработки информации и онтологического подхода, позволяет более адекватно оценить неточные и неполные конструируемые ответы тестируемого, полученные в ходе автоматизированного тестирования.

4. Для проведения вычислительных экспериментов был разработан прототип системы интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании, который позволил провести вычислительные эксперименты по тестированию: метода нахождения и исправления орфографических ошибок в ответе тестируемого; конечного преобразователя формул; базы нечетких продукционных правил оценивания правильности ответов; коэффициентов соответствия графов зависимостей эталонного ответа и ответа тестируемого; методов дефаззификации; функций принадлежности.

Сравнение результатов вычислительных экспериментов и экспертной оценки показали достоверность разработанных способов, необходимых для реализации системы.

Таким образом, поставленные задачи решены, цель достигнута.

1. Astanin S. The Behavior Model of Strategic Controlling. // 5th European Congress on Intelligent Techniques & Soft Computing, Aachen. V.l. Germany. September 8. 11. 1997.

2. Choppin B.H. Correction for Guessing. Encyclopedia of Educational Evaluation. New York; Toronto; London. 1996.

3. Gruber T. R. Towards Principles for the Design of Ontologies used for Knowledge Sharing // International Journal of Human and Computer Studies, 1995. №43(5/6). P. 907-922.

4. Gruber T.R. A translation approach to portable ontologies. Knowledge Acquisition, 5(2): 199-220, 1993.

5. Miller G.A. The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information // Psychological Review, 1956.

6. Zadeh L.A. A computational approach to fuzzy quantifiers in natural languages//Computational linguistics. Oxford, 1983. P. 149-184.

7. Zadeh L.A. Fuzzy sets as a basis for a theory of possibility. // Fuzzy sets and systems. Berkeley (California), 1978. P. 3-28.

8. Zadeh L.A. Test-scope semantics for natural languages and meaning-representation via PRUF // Empirical semantics. Bochum, 1981. P. 281-349.

9. Аксиоматический метод Большая советская энциклопедия. Статья 1892. Электронный ресурс. // Diclib.com: словари и энциклопедии онлайн. URL: http://www.diclib.com/AKCHOMaTH4ecKHfi%20MeTOfl/show/ ru/bse/1892.

10. Алтунин А.Е., Семухин М.В. Модели и алгоритмы принятия решений в нечетких условиях: Монография. Тюмень: Издательство Тюменского государственного университета, 2000. 352 с.

11. Асанов, А. А. Генетический алгоритм построения экспертных решающих правил в задаче многокритериальной классификации Электронный ресурс. URL: http://zhurnal.ape.relarn.ru/articles/2002/155.pdf

12. Базарон С.А. Апробация метода нечеткого оценивания тестовых заданий типа «Подстановка» // Системы управления и информационные технологии: Научно-технический журнал. М.; Воронеж: Научная книга, 2009. № 1.1(35). С. 113-116.

13. Базарон С.А. Нечеткая модель оценивания результатов автоматизированного тестирования по тестовым заданиям открытого типа // Информатизация образования и науки: науч.-метод, журн. М.: ФГУ ГНИИ ИТТ «Информика», 2010. № 3(7). С. 89-106.

14. Базарон С.А., Данилова С.Д. Метод оценивания тестовых заданий типа «Подстановка» с учетом орфографических ошибок // Системы управления и информационные технологии: Научно-технический журнал. М.; Воронеж: Научная книга, 2009. № 1.1(35). С. 108-112.

15. Базарон С.А., Данилова С.Д. Проблемы оценивания знаний в системах автоматизированного тестирования // Развитие творческих способностей студента в инновационном обучении: Сб. научно-методических статей. Улан-Удэ: ВСГТУ, 2008. С. 17-19.

16. Батешов Е.А. Методика организации контрольно-обучающего тестирования на компьютерах Электронный ресурс. URL: http://kokshetau.online.kz/bateshov /metodika.htm.

17. Белнап Н., Стил Т. Логика вопросов и ответов. М.: Прогресс, 1981. 288 с.

18. Белов Е.А. Разработка метода и алгоритмов тестирования знаний на основе интеллектуальной обработки ответов на естественном языке: Автореф. дис. . канд. техн. наук. Брянск, 2006. 20 с.

19. Беспалько В.П. Основы теории педагогических систем. Воронеж: ВГУ, 1977.304 с.

20. Беспалько В.П. Педагогика и прогрессивная технология обучения. М.: институт профобразования министерства образования, 1995. 336 с.

21. Беспалько В.П. Слагаемые педагогической технологии. М.: Педагогика, 1989. 192 с.

22. Беспалько В.П., Татур Ю.Г. Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалистов: Учебно-методическое пособие. М.: Высш. шк, 1989. 144 с.

23. Бешелев С.Д., Гурвич С.Д. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. 263 с.

24. Бин Дж. XML для проектировщиков. М.: Кудиц-Образ, 2004. 256 с.

25. Борисов А.Н., Алексеев A.B., Меркурьева Г.В., Слядзь H.H., Глушков В.И. Обработка нечеткой информации в системах принятия решений. М.: Радио и связь, 1989. 304 с.

26. Борщевич В.И., Ботнарь В.И. Нечеткое моделирование и проблемы его интерпретации // Рукопись депонирована в МолдНИИНТИ, N 462М-84 Деп. от 14.09.1984. Кишинев: КПИ, 1984. 13 с.

27. Васильев В.И., Тягунова Т.Н. Культура компьютерного тестирования // Философия адаптивного тестирования. М.: МГУП, 2002. 4.1. 200 с.

28. Гаркуша В.З., Богомолов O.A. Система дистанционного обучения «Прометей», версия 4.0. Электронный ресурс. // Телематика'2002. URL: http://tm.ifmo.ru/tm2002/db/doc/ getthes.php?id=l 1.

29. Грушецкий C.B., Рудинский И.Д. Статистические методы вывода оценки результатов автоматизированного тестирования // Информационные технологии в образовании, 2003.

30. Давыдов В.И., Фомин П.Н. Спецификация IMS QTI и тесты со свободно-конструируемыми ответами Электронный ресурс. URL: http://www.library.ospu.odessa.ua/onHne/periodic/KMS20093/037-043.pdf.

31. Данилова С.Д. Лингвистическое шкалирование в системе нечеткого оценивания результатов тестирования // Вестник ВСГТУ. Улан-Удэ: ВСГТУ, 2007. №4. С.55-59.

32. Данилова С.Д. Оценивание результатов тестирования в адаптивной системе автоматизированного тестирования // Вестник ВСГТУ. Улан-Удэ: ВСГТУ, 2008. №1. С. 12-20.

33. Данилова С.Д. Шкалирование стоимостных оценок тестового задания // Теоретические и прикладные вопросы современных информационных технологий: Материалы VIII Всероссийской научно-технической конференции. Улан-Удэ: ВСГТУ, 2007. С. 191-195.

34. Данилова С.Д., Шайдуров Ц.Ц. Система удаленного тестирования и контроля знаний учащихся // Российская школа и Интернет: Сборник трудов второй Всероссийской научно-практической конференции. СПб.: ФИО, 2002. С. 20-21.

35. Дейтел П., Садху П., Дейтел X. Как программировать на XML. M.: Бином. Лаборатория знаний. 2008. 944 с.

36. Дуплик C.B. Классификация моделей тестирования Электронный ресурс. // Интернет-форум «Проблемы и перспективы открытого образования». URL: http://www.tisbi.ru/science/forum/default.php?p=l&s =5.

37. Дуплик C.B. Модель адаптивного тестирования на нечеткой математике // Информатика и образование. 2004. № 11. С. 57-65.

38. Евдокимова И.С., Найханова JI.B. Методы и алгоритмы трансляции естественно-языковых запросов к базе данных в SQL- запросы. Улан-Удэ: ВСГТУ, 2004. 148 с.

39. Заде JI. Понятие лингвистической переменной и ее применение к принятию приближенных решений. М.: Мир, 1976. 167 с.

40. Карпов В.Э., Карпова И.П. Язык описания системы контроля знаний // Компьютеры в учебном процессе. М. 2000. № 4. С. 147-155.

41. Кириличев Б.В., Широков Л. А., Рабинович П.Д. Системный анализ проблемы создания интеллектуальных компьютерных обучающих комплексов // Сб. научных трудов МГИУ. М.: МГИУ, 1996. С. 166-171.

42. Кнут Д. Искусство программирования для ЭВМ / Под ред. Баяковского и Штаркмана. М.: Мир, 1978. 848 с.

43. Конструктор тестов Электронный ресурс. URL: http://www.keepsoft.ru/simulator.htm.

44. Контрольно-тестовая система Электронный ресурс. URL: http://omm2002.chat.ru/textl .htm.

45. Краткое руководство пользователя системы тестирования знаний Open Test Электронный ресурс. URL: http://www.opentest.com.ua.

46. Леоненков A.B. Нечеткое моделирование в среде MATLAB и fuzzyTECH. СПб.: БХВ-Петербург, 2003. 736 с.

47. Мальковский М.Г., Грацианова Т.Ю., Полякова И.Н. Прикладное программное обеспечение: Системы автоматической обработки текстов Электронный ресурс. URL: http://lib.rus.ec/b/98109/read.

48. Mac лов С.Ю. Некоторые свойства аппарата канонических исчислений Э. Поста. Электронный ресурс. URL: http://www.mathnet.ru/php/ getFT.phtml?jrnid=tm&papered=1608&what=fullt&optionlang=rus.

49. Математические модели документального поиска Электронный ресурс. URL: http://download.yandex.ru/class/sychev/present5.ppt.

50. Мелихова O.A., Мелихова З.А. Использование нечеткой математики при моделировании систем искусственного интеллекта Электронный ресурс. URL: http://raai.org/resurs/papers/kolomna2009 /doklad/MelihovaMelihova.doc.

51. Методика многоуровневой агрегированной оценки и прогнозирования финансового состояния предприятий Электронный ресурс. URL: http://www.optim.rU/fm/2003/l/fin200301ms0204Ahromeyko/fin2 О 0301 rus0204Ahromey ко. asp.

52. Найханова JI.B. Технология создания методов автоматического построения онтологий с применением генетического и автоматного программирования. Улан-Удэ: БНЦ СОР АН, 2008. 244 с.

53. Найханова JI.B., Бильгаева Л.П. Метод морфологического анализа // Искусственный интеллект в образовании: Труды международного семинара 1-4 октября 1996 г. Казань: КазГТУ, 1996. ч.2. С. 35-38.

54. Найханова JI.B., Дамбаева C.B., Бордоева А.Е. Алгоритм обработки нечеткой информации в системах принятия решения // Труды научной конференции преподавателей, научных работников и аспирантов ВСТИ. Улан-Удэ: ВСТИ, 1994.

55. Найханова Л.В., Хаптахаева Н.Б., Аюшеева H.H. Построение сематической сети предметной области на основе извлечения знаний из научного текста // Известия высших учебных заведений. Пенза: Информационно-издательский центр ПензГУ, 2007. № 4. С. 51-61.

56. Найханова Л.В., Чимитова Е.Г., Доржиева Л.Б. Использование вопросно-ответных отношений в тестировании // Труды научной конференции преподавателей, научных работников и аспирантов ВСГТУ. Улан-Удэ: ВСГТУ, 1995.

57. Найханова, JI.B. Конструкция знака концептуальных объектов и способ построения терминосистемы // The Second Conference on Cognitive Science: Материалы II Международной конференции по когнитивной науке. СПб. 2006. С. 592-593.

58. Никитина Т.П. Опыт тестирования в среде ACT Электронный ресурс. // ИТО-2002. URL: http://www.bitpro.ru/ito/2002AaAa-0-72.html.

59. Орлов А.И. Теория принятия решений. М.: Март, 2004. 656 с.

60. Осипов Г.В., Андреев Э.П. Методы измерения в социологии. М.: Наука, 1977. 183 с.

61. Пакет программ UniTestSystem Электронный ресурс. URL: http://sight2k.com/rus/unitest.

62. Программа для автоматизированного тестирования SunRav TestOfficePro Электронный ресурс. URL: http://www.softkey.ru/catalog/ program.php?printable =yes&ID=4366.

63. Проект отраслевого терминологического стандарта Центра тестирования. Педагогические тесты. Термины и определения Электронный ресурс. URL: http://www.ege.ru/dict/dictl.htm.

64. Рудинский И.Д. Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического тестирования // Информационные технологии. 2003. № 9. С. 46-51.

65. Рудинский И.Д. Разработка метода и алгоритмов тестирования знаний на основе интеллектуальной обработки ответов испытуемого на естественном языке: Автореф. дис. . канд. техн. наук. Брянск, 2006. 20 с.

66. Сайт UniMod Электронный ресурс. URL: http://unimod.sourceforge.net.

67. Система дистанционного тестирования СДТ Ната (md-77) Электронный ресурс. URL: http://www.programms.ru/products/ Р00000790001690.shtml.

68. Система интерактивного контроля «Инспектор» PRO 2.2 Электронный ресурс. URL: http://softsearch.ru/programs/49-906-sistema-interaktivnogo-kontrolj a-inspektor-pro-download. shtml.

69. Система контроля знаний HyperTest 1.1 Электронный ресурс. URL: http://softsearch.ru/ programs/60-088-hypertest-download.shtml.

70. Система проверки знаний 2.5 Электронный ресурс. URL: http://maup.chat.ru.

71. Скороходов Д.А., Бубнов Е.А. Шкалирование входной информации Электронный ресурс. URL: http://grinda.info/control/ skalir/skalir.htm.

72. Стандарт IMSQTI Электронный ресурс. URL: http://www.imsglobal.org/question.

73. Стефанюк B.JL, Жожикашвили A.B. Продукционные сети: развитие теории ТК-продукций Электронный ресурс. URL: http://vestnik.sci.pfu.edu.ru/archiv-cs/articles-cs/2003-2-l/pdf/stefanuk-2003.pdf

74. Толковый словарь терминов понятийного аппарата информатизации образования / Составители И.В. Роберт, Т.А. Лавина. М.: ИИО РАО, 2009. 96 с.

75. Универсальная автоматизированная система тестирования знаний Polytest vi.0 Электронный ресурс. URL: http://edu.of.ru/volipc/ default.asp?obno=3009.

76. Универсальный пакет автоматизированного тестирования УПАТ. URL: http://altim.narod.ru/TestInfo/TestInfo.htm.

77. Чангли А.Н. Автоматизация контроля знаний на базе инфраструктуры Интернет Электронный ресурс. URL: http://www.publ.donntu.edu.ua.

78. Чень Ч., Р. Ли Математическая логика и автоматическое доказательство теорем / Под ред. С.Ю. Маслова. М.: Наука, 1983. 360 с.

79. Шалыто A.A. Автоматное-ориентированное программирование // Фундаментальное исследования в технических университетах: Материалы IX Всероссийской конференции по проблемам науки и высшей школы. СПб.: Политехи, ун-т, 2005. С. 44-52.

80. Шалыто A.A., Поликарпова Н.И. Автоматное программирование. СПб.: Питер, 2009. 176 с.

81. Штовба С.Д. Введение в теорию нечетких множеств и нечеткую логику Электронный ресурс. URL: http://matlab.exponenta.ru/fuzzylogic/ bookl/l.php.

82. Экспресс-тест Электронный ресурс. URL: http://www.bitpro.aha.ru/ ITO/IT098-99/k/lukma.htm.

83. Сравнительный анализ коэффициентов соответствия двух графов1. Таблицы А. 1воп рса Вопрос Эталон Ответ тестируемого Оценк а экспе рта модиф коэф дайса дельта к. Дайса дельта к. Жакка рда дельта косинус ный дельта коэф. Перек рытия дельта

84. Дайте определение Число элементов в конечном Количество1 мощности множества М. множестве М называется мощностью множества М элементов множества. 1 0,750 0,250 0,857 0,143 0,750 0,250 0,866 0,134 1,000 0,000

85. Какое множество Множество не содержащее Которое не2 называется пустым? Дайте определение. элементов называется пустым и обозначается 0. содержит ни одного элемента. 1 0,714 0,286 0,769 0,231 0,556 0,444 0,772 0,228 0,833 0,167

86. Дайте определение универсальному множеству и. Универсальным множеством II называется множество всех рассматриваемых в данной задаче элементов. Множество всех элементов. 0,8 0,750 0,050 0,857 0,057 0,750 0,050 0,866 0,066 1,000 0,200

87. Продолжите Если А1В и А^В, то А6 определение: «Если А1В и А^В, то А называется.» называется собственным, строгим или истинным подмножеством множества В подмножеством В. 0,5 0,556 0,056 0,714 0,214 0,556 0,056 0,745 0,245 1,000 0,500

88. Соответствие значений входных и выходных лингвистических переменных