Адаптивная нечеткая модель оценивания результатов автоматизированного тестирования с разделением заданий по уровням усвоения

Данилова, Соелма Доржигушаевна

Системный анализ, управление и обработка информации (по отраслям)

автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Адаптивная нечеткая модель оценивания результатов автоматизированного тестирования с разделением заданий по уровням усвоения

кандидата технических наук: Данилова, Соелма Доржигушаевна
город: Улан-Удэ
год: 2006
специальность ВАК РФ: 05.13.01

Диссертация по информатике, вычислительной технике и управлению на тему «Адаптивная нечеткая модель оценивания результатов автоматизированного тестирования с разделением заданий по уровням усвоения»

Автореферат диссертации по теме "Адаптивная нечеткая модель оценивания результатов автоматизированного тестирования с разделением заданий по уровням усвоения"

На правах рукописи

ДАНИЛОВА СОЕЛМА ДОРЖИГУШАЕВНА

АДАПТИВНАЯ НЕЧЕТКАЯ МОДЕЛЬ ОЦЕНИВАНИЯ РЕЗУЛЬТАТОВ АВТОМАТИЗИРОВАННОГО ТЕСТИРОВАНИЯ С РАЗДЕЛЕНИЕМ ЗАДАНИЙ ПО УРОВНЯМ УСВОЕНИЯ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (по отраслям: информатика, вычислительная техника и управление)

Автореферат диссертации на соискание ученой степени кандидата технических наук

КРАСНОЯРСК - 2006

Работа выполнена в Восточно-Сибирском государственном технологическом университете.

Научный руководитель:

кандидат технических наук, доцент, Найханова Лариса Владимировна

Официальные оппоненты: доктор технических наук, профессор,

Доррер Георгий Алексеевич

кандидат технических наук, Царёв Роман Юрьевич

Ведущая организация:

Государственный научно-исследовательский институт информационных образовательных технологий (ГосИнформОбр)

•Защита диссертации состоится 31 марта 2006 сода в 14:00 на заседании диссертационного совета Д 212.098.04 при Красноярском государственном техническом университете по адресу: ул. академика Киренского, 26, Красноярск, 660074, ауд. Д 501

Факс: (3912) 43-06-92 (КГТУ, для каф. САПР)

E-mail: sovet@front.ru

Телефон: (3912) 912-295 (КГТУ, каф. САПР)

С диссертацией можно ознакомиться в библиотеке Красноярского государственного технического университета.

Автореферат разослан 07 февраля 2006 г.

Учйный секретарь диссертационного совета

д.т.н.

ХШР6А

¡¿7

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Широкое внедрение информационных и коммуникационных технологий в сферу образования и решение проблемы качества обучения обуславливают необходимость разработки моделей, адекватных процессам учебной деятельности.

Повышение качества обучения является приоритетным направлением развития системы образования. Одной из основных задач управления качеством образования в учебном заведении является задача контроля качества обучения. В условиях современного информационного общества автоматизированное тестирование может стать основным инструментом для контроля качества

К настоящему времени разработаны разнообразные среды, предназначенные как для подготовки автоматизированного тестирования, так и его проведения: UniTest System, Конструктор тестов, Инспектор, Экспресс-тест, SunRav TestOfficePro, Тест, УПАТ, Система проверки знаний, HyperTest, Open TEST, Прометей, АСТ-ТЕСТ, Neyron, СДТ Ната (md-77) и т.д. По типу доступа они классифицируются на автономные, сетевые и удаленные. В этих средах в основном поддерживаются пять типов заданий, вопросы в которых требуют следующих ответов: выбор единственно правильного ответа; выбор нескольких возможных правильных ответов; установка последовательности правильных ответов; установка соответствий ответов; ввод ответа вручную с клавиатуры. Согласно теории усвоения Беспапько В.П. первые четыре типа заданий относятся к тестам первого уровня усвоения знаний (опознание, различение, классификация), то пятый - ко второму уровню (подстановка). Г1ри этом на оценку за выполнение тестового задания не влияет, к какому уровню усвоения знаний и к какому типу одноуровневых заданий оно относится. Оценивание задания во всех этих средах зависит от составителя теста. Баллы за выполнение тестовых заданий назначаются на основе его педа> огического опыта. Кроме того, способы вычисления интегральной оценки результатов тестирования отличаются простотой расчета: в основном используется аддитивный способ оценки правильно выполненных тестовых заданий. При дихотомичности и одноуровневое™ каждое правильно выполненное задание оценивается в один балл. При политамичности и многоуровневое™ на этапе формирования теста каждому заданию в зависимости от его сложности назначается определенный балл или весовой коэффициент. Интегральная оценка за выполнение теста вычисляется как сумма полученных баллов за правильно выполненные задания.

Анализ систем контроля знаний учащихся показал, что разработка этих систем преимущественно идет на эмпирической основе без должного научно-методического обоснования, без привлечения методов педагогической квалиметрии. Недостаточная концептуальная разработанность технологии контроля все более приходит в противоречие с объективными потребностями образовательной практики по реализации программы повышения качества обучения, и в связи с этим возникает необходимость в разработке научно-обоснованной системы контроля знаний студентов.

Таким образом, существует техническая проблема, заключающаяся в совершенствовании процесса автоматизированной оценки результатов тестирования студентов, решение которой позволит повысить эффективность выполнения контроля знаний студентов, обеспечить объективность оценки за выполнение теста как по уровням усвоения знаний тестовых заданий, так и по тесту в целом.

Предметная область задачи оценивания знан интеллектуальным задачам, решение которой зависи'

«ФоаЧЙКЩИ^АЯТЖКИТСЯ к

от фбМЮаМЫШ критериев

С. Петербург

08 т '

У /гг"

оценки тестового задания преподавателем, которым свойственна расплывчатость границ. Поэтому для решения технической проблемы была поставлена научная проблема, которая заключается в создании модели оценивания знаний учащихся на основе применения аппарата нечеткой логики и теории вопросно-ответных отношений.

Объект исследования. Система контроля знаний студентов.

Предмет исследования. Оценивание результатов автоматизированного тестирования.

Цель работы. Исследование и разработка модели оценивания знаний учащихся, позволяющей построить базу знаний, адекватно отражающей процесс оценки результатов автоматизированного тестирования.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Выполнить анализ существующих методик и моделей оценивания результатов тестирования и определить подход к решению поставленной задачи.

2. Разработать математический аппарат реализации вопросно-ответных отношений в тестовых заданиях для распознавания ответов тестируемого и шкалирования стоимостных оценок тестовых заданий.

3. Разработать модель оценивания результатов автоматизированного тестирования на основе применения правил нечетких продукций.

4. Разработать программное обеспечение для реализации модели оценивания результатов тестирования и выполнить вычислительные эксперименты на проверку корректности модели.

Основная идея диссертации. При оценивании результатов автоматизированного тестирования удобно использовать восходящий процесс от простого к сложному: определение степени правильности каждого задания в тесте, нахождение интегральной оценки за выполнение теста, оценки результатов адаптивного тестирования. В основе процесса тестирования лежат вопросно-ответные отношения, что позволяет с одной стороны использовать классификацию вопросов по форме теории извлечения знаний на закрытые и открытые и с другой стороны эротетическую логику Белнапа для формирования результатов теста (ответов) по этим формам вопросов. Это сразу декомпозирует первую задачу на две подзадачи: оценка ответов на вопросы закрытого типа и оценка ответов на вопросы открытого типа Ограничивая количество альтернатив в тестовом задании закрытого типа числом Мюллера (7±2) формируем конечное множество ответов, областью интерпретации которых является множество истинностных значений - {И, Л}. Тогда база нечетких продукций, описывающая все возможные варианты ответов, отвечает требованиям полноты. Для открытых по форме вопросов должна определяться степень соответствия ответа эталонному ответу. Чтобы учесть не только правильные ответы, но и неточные можно использовать словарь терминов-синонимов и терминов-квазисинонимов и приписать им нечеткую переменную «мера близости». В этом случае полнота базы нечетких продукций зависит от полноты используемых словарей.

Интегральная оценка всего теста обычно рассчитывается как сумма произведений оценок тестовых заданий на их весовой коэффициент. Оценка задания в тесте приведена выше. Весовой коэффициент можно взять как нормированный ранг задания в текущем тесте, который должен учитывать все параметры, влияющие на выполнение данного задания: уровень усвоения, тип, степень трудоемкости и степень значимости тестовых заданий. Степень трудоемкости должна отражать элементарные выполнения тестового задания. Степень значимости зависит от типа теста и полноты охвата

материала данным заданием Нечеткие продукции, построенные с учетом этих параметров, позволяют наиболее адекватно отразить процесс оценивания результатов тестирования.

Для учета адаптивности теста удобно использовать рассчитанные ранее ранги тестового задания. Упорядочение по ним тестовых заданий определяет последовательность их подачи тестируемому, что соответствует третьему подходу к адаптивному тестированию по классификации Аванесова B.C., основанному на теории усвоения. По мере выполнения каждого тестового задания в зависимости от степени правильности ответа испытуемому могут быть заданы дополнительные вопросы, что может позволить ему улучшить результат ответа на данное тестовое задание. Так как > автоматизированное тестирование обычно регламентировано по времени, то уменьшение баллов за тестовое задание можно не осуществлять

Методы исследования базируются на математическом аппарате теории множеств, f нечеткой, эротетической и математической логик, теории принятий решений, ' системного анализа.

Для описания понятий и отношений проблемной области использован теоретико-множественный подход. Разработка адаптивной модели оценивания результатов тестирования основана на методах нечеткого регулирования. Для формализации вопросно-ответных отношений в тестовых заданиях использован аппарат эротетической логики Н. Белнапа, базирующейся на логике предикатов первого порядка. Метод групповых экспертных оценок использован для проверки корректности модели. Системный анализ использован при исследовании предметной области, выработке подхода к решению задачи, определении методов решения задачи.

Основные результаты.

1. Выполнен системный анализ предметной области задачи оценивания результатов тестирования, в результате которого классифицированы на четкие и нечеткие понятия и отношения задачи, что позволило выбрать аппарат нечеткой логики как основной формализм решения задачи.

2. Выполнено шкалирование для всех лингвистических переменных задачи, что позволило обоснованно определить их терм-множество, определены критерии выбора функций принадлежности, на основе которых осуществлен их выбор.

3. Определен на основе вычислительных экспериментов метод центра тяжести для дефаззификации выходных лингвистических переменных.

4. Предложен способ оценивания результатов тестирования для построения нечеткой модели, базирующийся на теории уровней усвоения знаний и учитывающий количество дистракторов в ответе тестируемого, что позволило увеличить

' дифференцируемость итоговой оценки за тестовое задание.

5. Предложены схема адаптивного тестирования и способ оценивания результатов адаптивного тестирования, позволяющие адекватно оценить знания тестируемого.

, 6. Разработана система нечеткого логического вывода на основе методов

нечеткого регулирования, которая позволила выполнить вычислительные эксперименты и апробировать разработанные базы нечетких продукционных правил.

7. Доказана достоверность основных положений работы методом экспертной оценки результатов вычислительных экспериментов, согласованность экспертной оценки определена на основе коэффициента вариабельности и метода конкордации Кендалла

Научная новизна.

1. Разработаны базы правил нечетких продукций для оценивания тестовых Заданий. отражающих кау зальные рассуждения компетентных преподавателей при оценивании рез>льгатов тестирования и обеспечивающие условия адаптивного гестирования с учетом степени трудоемкости выполнения тестовых заданий и степени шачичости содержащихся в них понятий.

2. Выполнена унификация представления тестовых заданий, что позволило применит!, д 1Я их формализации единый аппарат вопросно-ответных отношений, основанный наэротетичеекой логике.

Значение для теории. Полученные результаты развивают методику оценивания резулыатом юежроиапия. основанную на теории усвоения знаний, и создают теоретическую основу для разработки подсистемы оценивания знаний в системах автоматизированного юстирования, расширяют область применения методов нечеткою peíулирооания.

Значение для практики. Созданная модель позволяет повысить объективность оценки результатов тестирования, предоставляет возможность настройки диапазонов нече!кой шкалы оценивания.

Полученные результаты могут быть применены при разработке систем ангомати жрованного тестирования, предназначенных для оценки знаний студентов по омельным |смач дисциплины. дисциплине и целом, opi-анизании междисииптинарного экзамена. Результаты тестирования могут быть использованы лля определения уровня под| отовленпоет ciy ден юн п различных разрезах: раздела-дисциплины, дисциплины в целом, специальности, факультета, вуза и т.д. и служить основой разработки рейтинговой системы успеваемости учащихся.

Реализация результатов Pesv.ibiaiw диссертации используются «учебной и производственной дсятслыюстях Восточно-Сибирского государственного технологического университета и включены в программу учебной дисциплины «Системы иску cci ценною ишеллема» специальное!и 010503 «Математическое обеспечение и администрирование информационных систем» в виде методических указаний к лабораторным работам по дисциплине «Системы искусственного шпеллеюа»; методик по созданию подсистемы нечеткого логического вывода и модуля оценивания резупылтов тестирования при разработке системы удаленного тестирования. Также они используются в дистанционном обучении центра инфорчационио-меюдическон поддержки образования Омскою государственного университета ;иш составления методики оценивания знаний обучаемых при удаленном гестировании.

Личный вклад автора. Автором предложены способ оценивания результатов тестирования для построения нечеткой модели, базирующийся на теории уровней усвоения знаний и учитывающий количество дистракторов в ответе тестируемого; схема адаптивного тестирования и способ оценивания результатов адаптивного тестирования; разработана система нечеткого логического вывода для оценивания результатов тестирования на основе методов нечеткого реагирования; доказана достоверность основных положений работы методом экспертной оценки результатов вычислительных экспериментов.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на Международной научно-методической конференции «Роль инфокочмуниканионных технологий в совершенствовании системы управления качеством образования» (Санкт-Петербург. 2005 г.). Девятой Всероссийской научно-

практической конференции «Проблемы информатизации региона» (Красноярск, 2005 г.), Четвертой Всероссийской научно-практической конференции «Единая образовательная информационная среда: проблемы и пути развития» (Барнаул, 2005 г.), Первой, Третьей и Шестой Всероссийских научно-технических конференциях. «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2000, 2002, 2005 гг.), Второй Всероссийской научно-практической конференции «Российская школа и Интернет» ((Санкт-Петербург, 2002 г), научно-методической конференции «Методологические проблемы контроля качества учебного процесса при переходе к инновационному образованию» (Улан-Удэ, 2000 г.). Кроме того, результаты исследования вошли в материалы отчетов по госбюджетной научно-исследовательской работе «Теоретические и прикладные вопросы разработки интегрированных интеллектуальных информационных систем» (ГР № 01.200.205060; Инв.№ 02.200305099), научно-исследовательской работе по проектам «Создание и развитие регионального ресурсных центров в субъектах федерации», «Организация и выполнение работ по комплексному сопровождению процессов информатизации образовательных учреждений регионов (Республика Бурятия, Иркутская область, Читинская область, Агинский Бурятский автономный округ, Усть-Ордынский Бурятский автономный округ)» (ФЦП РЕОИС, контракт № 1347от 03.07.2003, договор №5/ГК №1328 от 30.11.2004).

Публикации. По теме диссертации опубликовано 14 работ общим объемом 12,1 п.л., из которых 11 статей, 1 учебное пособие и 2 свидетельства об официальной регистрации программы для ЭВМ.

Структура работы. Диссертация изложена на 122 страницах, состоит из введения, четырех глав, заключения, списка использованной литературы и семи приложений. Работа содержит 30 рисунков и 20 таблиц. Список литературы содержит 105 наименований. Объем приложений составляет 33 страницы.

СОДЕРЖАНИЕ РАБОТЫ

Во введении приводится актуальность темы, формулируются цель и основные задачи исследования, кратко излагается содержание работы, и перечисляются основные ее результаты, выносимые на защиту.

Первая глава работы посвящена описанию проблемной области. Выполнен обзор методик контроля знаний учащихся при традиционном тестировании и моделей оценивания знаний при автоматизированном тестировании, сформулирована постановка задачи. Исходя из постановки задачи, определены четкие и нечеткие понятия и отношения предметной области; рассмотрены вопросы ее идентификации на принадлежность существующим классам неопределенности; определен подход к оцениванию результатов тестирования.

Отмечено, что тестовый контроль в учебном процессе является одним из перспективных методов объективной оценки знаний и определения уровня подготовки студентов, но существует ряд проблем для его широкого внедрения в учебный процесс.

Среди традиционных методик тестирования наибольший упор в данной работе сделан на методику, предложенную Беспапько В.П. К основным достоинствам методики относятся классификация типов тестовых заданий по уровням усвоения, введение 12-балльной шкалы оценивания, позволяющей достаточно гибко оценить уровень обучаемого. Недостаток заключается в том, что при оценивании тестовых заданий не учитываются количество дистракторов и трудоемкость задания. В

настоящей работе при разработке модели оценивания результатов автоматизированного тестирования одним из критериев оценивания и организации адаптивного тестирования является уровень усвоения тестовых заданий, интерпретируемый Беспапько В.П. как уровень трудности, и их типизация внутри уровня.

Анализ оценочной деятельности в существующих моделях автоматизированного тестирования позволил выявить, что, как правило, в них не используются вариативные анализаторы ответов. Ответ на каждый вопрос теста оценивается как правильно или неправильно, при этом неполные или неточные ответы в основном оцениваются как неправильные. Если в моделях оценивания учитывается сложность задания, то назначение заданию весового коэффициента или стоимости в баллах полностью возлагается на компетентность преподавателя. Т.е. в существующих системах отсутствует механизм назначения весового коэффициента сложности или значимости задания на основе имеющихся в нем качественных параметров. В модели оценивания тестового задания на основе определения степени сходства эталона и ответа тестируемого, предложенной Карповой И.П., кроме правильно выбранных альтернатив учитывается и количество неправильно выбранных альтернатив, но не учитывается количество дистракторов во множестве альтернатив: из множества с большим количеством отвлекающих элементов выбрать нужные элементы труднее чем из множества с меньшим количеством отвлекающих элементов.

В последние годы в связи с развитием оценочной деятельности в сторону учета качественных свойств параметров тестирования получили развитие «нечеткие» тесты. Их применение позволяет повысить эффективность процесса идентификации знаний на основе определения степени правильности ответа X как значение функции принадлежности Г{Х) на промежутке [0;1]. Для получения оценки по результатам тестирования в какой-либо «-балльной равномерной шкале полученное значение умножается на размерность шкалы п. Принцип формирования «нечетких» тестов заключается в том, что каждому эталонному ответу ставится в соответствие множество альтернативных ответов с мерами близости к эталонному, которые являются критериями нечеткости при определении степени правильности выполнения тестового задания. При этом предполагается, что в заданиях закрытого типа кроме абсолютно правильных альтернатив и дистракторов могут находиться и явно не неправильные альтернативы с некоторой мерой близости. Это противоречит педагогическим принципам формирования теста, когда тестовые задания закрытой формы требуют определенных ответов, признаваемых в качестве точных и бесспорных, в отличие от заданий открытого типа, где могут быть даны ответы, правильные в различной степени.

Среди нечетких моделей оценивания результатов тестирования наиболее интересны адаптивные модели. В модели, предложенной Рудинским И.Д., нечеткость вводится для организации адаптивности теста, которая позволяет составителям теста на этапе его создания для каждого тестового задания построить иерархическую структуру уточняющих вопросов в виде ориентированного графа. При этом каждому уточняющему вопросу ставятся в соответствие возможные ответы, которые оцениваются на лингвистической шкале. Недостаток модели заключается в том, что при оценивании тестовых заданий и теста не используется аппарат нечеткой логики, а полученные лингвистические значения просто проецируются на нормированную числовую шкалу. Полученные на этой шкале значения определяют степень правильности ответов, которые подставляются в формулу расчета итоговой оценки.

В адаптивной модели тестирования, предложенной Дупликом В.П., в качестве шкалы оценивания результатов тестирования используется 12-балльная шкала по методике Беспалько В.П.. При этом проценту правильных ответов обучаемого ставятся в соответствие оценки по 12-балльной и 5-балльной шкалам, которым в свою очередь соответствуют нечеткие понятия. Аппарат нечеткой логики применяется для получения интегральной оценки результатов тестирования на основе оценки на лингвистической шкале нечеткие характеристики теста, такие как текущий уровень подготовки, процент правильных ответов, сложность задания, время выполнения задания. Недостаток модели заключается в том, что 12-балльная шкала оценивания используется только для равномерного распределения на ней традиционной 5-

I балльной шкалы и не привязана к уровням усвоения. Оценка задания любого уровня усвоения может принимать свое значение на всей этой шкале, что противоречит теории усвоения, в которой введение 12-балльной шкалы обосновывается тем, что на ней удобно распределить по трехэлементным диапазонам четыре уровня усвоения.

^ Общим недостатком существующих нечетких моделей является недостаточная

проработанность вопросов оценивания результатов выполнения тестовых заданий. Определение степени правильности выполнения тестовых заданий производится с помощью различных математических формул, в которых невозможно учитывать мнение преподавателя, что является важным фактором введения нечеткости в решение задач с расплывчатыми границами. Определение лингвистических значений нечетких характеристик при известных исходных условиях полностью и необоснованно возлагается на компетентность преподавателя.

Таким образом, с целью повышения объективности оценки знаний студентов с учетом достоинств и недостатков существующих моделей необходимо разработать нечеткую адаптивную модель оценивания результатов автоматизированного тестирования М = <М\, М2, М-р-. Элементы кортежа в свою очередь представляют собой модели: М\ — модель оценивания тестовых заданий, М2 — модель адаптивного тестирования, А/3 — модель интегральной оценки результатов тестирования. Модель должна удовлетворять следующим требованиям, учитывающим:

1) весовой коэффициент <р„ ¡= 1,4,, истинных альтернатив и весовой коэффициент ц/,,1 = \,к2, дистракторов в ответе тестируемого, где к] - количество истинных альтернатив и к2 — количество дистракторов в ответе тестируемого заданиях закрытого типа;

2) меру близости ¿/¿{<е„ /,>), / = 1 ,к, ответа тестируемого к эталонным ответам в заданиях открытого типа, к - количество подстановок или шагов выполнения

I тестового задания;

3) степень 8, е[оД/ = 1,я, правильности выполнения тестового задания, п — количество тестовых заданий;

4) уровень усвоения а тестового задания;

5) количество существенных операций />,,» = 1, и в тестовом задании;

6) степень трудоемкости / = 1 ,п, тестового задания;

7) степень значимости л«»,, / = 1 ,п, тестового задания;

8) обеспечение возможности настройки параметров оценивания на основе нечеткого регулирования.

На основе выдвинутых требований была выполнена классификация четких и нечетких понятий и отношений предметной области. Анализ структуры

неопределенностей показал, что для рассматриваемых нечетких понятий и отношений свойственны такие категории неопределенности как недостоверность и неоднозначность, характеризующиеся неадекватностью и лингвистической неопределенностью.

Наличие нечетких понятий и отношений определило подход к решению задачи, который заключается в применении аппарата нечеткой логики, а именно, методов нечеткого регулирования.

Вторая глава посвящена разработке модели оценивания результатов тестирования М\. В рамках работ по данной главе выполнена формализация вопросно-ответных отношений в тестовых заданиях по уровням усвоения для распознавания ответов тестируемого и формального представления результатов тестирования; выполнено шкалирование стоимостных оценок тестовых заданий; разработаны базы правил нечетких продукций для оценивания тестовых заданий закрытого и открытого типов; с целью обеспечения адаптивности тестирования разработана база правил нечетких продукций для ранжирования заданий в тесте; выполнен расчет интегральной оценки выполнения теста на основе результатов оценивания каждого тестового задания.

Типизация тестовых заданий на закрытые и открытые соответствует классификации вопросов по форме - закрытый или открытый. Это позволяет применить аппарат эротетической логики для распознавания ответов тестируемого, базирующейся на логике предикатов первого порядка. Тестовые задания I уровня усвоения содержат закрытые по форме вопросы. Для применения единого математического аппарата при формализации вопросно-ответных отношений этого уровня произведена унификация множеств альтернатив для всех типов заданий и введены следующие обозначения:

Х(у) - предикат, определяющий истинность или ложность альтернативы у е А в контексте заданного вопроса;

В = {И, JT} — множество истинностных значений; G(x,у) - предикат, определяющий истинность равенствах -у. Формализация вопросно-ответных отношений позволяет как тестируемому, так и составителю теста формулировать ответ в виде утверждения или отрицания поставленного вопроса относительно вхождения каждой альтернативы а,е А в эталонное множество Е.

В первом случае при Х= Р формула (1) определяет вопрос задания, адресованный тестируемому. При этом предикат Р(у) возвращает истинностное значение для всех_у е А, тем самым, формируя ответ тестируемого в виде множества Т= {//,..., /„}, /, е В. (?у)Р(у),уеА (1)

Во втором случае при X = О формула (2) определяет вопрос, адресованный составителю теста, при формировании эталонного ответа. При этом предикат Q(y) формирует эталонный ответ Е = {е/,...,е„}, где ef е В, /'= 1,...,/».

(?у)0(у),уеА (2)

Формула (3) позволяет поэлементно сравнить ответ Т тестируемого с эталонным ответом Е и определить количество к, истинных альтернатив и количество к2 дистракторов в ответе тестируемого.

V{x,y))G(x,y), где хеТ, у<=Е (3)

Тестовые задания И, III уровней усвоения содержат в себе открытый по форме вопрос с ожидаемым простым или ожидаемым составным ответом с известным количеством простых ответов. Так как простой ответ является частным случаем составного ответа, рассмотрим формализацию вопросно-ответных

отношений для последнего. Введем следующие обозначения: S(x /,..., х„) - предикат, определяющий ответ тестируемого;

U(x, у) — предикат, определяющий эталонное множество Е из ответов х с мерой близости у к правильному ответу;

G(x, у, z) - нечеткий предикат, определяющий нечеткое равенство х = у с мерой близости г.

Открытый по форме вопрос с ожидаемым составным ответом выражается формулой (4).

(?(*,, ...,*„)№/, ...,*„), (4)

где х/,..., х„ - переменные, определяющие ожидаемые простые ответы, п -количество ответов. При вводе ответов t„ получаем равенства: = О,..., хп = /„; предикат S,(xi, ..., х„) преобразовывается в высказывание S(tj,..., /„), истинность которого определяется на основе проверки правильности каждого введенного простого f ответа формулой (5):

(?(*„ у„ d,))G(x„ у„ |Д/,<<е„ у,>)), (5)

где х, = /„ у, — переменная, определяющая эталонный ответ, ti/,{<e„ ур>) - функция принадлежности нечеткого отношения, выраженного формулой:

К = {<е„ У,>, Ц;Х<е„ Уг>)}, < = 1, • ■ •, и- (6)

Отношение Е формируется при реализации вопросно-ответного отношения между составителем теста и системой и выражается формулой:

(?(у„4)) U2(y„d,),i= I- -, п. (7)

где значением переменной у, является вводимый составителем теста возможный ответ на вопрос тестового задания, d, - лингвистическая переменная для определения меры близости значения переменной у, к абсолютно правильному ответу е,.

Таким образом, в тестовых заданиях И, III уровней ответ тестируемого формируется в виде упорядоченного множества пар, первым элементом которого является введенный тестируемым ответ, вторым - мера близости введенного ответа, являющейся значением функции принадлежности отношения Е:

Т = {(</„ Ц£<<е„ /,>)| / = 1,..я}. (8)

В тестовых заданиях IV уровня, которые также содержат открытые по форме вопросы, нет готового эталона, и о качестве их выполнения может судить группа компетентных экспертов. Для оценивания тестового задания необходимо выработать критерии определения степени правильности полученного ответа, которые отражают качественные характеристики знания. На основе полученных критериев строятся вопросно-ответные отношения между экспертом и системой, которые выражаются , следующей формулой:

(?рЩ*,/9,/=1,...,г, (9)

где К, - предикат, позволяющий определить /-тым экспертом степень удовлетворения Д критерию х выполненного тестового задания; г - количество • экспертов. При этом fi является лингвистической переменной.

Результаты формализации вопросно-ответных отношений позволили выполнить шкалирование стоимостных оценок тестовых заданий. Лингвистическая шкала входных переменных построена на основе исследования полного набора тестовых заданий с количеством альтернатив от 3 до 9 со всеми возможными значениями, определяющими количество истинных и ложных альтернатив, как в эталонном множестве, так и в ответе тестируемого. Ограничение на максимальное количество альтернатив, равное числу 9, введено на основе так называемого числа Миллера, обоснованного психолингвистом Дж. Миллером в работе «Магическое число семь -

плюс или минус два: предел человеческих способностей обрабатывать информацию», основной вывод которой заложен в ее названии.

Имеются множество альтернатив А, эталонное множество Е, ответ тестируемого Т. В соответствии с формализации вопросно-ответных отношений элементами множеств Е и Т являются истинностные значения, и |£| = \Т\ = \А\ = п. При этом разбиение эталонного множества Е на два класса - класс истинных значений и класс ложных значений — определяет количество т истинных альтернатив и количество ложных альтернатив (дистракторов) тестового задания: т+ с1= п.

Бинарные отношения Я, и Я2 на множествах Е и Т определяют количество истинных альтернатив к, и количество дистракторов к2 в ответе тестируемого: Л/ = х = е, = И, у = (, = И,е, еЕ, /, б Т), (10)

К' = * = ^ = Л, >> = /, = И, е, еЕ, /, е Г). (11)

При этом к/= а к2 = |/??| Тогда весовой коэффициент (»истинных альтернатив и весовой коэффициент у/ дистракторов в ответе тестируемого определяются по формулам:

= ^ (12) * = (13)

ш а

Количество р пар <к,, т> (<к2, <1>), необходимых для вычисления значений переменной <р (<//), определяется формулой (15) с учетом того, что к/< т (к2 < с1). р = С) +г, гае г = тах{т). (14)

Так как максимальное количество альтернатив ограничено числом 9, то в тестовом задании максимальное количество истинных альтернатив, также как и дистракторов, равно 8, т.е. г = 8. Таким образом, при г = 8 получаем по 36 значений весовых коэффициентов <р и у/, которые представлены в таблице 1 Таблица 1 — Весовые коэффициенты истинных альтернатив <р и дистракторов ц/

| ■ к,(к2) \т (</) 1 2 3 4 | 5 1 б 7 8

Г~1 1,000 I 1 1 !

1 2 0,500 1 1,000 1 ■

! 3 0,333 | 0,667 1,000

П4 Т"1 5 _ _ 7 1 8 0,250 0.500 0,200 0,400 0,750 , 1,000 0,600 ; 0,800 1,000 ---- и. - ------

0.167 0,333 0.143 ! 0,286 0,125 0,250 0,500 ; 0,667 0,833 ' 1,000 ! 0,429 ] 0,571 " 0,714 ] 0,857 ] 1,000 0,375 | 0,500 0,625 : 0,750 | 0,875 "Тооо '

Из 36 значений при исключении их повторений 22 различных значения весовых коэффициентов <р и у/ составляют основу для построения лингвистической шкалы. Каждый элемент лингвистической шкалы представляет собой нечеткое множество, ядро которого включает элемент действительной порядковой шкалы, градуированной с шагом 0,1 на интервале [0;1], что показано в таблице 2. Для определения выходной переменной построена аналогичная семиэлементная лингвистическая шкала.

Значениям весовых коэффициентов поставлены в соответствие элементы лингвистической шкапы на основе анализа субъективных подходов к оценке результатов тестирования разных преподавателей методом групповой экспертной оценки.

Выполненное шкалирование стоимостных оценок тестовых заданий позволят полученные значения лингвистических шкал использовать как элементы терм-

множеств лингвистических переменных в системе нечеткого вывода. При этом количество элементов на лингвистической шкале удовлетворяет числу Миллера, что позволит составителю теста качественно произвести настройку диапазонов значений лингвистической шкалы с целью усиления или ослабления гребований к оцениванию знаний в зависимости от вида проводимого контроля.

Таблица 2 - Лингвистическая шкапа входных переменных

№

~т

Значения весовых коэффициентов <р и у 0.125 0.143 0.167

№

Значение лингвистической шкалы Маленький

0.200 0 250 0 286 "0.333 0.375

Достаточно маленький

3 ! Не очень маленький

Ядро нечеткого множества "{О 1!

{0.2} "

(0 3)

11 - ~

1 12

! 13

-4-

16 17

0.400 0.429" 0.500 0.571 0.600 0.625 0.667

■Н

Ниже среднего

Средний Выше среднего

Не очень большой

0.714 0.750

8 Достаточно большой

0.800

0.833

0.857

0.875

1.000

Большой

Очень большой

{0.4}

{0.5} {0.6}

{0.7} (0-8}

{0.9}

■гН

Оценивание тестовых заданий I уровня будет заключаться в определении степени правильности 8 ответа тестируемого на основе оценки на лингвистической шкале весовых коэффициентов <рп цг.

Степень правильности 8 выполненного тестового задания в условиях определенности рассчитывается следующим образом:

1) если к\ = п и к2 = 0, т.е. тестируемым выбраны все альтернативы как истинные, то 8 = 0;

2) если к\ = 0 для Ук2, т.е. тестируемым не выбрана ни одна истинная альтернатива, то 8 = 0;

3) если 0 < к\ < ш и к2 = 0, т.е. тестируемым выбраны истинные альтернативы, и не выбран ни один дистрактор, то 8= /р. В частности, при к\ = т получаем <5= 1.

Степень 8 правильности выполнения тестового задания в условиях неопределенности определяется на основе применения системы правил нечетких продукций. Неопределенность появляется тогда, когда минимальное количество альтернатив в тестовом задании равно 3. Если в общем случае за п взять максимальное количество альтернатив, то для расчета мощности к счетного множества всех тестовых заданий с различным набором возможных значений (т, <1, к/ и к2) справедлива следующая формула:

« = 05)

(.1 1-1

При п - 9 формула (15) дает число 294, которым и определяется максимальное количество всех тестовых заданий с количеством альтернатив от трех до девяти.

При построении правил нечетких продукций для определения лингвистического значения выходной переменной в заключении ядра нечеткой продукции используется его числовой эквивалент, рассчитываемый по формуле (16):

= (16) п

Данная формула позволяет произвести понижение веса (р истинных альтернатив в ответе тестируемого при условии наличия неправильно выбранных альтернатив. При этом при всех равных значениях т, к,, к? с ростом числа альтернатив в тестовых заданиях значение 5'монотонно возрастает, что показано на примере таблицы 3. Таблица 3 - Пример понижения веса <р истинных альтернатив

№ пп Тестовое задание п \ Л \ т Ответ тестируемого ' к, | к2 1 к,+к2 Весовой коэфф. <Р ~Г V и : 5'

1 3 2 2 1,000 0,500 2,0000 0,667

2 4 3 1 ' 1 2 1,000 0,333 2,0000 0,750

3 5 4 - 1 7 1 ~ 2 1,000 ; 0,250 2,0000 0.800

4 6 5 I . Т" . 2 1,000 0,200 2,0000 0.833

5 7 6 — 1 г~~1 1 1 . 2 1,000 ; 0,167 2,0000 , 0,857

6 8 7 1 т 1 т 2 1,000 2,0000 1 0,875

7 9 8 1 1 1 "I ' 2 1,000 0,125 2,~оооо ; 0,889

8 4 3 1 1 2 ' 3 1,000 0,667 3,0000 ; 0,500

9 5 1 4 1 ! 2 3 1,000 0,500 3,0000 ' 0,600

10 6 5 1 ; 2 ' 3 1,000 0,400 '3,0000 ' 0,667

11 7 6 11 112: 3 1,000 1 0,333 3,0000 1 0,714

12 8 7 1 1 ! 2 ' 3 1,000 : 0,286 3,0000 ! 0,750

13 9 1 1 ! 2 ' 3 1,000 ; 0,250 3,0000 ! 0,778

Формула (17) используется в качестве условия применимости правила нечеткой продукции:

к + к

и = 1(17) т

Эта формула позволяет регулировать значение степени правильности ответа тестируемого в зависимости от того, насколько близки количество выбранных тестируемым альтернатив и количество истинных значений эталонного ответа. Формула разбивает все множество тестовых заданий на классы, в каждом из которых содержатся задания с приблизительно одинаковым значением и. Введением условия применимости решается проблема коллизии, возникающая при построении правил нечетких продукций, которая заключается в том, что в полученной базе правил нечетких продукций имеются правила, ядра которых содержат одинаковые условия, но разные заключения. Разбиение конечного множества нечетких продукционных правил по отношению и распределяет правила по разным классам, в рамках которых принимаются соответствующие заключения.

Входные лингвистические переменные Вес истинных альтернатив, Вес дистракторов имеют базовое терм-множество Г/= {Маленький, Средний, Большой}, а выходная лингвистическая переменная Степень правильности ответа — базовое терм-множество Т2 = {Низкая, Средняя, Высокая}. Для повышения точности

оценивания степени правильности тестового задания используется множество модификаторов М ~ {Очень, Достаточно, Не, Ниже, Выше}, которые позволяют расширить базовые терм-множества в зависимости от условий применимости правил нечетких продукций.

Для построения правил нечетких продукций на основе значений переменных <р, <//, 5' были получены наборы значений лингвистических переменных в соответствии с выполненным шкалированием. Из полученных 294 наборов значений лингвистических переменных при удалении повторяющихся осталось 107 различных наборов, которые являются исходными данными для построения правил нечетких продукций. Ниже в примере приведены 3 из 107 правил нечетких продукций для определения степени правильности выполнения тестовых заданий 1 уровня усвоения.

ЕСЛИ Вес истинных альтернатив Большой и Вес дистракторов Средний ТО Степень правильности ответа Выше среднего

ЕСЛИ Вес истинных альтернатив Достаточно маленький и Вес дистракторов Очень большой ТО Степень правильности ответа Достаточно низкая

ЕСЛИ Вес истинных альтернатив Выше среднего и Вес дистракторов Очень большой ТО Степень правильности ответа Ниже среднего.

Согласно формализации вопросно-ответных отношений в тестовых заданиях II и III уровней усвоения ответ тестируемого формируется в виде Т = {(</„ цД<е„ /,>)| /' = 1,..., п}. Для оценивания введем переменные 9/ и 02, которые определяют количественную и качественную меру по формулам (18), (19):

"Е/^ (<«,>', >)

в вг=————

' » (18) *< (19)

где к, — количество ответов тестируемого с мерой близости рц{<е„ /,>) > 0 Тогда в условиях определенности степень 8 правильности выполнения тестового задания будет определяться следующим образом:

1) если к\ = 0, т.е. тестируемый не дал ни один эталонный ответ, то 8 = 0;

2) если 02т.е. тестируемым введены абсолютно правильные ответы, то 8=0/, в частности, если = л и & = 1, то <5 = 1;

Для определения степени 8 правильности выполнения тестового задания в условиях неопределенности переменным в/ и 02 поставим в соответствие их нечеткие аналоги в виде лингвистических переменных Количественная мера правдоподобных ответов и Качественная мера правдоподобных ответов. При оценивании второй лингвистической переменной примем условие, которое заключается в том, что соответствующая ей числовая переменная в2 будет принимать свои значения на промежутке [0,5; 1]. Это ограничение оправдано тем, что мера близости//¿(<е„ /,>) по своему смыслу определяет близость синонимичных понятий, поэтому при создании тестовых заданий было бы некорректно предусматривать в эталонном ответе понятия, которые по отношению к абсолютно правильному ответу близки со степенью менее чем 0,5. Значение 0,5 условно и может изменяться в зависимости от требований составителя теста.

Таким образом, для построения базы правил нечетких продукций для тестовых заданий II и III уровня усвоений для входной лингвистической переменной Количественная мера правдоподобных ответов имеется базовое терм-множество Т, -{Маленький, Средний, Большой}; для переменной Качественная мера правдоподобных ответов - базовое терм-множество Т2 - {Средний, Большой}.

Выходная лингвистическая переменная имеет базовое терм-множество Т3 = {Низкая, Средняя, Высокая}. Для повышения точности оценивания степени правильности тестового задания используется множество модификаторов М = {Очень, Достаточно, Не, Ниже, Выше}.

Терм-множество для лингвистической переменной Количественная мера правдоподобных ответов содержит 10 элементов, соответствующих градациям лингвистической шкалы (табл.2); терм-множество для переменной Качественная мера правдоподобных ответов содержит 6 элементов и представляет собой множество: {Средний, Выше среднего, Не очень большой, Достаточно большой, Большой, Очень большой}.

Для создания базы правил нечетких продукций, отвечающей требованию полноты, было построено декартово произведение терм-множеств входных лингвистических переменных, что обусловило создание 60 правил нечетких продукций. При этом для определения значений выходной лингвистической переменной в консеквенте нечетких правил были получены их числовые аналоги как результаты перемножения элементов универсального множества, составляющих ядра нечетких множеств. Далее полученным числам были поставлены в соответствие значения на шкале выходной лингвистической переменной. В результате была построена система из 60 правил нечетких продукций. Ниже приведены примеры полученных правил:

ЕСЛИ Количественная мера правдоподобных ответов Маленькая и Качественная мера правдоподобных ответов Средняя ТО Степень правильности ответа Низкая.

ЕСЛИ Количественная мера правдоподобных ответов Достаточно маленькая и Качественная мера правдоподобных ответов Средняя ТО Степень правильности ответа Достаточно низкая.

ЕСЛИ Количественная мера правдоподобных ответов Очень большая и Качественная мера правдоподобных ответов Средняя ТО Степень правильности ответа Средняя.

Модель адаптивного тестирования Мг. Результаты оценивания заданий в виде степеней правильности ответов обучаемого могут подлежать корректировке при реализации адаптивного тестирования.

Согласно Аванесову B.C. существуют три подхода к адаптивному тестированию:

1) пирамидальное тестирование, когда всем испытуемым дается задание средней трудности и затем, в зависимости от ответа, каждому испытуемому дается задание легче или труднее;

2) контроль начинается с любого желаемого, испытуемым, уровня трудности, с постепенным приближением к реальному уровню знаний;

3) тестирование проводится посредством банка заданий, разделенных по уровням трудности.

Возможность задания дополнительных вопросов зависит от степени 8 правильности выполнения тестового задания. Дополнительные вопросы могут задаваться при достижении некоторого критического значения S(6>6), которое определено на стадии формирования.

Задания внутри типов первого и второго уровней усвоения и задания третьего и четвертого уровней усвоения ранжируются по степени трудоемкости и значимости содержания тестового задания. Для решения этой задачи предложено применение аппарата нечеткой логики. Определение степени трудоемкости задания выполнено на основе введения понятия элементарной операции, под которой понимается действие (умозаключение), используемое в цепочке рассуждений для нахождения правильного

заключения Каждойу'-ой элементарной операции в /-м тестовом задании соответствует число на промежутке [0;1], которое является степенью трудоемкости элементарной операции:

= = й (21) где к? - количество элементарных операций тестового задания, п - количество заданий в тесте. Тогда степень трудоемкости задания в тесте определяется по формуле:

±<

-,1=1п (22)

' » «¡» £1>7

.-I у.|

Базовые понятия дисциплины, входящие в тестовое задание, характеризуются своей степенью значимости 51р / = 1,...п,у = 1,..., п„ где п, - количество понятий в /том тестовом задании. Тогда степень значимости ¿г, содержания тестового задания определяется формулой:

I'*

¡.i

: 1.Л (23)

Формулами (22) и (23) определены числовые аналоги «лингвистических переменных Степень трудоемкости и Степень значимости содержания тестового задания, которые будут входными лингвистическими переменными правил нечетких продукций. Выходной лингвистической переменной ранг задания соответствует числовой аналог обозн rang Определение ранга задания в тесте будет производиться на основе оценивания степени трудоемкости и степени значимости содержания тестового задания правилами нечетких продукций.

Модель интегрального оценки выполнения теста Мъ. Интегральная оценка выполнения теста вычисляется на основе полученных результатов при оценивании каждого тестового задания и стоимости каждого задания в тесте.

Для назначения стоимости тестовым заданиям используются их ранги. Весовые коэффициенты тестовых заданий рассчитаем как нормализованные значения рангов тестовых заданий на промежутке [0;1]:

V;=_^L.Í = 1,„. (24)

Z ranSi

|я|

Тогда стоимость каждого тестового задания можно вычислить по формул^ Sf=v? Sr,i = ü (25)

Определив стоимость каждого тестового задания, можем получить оценку его В7, =5, 5,г,/ = й, (26)

где S, — степень правильности выполнения тестового задания при адаптивном тестировании.

Общая сумма ВТ полученных баллов за выполнение теста определяется как: ВТ=±В? (27)

Процентное соотношение Вт от стоимости !? теста обозначим как яг.

D Г

тг = -2_.100% (28)

Будем считать, что оценивание результатов теста по традиционной пятибалльной системе будет производиться в соответствии со следующими условиями:

1) если ж< 50%, то ставится оценка «неудовлетворительно»;

2) если 50% < 7г< 70%, то «удовлетворительно»;

3) если 70% < ж < 90%, то «хорошо»;

4) если 90% < ti< 100%, то «отлично».

Надо отметить то, что процентные соотношения оценок могут быть и другие, но должны быть определены на этапе составления теста.

В третьей главе описан нечеткий логический вывод оценивания результатов тестирования, основанный на методе нечеткого регулирования Мамдани. Компоненты нечеткого вывода рассмотрим на примере определения степени правильности выполнения тестового задания I уровня с параметрами: вес правильных альтернатив <р - 0,5, вес дистракторов у/= 0,333, условие применимости и = 1,5.

База правил нечетких продукций состоит из следующих элементов.

Имя продукции (/'): определено как номер нечеткой продукции / = I,...,107.

Сфера применения (0: оценивание тестовых заданий закрытого типа.

к +к

Условие применимости (Р): и - ---, где k¡ - количество правильно выбранных

альтернатив и к2 - количество .неправильно выбранных, альтернатив в ответе тестируемого, m - мощность эталонного множества.

Условие ядра (А): составное нечеткое высказывание вида «Jn¡ = Ai' И In2 = А/*», где 1п/ и 1п2 — обозначения входных лингвистических переменных ВЕС ИСТИННЫХ АЛЬТЕРНАТИВ и ВЕС ДИСТРАКТОРОВ в ответе тестируемого, терм f е Т, = {Маленький, Средний, Большой}, модификатор Де M¡ = {ОЧЕНЬ, ДОСТАТОЧНО, НЕ, НИЖЕ, ВЫШЕ}.

Заключение ядра (В): нечеткое высказывание вида «Oui = А/"», где Out -обозначение выходной лингвистической переменной СТЕПЕНЬ ПРАВИЛЬНОСТИ ОТВЕТА, терм f е T¡ = {Низкая, Средняя, Высокая}, модификатор Де М2 -{ДОСТАТОЧНО, НИЖЕ, ВЫШЕ}.

Метод определения количественного значения степени истинности заключения ядра (S): метод min-активизации:

//M = mm{C(,My)},< = VÏÔ7 (32)

где с, - значение степени истинности заключения в правиле /?,; //(>■) - функция принадлежности терма, который является значением выходной лингвистической переменной Oui, заданной на универсуме Y= [0;1].

Коэффициент определенности нечеткой продукции (F): по умолчанию для всех правил нечетких продукций F = 1.

Постусловия продукции (N): процедура вычисления оценки в баллах за выполнение тестового задания по формуле (2.37).

Для построения функций принадлежности в соответствии с выполненным шкалированием имеются следующие исходные условия: ядра нечетких множеств лингвистических переменных состоят из единственного элемента; функция принадлежности должна быть выпуклая; функция принадлежности может быть унимодальной.

Чтобы определить вид зависимостей функции принадлежности нечетких множеств

рассмотрены основные типы и виды существующих функций принадлежности, которые могут (н,п 1. использованы и решении поставленной задачи. И\ анализ показал, что поставленным условиям, наилучшим обраюм удовлетворяет колоколообрашая функция.

Фаззификация нечетких переменных (термов) для входных лингвистических переменных для рассматриваемою примера даст следующие значения функций принадлежности, приведенные в таблице 4.

Табтшм 4 Результат фанификации н\*олны\ лингвистических переменных

Нечеткая неременная Значение ф)нкиии принадлежности

/1,1 ф) при ^=0 5 д-(И при 1/~ 0.333

Очень маленький 0.00100 0.00337

Маленький 0.00195 0.00979

Достаточно маленький 0.00461 0 05045

Не очень маленький 0,01538 0.77670

Ниже среднего 0.11111 0.29359

Средний 1.00000 0.02614

Выше среднего 0.11111 0,00652

11с очень большой 0.01538 0.00252

Дост аточно большой 0.00461 0.00123

Большой 0.00195 0.00069

Очень большой 0.00100 0.00042

Процедура агрегирования нечеткого лотического вывода ,сводится к выбору минимального значения функций истинности:

//'(«'-'/') = ""»!/',(«')•/';('/')! (33)

Условия применимости и = 1.5 обуславливает реализацию шестнадцати правил нечетких продукций, результаты выполнения которых приведены в таблице 5. Табчица 5 - Результат агрегирования нечеткмо логического вывода

№ Терм для первой лингвистической переменной /"■(0,5) Терм для второй лингвистической переменной м 0,333; Результат агрегирования, р Г0 5,0.333)

1 Не очень большой 0.01538 Выше среднего 0,00652 0,00652

2 Средний 1.00000 Достаточно большой 0.00123 0.00123

3 Очень большой 0.00100 Достаточно маленький 0,05045 0,00100

4 Очень большой 0.00100 Маленький 0.00979 0.00100

5 Не очень большой 0.01538 Не очень большой 0,00252 0,00252

6 Очень большой 0.00100 Не очень большой 0,00252 0.00100

7 Средний 1.00000 Не очень большой 0,00252 0,00252

8 Очень большой 0,00100 Не очень маленький 0.77670 0,00100

9 Средний 1,00000 Не очень маленький 0,77670 0,77670

10 Очень большой 0.00100 Ниже среднего 0.29359 0,00100

и Средний 1,00000 11иже среднего 0,29359 0,29359

12 Достаточно маленький 0,00461 Очень большой 0,00042 0.00042

13 Не очень большой 0,01538 Очень большой 0,00042 0,00042

14 Средний 1.00000 Очень большой 0,00042 0,00042

15 Очень большой 0,00100 Средний 0,02614 0,00100

16 Средний 1,00000 Средний 0,02614 0,026)4

Результат агрегирования представляет собой множество степеней истинности

условий правил нечетких продукций В = {Ь1.....Ь„], где я - мощность множества

правил нечетких продукций. Для рассматриваемого примера п- 16.

На этапе активизации степень истинности для терма выходной лингвистической переменной определяется по формуле:

с, = ^ = (34)

где Ь, - степень истинности условия /-го правила,- определенная на предыдущем этапе; Г, - весовой коэффициент /'-го правила в нечетком выводе.

Поскольку все продукционные правила имеют вес, равный единице, степень истинности для термов выходной лингвистической переменной равна степени истинности условий правил нечеткого вывода:

С(=6,,/ = Г,71 (35)

На рисунке 2 изображены нечеткие множества (закрашенная область) С9 и Си выходной лингвистической переменной Степень правильности ответа при с9 = 0,77670 (рис. 3.6, а) и си - 0,29359 (рис. 3.6, б), которые заведомо отличны от нуля И . И

,. А

- -- 05

ттг

ТЗ"

"Т0-

а б

Рис 1 Графики функций принадлежности термов выходной лингвистической переменной

На этапе аккумуляции находим функцию принадлежности выходной лингвистической переменной методом тах-объединения нечетких множеств С\,...,С„: /Л(*) = тах(//,.(л)} (36)

На рисунке 3 приведен график функции принадлежности выходной лингвистической переменной СТЕПЕНЬ ПРАВИЛЬНОСТИ ОТВЕТА.

0.5 1 0

Рис 3 - График функции принадлежности выходной лингвистической переменной

Этап дефаззификации при реализации алгоритма Мамдани может быть выполнен на основе применения методов центра тяжести, центра площади, левого, правого и среднего модального значения Для выбора метода дефаззификации были проведены эксперименты, результаты которых позволили выбрать метод центра тяжести.

На рисунке 3 отмечен центр тяжести для рассматриваемой задачи. При этом степень правильности выполнения задания 3 = 0,322.

В четвертой главе описаны программное обеспечение, представляющее собой систему нечеткого логического вывода, разработанное с целью проверки корректности разработанной нечеткой модели, и вычислительные эксперименты, проведенные методом групповой экспертной оценки для определения объективности полученных с помощью нечеткого регулятора результатов.

Приведена архитектура нечеткого регулятора, который состоит из трёх компонентов: базы правил, интерфейсной части, аппарата нечёткого вывода.

Интерфейсная часть обеспечивает выполнение следующих функций: получение входных данных от пользователя; создание, загрузка и сохранение базы правил нечетких продукций; ввод и редактирование переменных, термов, сфер и условий

применимости, правил нечетких продукций на ограниченном подмножестве естественного языка; преобразование правила нечеткой продукции с естественноязыкового представления в предикатное; настройку методов логического вывода: активизации, аккумуляции и дефаззификации; отображение результатов нечёткого логического вывода в виде числовых данных и графиков функций принадлежности.

В базе правил хранятся множества входных и выходных лингвистических переменных с соответствующими им терм-множествами; множество четких переменных; множество правил, включающих условие применимости правила, посылку и заключение.

Аппарат нечеткого вывода выполняет нечеткий логический вывод с выбранной точностью и выбранными методами активизации, аккумуляции и дефаззификации.

В рамках работы выполнена экспертная оценка результатов исследования, которая заключалась в проверке корректности полученных нечетким регулятором результатов оценивания тестовых заданий. Для анализа результатов выбран метод групповой экспертной оценки. Степень согласованности мнений экспертов определялась с использованием коэффициента вариабельности и коэффициента конкордации Кендалла. Анализ результатов экспертного опроса показал корректность полученных результатов.

Заключение

В работе разработана адаптивная нечеткая модель оценивания результатов тестирования М = <М\, М2, Му>, базирующаяся на теории усвоений знаний. В модели оценивания тестовых заданий М\ определяется степень правильности ответа тестируемого на основе применения двух различных баз правил нечетких продукций, предназначенных для оценивания тестовых заданий закрытого типа и открытого типа. При этом для формального представления и распознавания ответа тестируемого выполнена формализация вопросно-ответных отношений в тестовых заданиях.

В модели адаптивного тестирования М2 тестовые задания предоставляются тестируемому в порядке от легкого к трудному в соответствии с уровнями усвоения знаний и их рангами внутри них. Для определения рангов используются правила нечетких продукций, в которых оцениваются степень трудоемкости и степень значимости тестовых заданий По мере выполнения тестового задания в зависимости от степени правильности ответа испытуемому могут быть заданы дополнительные вопросы, что может позволить ему улучшить результат ответа на данное тестовое задание.

В модели интегральной оценки результатов тестирования Мэ оценка рассчитывается на основе полученных степеней правильности и стоимостей тестовых заданий. Стоимость каждого задания определяется на основе его весового коэффициента, рассчитанного с использованием ранга задания в текущем тесте, полученного в модели М2.

Результаты диссертации отражены в следующих работах:

1. Данилова, С.Д. База правил нечетких продукций для оценки результатов тестирования учащихся [Текст] / С.Д. Данилова // Теоретические и прикладные вопросы современных информационных технологий: Материалы Шестой Всероссийской научно-технической конференции. - Улан-Удэ. - 2005. - С. 175-179.

2. Данилова, С.Д. К вопросу об оценивании знаний при тестировании учащихся [Текст] / Данилова С.Д. // Единая образовательная информационная среда: проблемы и

пути развития: Материалы Четвертой Всероссийской научно-практической конференции-выставки. - Барнаул. - 2005. - С 52-54.

3. Данилова, С.Д. Основные аспекты нечеткого моделирования процесса оценивания результатов тестовых заданий [Текст] / С.Д. Данилова // Роль инфокоммуникационных технологий в совершенствовании системы управления качеством образования. - СПб. - 2005. - С.95-105.

4 Данилова, С Д Применение формального представления вопросно-ответных отношений для описания тестовых заданий [Текст] / С.Д. Данилова // Теоретические и прикладные вопросы современных информационных технологий: Материалы Шестой Всероссийской научно-технической конференции - Улан-Удэ. - 2005. - С 171-175.

5. Данилова, С Д Формализация вопросно-ответных отношений в нечеткой модели оценивания результатов автоматизированного тестирования [Текст] / Л.В. Найханова, С Д. Данилова // Проблемы информатизации региона- Материалы Девятой Всероссийской научно-практической конференции. - Красноярск. -2005 - С. 142-147.

6. Данилова, С Д , Система удаленного тестирования и контроля знаний учащихся [Текст] / С.Д Данилова, Ц Ц. Шайдоров // Российская школа и Интернет: Сборник трудов Второй Всероссийской научно-практической конференции. - СПб. - 2002. -С.20-21.

7. Данилова, С Д. Управление учебной деятельностью на кафедре [Текст] / Л.В. Найханова, С.Д Данилова, С.В Тумашов, Е Ю. Ангаева. // Сборник научно-методцческих статей - Вып.8. - Улан-Удэ. ВСГТУ. - 2002..- С 114-120.

8. Данилова, СД Автоформализация знаний начального этапа извлечения знаний [Текст] / Л.В Найханова, СД Данилова // Роль геометрии в искусственном интеллекте и системах автоматизированного проектирования Сб докладов всероссийской научно-технической конференции. - Улан-Удэ: ВСГТУ. - 1996 - С. 27 -29.

9 Данилова, С Д Модель данных компонента «Управление учебной деятельностью». [Текс|] / Л.В. Найханова, С Д. Данилова // Сб. науч. тр. - Серия: Технические науки - Вып.7. - Т. 1. -Улан-Удэ. ВСГТУ. - 2000. - С. 9-16.

!0 Данилова, С.Д Понятийная модель данных компонента «Контингент студентов». [Текст] / Л.В Найханова, С Д Данилова // Теоретические и прикладные вопросы современных информационных технологий: Материалы Первой Всероссийской научно-технической конференции. - Улан-Удэ - 2000. - С 87-93.

П.Данилова, С.Д. Рейтинговая система успеваемости студентов [Текст] / Л.В. Найханова, С.Д. Данилова // Теоретические и прикладные вопросы современных информационных технологий: Материалы Третьей Всероссийской научно-технической конференции. - Улан-Удэ. - 2002. - С.170-173.

12. Данилова, С.Д. Некоторые возможности редактора Dreamweaver: методические указания. [Текст] / Л.В. Найханова, В.В. Найханов, С.Д. Данилова // Улан-Удэ: ВСГТУ.-2005.-45с.

13. Свидетельство об официальной регистрации программы для ЭВМ № 2003612186. «Модель данных по учебной деятельности ВУЗа» / Л.В. Найханова, С.Д. Данилова, - М.: Всероссийское агентство по патентам и товарным знакам. - 2003.

14. Свидетельство об официальной регистрации программы для ЭВМ № 2005612976. «Интеллектуальная информационная система нечеткого логического вывода» / Л.В. Найханова, С.Д. Данилова, С.С. Хомосов - М.: Федеральная служба по интеллектуальной собственности, патентам и товарным знакам. - 2005.

»-2852

Данилова Соелма Доржигушаевна Адаптивная нечеткая модель оценивания результатов автоматизированного тестирования с разделением заданий по уровням усвоения Автореф. дисс. на соискание ученой степени кандидата техн. наук

Подписано в печать ¿У. Р<2. ¿006 Заказ № Формат бумаги 60x90/16. Усл. печ. л. 1. Тираж 100 экз. Типография Красноярского государственного технического университета

Оглавление автор диссертации — кандидата технических наук Данилова, Соелма Доржигушаевна

ВВЕДЕНИЕ.

1 ОПИСАНИЕ ПРОБЛЕМЫ И ОБЗОР СУЩЕСТВУЮЩИХ РЕШЕНИЙ.

1.1 Основные понятия.

1.2 Описание проблемы.

1.3 Обзор методик и моделей оценивания знаний.

1.3.1 Методики оценивания знаний в традиционном тестировании.

1.3.2 Модели оценивания знаний в системах автоматизированного тестирования

1.3.1.1 Модели оценки знаний с использованием четких тестов.

1.3.1.2 Модели оценки знаний с использованием «нечетких» тестов.

1.4 Постановка задачи.

1.5 Четкие и нечеткие понятия и отношения предметной области.

1.6 Подход к решению поставленной задачи.

1.7 Выводы по первой главе.

2 ОЦЕНИВАНИЕ ТЕСТОВЫХ ЗАДАНИЙ С РАЗДЕЛЕНИЕМ ПО УРОВНЯМ УСВОЕНИЯ.

2.1 формальное представление результатов тестирования и их шкалирование

2.1.1 Формальное представление вопросно-ответных отношений в тесте.

2.1.1.1 Формализация закрытых по форме вопросов в тестовом задании.

2.1.1.2 Формализация открытых по форме вопросов в тестовом задании.

2.2 шкалирование стоимостных оценок тестового задания.

2.3 Модель оценивания тестовых заданий.

2.3.1 Оценивание тестовых заданий Iуровня усвоения.

2.3.2 Оценивание тестовых заданий II и IIIуровней усвоения.

2.4 Модель адаптивного тестирования.

2.5 Модель интегральной оценки результатов тестирования.

2.6 Выводы по второй главе.

3 НЕЧЕТКИЙ ЛОГИЧЕСКИЙ ВЫВОД ПРИ ОЦЕНИВАНИИ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ.

3.1 Базы правил нечетких продукций в задаче оценивания результатов тестирования.

3.2 Фаззификация.!.

3.3 Нечеткий логический вывод.

3.3.1 Агрегирование.

3.3.2 Активизация.

3.3.3 Аккумуляция.1.

3.4 Дефаззификация.

3.5 Выводы по третьей главе.

4 ОПИСАНИЕ ВЫЧИСЛИТЕЛЬНЫХ ЭКСПЕРИМЕНТОВ.

4.1 Описание программного обеспечения.

4.1.1 Архитектура нечеткого регулятора.

4.1.2 Компонент «Интерфейсная часть» нечеткого регулятора.

4.1.3 Компонент «База правил» нечеткого регулятора.

4.1.4 Компонент «Аппарат нечёткого вывода» нечеткого регулятора.

4.2 Анализ результатов вычислительных экспериментов.

4.2.1 Определение согласованности мнений экспертов.

4.4.2 Экспертный анализ результатов.

4.6 Выводы по четвертой главе.

Введение 2006 год, диссертация по информатике, вычислительной технике и управлению, Данилова, Соелма Доржигушаевна

Широкое внедрение информационных и коммуникационных технологий в сферу образования и решение проблемы качества обучения обуславливают необходимость разработки моделей, адекватных процессам учебной деятельности.

К настоящему времени разработаны разнообразные среды, предназначенные как для подготовки автоматизированного тестирования, так и его проведения: UniTest System [77], Конструктор тестов [56], Инспектор [87], Экспресс-тест [103], SunRav TestOfficePro [79], Тест [96], УПАТ [97], Система проверки знаний [89], HyperTest [88], Open TEST [58], Прометей [29], АСТ-ТЕСТ [73], Neyron [100], СДТ Ната (md-77) [86] и др. По типу доступа они классифицируются как автономные, сетевые и удаленные. В этих средах в основном поддерживаются пять типов заданий, вопросы в которых требуют следующих типов ответов: выбор единственно правильного ответа; выбор нескольких возможных правильных ответов; установка последовательности правильных ответов; установка соответствий ответов; ввод ответа вручную с клавиатуры. Согласно теории усвоения Беспалько В.П. первые четыре типа заданий относятся к тестам первого уровня усвоения знаний (опознание, различение, классификация), пятый тип - ко второму уровню (подстановка) [19]. При этом на оценку выполнения тестового задания не влияет, к какому уровню усвоения и какому типу одноуровневых заданий оно относится. Оценивание задания во всех этих средах зависит от составителя теста, т.е. баллы за выполнение тестовых заданий назначаются им на основе его компетентности. В данном случае составитель теста выступает как эксперт в своей предметной области, и оценка, полученная тестируемым за выполнение теста, не лишена субъективизма. Кроме этого, способы вычисления интегральной оценки результатов тестирования отличаются простотой расчета: в основном используется аддитивный способ оценки правильно выполненных тестовых заданий. При дихотомичности и одноуровневости заданий в тесте каждое правильно выполненное задание оценивается в один балл. При политамичности и многоуровневости на этапе формирования теста каждому заданию в зависимости от его сложности назначается определенный балл или весовой коэффициент. Интегральная оценка выполнения теста вычисляется как сумма полученных баллов за правильно выполненные задания.

Анализ систем контроля знаний студентов показал, что разработка этих систем преимущественно идет на эмпирической основе без должного научно-методического обоснования, без опоры на теоретические модели готовности специалиста к профессиональной деятельности, без привлечения методов педагогической квалиметрии. Слабая концептуальная разработанность технологии контроля все более приходит в противоречие с объективными потребностями вузовской практики по реализации программы повышения качества подготовки специалистов, и в связи с этим возникает необходимость разработки научно-обоснованной системы контроля знаний студентов.

Таким образом, существует техническая проблема, заключающаяся в совершенствовании процесса автоматизированной оценки результатов тестирования студентов, решение которой позволит повысить эффективность выполнения контроля знаний студентов, обеспечить объективность оценки выполнения теста как по уровням усвоения знаний тестовых заданий, так и по тесту в целом.

Предметная область задачи оценивания знаний учащихся относится к интеллектуальным задачам, решение которой зависит от субъективных критериев оценки тестового задания преподавателем, которым свойственна расплывчатость границ оценивания. Поэтому для решения технической проблемы была поставлена научная проблема, которая заключается в создании модели оценивания знаний студентов на основе применения аппарата нечеткой логики и теории вопросно-ответных отношений.

Объект исследования - система контроля знаний студентов.

Предмет исследования - оценивание результатов автоматизированного тестирования.

Цель работы - исследование и разработка модели оценивания знаний студентов, адекватно отражающей процесс оценки результатов автоматизированного тестирования.

Для достижения поставленной цели необходимо решить следующие задачи:

4. Разработать программное обеспечение для реализации модели оценивания результатов тестирования и выполнить вычислительные эксперименты, осуществляющие проверку корректности модели.

Методы исследования базируются на математическом аппарате теории множеств, нечеткой, эротетической и математической логик, теории принятий решений, системного анализа.

Для описания понятий и отношений проблемной области использован теоретико-множественный подход. Разработка адаптивной модели оценивания результатов тестирования основана на методах нечеткого регулирования. Для I формализации вопросно-ответных отношений в тестовых заданиях использован аппарат эротетической логики Н. Белнапа, базирующейся на логике предикатов первого порядка. Метод групповых экспертных оценок использован для проверки корректности модели. Системный анализ использован при исследовании предметной области, выработке подхода к решению задачи, определении методов решения задачи [53, 83]. Методы объектно-ориентированного программирования и разработки интеллектуальных систем использованы для разработки программного обеспечения в виде нечеткого регулятора оценивания результатов тестирования.

Достоверность научных выводов и практических рекомендаций основывается на теоретических и методологических положениях, сформулированных в исследованиях российских и зарубежных ученых, таких как JI.A. Заде [4-6], Е. Мамдани [16], Н. Белнап [18], Осипов [75] и других.

Построение модели осуществлялось также на базе научных трудов по педагогике В.С.Аванесова, С.И.Архангельского, В.П.Беспалько, И.Я.Лернера,

В.И.Михеева, М.Н.Скаткина, А.О.Татура, В.С.Черепанова, М.Б.Челышковой, А.И. Субетто и др. [1, 2, 13-15,19-22, 7-9, 61-63, 90-95,101].

Наиболее существенные результаты и научная новизна:

1. Разработаны базы правил нечетких продукций для оценивания тестовых заданий, отражающих каузальные рассуждения компетентных преподавателей при оценивании результатов тестирования и обеспечивающие условия адаптивного тестирования с учетом степени трудоемкости выполнения тестовых заданий и степени значимости содержащихся в них понятий.

2. Выполнена унификация представления тестовых заданий, что позволило применить для их формализации единый аппарат вопросно-ответных отношений, основанный на эротетической логике.

Практическая значимость исследования состоит в том, что полученные результаты могут быть применены при разработке систем автоматизированного тестирования, предназначенных для оценки знаний студентов по отдельным темам дисциплины, дисциплине в целом, организации междисциплинарного экзамена. Результаты тестирования могут быть использованы для определения уровня подготовленности студентов в различных разрезах: раздела дисциплины, дисциплины в целом, специальности, факультета, вуза и т.д. и служить основой разработки рейтинговой системы успеваемости учащихся.

Апробация результатов исследования. Основные положения диссертационной работы докладывались и обсуждались на Международной научно-методической конференции «Роль инфокоммуникационных технологий в совершенствовании системы управления качеством образования» (Санкт-Петербург, 2005 г.), Девятой Всероссийской научно-практической конференции «Проблемы информатизации региона» (Красноярск, 2005 г.), Четвертой Всероссийской научно-практической конференции «Единая образовательная информационная среда: проблемы и пути развития» (Барнаул, 2005 г.), Первой, Третьей и Шестой Всероссийских научно-технических конференциях «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2000, 2002, 2005 гг.), Второй Всероссийской научно-практической конференции «Российская школа и Интернет» (Санкт-Петербург, 2002 г.), научно-методической конференции «Методологические проблемы контроля качества учебного процесса при переходе к инновационному образованию» (Улан-Удэ, 2000 г.). Результаты диссертации используются в учебной и производственной деятельностях Восточно-Сибирского государственного технологического университета и включены в программу учебной дисциплины «Системы искусственного интеллекта» специальности 010503 «Математическое обеспечение и администрирование информационных систем» в виде методических указаний к лабораторным работам по дисциплине «Системы искусственного интеллекта»; методик по созданию подсистемы нечеткого логического вывода и модуля оценивания результатов тестирования при разработке системы удаленного тестирования. Также они используются в дистанционном обучении центра информационно-методической поддержки образования Омского государственного университета для составления методики оценивания знаний обучаемых при удаленном тестировании.

Структура и объем диссертации. Диссертация изложена на 123 страницах, состоит из введения, четырех глав, заключения, списка использованной литературы и семи приложений. Работа содержит 30 рисунков и 20 таблиц. Список литературы содержит 105 наименований. Объем приложений составляет 30 страниц.

Заключение диссертация на тему "Адаптивная нечеткая модель оценивания результатов автоматизированного тестирования с разделением заданий по уровням усвоения"

4.6 Выводы по четвертой главе

В четвертой главе приведено описание программного обеспечения, представляющего собой систему нечеткого логического вывода в виде нечеткого регулятора, разработанного с целью проверки корректности разработанной нечеткой модели; вычислительных экспериментов, проведенных методом групповой экспертной оценки для проверки объективности полученных нечетким регулятором результатов.

Разработка программного обеспечения выполнена на основе применения объектно-ориентированного подхода. Все компоненты программы (база правил, переменная, терм, правило, функция принадлежности, агрегирование, активизация и др.) оформлены в виде отдельных единиц с целью максимального разграничения всех возможных функций по группам. Интерфейсная часть программы также абстрагирована от самого нечёткого регулятора, благодаря чему нечёткий регулятор может работать и без пользовательского интерфейса. Все член-данные в каждом классе скрыты или защищены, и для работы с ними имеются открытые член-функции. Также, открытый доступ имеется и к константам.

На основе свойств наследования и полиморфизма реализованы различные методы активизации, аккумуляции, дефаззификации; многоуровневые иерархии предикатов и функций принадлежности. 1

Экспертная оценка результатов исследования заключалась в проверке корректности полученных нечетким регулятором результатов оценивания тестовых заданий. Для анализа результатов выбран групповой экспертной оценки.

Оценка согласованности мнений экспертов по оцениванию результатов тестирования выполнена на основе определения коэффициентов вариабельности, степень согласованности экспертов определена с помощью коэффициента конкордации Кендалла. Полученные значения коэффициентов вариабельности и конкордации показали корректность результатов нечеткого регулирования.

Заключение

В работе получены следующие основные результаты:

Кроме того, в процессе диссертационного исследования получены следующие сопутствующие результаты:

6. Разработана система нечеткого логического вывода на основе методов нечеткого регулирования, которая позволила выполнить вычислительные эксперименты и апробировать разработанные базы нечетких продукционных правил.

Полученные результаты могут быть применены при разработке систем автоматизированного тестирования, предназначенных для оценки знаний студентов по отдельным темам дисциплины, дисциплине в целом, организации междисциплинарного экзамена. Результаты тестирования могут быть использованы для определения уровня подготовленности студентов в различных разрезах: раздела дисциплины, дисциплины в целом, специальности, факультета, вуза и т.д. и служить основой разработки рейтинговой системы успеваемости студентов.

Библиография Данилова, Соелма Доржигушаевна, диссертация по теме Системный анализ, управление и обработка информации (по отраслям)

1. Astanin, S. The Behavior Model of Strategic Controlling. Текст. / S.Astanin // 5th European Congress on Intelligent Techniques & Soft Computing, Aachen. V.I.Germany. - September 8. 11. 1997.

2. Choppin, B.H. Correction for Guessing. Encyclopedia of Educational Evaluation Текст. / B.H. Choppin New York - Toronto - London. - 1996.

3. Miller, G.A. The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information / G.A. Miller. // Psychological Review. 1956. -V. 63.-No 2.

4. Zadeh, L.A. A computational approach to fuzzy quantifiers in natural languages. Текст. / L.A. Zadeh // Computational linguistics / Ed. by Cercone N. Oxford etc. - 1983.-P.149-184.

5. Zadeh, L.A. Fuzzy sets as a basis for a theory of possibility. Текст. / L.A. Zadeh // Fuzzy sets and systems. Berkeley (California). - 1978. - P.3-28.

6. Zadeh, L.A. Test-scope semantics for natural languages and meaning-representation via PRUF. Текст. / L.A. Zadeh // Empirical semantics. Bochum. - 1981- P.281-349.

7. Аванесов, B.C. Текст. / B.C. Аванесов Основы научной организации педагогического контроля в высшей школе. - М.: Исслед. Центр. - 1989. -167с.

8. Аванесов, B.C. Научные проблемы тестового контроля знаний. Текст. / B.C. Аванесов М.:Исслед. Центр. - 1994. - 123с.

9. Аванесов, B.C. Теоретические основы разработки заданий в тестовой форме. Текст. / B.C. Аванесов-М.: МИСиС. 1989. - 167с.

10. Ю.Алтунин, А.Е. Оптимизация многоуровневых иерархических систем на основе теории размытых множеств и методов самоорганизации. Текст. / А.Е. Алтунин, Н.Н. Востров// Проблемы нефти и газа Тюмени. Сборник. Вып. 42. -Тюмень. - 1979. - С.68-72.

11. Ананченко, И.В. Компьютерные тесты. Обратная сторона медали. Текст. / И.В. Ананченко // Магия ПК. -№10 (22). 1999. - С. 36-38.

12. Ананченко, И.В. Тестирование знаний студентов с использованием современных сетевых технологий. Текст. / И.В. Ананченко // Биотехнология в

13. B.С.Черепанова. Свердловск: Изд-во СГПИ. - 1989. - С.40-49.

14. Архангельский, С.И. Лекции по теории обучения в высшей школе. Текст. /

15. C.И. Архангельский -М.: Высшая школа. 1974.

16. Архангельский, С.И. Учебный процесс в высшей школе, его закономерные основы и методы. Текст. / С.И. Архангельский -М.: Высш. шк. 1980. - 368 с.

17. Асаи, К. Прикладные нечеткие системы. Текст. / К. Асаи, Д. Ватага, С. Иван и др./ Под ред. Тэрано Т. М.: Мир. - 1993. - 344 с.

18. Астанин, С.В. Нечеткая автоматная модель стратегического управления. Изв. ТРТУ. Интеллектуальные САПР. Текст. / С.В. Астанин Таганрог: ТРТУ. -1997.

19. Белнап, Н. Логика вопросов и ответов. Текст. / Н. Белнап, Т. Стил М.: Прогресс. - 1981.-288 с.

20. Беспалько, В.П. Текст. / В.П. Беспалько, Ю.Г. Татур Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалистов: Учеб.-метод. пособие. - М.: Высш.шк. - 1989. - 144 с.

21. Беспалько, В.П. Основы теории педагогических систем. Текст. / В.П. Беспалько Воронеж: Изд-во ВГУ. - 1977. - 304 с.

22. Беспалько, В.П. Педагогика и прогрессивная технология обучения. Текст. / В.П. Беспалько-М.: Изд-во института профобразования мин-ва обр-ия. 1995. -336 с.

23. Беспалько, В.П. Слагаемые педагогической технологии. Текст. / В.П. Беспалько М.: Педагогика. - 1989. - 192 с.

24. Бешелев, С.Д. Математико-статистические методы экспертных оценок. Текст. / С.Д. Бешелев, С.Д. Гурвич М.: «Статистика». - 1980. - 263 с.

25. Борисов, А.Н. Обработка нечеткой информации в системах принятия решений. / А.Н. Борисов, А.В. Алексеев, Г.В. Меркурьева, Н.Н. Слядзь, В.И. Глушков

26. М.: Радио и связь. 1989. - 304 с.

27. Борщевич, В.И. Нечеткое моделирование и проблемы его интерпретации. Текст. / В.И. Борщевич, В.И. Ботнарь // Рукопись депонирована в МолдНИИНТИ, N 462М-84 Деп. от 14.09.1984. Кишинев: КПИ. - 1984. - 13с.

28. Васильев, В.И. Культура компьютерного тестирования. Текст. / В.И. Васильев, Т.Н. Тягунова // Философия адаптивного тестирования. 4.1. - М.: МГУП. -2002.-200с.

29. Гаркуша В.З., Богомолов О.А. Система дистанционного обучения «Прометей», версия 4.0. Электронный ресурс. http://tm.ifmo.ru/tm2002/db/doc/ getthes.php?id=l 1.

30. Глас, Дж. Статистические методы в педагогике и психологии. Текст. / Дж. Глас, Дж. Стэнли М.: Прогресс. - 1976. - 495 с.

31. Глас, Дж., Стэнли Дж. Статистические методы в педагогике и психологии. Текст. / Дж. Глас, Дж. Стэнли М.: Прогресс. - 1976. - 495с.

32. Гласе, Дж. Статистические методы в педагогике и психологии Текст. / Дж. Гласе, Дж. Стенли М.: Прогресс. - 1976.

33. Данилова, С.Д. Управление учебной деятельностью на кафедре. Текст. / JT.B. Найханова, С.Д. Данилова, С.В. Тумашов, Е.Ю. Ангаева. // Сборник научно-методических статей. Вып.8. - Улан-Удэ: ВСГТУ. - 2002. - С.114-120.

34. Данилова, С.Д. Модель данных компонента «Управление учебной деятельностью». Текст. / J1.B. Найханова, С.Д. Данилова // Сб. науч. тр. -Серия: Технические науки. Вып.7. - Т.1. -Улан-Удэ: ВСГТУ. - 2000. - С. 916.

35. Данилова, С.Д. Некоторые возможности редактора Dreamweaver: методические указания. Текст. / J1.B. Найханова, В.В. Найханов, С.Д. Данилова // Улан-Удэ: ВСГТУ.-2005.-45с.

36. Данилова, С.Д. Рейтинговая система успеваемости студентов Текст. / J1.B.

37. Найханова, С.Д. Данилова // Теоретические и прикладные вопросы современных информационных технологий: Материалы Третьей Всероссийской научно-технической конференции. Улан-Удэ. - 2002. - С. 170173.

38. Данилова, С.Д., Система удаленного тестирования и контроля знаний учащихся Текст. / С.Д. Данилова, Ц.Ц. Шайдоров // Российская школа и Интернет: Сборник трудов Второй Всероссийской научно-практической конференции. -СПб.-2002.-С.20-21.

39. Дуплик, С.В. Классификация моделей тестирования. Электронный ресурс. / С.В. Дуплик // Интернет-форум «Проблемы и перспективы открытого образования». http://www.tisbi.ru/science/forum/default.php?p=l&s=5.

40. Дуплик, С.В. Модель адаптивного тестирования на нечеткой математике. Текст. / С.В. Дуплик // Информатика и образование. 2004. - № 11. - С. 57-65.

41. Заде, JI. Понятие лингвистической переменной и ее применение к принятию приближенных решений. Текст. / JI. Заде М.: Мир. - 1976. - 167 с.

42. Казаринов, А.С. Методы и модели экспериментальной педагогики / А.С. Казаринов. Глазов: Глазовский государственный педагогический институт, 1997.-89с.

43. Казаринов, А.С. Методы и модели экспериментальной педагогики. Текст. / А.С. Казаринов Глазов: Глазовский государственный педагогический институт. - 1997. - 89 с.

44. Карпов, В.Э. Язык описания системы контроля знаний. Текст. / В.Э. Карпов,

45. И.П. Карпова // Компьютеры в учебном процессе. № 4. - М - 2000. - С. 147155.

46. Карпова, И.П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах. Текст. / И.П. Карпова М: Изд-во Московского Государственного института электроники и математики. - 2002. - 200 с.

47. Кириличев, Б.В. Системный анализ проблемы создания интеллектуальных компьютерных обучающих комплексов. Текст. / Б.В. Кириличев, JI.A. Широков, П.Д. Рабинович // Сб. научных трудов МГИУ. М.: МГИУ. - 1996. -С. 166-171.

48. Кириличев, Б.В. Фундаментальный подход к созданию системы моделей оценивания результатов тестирования в интеллектуальных компьютерных обучающих комплексах. Текст. / Б.В. Кириличев, JI.A. Широков // Сб. научных трудов МГИУ-М.: МГИУ.- 1996.-С. 166-171.

49. Кнут, Д. Искусство программирования для ЭВМ. Текст. / Д. Кнут. т. 3. - / Под ред. Баяковского и Штаркмана. - М.: Мир. - 1978. - 848 с.

50. Конструктор тестов, версия 2.5. Электронный ресурс. http://www.keepsoft.ru /simu1ator.htm.

51. Контрольно-тестовая система. Электронный ресурс. -http://omm2002.chat.ru/textl.htm

52. Краткое руководство пользователя системы тестирования знаний Open Test. Электронный ресурс. http://www.opentest.com.ua.

53. Ксензова, Г.Ю. Оценочная деятельность учителя. Текст./ Г.Ю. Ксензова // Уч-мет. пос. М.: Пед. общество России. - 1999. - 28с.

54. Леоненков, А.В. Нечеткое моделирование в среде MATLAB и fuzzy TECH. Текст. / А.В. Леоненков СПб: БХВ-Петербург. - 2003. - 736с.

55. Лернер, И.Я. Дидактические основы методов обучения. Текст. / И.Я. Лериер -М.: Педагогика. 1981.

56. Лернер, И.Я. Задачи и содержание общего и политехнического образования Текст. / И.Я. Лериер, М.Н. Скаткин // Дидактика средней школы: Некоторые проблемы современной дидактики: Учебное пособие. М.: Просвещение. -1982. -С.90-129.

57. Лернер, И.Я. Качества знаний учащихся. Какими они должны быть? Текст. / И .Я. Лернер М.: Знания. - 1978. - 112 с.

58. Майоров, А.Н. Теория и практика создания тестов для системы образования. Текст. / А.Н. Майоров М. - 2000.

59. Майоров, А.Н. Теория и практика создания тестов для системы образования. Текст. / А.Н. Майоров М.: Интеллект-центр. - 2001. - 296с.

60. Мельникова, М.Б. Теория и практика конструирования педагогических тестов. Текст. / М.Б. Мельникова М. - 2002.

61. Методика многоуровневой агрегированной оценки и прогнозирования финансового состояния предприятий. Электронный ресурс. -http://www.optim.ru/fin/2003/1/fin 2003 01 rus 02 04 Ahromeyko/fin 2003 01 rus 02 04 Ahromevko.a sp.

62. Нардюжев, В.И. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования. Текст. / В.И. Нардюжев, И.В. Нардгожев М. - 2000.

63. Нейман, Ю.М. Введение в теорию моделирования и параметризации педагогических тестов. Текст. / Нейман Ю.М., Хлебников В.А. М : Прометей. - 2000. - 169 с.

64. Нечеткие множества в моделях управления и искусственного интеллекта. Текст. / Под ред. Д.А.Поспелова. М.:Наука. - 1986. - 312с.

65. Никитина, Т.П. Опыт тестирования в среде ACT. Электронный ресурс. -http://mvw.bitpro.ru/ito/2002/Vl/Vl-0-72.html.

66. Осипов, Г.В. Методы измерения в социологии. Текст. / Г.В. Осипов, Э.П. Андреев М.: Наука. - 1977. - 183 с.

67. Оценка согласованности мнений экспертов с применением коэффициента конкордации. Электронный ресурс. http://www.biostat.kiev.ua/konkord.htrnl.

68. Пакет программ UniTest System. Электронный ресурс. -http://sight2k.com/rus/unitest. 1.

69. Проект отраслевого терминологического стандарта Центра тестирования. Педагогические тесты. Термины и определения. Электронный ресурс. -http://www.ege.ru/dict/dictl .htm.

70. Программа для автоматизированного тестирования SunRav TestOfficePro. Электронный ресурс. -http://www.softkey.ru/catalog/program.php?printable=yes&ID =43 66.

71. Психолого-педагогический словарь для учителей и руководителей общеобразовательных учреждений. Текст. Ростов-н/Д. - 1998. -446с.

72. Пфанцагль И. Теория измерений. Текст. / И. Пфанцагль М: Мир. - 1976. -166с.

73. Родионов, Б.У. Стандарты и тесты в образовании. / Б.У. Родионов, А.О. Татур -М. 1995.

74. Рудинский, И.Д. Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического тестирования. Текст. / И.Д. Рудинский // Информационные технологии. 2003. - № 9. - С. 46 - 51.

75. Селезнева, Н.А. Качество высшего образования как объект системного исследования. Лекция-доклад. Текст. / Н.А. Селезнева- М.: Исследовательский центр проблем качества подготовки специалистов. — 2003. -95с.

76. Сергеева, B.C. НИТ для педагогического контроля в подготовке студентов педвузов. Электронный ресурс. / B.C. Сергеева // Информационныетехнологии в образовании: Сб. науч. тр.- http://www.om gpu.omsk.edu/libdocs/ it sb2/sergeeva.htm.

77. Система дистанционного тестирования СДТ Ната (md-77). Электронный ресурс. http://www.programms.ru/products/P00000790001690.shtml.

78. Система интерактивного контроля "Инспектор" PRO 2.2. Электронный ресурс.- http://softsearch.ru/programs/49-906-sistema-interaktivnogo-kontrolia-inspektor-pro-download.shtml

79. Система контроля знаний HyperTest 1.1. Электронный ресурс. -http://softsearch.ru/programs/60-088-hvpertest-download.shtml.

80. Система проверки знаний 2.5. Электронный ресурс. http://maup.chat.ru

81. Скаткин, М.Н. Проблемы современной дидактики. Текст. / М.Н. Скаткин М.: Педагогика. - 1980. - 96с.

82. Субетто, А.И. Введение в квалитологию высшей школы. Текст. / А.И. Субетто- М.: Исследовательский центр проблем качества подготовки специалистов -Кн. 1.-1991.-96 е., кн. 2-я-122 е., кн. 3-я 171 с. кн. 4-я . 163 с.

83. Субетто, А.И. Введение в квалитологию высшей школы. Текст. / А.И. Субетто- М.: Исследовательский центр проблем качества подготовки специалистов -Кн. 2. 1991 .—122с.

84. Субетто, А.И. Введение в квалитологию высшей школы. Текст. / А.И. Субетто- М.: Исследовательский центр проблем качества подготовки специалистов -Кн. 3.-1991.-171с.

85. Субетто, А.И. Введение в квалитологию высшей школы. Текст. / А.И. Субетто- М.: Исследовательский центр проблем качества подготовки специалистов -Кн. 4. 1991.—163с.

86. Субетто, А.И. Квалитология образования (основания и синтез). Текст. / А.И. Субетто СПб., М.: Исследовательский центр проблем качества подготовки специалистов. - 2000. - 220с.

87. Универсальная автоматизированная система тестирования знаний Polytest vl.O. Электронный ресурс. http://edu.of.ru/volipc/default.asp?obno=3009.

88. Универсальный пакет автоматизированного тестирования УПАТ. Электронный ресурс. http://altim.narod.ru/Testlnfo/TestInfo.htm.

89. Фокин, Ю.Г. Основы интенсификации обучения в вузе. Курс лекций. Текст. /

90. Ю.Г. Фокин, М.М. Корзун М.: В А им. Ф.Э.Дзержинского. - 1987. - 160 с. 32.

91. Фор, А. Восприятие и распознавание образов. Текст. / А. Фор М.: Машиностроение. - 1989. - 272 с.

92. ЮО.Чангли, А.Н. Автоматизация контроля знаний на базе инфраструктуры Интернет. Электронный ресурс. http://www.publ.donntu.edu.ua.

93. Ю1.Челышкова, М.Б. Применение математических моделей для разработки педагогических тестов. Текст. / М.Б. Челышкова Учебное пособие. - М.: Исследовательский центр. - 1995. - 48 с.

94. Челышкова, М.Б. Теория и практика конструирования педагогических тестов. Текст. / М.Б. Челышкова М.:Логос. - 2002. - 432 с.

95. Экспресс-тест. Электронный ресурс. http://www.bitpro.aha.ru/ITO/ITQ98-99/k/lukma.html/.

96. Свидетельство об официальной регистрации программы для ЭВМ № 2003612186. «Модель данных по учебной деятельности ВУЗа» / Л.В. Найханова, С.Д. Данилова, М.: Всероссийское агентство по патентам и товарным знакам. -2003.

Похожие работы

Информатика, вычислительная техника и управление
05.13.00