Разработка моделей и методов принятия решений в задачах тестирования знаний

Шестова, Елена Александровна

Теоретические основы информатики

автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Разработка моделей и методов принятия решений в задачах тестирования знаний

кандидата технических наук: Шестова, Елена Александровна
город: Таганрог
год: 2012
специальность ВАК РФ: 05.13.17

Диссертация по информатике, вычислительной технике и управлению на тему «Разработка моделей и методов принятия решений в задачах тестирования знаний»

Автореферат диссертации по теме "Разработка моделей и методов принятия решений в задачах тестирования знаний"

На правах рукописи

-с-

Шестою Елена Александровна

РАЗРАБОТКА МОДЕЛЕЙ И МЕТОДОВ ПРИНЯТИЯ РЕШЕНИЙ В ЗАДАЧАХ ТЕСТИРОВАНИЯ ЗНАНИЙ

Специальность: 05.13.17 - Теоретические основы информатики

АВТОРЕФЕРАТ диссертации на соискание ученой степени канди дата технических наук

6 ДЕК 2012

005056624

Таганрог-2012

005056624

Работа выполнена в ФГАОУ ВПО «Южный федеральный университет» на кафедре систем автоматического управления.

Научный руководитель: доктор технических наук, профессор

Фннаев Валерий Иванович

Официальные оппоненты: доктор технических наук, профессор

Ромм Яков Евсеевич ФГБОУ ВПО «Таганрогский государственный педагогический институт имени А.П. Чехова», кафедра информатики, заведующий кафедрой

кандидат технических наук, доцент

Тарасов Валерий Борисович

ФГБОУ ВПО «Московский государственный

технический университет имени

Н.Э. Баумана», кафедра компьютерных

систем автоматизации производства, доцент

Ведущая организация: ФГАОУ ВПО «Ростовский государственный

университет путей сообщений» (г. Ростов-на-Дону).

Защита состоится «28» декабря 2012 г. в 14 ч. 20 мин, на заседании диссертационного совета Д 212.208.21 при Южном федеральном университете по адресу: 347928, г. Таганрог, пер. Некрасовский, 44, ауд. Д- 406.

С диссертацией можно ознакомиться в Зональной научной библиотеке Южного федерального университета по адресу: 344000, г.Ростов-на-Дону, ул. Пушкинская, 148.

Автореферат разослан «16» ноября 2012 г Ученый секретарь

диссертационного совета /

Н.И.Чернов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Одной из актуальных задач в области образования является повышение его качества. Технологии тестирования широко используются на практике для объективного контроля знаний и умений обучаемых, установления степени их соответствия образовательным стандартам при поступлении в вузы. Результаты тестирования - это показатель качества преподавания. Тесты могут использоваться как для определения уровня компетенции студентов в той или иной области знаний, так и для оценки деятельности преподавателя. Удобство тестирования состоит в том, что оно с успехом может использоваться на различных этапах обучения в вузе.

Одним го основных путей оценки качества высшего образования является использование новых информационных технологий в процессе обучения и компьютеризация индивидуального уровня общения преподавателя и студента. В этой области актуальной является проблема тестирования студентов и специалистов и анализ уровня их подготовки. При оценке качества образования, уровня знаний и умений обучаемых, установления степени их соответствия образовательным стандартам широкое распространение в настоящее время получили методы тестирования.

Разработка тестов и их применение является не простой задачей, так как по-прежнему не имеется строго обоснованного, формального подхода к разработке тестов и обработке их результатов. Существует проблема модификации теста, его надежности и точности оценки знаний.

Учитывая, что разрабатываемые тесты обладают неопределенностью, заключенной как в полноте охвата тестируемого материала, так и в полноте оценки достоверности знаний, то актуальной остается задача формализации погрешностей теста, а также задача достоверной оценки знаний тестируемого с применением методов формализации результатов тестирования в условиях неопределенности.

Диссертационная работа посвящена разработке новых моделей и методов принятия решений в задачах тестирования знаний в условиях неопределенности. Это определяет и подтверждает актуальность диссертационной работы.

Объектом исследования в диссертационной работе являются модели и методы принятия решений с применением нечеткой логики, а также проблемно-ориентированное прикладное программное приложение для решения задач анализа результатов тестирования знаний в условиях неопределенности (неполноты данных).

Цель диссертационной работы состоит в развитии моделей и методов тестирования знаний с извлечением скрытых закономерностей информации при принятии решений в условиях неполноты данных.

Для достижения поставленной цели в диссертационной работе решаются следующие задачи:

- исследование и анализ методов решения задач тестирования знаний;

- разработка системного подхода к решению задач тестовых заданий;

- разработка теоретико-множественной модели результатов тестирования;

- разработка методов формализации параметров тестов;

-разработка модели принятия решений на основе классификации нечетких ситуаций;

- разработка модели композиции нечетких правил вывода;

- разработка прикладного программного продукта для принятия решений при анализе результатов тестирования знаний.

Методы проведения исследования. В диссертационной работе используются методы теории нечеткой логики, теории построения нечетких ситуационных моделей, методы регрессионного анализа, элементы теории вероятности и математической статистики, методы компьютерного моделирования.

Достоверность получаемых в диссертации результатов обосновывается корректными математическими оценками, подтверждается данными экспериментальных исследований с применением численного и программного эксперимента на основе разработанных моделей.

Научная новизна результатов диссертационной работы заключается в следующем:

1. Предложен метод оценки стохастических связей между показателями результатов тестирования знаний на основе регрессионного анализа, отличающийся от аналогов возможностью исследования не только уровня подготовленности тестируемых, но и качества тестовых материалов, применяемых для контроля, что позволяет повысить адекватность оценки знаний тестируемых (С. 88-103).

2. Разработан метод тестирования знаний с применением теории нечетких множеств, отличающийся алгоритмом организации тестирования, который позволяет выявить закономерности и взаимосвязи входных параметров процесса, а также результатов тестирования для эффективного исследования тестов с использованием базы знаний, формируемой экспертами (С. 105-116).

3. Предложен метод анализа результатов тестирования знаний в условиях неполноты исходной информации при помощи формализации параметров системы тестирования в виде лингвистических переменных, который отличается от известных статистических моделей оценок результатов тестирования дополнением моделью принятия решений на основе классификации нечетких ситуаций и моделью композиции нечетких правил вывода, что позволяет снизить степень информационной неопределенности и повысить объективность оценки результатов тестирования в условиях неполноты данных (С. 116-135).

Основные положения, выносимые на защиту:

1. Метод оценки стохастических связей между показателями результатов тестирования на основе регрессионного анализа, позволяющий исследовать не только знания тестируемых, но и качество тестовых материалов, применяемых для контроля знаний и повысить адекватность оценки знаний тестируемых

2. Метод тестирования знаний с применением теории нечетких множеств,

позволяющий выявить закономерности и взаимосвязи входных параметров задачи тестирования и результатов тестирования, с целью эффективного исследования, проводимого с применением знаний экспертов.

3. Метод анализа результатов тестирования знаний в условиях неполноты исходной информации, отличающийся формализацией параметров системы тестирования в виде лингвистических переменных, а также применением модели принятия решений на основе классификации нечетких ситуаций и модели композиции нечетких правил вывода, дополняющих известные статистические модели оценок результатов тестирования, позволяющий не только снизить степень информационной неопределенности, но и повысить объективность оценки результатов тестирования в условиях неполноты данных.

4. Алгоритм принятия решений при обработке результатов тестирования и оценки знаний в условиях неполноты данных (неопределенности), на основе которого разработано программное приложение на языке программирования С#, предназначенное для анализа результатов тестирования знаний обучающихся, позволяющее обеспечить достоверность результатов оценки качества знаний.

Практическая ценность результатов исследований определена их применимостью при профессиональном отборе и проверке подготовки кадров, в частности, в подведомственных организациях Министерства образования, на предприятиях, применяющих системы тестирования, в центрах занятости, с целью эффективного исследования знаний тестируемых, а также тестовых материалов, и для принятия решений в условиях неполноты исходной информации.

Реализация и внедрение результатов работы. Результаты диссертационной работы внедрены в службе обеспечения качества образования (ОКО) ТТИ ЮФУ; при выполнении научно-исследовательской работы «Разработка и исследование методов моделирования и синтеза многокритериальных адаптивных систем управления в условиях неполноты данных с применением средств формализации экспертных знаний и современных информационных технологий»; а также в учебном процессе на кафедре систем автоматического управления факультета автоматики и вычислительной техники ФГАОУ ВПО «Южный федеральный университет».

Апробация результатов работы. Основные научные результаты диссертационной работы докладывались и обсуждались на Международной научной конференции «Проблемы развития естественных, технических и социальных систем». - Таганрог: ТТИ ЮФУ, 2007; Международной научной конференции «Проектирование новой реальности» (ПНР-2007). - Таганрог: ПИ ЮФУ, 2007; Международном семинаре студентов, аспирантов и ученых «Системный анализ, обработка информации и управление». - Ростов-на-Дону: ДГТУ, 2007; Международной научной конференции «Информация, сигналы, системы: вопросы методологии, анализа и синтеза». - Таганрог: ТТИ ЮФУ, 2008; 6-й Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Молодежь XXI века - будущее российской

науки». - Ростов-на-Дону: ЮФУ, 2008; IX Всероссийской научной конференции «Техническая кибернетика, радиоэлектроника и системы управления» -I аганрог: ПИ ЮФУ, 2008; Международной научной конференции «Инновации в обществе, технике и культуре». - Таганрог: Т1И ЮФУ, 2008; Международной научной конференции «Системы и модели в информационном мире (СМИ-2009)». -Таганрог: ТТИ ЮФУ, 2009; IV-й, VII-Й, Всероссийской конференции молодых ученых, аспирантов и студентов «Информационные технологии, системный анализ и управление». - Таганрог: ТТИ ЮФУ 2006 2009-Международной научной конференции «Методы и алгоритмы принятия эффективных решений», (МАПР-2009). - Таганрог: ТТИ ЮФУ, 2009- VI ежегодной научной конференции студентов и аспирантов базовых кафедр ЮНЦ РАН.-Ростов-на-Дону: ЮНЦ РАН, 2010; Международной научной конференции «Информационное общество: идеи, технологии, системы» -Таганрог: ТТИ ЮФУ, 2010; Всероссийской молодежной научной конференции «Мавлютовские чтения». - Уфа: УГАТУ, 2010, 2011; Международной научной конференции «Современные исследовательские и образовательные технологии» -Таганрог: ТТИ ЮФУ, 2010; Всероссийской научной конференции перспективы развития гуманитарных и технических систем». - Таганрог: ТТИ ЮФУ, 2011; 1-м, 2-м Международном семинаре студентов, аспирантов и ученых <^"емнь1Й анализ, управление и обработка информации». - Ростов-на-Дону: ДГТУ, 2010, 2011; Международный молодежный конкурс «Студент и научно-технический прогресс». - Таганрог: ТТИ ЮФУ, 2012.

Публикации. Основные результаты диссертации опубликованы в 8 статьях среди которых 4 включены в перечень изданий, рекомендованных ВАК 16 тезисах докладов. '

Структура и объем работы. Диссертационная работа содержит 185 страниц машинописного текста, включая введение, четыре раздела, заключение, список литературы из 141-го наименования, 81 рисунок, 15 таблиц, а также приложение на 14-ти страницах.

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обоснована актуальность темы диссертационной работы сформулированы цели и задачи исследования, охарактеризованы научная новизна работы, ее практическая ценность, реализация и апробация результатов работы, дано краткое содержание структуры диссертации. '

В первом разделе диссертационной работы выполнен обзор и анализ существующих моделей и методов тестирования знаний в условиях неопределенности.

Сформированы задачи тестирования, включающие в себя взаимодействие модели системы оценок знаний и тестовых программ, структура которого представлена на рис. 1.

Рис. 1 - Взаимодействие модели системы оценок знаний и тестовых программ

При оценке знаний основополагающим понятием является качество образования. Влияющими факторами на данную оценку являются теоретико-методологические исследования, подготовка обучаемых и сочетание теоретико-методологических исследований и средств оценки подготовки обучаемых. Качество образования представляет собой комплексную характеристику, определяемую тремя факторами: качеством функционирования системы образования, государственными образовательными стандартами и существующими представлениями об эталоне качества подготовки специалиста. Для управления качеством подготовки специалистов необходимо создавать соответствующие системы.

Рассмотрены существующие критерии оценки тестовых заданий, в частности, диагностические состояния и проверки, метод оценки уровня знаний с использованием двоичных оценок, нечеткие критерии оценки знаний. Применение вероятностных методов диагностирования обладает субъективизмом и погрешностями, а применяя лингвистические и нечеткие переменные можно формализовать качественную информацию задания критериев оценки знаний в моделях принятия решений о степени соответствия испытуемого определенному уровню требований в условиях частичной неопределенности.

Предложена теоретико-множественная модель оценки результатов тестирования как отношение порядка, позволяющая упорядочить испытуемых по заданному признаку. Разработана схема структуризации цели образовательной системы. Обоснован предмет диссертационных исследований, представленный на рис. 2.

Таким образом, в разделе обобщены результаты существующих исследований в данной предметной области, позволяющие расширить известные методы тестирования знаний и дополнить их методами принятия решений с учетом знаний экспертов в условиях неполноты данных (неопределенности).

Рис. 2 - Пояснение предмета диссертационных исследований

Во втором разделе диссертационной работы определены приоритетные направления исследовательских работ в области тестирования знаний. Приведена краткая характеристика и сравнительная оценка существующих моделей.

В результате проведенного анализа критериев тестов выявлено, что достоверность оценки напрямую связана с выбранными критериями. Обоснована необходимость формализации критериев оценки и предъявления требований к выборке количества задания.

Модель эвристического оценивания знаний с применением статистической информации позволяет оценивать знания в условиях неопределенности. Оценивание степени истинности вариантов ответов на тестовые задания происходит с применением экспертной шкалы, а распределение ответов по пятизначной шкале аппроксимируют стохастическими распределениями.

Предложен метод оценки стохастических связей между показателями результатов тестирования на основе регрессионного анализа, отличающийся от аналогов возможностью исследования не только уровня подготовленности тестируемых, но и качества тестовых материалов, применяемых для контроля знаний. Математическая модель процесса тестирования представлена в виде системы уравнений:

ун(х1, х2, ..., х0, ¡=1,..., п, где входные измеряемые переменные называют факторами, а функции /¡(*1, *2, XI) - функциями отклика. По данным результатов тестирования знаний необходимо найти оценку и исследовать уравнение регрессии вида:

У=Ро+Р1х,+... + 0кХк.

Размер выборки п=И определяется количеством испытуемых, прошедших тестирование, хк - количество входных факторов. Результативный признак у -общий балл за тест, полученный /-м испытуемым.

В результате проведения экспериментов было получено следующее регрессионное уравнение для линейной модели:

у = 28,434 +1,67*, + 1,486лг2 - 2,423 • 10"! дг,,

(0,521) (1,72) (1,726) (0,0363)

где XI - количество выполненных заданий группы А, х2 - количество выполненных заданий группы В, яг3 - процент выполнения.

В табл. 1 приведена оценка адекватности полученной модели процесса тестирования.

Таблица 1

п роверка модели на адекватность

Критерий Формула Результат проверки

Абсолютные отклонения е1=У<-У, min(e)=-3,442 тах(е)= 1,459

Разброс величин абсолютных отклонений (min(e); тах(е)). (-3,442; 1,459)

Относительные отклонения 8гФ1 тах(3)=0,03

Разброс величин относительных отклонений (min(8);max(8f) (-0,115; 0,03)

Несмещенная оценка дисперсии ошибок ESS п-к-1 S2 = 0,685 § = 0,828

Средняя относительная ошибка аппроксимации s =-Y\s,\-100% S =1,195%

Проверка на адекватность полученного уравнения показала, что найденное решение адекватно описывает экспериментальные данные.

Анализ данного метода показал, что одним из основных препятствий эффективного применения множественного регрессионного анализа является мультиколлинеарность, которая связана с линейной зависимостью между аргументами хь х2, ..., хк. В результате мультиколлинеарности определители матриц и парных коэффициентов корреляции близки к нулю и оценки вектора оценок /3 неизвестшлх параметров Щ} неустойчивые, так как приходится делить на число, близкое к нулю.

Данные метод позволяет исследовать не только уровень подготовленности тестируемых, но и качество тестовых материалов, применяемых для контроля, что позволяет повысить адекватность оценки знаний тестируемых.

В третьем разделе диссертации разработана методика проектирования системы тестирования, позволяющая определить ее, организовать процесс принятия решений на основе знаний специалистов с применением выбранных методов моделирования, а так же предусмотреть смену этих методов в

соответствии с оценкой результатов тестирования, что соответствует известным методикам системного анализа.

На рис. 3 приведена последовательность этапов методики проектирования системы тестирования знаний, включающих обоснование актуальности разработки, формулирование цели, выбор критериев оценки функционирования, структуру системы, формализацию параметров системы тестирования, модели оценки результатов тестирования.

Рис. 3 — Последовательность этапов методики проектирования системы

тестирования

Предложен подход к формализации параметров системы тестирования в условиях неполноты данных с применением вербальных параметров, позволяющий применять модели нечеткого логического вывода.

На рис. 4 и 5 приведены структурная и иерархическая модели нечеткой системы тестирования знаний.

Рис. 4 - Структурная модель взаимодействия элементов нечеткой системы

тестирования

Рис. 5 - Иерархическая модель нечеткой системы тестирования

На вход модуля (рис. 4) поступают входные переменные (а,), следовательно, в блоке фаззификации (Ф) формируются лингвистические переменные Т(а), которые поступают в блок правил (БП), где формируются в соответствии с выработанными экспертами правила работы системы в базе знаний (БЗ) для принятия необходимых решений в блоке принятия нечетких решений (БПНР), и в конце работы модуля системы тестирования знаний выполняется задача дефаззификации (Д) для принятия четких решений.

Иерархическая модель нечеткой системы тестирования (рис. 5) представляет собой развернутую структурную модель взаимодействия элементов нечеткой системы тестирования, где: L0 - слой входных переменных системы тестирования; Li-блок формирования лингвистических переменных

(фаззификация); и, Ь3 - блоки формирования нечетких решений в соответствии с формированными экспертами правилами работы системы в БЗ для принятия необходимых решений; Ь4-блок вычисления четких решений (дефаззификация - процедура преобразования нечетких величин, получаемых в результате нечеткого вывода, в четкие).

Разработана модель принятия решений на основе классификации нечетких ситуации как дополнение к известным статистическим моделям для задач тестирования знаний. В модели принятия решений с нечеткими параметрами эксперты на базовых множествах определяют множество входных лингвистических переменных, задают степень принадлежности значений нечетких переменных базовым множествам, а также правила принятия решений Эксперты заполняют таблицу соответствия «ситуация - действие». В модели принятия решений на основе классификации нечетких ситуаций задаются классы кортежей нечетких переменных, соответствующие конкретным решениям.

Разработана модель композиции нечетких правил вывода, применение которой как дополнение известных моделей оценок результатов тестирования позволит не только снизить степень информационной неопределенности, но и повысить объективность оценки результатов тестирования.

Предложен метод анализа результатов тестирования знаний в условиях неполноты исходной информации, отличающийся формализацией параметров системы тестирования в виде лингвистических переменных, а также применением модели принятия решений на основе классификации нечетких ситуации и модели композиции нечетких правил вывода, дополняющих известные статистические модели оценок результатов тестирования.

Рассмотрен пример задания входных лингвистических переменных, их терм-множеств на выбранных базовых множествах, выходной лингвистической переменной «результат тестирования» и соответствующих функций принадлежности нечетких переменных. Исследуются и анализируются результаты проведения тестирования в группах испытуемых. Математическую модель принятия решений на основе модели классификации нечетких ситуаций и модели композиции нечетких правил вывода можно представить в виде набора множеств (Х,Т,Н), где: Х- базовое множество; Т- множество, элементы которого представляют собой формальную запись в виде продукций словесно-качественной информации экспертов; #={й0,А,,Л2,А,,- множество принимаемых решений. Входные лингвистические переменные (ЛП) задачи тестирования: <а> XI, О, М>, ¡ = 1,П) где: а, - название /-Й ЛП; Т(а) -терм-множество ЛП а,; XI- область определения каждого элемента Т(а)- в -синтаксическое правило (грамматика), порождающее элементы (/-е нечеткие переменные (НП)) а/еТ(а<), М-семантическое правило, которое ставит в соответствие каждой НП ог/еГ(^) нечеткое множество С (а)) -смысл НП

. Для каждой ЛП определим терм-множества: Т(а,) =< а{,а'2,...,а'т >,

1 = Т,к, < а),Х^С(а)) >, / = Ц, ] = Цй, С(а^) = {< ¿/С(в}) (*,)/*, >}, х, е ^,

где // , (*,)-функции принадлежности. Выходная ЛП Р - «результат

тестирования», терм-множество этой ЛП - ТЦЗ)={Р1 - неудовлетворительный результат; р2 -удовлетворительный результат; р3 - почти хороший результат; р4 -хороший результат; р5 - отличный результат}.

Г = {Л/}1, - база нечетких правил, где Я, - г'-ое нечеткое продукционное правило (совокупность условий и выводов). Для базы нечетких правил (НП) справедливы следующие свойства: непрерывность, непротиворечивость,

полнота. Полнота базы НП {Д,)ы связана с полнотой знаний, которые

содержатся в базе правил.

Получение нечеткого вывода осуществляется следующим образом:

№-(*,)(*0А) = тах //г(>Г()(*0Л),

находится такое значение А, базового множества Н ЛП Р - «результат тестирования», при котором //Г()г )(х°Л) имеет максимальное значение.

Нечеткая переменная ЛП Д имеющая наибольшее значение в точке является результатом оценки тестируемого по результатам ответа на предложенный тест. Мл, (*) = /Ч (*) а Млг (*) = т>"п(/^ (х),мАг (х))Ух е Я - нечеткая операция «И»

(логическое произведение Заде),

/"в = <»'/"а2 (*)) = тах((1-//А1 (х),//Аг (х)) - нечеткая импликация.

Основной для проведения операции нечеткого логического вывода является база правил, содержащая нечеткие высказывания в форме «если-то» и функции принадлежности для соответствующих лингвистических переменных. При разработке алгоритма и программного приложения для нечеткой системы управления необходимо осуществить проверку базы нечетких правил на непрерывность, непротиворечивость и полноту.

Для вывода операции дефаззификации используется метод центра тяжести, описываемый выражением

2цг ~ „

В четвертом разделе диссертационной работы разработано программное приложение на языке программирования С# в среде программирования Microsoft Visual Studio 2008. В качестве основы программного приложения используется платформа .NET, обеспечивающая высокую гибкость конечного продукта, возможность его запуска на различных версиях ОС Windows (Windows 9* Windows 2000, Windows NT, Windows XP, Windows Vista, Windows 7).

На рис. 6 приведен общий алгоритм модели композиции нечетких плавил вывода.

Рис. 6 - Алгоритм модели композиции нечетких правил вывода

Программное приложение позволяет обеспечить достоверность результатов оценки качества знаний.

Проведены исследования системы тестирования знаний с помощью разработанного и статистического методов. Основной оценкой качества результатов является полная оценка тестирования с учетом информационной неопределенности.

На рис. 7-12 представлены диаграммы анализа результатов тестирования знаний (в группах и на факультетах, с точки зрения показателей «успеваемость» и «качество») с использованием двух методов статистического и с помощью нечеткой логики при отсутствии информационной неопределенности.

О-, -н Т4 \

I I I I I I 1 ! ! I

Рис. 7 — Успеваемость и качество обучения в группах по факультету 1 (статистический метод и нечеткий метод)

юк

ЛЧ

«ок

КРЧ Ч

«к

ям

зон

юч

1 1 I I 1 1

Кнс пеСМ • -Услммиветь ■с то НМ [

я* 1 Ж

Ж* V /С 4 \

> / \ /

«ч \ А ! /

«в» / N / \

V / 1 N \ * \

к% \ у \ г \ )

»* \ J У \ / \ /

да» ч /

1 ь 'с : I \

со« м*иос%СМ~> те СМ . - - У М1 • -4 «1

Рис. 9 - Успеваемость и качество обучения в группах по факультету 3 (статистический метод и нечеткий метод)

Рис. 8 — Успеваемость и качество обучения в группах по факультету 2 (статистический метод и нечеткий метод)

ЧЧ / N -1-

ю* \

«он \ N

«Ж IV V

4»

Ю* \ У

ю*

к*

1 1 1 1 : 1 1 1 !

сы см - ш • -к* «с. аНМ

Рис. 10 - Успеваемость и качество обучения в группах по факультету 4 (статистический метод и нечеткий метод)

\ \

IV V

/ \ —

I I ! I I I I ! I

Рис. 11 — Успеваемость и качество обучения в группах по факультету 5 (статистический метод и нечеткий метод)

л 1

ч г

\ у

I / у

Уг ✓ ч

I I I I I I I I I 1 I | 1

^гмтиостьСЧ——К«чес»зСМ ■ ... .Усямимос»ил . —. |

Рис. 12 - Успеваемость и качество обучения в группах по факультету 6 (статистический метод и нечеткий метод)

По результатам исследования при отсутствии информационной неопределенности, заключающейся в добавлении факторов, учитывать которые невозможно с применением статистического метода, видно, что предложенный метод (на основе нечеткой логики) выдает оценку, совпадающую с результатами статистического метода.

На рис. 13 приведена диаграмма анализа результатов тестирования знаний с использованием двух методов: статистического и с помощью нечеткой логики при добавлении факторов информационной неопределенности.

«неудовл.» «удовлетв.» «хорошо» «отлично» Всего

Количество студентов

□ % от общего количества участников (статистика) в % от общего количества участников (программа)

Рис. 13 - Гистограмма плотности распределения результатов входного контроля по математике в процентах (статистический метод и нечеткий метод)

При добавлении факторов информационной неопределенности статистический метод не справился с заданными входными параметрами, а нечеткий метод оценки тестирования знаний при этом учитывает заданную неопределенность и выдает более достоверный результат.

Таким образом, применение модели композиции нечетких правил вывода и модели классификации нечетких ситуаций позволяет не только снизить степень информационной неопределенности, но и повысить объективность оценки результатов тестирования знаний в условиях неполноты данных.

Заключение содержит полученные в работе результаты.

В приложении приведено задание функций принадлежности нечетких переменных терм-множеств входных переменных, акты об использовании результатов диссертационной работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ

1. Предложен метод оценки стохастических связей между показателями результатов тестирования знаний на основе регрессионного анализа, позволяющий исследовать не только уровень подготовленности тестируемых, но и качество тестовых материалов, применяемых для контроля, и позволяющий повысить адекватность оценки знаний тестируемых (С. 88-103).

2. Разработан метод тестирования знаний с применением теории нечетких множеств, включающий алгоритм организации тестирования, дня выявления закономерности и взаимосвязи входных параметров процесса, а также результатов тестирования с целью эффективного исследования тестов с использованием базы знаний, формируемой экспертами (С. .105-116).

3. Предложен метод анализа результатов тестирования знаний в условиях неполноты исходной информации при помощи формализации параметров системы тестирования в виде лингвистических переменных, включающий помимо известных статистических моделей оценок результатов тестирования модель принятия решений на основе классификации нечетких ситуаций и модель композиции нечетких правил вывода, с целью понижения степени информационной неопределенности и повышения объективности оценки результатов тестирования в условиях неполноты данных (С. 116-135).

4. Синтезирован алгоритм принятия решений при обработке результатов тестирования и оценки знаний в условиях неполноты данных (неопределенности), на основе которого разработано программное приложение на языке программирования С# в среде программирования Microsoft Visual Studio. NET 2008, предназначенное для анализа результатов тестирования знаний с целью достоверности результатов оценки качества знаний (С. 138-154).

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИОННОЙ РАБОТЫ Публикации в ведущих рецензируемых изданиях, рекомендованных ВАК РФ

1.ШесговаЕ.А. Разработка методов тестирования потребителей электроэнергии // Известия ЮФУ. Технические науки. Тематический выпуск. «Актуальные проблемы производства и потребления электроэнергии» -Таганрог: Изд-во ТТИ ЮФУ, 2008. - № 7 (84). - С. 154-159.

2. ШестоваЕА Модель стохастического анализа состава тестов и результатов тестирования // Известия ЮФУ. Технические науки. Тематический выпуск. «Методы и средства адаптивного управления в электроэнергетике» - Таганрог Изд-во ТТИ ЮФУ, 2011.-№2(115).-С. 137-141.

3. Шестова Е.А. Разработка моделей и методов анализа и обработки результатов тестирования знаний // Известия ЮФУ. Технические науки. Тематический выпуск. «Методы и средства адаптивного управления в электроэнергетике». - Таганрог: Изд-во ТТИ ЮФУ, 2012. - № 2 (127) - С 146152.

4. Соловьев В.В., Шестова Е.А. Оптимизация регуляторов сложных технических систем управления с нечеткими параметрами // Известия ЮФУ. Технические науки. Тематический выпуск. «Методы и средства адаптивного управления в электроэнергетике». - Таганрог: Изд-во ТТИ ЮФУ 2012 -№2 (127).-С. 191-197.

Публикации по теме диссертации в других изданиях

5. Финаев В.И., ШестоваЕА. Информационные технологии в образовании // Материалы IV Всероссийской научной конференции молодых ученых, аспирантов и студентов «Информационные технологии, системный анализ и управдение». - Таганрог- Изд-во ТРТУ 2006.

6. Финаев В.И., ШестоваЕА. Применение корреляционного анализа при обработке результатов тестирования знаний // Сб. тезисов докладов Международной научной конференции «Проблемы развития естественных, технических и социальных систем». 4.1. - Таганрог: Изд-во «Антон» ТТИ ЮФУ, 2007.

7.ШестоваЕА. Тестирование как результат оценивания проекта // Материалы Международной научной конференции «Проектирование новой реальности» (ПНР-2007). 4.1. - Таганрог: Изд-во ПИ ЮФУ, 2007,- С. 49-50

8.ШестоваЕА Обработка информации и принятие решений в системах тестирования знаний // Межвузовский сборник научных работ «Системный анализ, обработка информации и управление». Вып.1. - Ростов-на-Дону Изд-во ДГТУ, 2007. С.343-347.

9.ФинаевВ.И., ШестоваЕА. Применение методов тестирования для оценки знаний обучаемых // Сб. тезисов докладов Международной научной конференции «Информация, сигналы, системы: вопросы методологии, анализа и синтеза». Ч. 1. - Таганрог: Изд-во ТТИ ЮФУ, 2008.

10.ШестоваЕА. Исследование и разработка моделей и методов принятия решений в задачах тестирования знаний // Сборник материалов докладов 6-й Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Молодежь XXI века - будущее российской науки» в 2-х томах Т.1. - Ростов-на-Дону, 2008. - С. 184 - 186.

П.Ларькина Е.Ф, ШестоваЕА. Разработка моделей и методов принятия решений в задачах тестирования знаний // Труды IX Всероссийской научной конференции «Техническая кибернетика, радиоэлектроника и системы управления»: Тезисы докладов. - Таганрог:Изд-воТГИЮФУ,2008.Т. 1. - С.209-210.

12. ШестоваЕА. Тестовые технологии в образовании // Труды Международной научной конференции «Инновации в обществе, технике и культуре»: Тезисы докладов. 4.1. - Таганрог:Изд-юТТИЮФУ,2008.— С78-79.

13. ШестоваЕА. Статистическая обработка при тестировании. Проблема выборки // Труды Международной научной конференции «Системы и модели в информационном мире», (СМИ-2009), Ч.З. - Таганрог: Изд-во ТТИ ЮФУ 2009 - С. 98-99.

14. ШестоваЕА. Программное приложение оценки знаний по результатам тестирования // Сборник материалов докладов УН-й Всероссийской конференции молодых ученых, аспирантов и студентов, «Информационные технологии, системный анализ и управление». - Таганрог: ТТИ ЮФУ, 2009. - С. 179 - 181.

15. ШестоваЕА. К вопросу о принятии эффективных решений при анализе

результатов тестирования знаний обучаемых // Труды Международной научной конференции «Методы и алгоритмы принятия эффективных решений», (МАПР-2009), 4.1. - Таганрог: Изд-во ТТИЮФУ, 2009. - С. 87-89.

16. Куликовская H.A., Шестова ЕА. О качестве систем автоматического управления // VI Ежегодная научная конференция студентов и аспирантов базовых кафедр Южного научного центра РАН: Тезисы докладов. - Ростов-на-Дону: Изд-во ЮНЦ РАН, 2010. - С. 150 - 153.

17. Шестова Е.А. Задачи тестирования знаний в системе образования // Труды Международной научной конференции «Информационное общество: идеи, технологии, системы», 4.1. - Таганрог: Изд-во ТТИ ЮФУ, 2010. - С. 70-71.

18. Шестова Е.А. Использование моделей с нечеткими исходными данными в задачах тестирования знаний // Труды Всероссийской молодежной научной конференции «Мавлютовские чтения». - Уфа: Изд-во УГАТУ, 2010. - С. 153-154.

19. Шестова Е.А. Анализ количественных и качественных критериев тестовых заданий // Труды Международной научной конференции «Современные исследовательские и образовательные технологии», 4.1. - Таганрог: Изд-во ТТИ ЮФУ, 2010. - С. 55-54.

20. Шестова ЕЛ. Применение информационных технологий для анализа результатов тестирования знаний // Системный анализ, управление и обработка информации [текст]: Труды 1-го Международного семинара студентов, аспирантов и ученых/Под общ. ред. P.A. Нейдорфа. - Ростов-на-Дону: Изд. Центр Донск. гос. техн. ун-та, 2010. - С. 240 - 242.

21. Шестова Е.А. Применение технологии тестирования для анализа качества образования // Труды Всероссийской научной конференции «Перспективы развития гуманитарных и технических систем», 4.1. - Таганрог: Изд-во ТТИ ЮФУ, 2011.-С. 59-60.

22. Шестова Е. А. Разработка программного приложения для анализа результатов тестирования знаний // Системный анализ, управление и обработка информации [текст]: Труды 2-го Международного семинара студентов, аспирантов и ученых/ Под общ. ред. P.A. Нейдорфа.- Ростов-н/Д: Изд. центр Донск. гос. техн. ун-та, 2011.-С. 307-313.

23. Шестова Е. А. Разработка программного приложения для обработки результатов тестирования знаний // Мавлютовские чтения: Всероссийская молодежная научная конференция: сб. трудов в 5-ти томах. Т.З / Уфимск. гос. авиац. техн. ун-т. - Уфа: УГАТУ, 2011. - С. 140-141.

24. Шестова Е.А. Организация процесса принятия решений при анализе результатов тестирования знаний // Студент и научно-технический прогресс: сб. научных работ финалистов международного молодежного конкурса. - Ростов н/Д: Изд-во ЮФУ, 2012. - С. 251-255.

Лично автором в работе [4] предложена методика синтеза нечеткого адаптивного регулятора, позволяющая реализовать управление объектами с переменными параметрами и структурой в условиях неполноты данных. В работах [9, 11] рассмотрено применение методов принятия решений в задачах тестирования знаний. В работе [6] предложен метод обработки результатов тестирования знаний на основе корреляционного анализа. В работах [5, 16] рассмотрено применение информационных технологий для оценки качества систем.

Соискатель Шестова Елена Александровна

Формат 60 х 841/16 . Бумага офсетная. Печать ризография. Пл. -1,25. Заказ № 373. Тираж 50 экз. Типография ИПК Южного федерального университета г. Таганрог, 28, Энгельса,!

Оглавление автор диссертации — кандидата технических наук Шестова, Елена Александровна

ВВЕДЕНИЕ.

1. РАЗРАБОТКА СИСТЕМНОГО ПОДХОДА К РЕШЕНИЮ ЗАДАЧ ТЕСТОВЫХ ЗАДАНИЙ.

1.1. Обзор существующих методов и моделей тестирования знаний.

1.2. Задача тестирования.

1.3. Задача выбора критерия качества обучения.

1.3.1. Критерии оценки тестовых заданий.

1.3.1.1. Диагностические состояния и проверки.

1.3.1.2. Оценка уровня знаний с использованием двоичных оценок.

1.3.2. Нечеткие критерии оценки знаний.

1.4. Система тестирования знаний.

1.4.1. Образовательная система.

1.4.2. Виды тестов и требования к тестированию.

1.5. Применение тестов.

1.5.1. Применение тестов в системе образования.

1.5.2. Применение тестов в задачах управления персоналом.

1.6. Модели оценки результатов тестирования.

1.7. Обоснование предмета диссертационного исследования.

1.8 Выводы.

2. РАЗРАБОТКА МОДЕЛЕЙ ДЛЯ ИССЛЕДОВАНИЯ ТЕСТОВ И РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ.

2.1. Сравнительная оценка количественных и качественных критериев тестов.

2.2. Модель эвристического оценивания знаний с применением статистической информации.

2.3. Модель нечеткого оценивания знаний с применением эталонных экспертных оценок.

2.4. Разработка модели оценивания знаний на основе стохастического регрессионного анализа.

2.5. Линейная модель наблюдений.

2.5.1. Пример определения функции регрессии.

2.5.2. Статистический анализ уравнения регрессии.

2.5.3. Оценка адекватности модели.

2.6. Выводы.

3. РАЗРАБОТКА МЕТОДА ПРИНЯТИЯ РЕШЕНИЙ В УСЛОВИЯХ НЕПОЛНОТЫ ИСХОДНОЙ ИНФОРМАЦИИ.

3.1. Этапы методики проектирования системы тестирования.

3.2. Формализация параметров системы тестирования в условиях неполноты данных.

3.3. Разработка математической модели принятия решений на основе классификации нечетких ситуаций.

3.4. Разработка математической модели композиции нечетких правил вывода.

3.5. Выводы.

4 РАЗРАБОТКА ПРОБЛЕМНО-ОРИЕНТИРОВАННЫХ ПРОГРАММНЫХ ПРИЛОЖЕНИЙ ДЛЯ ЗАДАЧ ТЕСТИРОВАНИЯ

4.1. Разработка структуры модуля принятия решений.

4.2. Программное приложение и примеры решения задач тестирования знаний.

4.3. Информационная тестовая система.

4.4. Сравнительный анализ методов.

4.5. Выводы.

Введение 2012 год, диссертация по информатике, вычислительной технике и управлению, Шестова, Елена Александровна

Применение методов тестирования для оценки полученных знаний находит все большее применение в учебных заведениях [1 - 5], а также и на предприятиях, например, для проверки профессиональной пригодности при приеме на работу [6-8]. Тесты представляют собой стандартизированные задания, результаты выполнения которых дают представления о знаниях, умениях и навыках тестируемого.

Существует достаточно распространенное мнение, что из всех известных на сегодняшний день способов контроля уровня обучения наиболее перспективным, является тестирование. Считают, что результаты тестирования обеспечивают преподавателя объективной информацией об уровне усвоения обучаемыми учебного материала, а администрацию вуза информируют об объективности управления. Также результаты тестирования - показатель качества преподавания. Таким образом, тесты могут использоваться как для определения уровня компетенции в той или иной области знаний, так и для оценки деятельности преподавателя [9].

Задача тестовых методик - установить связь между испытуемыми и преподавателем (экзаменатором). Это достаточно сложная и трудноформализуемая задача, так как связь между людьми посредством слов -сложный процесс.

Тесты в виде ЕГЭ применяются для оценки знаний выпускников школ и при отборе поступающих в вуз, а само тестирование реализовано в среде системы электронно-тестовой аттестации. На примерах тестов ЕГЭ можно определить существующие проблемы их разработки и применения.

Во-первых, электронно-тестовая аттестация несовершенна, как из-за ограничения доступа в сеть Интернет, так из-за проблем информационной безопасности.

Во-вторых, существует проблема создания контрольно-измерительных материалов, связанная как с объективной оценкой качества образования, так и с умением применять знания.

Например, по мнению ректора Института проблем образовательной политики «Эврика» А. Адамского [10] «уровень сегодняшних тестов, система их разработки, организационный и технологический уровень подготовки и проведения крайне низки», «итоговая аттестация в той форме, в которой она проводится, не является объективной оценкой качества образования. Она может давать только сведения об объеме освоенного материала. А это лишь элемент качества, его часть». «Надо проверять не только объем заученного материала, но и оценивать умения применять знания - функциональную грамотность и способность к решению нового, неизвестного типа задач, способность ориентироваться в культуре. А для этого нужны другие тесты».

По мнению д.т.н. В.Хлебникова [11] тесты по ЕГЭ научно не обоснованы. «До сих пор никакие даже самые продвинутые тестологи мира не смогли создать теста, который является одновременно нормально и критериально ориентированным и мог быть использован для целей итоговой аттестации и для отбора наиболее подготовленных поступающих в вузы». «Итоговая аттестация требует иных измерительных материалов и методик обработки результатов». «Процедуры итоговой аттестации и отбора поступающих в вузы несовместимы. Их необходимо разделить». «ЕГЭ плохо дифференцирует испытуемых в наиболее важной для приема в вуз зоне -области наивысших баллов».

Мнения этих двух ученых определяют существующие проблемы создания и применения тестов и не только при сдаче ЕГЭ, но и всех существующих тестов вообще.

Отметим, что хотя результаты тестирования определены в виде четкого числа (результата), но, во-первых, результат тестирования с учетом погрешности, представляет собой нечеткое число, а во-вторых, на базовой шкале результатов можно задавать лингвистические переменные, формализующие смысловые оценки результатов тестирования. Погрешность результатов тестирования (погрешность метода) может изменяться на базовой шкале, например в тестах ЕГЭ по данным Федерального центра тестирования [11] в середине шкалы (от 40 до 60 баллов) величина погрешности по всем предметам составляет ± 3 тестовых балла. При смещении в сторону более низких и высоких баллов погрешности возрастают. В районе 90 баллов погрешность составляет от 5 до 10 тестовых баллов. Применение методов теории нечетких множеств [12 - 15] и теории возможностей [16, 17] позволяет формализовать эти неопределенности.

Формализация результатов тестирования, а также применение тестов различной сложности и разных тематик, позволяет применять методы принятия решений на основе обработки знаний [18- 29]. Методы и модели принятия решений относятся к числу методов моделирования, направленных на активизацию интуиции и опыта лиц, принимающих решение, включая методы искусственного интеллекта [30]. Существенный вклад в развитие теории искусственного интеллекта внесли многие ученые, как России, так и за рубежом: А.Н. Аверкин, JI.C. Берштейн, A.B. Боженюк, H.A. Борисов, Д. Дюбуа, J1.A. Заде, А.Н. Мелихов, Д.А. Поспелов, К.А. Пупков, М. Сугено, Б.Н. Тарасов, Т. Терано, С.В Ульянов, С. Чен, P.P. Ягер и многие другие.

Таким образом, учитывая, что разрабатываемые тесты обладают неопределенностью, как в полноте охвата тестируемого материала, так и в полноте оценки достоверности знаний, то актуальной остается задача формализации погрешностей теста, а также задача достоверной оценки знаний тестируемого с применением методов формализации результатов тестирования в условиях неопределенности. В диссертации не будет рассматриваться проблема создания контрольно-измерительных материалов, а будет уделено внимание другой задаче - оценке качества образования и оценке умения применять знания, решаемой с применением методов моделирования и принятия решений в системах тестирования знаний. Это определяет и подтверждает актуальность диссертационной работы.

Диссертационные исследования в практическом аспекте направлены на проектирование проблемно-ориентированного прикладного программного продукта (программных модулей принятия решений) для применения в системах электронно-тестовой аттестации, а также для применения в подразделениях предприятий и организаций, которые на основе применения тестирования решают, например, задачи подбора кадров.

Для достижения поставленной цели в диссертационной работе решаются следующие задачи:

- исследование и анализ методов решения задач тестирования знаний;

- разработка системного подхода к решению задач тестовых заданий;

- разработка теоретико-множественной модели результатов тестирования;

- разработка методов формализации параметров тестов;

- разработка модели принятия решений на основе классификации нечетких ситуаций;

- разработка модели композиции нечетких правил вывода;

Методологическую основу работы составляет концепция системности, суть которой есть представление и исследование моделей и методов решения задач тестирования, интеллектуальных систем принятия решений в условиях неполноты данных результатов тестирования и критериев оценки.

Поставленная цель диссертационной работы и сформулированные в соответствии с целью задачи создали предпосылки для получения новых научных результатов в области математического моделирования и приятия решений в системах тестирования знаний, а также проектирования интеллектуальных модулей принятия решений для систем электронно-тестовой аттестации.

Научная новизна результатов диссертационной работы заключается в следующем:

Основные положения, выносимые на защиту:

2. Метод тестирования знаний с применением теории нечетких множеств, позволяющий выявить закономерности и взаимосвязи входных параметров задачи тестирования и результатов тестирования, с целью эффективного исследования, проводимого с применением знаний экспертов.

Диссертационная работа состоит из четырех разделов, заключения и приложения.

В первом разделе диссертации выполнен обзор существующих моделей и методов тестирования знаний, определены приоритетные направления исследовательских работ в данной области. Приведена краткая характеристика и анализ моделей. Сделан вывод, что разработка новых моделей принятия решений при проведении тестирования и моделей оценки качества самих тестов является актуальной задачей, требующей применения прикладного программного обеспечения, обеспечивающего не только диалог преподавателя с обучаемым, но и контроль учебной деятельности.

Выполнены обзор и исследования, связанные с разработкой системного подхода к решению задач тестовых заданий, в рамках которого в дальнейшем будет осуществляться разработка методов моделирования и принятия решений в системах тестирования знаний.

Рассмотрены задачи тестирования, как текстологии, независимо от её практических приложений - текстология педагогическая, психологическая или социологическая. Определены ключевые понятия тестологии. Основная задача тестирования в обучении связана с обеспечением достоверности результатов оценки качества знаний. Приведены факторы, влияющие на систему оценок, рассмотрена концепция формирования оценки качества образования, рассмотрены задачи системы управления качеством образования, соответствие системы управления качеством классическим пониманиям теории управления: измеримость, наблюдаемость, управляемость и адаптируемость.

Выполнены исследования задач выбора критерия качества обучения. Рассмотрены существующие критерии оценки тестовых заданий, в частности, диагностические состояния и проверки, метод оценки уровня знаний с использованием двоичных оценок, нечеткие критерии оценки знаний. Сделан вывод, что применение вероятностных методов диагностирования обладает субъективизмом и существенными погрешностями. Применяя лингвистические и нечеткие переменные, можно формализовать качественную информацию задания критериев оценки знаний в моделях принятия решений о степени соответствия испытуемого определенному уровню требований в условиях частичной неопределенности.

Рассмотрена задача тестирования знаний, как часть системы управления качеством и образовательной системы. Рассмотрены виды тестов и требования к тестированию, приведены базовые понятия традиционного теста. Предложена теоретико-множественная модель результатов тестирования, как отношение порядка, которое позволяет упорядочить испытуемых по заданному признаку.

Выполнено содержательное описание применения тестов для решения поставленных задач в системе образования. Приведен показатель трудности тестового задания, стандартизированные формы тестовых заданий. Рассмотрено применение тестов в задачах управления персоналом и сделан вывод, что тесты по своим видам и построению создаются по тем же принципам, как и в системе образования, поэтому в дальнейшем в диссертационных исследованиях основное внимание уделяется решению задач тестирования знаний в образовании.

Рассмотрены модели оценки результатов тестирования, направленные на идентификацию вектора конструктивных параметров состояний обучаемого или системы обучения. Рассмотрена технология оценки уровня обученности в целях аттестации образовательного учреждения профессионального образования, разработанная Центром государственной аккредитации, вероятностная модель оценивания при аттестационно-педагогических измерениях. Основу расчетов в данной модели составляет формула Бернулли. Сделан вывод, что сложность и неадекватность оценок может быть вызвана многими причинами, среди которых следует назвать неоднозначность в тестовых заданиях. Возможности теории нечетких множеств, введение понятия лингвистической и нечеткой переменной позволяют формализовать неоднозначность категорий. Приведен пример задания оценок в виде лингвистической и нечетких переменных. Рассмотрена модель нечеткого оценивания знаний.

Осуществлено обоснование предмета диссертационного исследования, как разработку и исследование методов моделирования и принятия решений в системах тестирования знаний с применением нечетких ситуационных моделей с учетом имеющихся аттестационных педагогических измерительных материалов, методов тестирования обучаемых. Исследования направлены на расширение известных методов тестирования знаний и дополнение их методами принятия решений с учетом знаний экспертов в условиях неопределенности.

Во втором разделе диссертации выполнен анализ критериев тестов, где они рассматривают как новые формы измерителей для оценки практической деятельности обучаемых, поэтому достоверность оценки напрямую связана с выбранными критериями. Выполнена формализация критериев и приведены требования к выборке количества задания.

Рассмотрена модель эвристического оценивания знаний с применением статистической информации, позволяющая оценивать знания в условиях неопределенности. Оценивания степени истинности вариантов ответов на тестовые задания осуществляется с применением экспертной шкалы, а распределения ответов по пятизначной шкале аппроксимируют стохастическими распределениями. Для реализации статистической модели оценивания знаний предложен укрупненный алгоритм статистического оценивания знаний.

Рассмотрена для исследования тестирования линейная модель наблюдений, в которой тестирование отождествлено с подачей на вход «черного ящика» вектора входных воздействий, где на выходе можно получить вектор выходных параметров. В результате формально определена задача научно-исследовательского характера, относящаяся к задачам планирования эксперимента.

Рассмотрена модель нечеткого оценивания знаний с применением эталонных экспертных оценок. При проведении тестирования степень суммарной истинности ответов обучаемого на все вопросы теста оценивается путем подсчета результирующей функции принадлежности всего теста.

Разработана модель тестирования на основе стохастического регрессионного анализа, позволяющая исследовать одновременно две, три и большее число величин результатов тестирования. При исследовании оценивается стохастическая связь одного показателя с другим показателем в виде условного закона распределения первого показателя при фиксированных значениях второго показателя. Данная модель позволяет исследовать, как сами тестовые материалы, так и систему обучения.

В третьем разделе диссертации разработана методика проектирования системы тестирования, позволяющая определить систему тестирования, организовать процесс принятия решений на основе знаний специалистов с применением выбранных методов моделирования, и предусмотреть смену этих методов по мере глубины оценки результатов тестирования, что соответствует известным методикам системного анализа. Приведена последовательность этапов методики проектирования системы тестирования знаний, включающих обоснование актуальности разработки, формулирование цели, выбор критериев оценки функционирования, структуру системы, формализацию параметров системы тестирования, модели оценки результатов тестирования.

Так как невозможно создать строго формализованный подход к разработке тестов и обработки результатов тестирования из-за значительного количества эвристических приемов, то предложен подход к формализации параметров системы тестирования в условиях неполноты данных с применением вербальных параметров, позволяющий применять модели нечеткого логического вывода. Рассмотрены прямые и косвенные методы построения функций принадлежности нечетких переменных.

Так как формализация параметров задач тестирования может осуществляться с применением нечетких мер теории возможностей, то уделено внимание заданию параметров задач тестирования с применением нечетких интервалов, обобщающих четкие понятия.

Разработана модель принятия решений на основе классификации нечетких ситуаций, как дополнение к известным статистическим моделям для задач тестирования знаний. В модели принятия решений с нечеткими параметрами эксперты на базовых множествах определяют множество входных лингвистических переменных, задаются степени принадлежности значений нечетких переменных базовым множествам, а также правила принятия решений. Эксперты заполняют таблицу соответствия «ситуация - действие». В итоге в модели принятия решений на основе классификации нечетких ситуаций задаются классы кортежей нечетких переменных, соответствующие конкретным решениям.

Разработана модель композиции нечетких правил вывода, применение которой, как дополнение известных моделей оценок результатов тестирования позволит не только снизить степень информационной неопределенности, но и повысить объективность оценки результатов тестирования.

Рассмотрен пример задания входных лингвистических переменных, их терм-множеств на выбранных базовых множествах, лингвистической переменной «результат тестирования» и соответствующих функций принадлежности нечетких переменных.

Разработанные и исследованные модели принятия решений на основе классификации нечетких ситуаций и композиции нечетких правил вывода соответствуют методике проектирования системы тестирования, так как достаточно просто алгоритмизируются, что позволяет создавать прикладные программные приложения задач тестирования знаний. Проведение пробного тестирования и анализ полученных результатов всегда позволит устранить недостатки информационного обеспечения и определить пути дальнейшего развития системы тестирования знаний.

В четвертом разделе диссертации разработано программное приложение на языке программирования высокого уровня С# в среде программирования Microsoft Visual Studio. NET 2008, предназначенное для анализа результатов тестирования знаний обучающихся. Данное программное приложение позволяет обеспечить достоверность результатов оценки качества знаний.

В данном разделе проведены исследования системы тестирования знаний с помощью разработанного и статистического методов. Основной оценкой качества результатов является полная оценка тестирования с учетом информационной неопределенности.

По результатам исследования при отсутствии информационной неопределенности, заключающейся в добавлении факторов, учитывать которые невозможно с применением статистического метода, видно, что предложенный метод (на основе нечеткой логики) работает и выдает оценку, совпадающую с результатами статистического метода.

Заключение содержит выводы о работе.

Результаты работы внедрены:

- в службе обеспечения качества образования (ОКО) ТТИ ЮФУ;

- при выполнении научно-исследовательской работы «Разработка и исследование методов моделирования и синтеза многокритериальных адаптивных систем управления в условиях неполноты данных с применением средств формализации экспертных знаний и современных информационных технологий»;

- в учебном процессе на кафедре систем автоматического управления факультета автоматики и вычислительной техники ФГАОУ ВПО «Южный федеральный университет».

Научные и практические результаты, полученные в диссертации и изложенные в статьях, использованы при подготовке и чтении лекций по дисциплинам «Анализ и синтез систем управления», «Математическое моделирование объектов и процессов управления», «Моделирование систем», «Планирование эксперимента и обработка экспериментальных данных», «Программирование и основы алгоритмизации», «Структуры и алгоритмы обработки данных», постановке лабораторных работ на кафедре систем автоматического управления факультета автоматики и вычислительной техники ФГАОУ ВПО «Южный федеральный университет».

Основные результаты докладывались и обсуждались на следующих конференциях:

- международной научной конференции «Проблемы развития естественных, технических и социальных систем», Таганрог: ТТИ ЮФУ, 2007;

- международная научная конференция «Проектирование новой реальности» (ПНР-2007), Таганрог: ТТИ ЮФУ, 2007;

- международном семинаре студентов, аспирантов и ученых «Системный анализ, обработка информации и управление», Ростов-на-Дону: ДГТУ, 2007;

- международной научной конференции «Информация, сигналы, системы: вопросы методологии, анализа и синтеза», Таганрог: ТТИ ЮФУ, 2008;

- 6-й всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Молодежь XXI века - будущее российской науки», Ростов-на-Дону: ЮФУ, 2008;

- IX Всероссийской научной конференции «Техническая кибернетика, радиоэлектроника и системы управления», Таганрог: ТТИ ЮФУ, 2008;

-международной научной конференции «Инновации в обществе, технике и культуре», Таганрог: ТТИ ЮФУ, 2008;

- международной научной конференции «Системы и модели в информационном мире (СМИ-2009)», Таганрог: ТТИ ЮФУ, 2009;

- 1У-й, УП-й, Всероссийской конференции молодых ученых, аспирантов и студентов «Информационные технологии, системный анализ и управление», Таганрог: ТТИ ЮФУ, 2006, 2009;

-международной научной конференции «Методы и алгоритмы принятия эффективных решений», (МАПР-2009), Таганрог: ТТИ ЮФУ, 2009;

- VI ежегодной научной конференции студентов и аспирантов базовых кафедр ЮНЦ РАН, Ростов-на-Дону: ЮНЦ РАН, 2010;

- международной научной конференции «Информационное общество: идеи, технологии, системы», Таганрог: ТТИ ЮФУ, 2010;

- Всероссийской молодежной научной конференции «Мавлютовские чтения», Уфа: УГАТУ, 2010, 2011;

- международной научной конференции «Современные исследовательские и образовательные технологии», Таганрог: ТТИ ЮФУ, 2010;

- Всероссийской научной конференции «Перспективы развития гуманитарных и технических систем», Таганрог: ТТИ ЮФУ, 2011;

- 1-м, 2-м Международном семинаре студентов, аспирантов и ученых

Системный анализ, управление и обработка информации», Ростов-на-Дону: ДГТУ, 2010, 2011;

- Международный молодежный конкурс «Студент и научно-технический прогресс», Таганрог: ТТИ ЮФУ, 2012.

По теме диссертации опубликованы 8 статей, среди которых 4 включены в перечень изданий, рекомендованных ВАК, 16 тезисов докладов в открытой печати.

Все результаты, представленные в диссертационной работе, получены автором лично. В совместных научных публикациях имеет место неделимое соавторство.

Диссертационная работа содержит 185 страниц машинописного текста, включая введение, четыре раздела, заключение, список литературы из 141-го наименования, 81 рисунок, 15 таблиц, а также приложение на 14-ти страницах.

Заключение диссертация на тему "Разработка моделей и методов принятия решений в задачах тестирования знаний"

4.5. Выводы

Основным результатом данного раздела диссертации является разработка и апробация проблемно-ориентированного программного приложения, предназначенного для анализа результатов тестирования знаний обучающихся. Данное программное приложение позволяет обеспечить достоверность результатов оценки качества знаний. Таким образом, применение модели композиции нечетких правил вывода и модели классификации нечетких ситуаций, позволяет не только снизить степень информационной неопределенности, но и повысить объективность оценки результатов тестирования в условиях неполноты данных.

По результатам исследования при отсутствии информационной неопределенности, заключающейся в добавлении факторов, учитывать которые невозможно с применением статистического метода, видно, что предложенный метод (на основе нечеткой логики) работает и выдает оценку, совпадающую с результатами статистического метода.

ЗАКЛЮЧЕНИЕ

В диссертационной работе выполнен анализ моделей и методов решения задач тестирования знаний, определены приоритетные направления исследовательских работ в данной области. Сделан вывод, что разработка новых моделей принятия решений при проведении тестирования и моделей оценки качества самих тестов является актуальной задачей, требующей применения прикладного программного обеспечения, обеспечивающего не только диалог преподавателя с обучаемым, но и контроль учебной деятельности.

Тема диссертации актуальна и значима, так как многие процессы образовательной среды трудноформализуемые в рамках традиционных подходов. Подход к формализованному представлению исходной информации является комбинацией элементов двух теорий: теории нечетких множеств и математической статистики. Данный подход позволяет учитывать случайность и неопределенность одновременно, что играет существенную роль при учете человеческого фактора и его активном влиянии на процессы управления.

Предложен метод оценки стохастических связей между показателями результатов тестирования знаний на основе регрессионного анализа, позволяющий исследовать не только уровень подготовленности тестируемых, но и качество тестовых материалов, применяемых для контроля, и позволяющий повысить адекватность оценки знаний тестируемых (С. 88-103).

Разработан метод тестирования знаний с применением теории нечетких множеств, включающий алгоритм организации тестирования, для выявления закономерности и взаимосвязи входных параметров процесса, а также результатов тестирования с целью эффективного исследования тестов с использованием базы знаний, формируемой экспертами (С. 105-116).

Предложен метод анализа результатов тестирования знаний в условиях неполноты исходной информации при помощи формализации параметров системы тестирования в виде лингвистических переменных, включающий помимо известных статистических моделей оценок результатов тестирования модель принятия решений на основе классификации нечетких ситуаций и модель композиции нечетких правил вывода, с целью понижения степени информационной неопределенности и повышения объективности оценки результатов тестирования в условиях неполноты данных (С. 116-135).

Синтезирован алгоритм принятия решений при обработке результатов тестирования и оценки знаний в условиях неполноты данных (неопределенности), на основе которого разработано программное приложение на языке программирования С# в среде программирования Microsoft Visual Studio. NET 2008, предназначенное для анализа результатов тестирования знаний с целью достоверности результатов оценки качества знаний (С. 138154).

Практическая ценность работы подтверждается внедрением полученных результатов:

1. В службе обеспечения качества образования (ОКО) ТТИ ЮФУ.

2. При выполнении научно-исследовательской работы «Разработка и исследование методов моделирования и синтеза многокритериальных адаптивных систем управления в условиях неполноты данных с применением средств формализации экспертных знаний и современных информационных технологий».

3. В учебный процесс кафедры систем автоматического управления факультета автоматики и вычислительной техники ФГАОУ ВПО «Южный федеральный университет».

Библиография Шестова, Елена Александровна, диссертация по теме Теоретические основы информатики

1. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Учебное пособие. М: Исслед. центр проблем качества подготовки специалистов, 1995. -, 32 с.

2. Гуськова Н., Макаркин Н., Салимова Т. Мониторинг качества образования. // СТК, №5. 2000 г. С. 86-87.

3. Евсигнеев А.Е. Концепция развития тестовой технологии контроля уровня обученности студентов в системе профессионального образования России. Самара 2000 (xpt.narod.ru/files/html/xpt/materials/kontseptsiya.htm).

4. Каракозов С.Д., Головишников К.В. Информационно-математические модели тестирования и интерпретация результатов единого государственного экзамена. Барнаул: Издательство БГПУ, 2005. - 72 с.

5. Рудинский И.Д. Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического процесса.// Информационные технологии. 2003. №9. С.46-51.

6. Седегов P.C., Кабушкин Н.И., Кривцов В.Н. Управление персоналом: Сотрудники как фактор успеха предприятия. Кн.4. Минск: Изд-во БГЭУ, 1997.- 178 с.

7. Маничев С.А. Методы диагностики профессионально важных качеств менеджеров//Психология менеджмента/Под ред. Г.С. Никифорова. СПб.: Изд-во СПбГУ, 2000. - С. 243 - 280.

8. Шикун А.Ф., Филинова И.М. Управленческая психология: Учебное пособие. М.: Аспект Пресс, 2002. -332 с.

9. Финаев В.И., Шестова Е.А. Применение методов тестирования для оценки знаний обучаемых//Сб. тезисов докладов международной научной конференции «Информация, сигналы, системы: вопросы методологии, анализа и синтеза». 4.1. Таганрог: Изд-во ТТИ ЮФУ, 2008.

10. Новая газета, № 130 от 23.11.09. С 17.

11. Новая газета, № 80 от 04.12.08. С. 13.

12. Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь, 1982.-432 с.

13. Zaden L.A. Fuxxy sets, Information end Control, 8, P. 338 353, 1965.

14. Saaty T.L. Measuring the fuzziness of sets//Journal of Cybernetics. 1974. - V.4.-P.149-194.

15. Zimmermann H.-J. Fuzzy Sets Theory and its applications. -Boston/Dordrecht/London: Kluwer Academic Publishers, 1996. 435 p.

16. Нечеткие множества и теория возможностей. Последние достижения / Под ред. Р.Ягера.-М.: Радио и связь, 1986. 408 с.

17. Дюбуа Д., Прад. А. Теория возможностей: Пер. с французского В.Б.Тарасова /Под редакцией С.А.Орловского. М.: Радио и Связь, 1990. -288 с.

18. Алтунин А.Е., Семухин М.В. Модели и алгоритмы принятия решений в нечетких условиях: Монография. Тюмень: Издательство Тюменского государственного университета, 2000. - 352 с.

19. Берштейн JI.C., Боженюк А.В. Нечеткие модели принятия решений: дедукция, индукция, аналогия. Монография. Таганрог: Изд-во ТРТУ, 2001. -110 с.

20. Мелихов А.Н., Баронец В.Д. Проектирование микропроцессорных устройств обработки нечеткой информации. Ростов-на-Дону.: Изд-во Ростовского университета. 1990. - 128 с.

21. Берштейн Л.С., Карелин В.П., Целых А.Н. Модели и методы принятия решений в интегрированных интеллектуальных системах. Ростов-на-Дону: Изд-во Ростовского университета, 1999, 278 с.

22. Берштейн Л.С., Финаев В.И. Адаптивное управление с нечеткими стратегиями. Ростов н/Д.: Изд-во Рост, ун-та, 1993. - 134 с.

23. Борисов А.Н., Алексеев А.В., Крумберг О.А. и др. Модели принятиярешений на основе лингвистической переменной. Рига, Зинатне, 1982. - 256 с.

24. Мелихов А.Н., Берштейн Л.С., Коровин С .Я. Ситуационные советующие системы с нечеткой логикой. М.: Наука. Гл. ред. физ.-мат.лит.,1990. - 272 с.

25. Поспелов Д.А. Ситуационное управление: теория и практика, М.: Наука. Гл. ред. физ.-мат. лит., 1988. - 288 с.

26. Финаев В.И. Модели систем принятия решений: Учебное пособие. -Таганрог: Изд-во ТРТУ, 2005. 118 с.

27. Pedrycz W. Fuzzy control and fuzzy system. 2-nd edition/ N.Y. John Wiley and Sons, 1992. - 350 p.

28. Шестова E.A., Борцов Д.Г. Исследование и разработка моделей и методов принятия решений в задачах тестирования знаний//Труды Международной молодежной научной конференции «XVI Туполевские чтения». Казань: Изд-во КГТУ им. А.Н.Туполева, 2008.

29. Волкова В.Н., Денисов A.A. Основы теории систем и системного анализа. Д.: Издательство СПбГТУ, 1997. - 510 с.

30. Lihtsinder В., Ivanova I. Estimation of knowledge quality on a basis of probability monitoring and diagnosing methods // 10 IMECO TC7 International Symposium, June 30—July 2. 2004, Saint-Petersburg.

31. Анастази А. Психологическое тестирование. T.l. M.: Педагогика,1982.

32. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения: Учеб. пособие для студ. высш. учеб. заведений. 2-е изд., стер. - М.: Издательский центр «Академия», 2008. - 224 с.

33. Рыжова Н.И. Методическая теория: уточнение понятий. /Проблемы и перспективы развития методики обучения математике. Сб. науч. работ. Под ред. В.В. Орлова. СПб: Изд-во РГПУ им. А.И. Герцена, 1999. С. 3-9.

34. Аванесов B.C. Теория и методика педагогических измерений. М. Адепт, 2007.

35. Силкова М.А. Тестовая технология как средство педагогического контроля. Тверь: Изд-воТвГУ, 2001.

36. Справочник по теории автоматического управления/Под ред. A.A. Крассовского. М.: Наука, Гл. ред. физ.-мат. лит, 1987. - 712 с.

37. Красовский A.A. и др. Современная прикладная теория управления: Оптимизационный подход в теории управления/Под ред. А.А.Колесникова. -Таганрог: Изд-во ТРТУ, 2000. 4.1. 400 с.

38. Красовский A.A. Условие наблюдаемости нелинейных процессов// ДАН СССР. 1978. - Т. 242, № 6. - С. 1265 - 1268.

39. Воронов A.A. Устойчивость, управляемость, наблюдаемость.— М.: Наука, 1979.

40. Косухин В., Логинова Г, Логинова И. Роль и место тестирования в деятельности вуза // Высшее образование в России. 2008. №1. С.94-97.

41. Брунер Дж. Процесс обучения. М.: 1962. - С. 15.

42. Вентцель Е.С. Теория вероятностей. М.: Наука, 1969.

43. Смирнов Б.Я., Дунин-Барковский И.В. Краткий курс математической статистики для технических приложений. М: Физматгиз, 1959.

44. Лихтциндер Б.Я, Иванов Л.Б. Контроль качества знаний на основе вероятностных критериев оценки. Информационные технологии, №2, 2006.

45. Lihtsinder В., Ivanova I. Estimation of knowledge quality on a basis of probability monitoring and diagnosing methods//10 IMECO TC7 International Symposium, June 30—July 2. 2004, Saint-Petersburg.

46. Лихтциндер Б. Я. Оценка знаний с применением вероятностных методов диагностирования // Сб. трудов "Информатика, Радиотехника, Связь".1. Вып. № 4. Самара, 1999.

47. Гнеденко Б.Г., Колмогоров А.Н. Предельные распределения для сумм независимых случайных величин. М. - Л.: Гостехиздат, 1949.

48. Воройский Ф.С. Информатика. Новый систематизированный толковый словарь-справочник. 3-е изд. М.: Физматлит, 2003. - 760с.

49. Сырецкий Г.А. Информатика. Фундаментальный курс. Т. 2, 2007.

50. Мелихов А.Н., Берштейн Л.С. Конечные четкие и расплывчатые множества. Часть II. Расплывчатые множества. Таганрог: ТРТИ, 1981. - 90 с.

51. Нечеткие множества в моделях управления и искусственного интеллекта/А.Н. Аверкин, И.З. Батыршин, А.Ф. Блиншун, Б.В. Силаев, Б.Н. Тарасов. М.: Наука, 1986. - 312 с.

52. Заде Л. Понятие лингвистических переменных и его применение к принятию приближенных решений. М.: Мир, 1976. - 165 с.

53. Шестова Е.А. Обработка информации и принятие решений в системах тестирования знаний// Межвузовский сборник научных работ «Системный анализ, обработка информации и управление». Вып. 1. Ростов-Дон: Изд-во ДГТУ, 2007. С. 343 - 347.

54. Борисов А.Н., Алексеев A.B., Меркурьева Г.В., Слядзь H.H., Глушков В.И. Обработка нечеткой информации в системах принятия решений. М.: Радио и связь, 1989.

55. Месарович М., Такахара И. Общая теория систем: математические основы. М.: Мир, 1978. - 311 с.

56. Уемов А.И. Системный подход и общая теория систем. М.: Мысль, 1978.- 272 с.

57. Черняк Ю.И. Системный анализ в управлении экономикой. М.: Экономика, 1975. - 191 с.

58. Садовский В.Н. Основания общей теории систем: Логико-методологический анализ. М.: Наука, 1974. - 279 с.

59. Bertalanfy L. von. General System Theory a Critical Review// General

60. System, vol. YII, 1962, p. 1-20.

61. Багаутдинова H., Новиков Д. Управление качеством образования. // Стандарты и качество, №9, 2002 г. С.68 - 73.

62. Управление качеством образования. Под ред. М.М. Поташника. М.: Педагогическое общество России, 2000. - С. 404-405

63. Бурбаки Н. Теория множеств. М.: Мир, 1965. - 455с.

64. Мелихов А.Н., Берштейн JI.C. Конечные четкие и расплывчатые множества. Часть I. Четкие множества. Таганрог: ТРТИ, 1980. - 101с.

65. Tatsuoka, К.К. Item construction and psychometric models appropriate for constructed response. Prinston, N-J, 1993. 56 pp.

66. Frederiksen, N., Mislevy R.J., Bejar I. J. (Eds). Test theory for a new generation of tests. Lawrence Erlbaum Ass. Publ, Hillsdale, N-J, 1993. 404 pp.

67. Wright, B. S., Masters, G.N. Rating Scale Analysis: Rasch Measurement. Chicago, MESA Press, 1982. 206 pp.

68. Тестовые задания / Под ред. Н.А. Селезневой, В.П. Беспалько. М.: Гуманит. изд. центр ВЛАДОС, 1999. - 128 с.

69. Rasch, G. Probabilistic Models for Some Intelligence and Attainment Tests. With a Foreword and Afteword by B.D. Wright. The Univ. of Chicago Press. -Chicago & London, 1980. 199 pp.

70. Ямбург E.A. Школа для всех. Адаптивная модель. Теоретические основы и практическая реализация. М.: Новая школа, 1997. - 352 с.

71. Hlively W. (Ed). Domain Referenced Testing. Educational Technology Publications. Englewood Cliffs. N-J, 1974.

72. Васильев В.И., Тягунова ТЛ. Основы культуры адаптивного тестирования. М.: Изд-во ИКАР, 2003.

73. Васильев В.И., Красильников В.В., Плаксий С.И., Тягунова Т.Н. Оценка качества деятельности образовательного учреждения. М.: Изд-во ИКАР, 2005.-320 с.

74. Шикун А. Ф., Филинова И. М. Управленческая психология: Учебноепособие. М.: Аспект Пресс, 2002. - 331 с.

75. Бусленко Н.П. Моделирование систем. М.: Наука, 1978.

76. Свидерский В.М. Диалектика и логика научного познания. Элементы и структура как категория диалектики. М.: Наука, 1966. - 320 с.

77. Каллан Р. Основные концепции нейронных сетей. М.: Вильяме, 2001.

78. Хайкнн С. Нейронные сети: полный курс. М.: Вильяме, 2006.

79. Савельев Б.А., Масленников A.C. Оценка уровня обученности в целях аттестации образовательного учреждения профессионального образования: Учеб. пособие. Йошкар-Ола: Центр государственной аккредитации, 2004. -84 с.

80. Куклин В.Ж., Мешалкин В.И., Наводнов В.Г., Савельев Б.А. Формирование педагогических испытательных материалов для диагностики качества подготовки//Научные проблемы тестового контроля знаний. -М.: Изд-воМПГУ, 1994.-С. 53 55.

81. Куклин В.Ж., Мешалкин В.И., Наводнов В.Г., Савельев Б.А. О компьютерной технологии оценки качества знаний//Высшее образование в России.-М.: Изд-во МПГУ, 1993. №3. С. 146 - 153.

82. Крамер Г. Математические методы статистики. М.: Мир, 1975.

83. Рудинский И.Д. Принципы интеллектуального автоматизированного тестирования знаний//Сб. докладов XI Международной конференции-выставки «Информационные технологии в образовании». Ч. V. М.: 2001. - С.56-58.

84. Аванесов B.C. Композиция тестовых заданий. М.: Адепт, 1998.217с.

85. Рутковская Д., Пнлнньскнн М., Рутковскнн Л. Нейронные сети,генетические алгоритмы и нечеткие системы. М.: Горячая линия — Телеком, 2003.

86. Тихомиров В.А, Карпов И.А., Тихомирова Е.В. Системный подход к интеграции информационных ресурсов в концепцию математического моделирования // Программные продукты и системы, №1, 2008. С. 57-61.

87. Серков JI.A. Синергетическое моделирование образовательных процессов. Информационные технологии, №1, 2008. С. 71-85.

88. Черняховская JI.P., Герасимова И.Б., Нугаева К. Р. Поддержка принятия решения по управлению качеством образовательного процесса на основе хранилища знаний университета. Информационные технологии, №1, 2008.

89. Воробейчикова О.В. Технология построения структуры усвоения учебного материала по результатам тестирования. Информационные технологии, №2, 2009.

90. Рудинский И.Д. Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического тестирования // Информационные технологии, №9, 2003. С. 46-51.

91. Рудинский И.Д., Клеандрова И.А. Математические основы педагогического тестирования знаний. Ч. 1. Модели нечеткого оценивания знаний и количественного оценивания степени объективности тестирования. Калининград, 2003. 70 с.

92. Рудинский И.Д., Грушецкий C.B. Статистические методы вывода оценки результатов автоматизированного тестирования // Международный конгресс конференций "ИТО-2003". Сб. тр. Ч. V. М.: 2003. С. 325-326.

93. Рудинский И.Д., Грушецкий C.B. Применение средствматематической статистики для вывода итоговой оценки за тест / Сб. Тр. III МНМК "Дистанционное обучение образовательная среда XXI века", Минск, 2003.

94. Рудинский И.Д., Грушецкий C.B. Модель статистического оценивания знаний. Информационные технологии, №12, 2004.

95. Рудинский И.Д. Теоретические основы формально-структурного описания процесса педагогического оценивания знаний // Сб. докладов XII Международной конференции-выставки «Информационные технологии в образовании». М.: 2002.

96. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения: учеб. пособие для студ. высш. учеб. заведений. 2-е изд., стер. - М.: Издательский центр «Академия», 2008. - 224 с.

97. Сборник аналитических материалов по итогам участия образовательных учреждений Ростовской области в эксперименте по введению ЕГЭ в 2004г. Р-на-Д, 2004 г. Стр.58.

98. Шестова Е.А. Задачи тестирования знаний в системе образования/ЛГруды Международной научной конференции «Информационное общество: идеи, технологии, системы», Часть 1. Таганрог: Изд-во ТТИ ЮФУ, 2009.-С. 70-71.

99. Финаев В.И., Шестова Е.А. Информационные технологии в образовании//Материалы IV Всероссийской научной конференции молодых ученых, аспирантов и студентов «Информационные технологии, системный анализ и управление». Таганрог: ТРТУ, 2006.

100. Шестова Е.А. Тестовые технологии в образовании//Труды Международной научной конференции «Инновации в обществе, технике и культуре»: Тезисы докладов. 4.1 Таганрог: Изд-во ТТИ ЮФУ, 2008. - С. 78-79.

101. Финаев В.И., Шестова Е.А. Статистические методы оценки результатов тестирования//Наука и образование на рубеже тысячелетий: сборник научно-исследовательских работ. Вып.2. , Ч. 1. М.: «Учлитвуз»,2009.1. С. 127- 135.

102. Магнус Я.Р., Катышев П.К., Пересецкий A.A. Эконометрика. Начальный курс: Учебник. 7-е изд. - М.: Дело, 2005. - 504 с.

103. Асатурян В.И. Теория планирования эксперимента. М.: Радио и связь, 1983.

104. Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование эксперимента при поиске оптимальных условий. М.: Наука, 1971.

105. Горский В.Г., Адлер Ю.П. Планирование промышленных экспериментов. — М.: Металлургия. 1974.

106. Финаев В.И. Моделирование при проектировании информационно-управляющих систем: Учебное пособие. Таганрог: Изд-во ТРТУ, 2002. 118с.

107. Шестова Е.А. Статистическая обработка при тестировании. Проблема выборки//Труды Международной научной конференции «Системы и модели в информационном мире», (СМИ-2009), Часть 3. Таганрог: Изд-во ТТИ ЮФУ, 2009. - С. 98-99.

108. Шестова Е.А. Разработка методов тестирования потребителей электроэнергии//Известия ЮФУ. Технические науки. Тематический выпуск. «Актуальные проблемы производства и потребления электроэнергии». -Таганрог: Изд-во ТТИ ЮФУ, 2008. № 7 (84). С. 154-159.

109. Шестова Е.А. Тестирование, как результат оценивания проекта //Материалы Международной научной конференции «Проектирование новой реальности» (ПНР-2007). Ч. 1. Таганрог: Изд-воТТИЮФУ,2007.- С. 49 - 50.

110. Куликовская Н.А., Шестова Е.А. О качестве систем автоматического управления//У1 Ежегодная научная конференция студентов и аспирантов базовых кафедр Южного научного центра РАН: Тезисы докладов. Ростов-на-Дону: Изд-во ЮНЦ РАН, 2010. - С. 150 - 153.

111. Оптнер С. Системный анализ для решения деловых и промышленных проблем. М.: Сов. радио, 1969. - 216 с.

112. Квейд Э. Анализ сложных систем. М.: Сов. радио, 1969. - 520 с.

113. Янг С. Системное управление организацией. М.: Сов. радио, 1972. -455 с.

114. Борисов А.Н., Крумберг О.А., Федоров И.П. Принятие решения на основе нечетких моделей: примеры использования. Рига: «Знание», 1990. -184 с.

115. Калмыков С.А., Шокин Ю.И., Юлдашев З.Х. Методы интервального анализа. Новосибирск: Издательство «Наука», сибирское отделение, 1986.

116. Дюбуа Д., Прад А. Теория возможностей. Приложения к представлению знаний в информатике. М.: Радио и связь, 1990.

117. Iancu U. Propagation of uncertain and imprecision in knowledge-basedsystems//Fuzzy Sets and Systems, №94, 1998. P. 29-43.

118. Sugeno M. Theory of Fuzzy Integral and Its Application. Ph. D. Thesis, Tokyo Inst. Of Technology, Japan, 1974.

119. Prigmore C. 30 Hour Basic.National Extension College NEC., 1981.

120. Малышев Н.Г., Берштейн Л.С., Боженюк A.B. Нечеткие модели для экспертных систем в САПР. М.: Энегроатом издат, 1991 - 136 с.

121. Берштейн Л.С., Боженюк A.B. Нечеткий логический вывод на основе определения истинности нечеткого правила modus ponens // Методы и системы принятия решений. Системы, основанные на знаниях. Рига: РПИ, 1989. С. 7480.

122. Шестова Е.А. Разработка программного приложения для обработки результатов тестирования знаний // Мавлютовские чтения: Всероссийская молодежная научная конференция: сб. тр. в 5 т. Том 3 / Уфимск. гос. авиац. техн. ун-т.-Уфа: УГАТУ, 2011. С. 140-141.

123. Пушнин A.B. Разработка аналитико-эвристических системных методов синтеза структур и управления потокораспределением в сетях связи. Диссертация на соискание ученой степени кандидата технических наук. -Таганрог: Библиотека ТРТУ, 2000.

124. Липко Ю.Ю. Разработка и исследование моделей принятия решений и систем искусственного интеллекта для кредитных организаций. Диссертация на соискание ученой степени кандидата технических наук. Таганрог: Библиотека ТРТУ, 2003.

125. Севостьяненко В.В. Исследование распределительных задач методами искусственного интеллекта на примерах найма работников предприятий. Диссертация на соискание ученой степени кандидататехнических наук. Таганрог: Библиотека ТРТУ, 2005.

126. Сизова И.И. Разработка методов ситуационного управления при решении задач о назначениях. Диссертация на соискание ученой степени кандидата технических наук. Таганрог: Библиотека ТРТУ, 2006.

127. ШестоваЕ.А. Использование моделей с нечеткими исходными данными в задачах тестирования знаний // Труды Всероссийской молодежной научной конференции «Мавлютовские чтения». Уфа: Изд-во УГАТУ, 2010. -С. 153-154.

128. ШестоваЕ.А. Анализ количественных и качественных критериев тестовых заданий // Труды Международной научной конференции «Современные исследовательские и образовательные технологии», Часть 1. -Таганрог: Изд-во ТТИ ЮФУ, 2010. С. 55-54.

129. Шестова Е.А. Применение технологии тестирования для анализа качества образования // Труды Всероссийской научной конференции «Перспективы развития гуманитарных и технических систем», Часть 1. -Таганрог: Изд-во ТТИ ЮФУ, 2011. С. 59-60.

130. ШестоваЕ.А. Организация процесса принятия решений при анализе результатов тестирования знаний // Студент и научно-технический прогресс. Сборник научных работ финалистов международного молодежного конкурса. -Ростов н/Д: Изд-во ЮФУ, 2012.-С. 251-255.

Похожие работы

Информатика, вычислительная техника и управление
05.13.00