автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Представление, обработка и контроль знаний на основе элементарных вербальных единиц

7116

На правах рукописи

Проскурнин Алексей Александрович

ПРЕДСТАВЛЕНИЕ, ОБРАБОТКА И КОНТРОЛЬ ЗНАНИЙ НА ОСНОВЕ ЭЛЕМЕНТАРНЫХ ВЕРБАЛЬНЫХ ЕДИНИЦ

05.13.17 - Теоретические основы информатики

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва-2010

- 3 ЛЕК 2010

004617116

Работа выполнена на кафедре «Медиасистемы и технологии» ГОУ ВПО «Московский государственный университет печати»

Научный руководитель: кандидат технических наук, доцент

Филиппович Юрий Николаевич

Официальные оппоненты: доктор технических наук, профессор

Попов Дмитрий Иванович

кандидат технических наук, доцент Сазонов Борис Алексеевич

Ведущая организация: Институт системного анализа РАН

Защита диссертации состоится 23 декабря 2010 г. в 12 часов 30 минут на заседании диссертационного совета Д 212.147.03 при Московском государственном университете печати (127550 Москва, ул. Прянишникова, 2А).

С диссертацией можно ознакомиться в библиотеке Московского государственного университета печати.

Автореферат разослан « 20 »ноября 2010г.

Учёный секретарь диссертационного совета д. т. н., профессор

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования.

Современный этап развития науки, образования и народного хозяйства характеризуется разработкой и использованием информационных технологий, основанных на знаниях, на базе средств вычислительной техники, применением методов искусственного интеллекта при создании информационных систем. Возник и развивается широкий класс информационных систем — автоматизированные системы контроля знаний (ЛСКЗ).

В работе к классу АСКЗ отнесены системы, основная функция которых состоит в формировании модели персональных знаний (МПЗ) пользователя в процессе взаимодействия человека и компьютера — автоматизированного контроля знаний (АКЗ).

В большом количестве работ в области построения систем контроля знаний и значительном разнообразии предлагаемых подходов, можно выделить две базовые парадигмы их создания: парадигму оценки (измерения) знаний и парадигму выявления и анализа знаний.

В рамках первой парадигмы МПЗ представляет собой скаляр (так называемая «скалярная модель обучаемого»). В этом случае основной целью контроля знаний является их оценка, формирование некоторой меры (рейтинга, ранга), характеризующей знания человека, их носителя. Системы, построенные на основе этой парадигмы, наиболее часто относят к классу тестирующих, или тестового контроля знаний. Они дают человеку формальную оценку его знаний, т.е. отвечают на вопрос «па сколько?» он знает тот или иной предмет.

Вторая парадигма подразумевает, что МПЗ — это модель данных, для которых характерна внутренняя интерпретируемость, структурированность, связность, иерархичность информационных единиц. Такие системы дают содержательное описание знаний человека, отвечают на вопрос «что он знает или пе знает?» о предмете.

Большой вклад в развитие методов формирования оценки знаний, относящихся, прежде всего, к теории педагогических измерений, внесли B.C. Ава-нссов, А. Бирнбаум, Ф. Лорд, А.Н. Майоров, В.И. Михеев, IO.M. Нейман, М. Новик, Г. Раш, А.О. Татур, М.Б. Челышкова, А.О. Шмелев и другие ученые.

Методы создания интеллектуальных систем обучения и контроля знаний исследовали многие отечественные и зарубежные ученые: C.B. Астанин, П. Брусиловский, А.И. Башмаков, И.А. Башмаков, В.И. Васильев, Т.А. Гаврилова, Д.О. Жуков, Дж. Карбонелл, В.М. Курейчик, В.А. Петрушин, Д.И. Попов, JI.A. Растригин, И.Д. Рудинский, Г.В. Рыбина, В.Л. Стефашок, Т.А. Таран.

В разработку методов создания систем, основанных на знаниях, большой вклад внесли В.Н. Вагин, А.П. Еремеев, A.C. Нариньяни, Г.С. Осипов, Э.В. Попов, Г.С. Поспелов, Д.А. Поспелов, В.К. Финн, В.Ф. Хорошевский и другие.

Подходы к созданию АСКЗ в парадигме выявления и анализа знаний, на сегодняшний день, исследованы в гораздо меньшей степени, т.к. в большинстве работ наивысший приоритет отдается решению задачи формирования интегральной оценки знаний.

Предлагаемый в диссертации подход к решению задачи автоматизированного контроля знаний ориентирован на содержательное описание и анализ персональных знаний обучаемого о предметной области.

Актуальность этого подхода обуславливается необходимостью внедрения инновационных образовательных технологий, основанных на активных и интерактивных формах проведения занятий и контроля знаний обучающихся, использования в процессе обучения разнообразных источников информации. Реализация подхода ориентирована также и на устранение следующих характерных недостатков в уже существующих АСКЗ, предназначенных для формирования содержательного описания знаний обучаемого:

1. Использование методов АКЗ, максимально учитывающих специфику конкретной предметной области, и неприменимых для других областей.

2. Моделирование в АСКЗ учебного курса (предмета), а не предметной области как таковой.

3. Поверхностность, низкий уровень детализации описания знаний обучаемого в АСКЗ.

4. Необходимость наличия достаточно больших репрезентативных выборок обучаемых.

5. С одной стороны, закрытая форма заданий обладает существенными недостатками; с другой стороны, для открытой формы заданий, подразумевающей анализ свободного естественно-языкового ответа обучаемого в виде предложения, крайне трудно гарантировать высокую адекватность такого анализа.

6. Применение в АСКЗ таких методов формирования МПЗ, при которых принципиально невозможно пояснить пользователю ход рассуждений, с помощью которых была получена модель его знаний.

7. Отсутствие в АСКЗ инструментов анализа знаний обучаемого, выявленных системой.

8. Ориентированность АСКЗ на один сеанс взаимодействия с обучаемым, после которого ему/ей выдаются результаты, а не на многие сеансы, подразумевающие «диалоги» с системой в течение продолжительного периода времени, когда с каждым сеансом взаимодействия пополняется (уточняется) МПЗ обучаемого.

Цель и задачи исследования.

Целью диссертационного исследования является разработка и практическая реализация в виде программной системы новой методики АКЗ, ориентированной на решение задачи формирования содержательного, структурного описания персональных знаний обучаемого, с учетом устранения описанных выше недостатков в существующих подходах к решению этой задачи.

Для достижения этой цели в диссертационной работе решены следующие основные задачи:

1. Проведены анализ и классификация существующих методов и моделей АКЗ, а также моделей представления знаний и моделей рассуждений, используемых для решения задачи АКЗ.

2. Разработаны математические модели описания экспертных знаний и знаний обучаемого о предметной области для решения задачи АКЗ.

3. Разработаны алгоритмы АКЗ, основанные на использовании различных способов вывода на знаниях.

4. На основе предложенных моделей и алгоритмов разработана методика АКЗ.

5. Разработана и апробирована программная система, реализующая предлагаемую методику АКЗ.

6. Проведены экспериментальные исследования методики АКЗ.

Объектом исследования в работе являются модели представления знаний

и модели рассуждений.

Предметом исследования являются способы применения моделей представления знаний и моделей рассуждений в АСКЗ, которые ориентированы па решение задачи формирования содержательного, структурного описания персональных знаний обучаемого, исходя из взаимодействия с ним.

Научная новизна исследования.

Научно новыми являются следующие результаты, полученные в диссертационном исследовании:

1. Разработана новая теоретико-множественная модель описания экспертных знаний о предметной области для решения задачи АКЗ, отличающаяся от известных использованием элементарных единиц вербального языкового знания.

2. Разработана новая теоретико-множественная модель описания персональных знаний обучаемого о предметной области для решения задачи АКЗ, отличающаяся от известных использованием целевых единиц знания, а также выделением трех уровней описания, соответствующих трем различным типам анализа персональных знаний обучаемого - структурному анализу, логическому анализу, и анализу соответствия эталонным образам знания.

3. Разработаны новые алгоритмы АКЗ, позволяющие формировать описание персональных знаний обучаемого, исходя из взаимодействия с ним, и основанные на использовании различных способов вывода. Отличительной особенностью этих алгоритмов является обработка знаний, формальное описание которых дано в соответствии с предлагаемыми теоретико-множествениыми моделями, а также применение четырехзначной логики аргументации.

4. На основе предлагаемых моделей и алгоритмов разработана новая методика АКЗ.

Методы исследования.

В работе использованы теория множеств и отношений, методы искусственного интеллекта, аппарат нечетких множеств и нечеткого логического вывода, методы исследования операций (решение задач многокритериальной оптимизации). При разработке программного продукта использовались объектно-ориентированный и реляционный подходы к построению программных систем.

Основные положения, выносимые на защиту.

1. Теоретико-множественные модели описания экспертных знаний и персональных знаний обучаемого о предметной области для решения задачи АКЗ.

2. Алгоритмы АКЗ, основанные на использовании различных способов вывода на знаниях.

3. Комплекс дополнительных моделей и алгоритмов, которые совместно с другими составляют основу для реализации методики АКЗ.

4. Методика АКЗ, основанная на предлагаемых моделях и алгоритмах.

Обоснованность и достоверность научных положений, рекомендаций и выводов.

Обоснованность и достоверность научных положений, рекомендаций и выводов определяется корректным применением соответствующих методов исследования, а также подтверждается результатами экспериментальных исследований предлагаемой методики АКЗ. Предложенные определения понятий и классификации апробированы на конференциях и в научных публикациях.

Практическая ценность работы.

Разработанный программный продукт, который является оболочкой системы, основанной на знаниях, позволяет создавать АСКЗ в различных предметных областях путем «наполнения» базы знаний системы. Разработана база знаний предметной области «Основы информатики», и АСКЗ на основе этой базы знаний. Материалы проведенного исследования были использованы в учебном процессе кафедры «Автоматизированные системы обработки информации и управления» МГТУ им. Баумана, в рамках дисциплин «Семиотика информационных технологий» и «Компьютерные технологии в науке и образовании».

Апробация работы.

Основные результаты диссертационной работы докладывались и были одобрены на заседаниях комиссий по аттестации аспирантов кафедры «Автоматизированные системы обработки информации и управления» МГТУ им. Н.Э. Баумана в 2005-2008 гг. Также материалы работы были представлены на следующих научных конференциях и семинарах: Общероссийской научно-технической конференции «Новые технологии в азотной промышленности» (г. Невинномысск, 2003); I Международной научно-практической конференции «Молодежь и наука: реальность и будущее» (г. Невинномысск, 2008); Научно-методическом семинаре НОК CLAIM, на кафедре «Автоматизированные системы обработки информации и управления» МГТУ им. Н.Э. Баумана (г. Москва, 2007, 2009); Научной школе для молодых ученых «Компьютерная графика и математическое моделирование (Visual Computing)» (г. Москва, 2009); III школе-семинаре «Задачи системного анализа, управления и обработки информации» (г. Москва, 2009); I Всероссийской дистанционной научно-практической конференции «Инновации в образовательных системах» (г. Челябинск, 2009); Научной межвузовской конференции преподавателей, аспирантов, молодых ученых и специалистов «Печатные средства информации в современном обществе» (г. Москва, 2010).

Публикации по теме диссертации.

Основные результаты по теме диссертации опубликованы в 11-ти печатных работах, в том числе 1 — в журнале, включенном в Перечень ВАК РФ.

Объем и структура работы.

Диссертация состоит из списка основных сокращений, введения, четырех глав, заключения, списка использованных источников из 294 наименований и 9 приложений. Основной текст изложен на 197 страницах, включая рисунки и таблицы. Приложения выполнены на 46 страницах.

СОДЕРЖАНИЕ РАБОТЫ

Во введении к диссертации обосновывается актуальность работы, определена цель и поставлены задачи исследования, сформулирован перечень основных положений, выносимых на защиту, научная новизна проведенного исследования, практическая ценность результатов работы.

Первая глава диссертации посвящена обзору существующих методов и моделей АКЗ. Дана общая постановка задачи АКЗ, описаны классификации методов решения этой задачи по различным критериям, рассматриваются модели представления знаний и модели рассуждений в задачах АКЗ.

Проведенный обзор работ позволяет выделить основные направления интеллектуализации АСКЗ: семантический анализ развернутых естественноязыковых ответов обучаемого на вопросы системы; «динамическая» генерация заданий для контроля знаний, в том числе вопросов tía естественном языке; реализация различных механизмов адаптивного управления процессом контроля знаний на основе построения модели обучаемого, и ряд других.

Спектр используемых в АСКЗ способов представления знаний очень широк: применяются как логические, так и эвристические модели, включая фреймы, продукции, семантические сети; ряд работ использует конкретные специфические формализмы для моделирования предметной области, например, сети Петри, метод анализа формальных понятий (Formal Concept Analysis), теорию пространств знаний (Knowledge Space Theory) и другие; находят применение тезаурусный подход, в частности, тезаурус семантических полей, и онтологии предметной области, в том числе онтологии в Internet, в рамках концепции Semantic Web. Вывод на знаниях в существующих интеллектуальных АСКЗ реализуется на основе классических продукционных систем, байесовского подхода, нечеткой логики, аргументации, рассуждений по аналогии, рассуждений па основе прецедентов и других подходов.

Несмотря на значительное разнообразие используемых в АСКЗ способов представления и обработки знаний, в основном они применяются в рамках парадигмы оценки (измерения)знаний.

Во второй главе рассматриваются модели представления знаний и алгоритмы их обработки, которые предлагаются в работе для решения задачи АКЗ.

В качестве основы представления знаний о предметной области выбрана модель, предложенная Ю.Н. Карауловым, компонентами которой являются: фигуры знания — элементарные вербальные единицы; концепты и концепто-сферы — обобщенные понятия, принятые в модели для обозначения предметных областей и их частей.

Фигура знания является пятикомпонеитпой структурой. Ее интенсиопал, т.е. сущностное содержание, образуют три следующих компонента: знак - это слово или словосочетание, обозначающее некоторый предмет, формула смысла - естественно-языковое выражение (например, предложение), задающее смысл знака, и способ задания смысла - речевой оборот (стилистическая фигура), определяемый формулой смысла и знаком. Помимо указанных трех интенсиональных компонентов, в фигуру знания входят еще два компонента, опреде-

ляющих ее экстенеионал - это когнитивиая (референтная) область, к которой относится фигура знания, а также функция, определяющая ценность (вес) данной элементарной единицы знания.

В диссертации, в описании фигур знания определенной предметной области, для каждой фигуры выделяются основные бинарные связи между ее знаком и компонентами формулы смысла — вербальными единицами (основными словами и/или словосочетаниями).

В таблице 1 даны примеры фигур знания в предметной области «Основы информатики» с выделенными для каждой фигуры знания связями.

Предлагаемая в диссертационной работе модель представления знаний о предметной области основывается на идее сочетания знаний о мире и знаний о языке. Несколько упрощая и огрубляя модель, можно сказать, что компьютер «знает» о том, какие понятия и имена существуют в предметной области, «знает» определенные отношения, которые существуют между этими понятиями и именами, а также «знает», каким образом определенные аспекты смысла тех или иных понятий или имен, задаваемые некоторой совокупностью их связей с другими понятиями и именами, могут быть выражены в виде кратких естественно-языковых формулировок с использованием определенных способов задания смысла.

Таблица 1. Примеры фигур знания

Знак Способ задания смысла Формула смысла Когнитивная Область Функция знания Связи

Информация Дескрипция Она передается от источника к приемнику в виде сигналов. Основные понятия Рецепт Информация— Источник Информация— Приемник Информация—Сигнал

Процессор Метафора Мозг компьютера Устройство компьютера Рецепт Процессор— Компьютер

Бит Дескрипция Единица измерения информации Единицы измерения Рецепт Бит— Информация

Для проверки знаний человека в АСКЗ ему задаются вопросы. В формулировке каждого из вопросов содержится формула смысла некоторой фигуры знания. Человек должен понять формулировку, т.е. определить, какое понятие или имя она задает, и ответить, набрав на клавиатуре это понятие или имя. Ответ па вопрос оценивается в дихотомической шкале («верно», «неверно»).

В диссертационной работе предлагается следующая идея контроля знаний. Если человек отвечает на вопрос правильно, т.е. определяет знак фигуры

знания по ее формуле смысла, можно предположить, что в его персональное знание о предметной области входят определенные бинарные связи между знаком, который является правильным ответом на вопрос, и определенными вербальными единицами, входящими в формулировку вопроса. Аналогично, если человек не смог определить правильно знак фигуры знания по ее формуле смысла, можно предположить отсутствие в его знаниях о предметной области определенных бинарных связей.

Например, пусть человеку задастся вопрос, формулировка которого содержит формулу смысла «Популярный язык программирования, разработанный Никлаусом Виртом», включающую вербальные единицы «язык программирования» и «Никлаус Вирт». Если человек даст правильный ответ «Паскаль», фиксируется аргумент в пользу знания связей «язык программирования - Паскаль» и «Никлаус Вирт - Паскаль». Если же человек не дает никакого ответа или отвечает неправильно, фиксируется аргумент против знания связи «Никлаус Вирт - Паскаль», так как именно эта связь является ключевой с точки зрения определения правильного ответа на вопрос.

Кроме фигур знания, для моделирования предметной области используются две другие единицы знания - концепты и так называемые целевые единицы знания (ЦЕЗ). Концептом является имя или понятие, которое может как принадлежать, так и не принадлежать предметной области. ЦЕЗ в общем случае описывает определенный аспект смысла связи между двумя концептами, при этом один из двух концептов обязательно должен принадлежать предметной области. ЦЕЗ является той бинарной связью, присутствие или отсутствие которой в персональном знании человека можно предполагать исходя из его ответов на вопросы АСКЗ, с поправкой на то, что ЦЕЗ в общем случае может выражать не только смысл этой связи как таковой, а определенный аспект смысла связи.

Над множеством ЦЕЗ задастся любое число классификаций (декомпозиций) предметной области, каждая из которых представляет собой дерево, т.е. устанавливаются связи между элементами множества листьев каждого из деревьев и элементами множества ЦЕЗ.

Необходимо отметить, что для большинства бинарных связей между концептами выделять несколько аспектов понимания их смысла не нужно. Например, связи «массив-структура данных» или «системный блок-компыотер» од-ноаспектные и их смысл определяется соответствующими типами связей «is а» и «part of». Тем не менее, другие связи более сложные, поэтому возможно отдельно учитывать различные аспекты смысла таких сложных связей. Например, для связи «процессор-компьютер» могут быть выделены следующие аспекты: «процессор — часть компьютера» и «процессор — главное управляющее устройство компьютера», т.к. возможно понимание человеком первого из указанных аспектов и при этом непонимание второго.

Множество ЦЕЗ можно представить в виде графа, вершинам которого соответствуют концепты, а ребрам - ЦЕЗ. Такой граф, в общем случае, допускает кратные ребра, т.к. возможно для одной и той же пары концептов выделение различных аспектов смысла бинарной связи между этими концептами. Граф не обязательно должен быть связным; число компонент связности в нем зависит от

степени семантической близости различных подобластей внутри моделируемой предметной области.

При описании знаний о предметной области выделяется 3 уровня этого описания: онтологический уровень, вербальный уровень, и таксономический уровень, при этом задаются связи между первым из них и двумя другими: Мпр.от. =< Мопт. > МВЕРБ, Мтлкс, МЬопт.-верб. > М^оит.-такс. > ■

Входящие в М11Р0БП компоненты задаются следующим образом:

м0,гг. =<т,е,а,ь,/ет,/ш,:а,Нь > мПЕРК >

Мулкс.

МЬоит.-верб. =</зи >/"ези >/()е > мъ01гг.-тлкс. =< (*СЫ )<1с п > (Лта );<-/ >

Описание компонентов представлено ниже.

Онтологический уровень:

Т - множество типов концептов; Е - множество концептов; А - множество аспектов; Ь - множество ЦЕЗ; fET - отображение, задающее каждому концепту его тип; /1ЕЕА:Ь->ЕхЕхЛ - инъективное отображение, задающее смысл ЦЕЗ; - множество логических выражений (формул), в которых высказывания вида «человек знает ЦЕЗ / е Ь » могут объединяться с помощью логических операций И, ИЛИ, а также скобок, задающих приоритет выполнения этих операций.

Вербальный уровень:

- множество фигур знания (множество вопросов); Р - множество свойств (атрибутов) фигур знания; V - множество значений атрибутов фигур знания; Ъ - множество знаков; IV - множество словоформ знаков; /дру '■ (бх Р) V - отображение, определяющее значения атрибутов фигур знания; с()х 2х IV - отношение, задающее для каждой фигуры знания

множество знаков, и для каждого из этих знаков - множество словоформ.

Таксономический уровень:

£> - множество классификаций (декомпозиций) предметной области; С -множество классификационных единиц (КЕ); /со : С —> О - отображение, задающее для каждой КЕ определенную классификацию; Ксс сСхС- отношение «родительская КЕ<->дочерняя КЕ», определяющее иерархическую структуру каждой классификации. При этом, если (с,-,Су)еЛсс, то /со(с,-) = /св(с^);

также для Ус е С: (с, с) е Ксс.

(Й"')</ед представляет собой семейство бинарных нечетких отношений: для каждой классификации с/е£> определяется бинарное нечеткое отношение Я'Ц1', которому соответствует функция принадлежности, задаваемая выражением : (с""ж"- х с"1иж"') —> (0, 1], где - множество КЕ самого «нижнего» уровня классификации г/ е £>:

С'Г'1 = {с е С:/сп(с) = с1л(-3с' е С:(с,с') <= Ксс)\.

Таким образом, с помощью отношения rJ для КЕ нижнего уровня классификации d&D задаются нечеткие правила вида «ЕСЛИ человек знает КЕ А, ТО он также знает КЕ В». Семейство нечетких бинарных отношений (RdE3llr)iiED имеет аналогичный смысл, но при этом задает нечеткие правила вида «ЕСЛИ человек НЕ знает КЕ Л, ТО он также НЕ знает КЕ В».

(Hai)diri) ~ это семейство множеств: для каждой классификации deD определяется множество логических выражений (формул) HCJ, в которых высказывания вида «человек знает КЕс е C(fCD(c) = d)» могут объединяться с помощью логических операций И, ИЛИ, а также скобок, задающих приоритет выполнения этих операций.

/ - множество эталонных образов знания; каждый из этих образов задается как совокупность требований к знанию ЦЕЗ, и может отражать как определенный уровень, так и характер, направленность знания; G - множество возможных значений уровня требований к знанию определенной ЦЕЗ; G = {«знание строго обязательно», «знание критично», «знание желательно», «знание опционально», «знание не нужно»}.

Связь онтологического и вербального уровни:

off f-ff^llf

Функции / и / задают продукции следующего вида: если задан некоторый вопрос, и получен правильный ответ, зафиксировать знание для определенных ЦЕЗ; аналогично, если задан вопрос, и получен неверный ответ, зафиксировать незнание определенных ЦЕЗ:

fgg-.Q-^E - функция, которая для каждой фигуры знания задает концепт, соответствующий ее знаку (множеству знаков-синонимов).

Связь онтологического и таксономического уровня:

Семейство бинарных отношений (Rcm)jeD для каждой классификации

deD задает бинарное отношение RCId с:Cj""':lLх L, где С^иж'1 - множество КЕ самого «нижнего» уровня этой классификации. Т.е. для каждой КЕ «нижнего» уровня задается множество входящих в нее ЦЕЗ, при этом одна и та же ЦЕЗ может относиться к нескольким КЕ.

Семейство функций (./¿сДе/ Аля каждого эталонного образа знаний ie I задает совокупность требований этого образа к знанию ЦЕЗ, а именно, значение уровня требований g е G для каждой из ЦЕЗ: /£С,: L G.

Модель персональных знаний (МПЗ) обучаемого задается следующим выражением:

Мт =<MJ]P0E)I ,SQ,SL,Sc,fQ,fL,fc,fHL,fHC,f1,fDC,fDllc,fDI >

Здесь: Sq = {«верный ответ», «неверный ответ», «не задан»} - множество значений (статусов), одно из которых ставится в соответствие каждому из вопросов; значения определяются с помощью анализа ответов испытуемого на вопросы; SL = {«знание», «незнание», «неизвестно», «противоречие»} - мно-

жсство статусов ЦЕЗ; Sc = {«абсолютное незнание», «определенно, незнание», «скорее всего, незнание», «неопределенность», «скорее всего, знание», «определенно, знание», «абсолютное знание»} - множество статусов КЕ; fg'Q—>Sg

- функция, которая задаст текущие статусы вопросов; fL : L —> S, - функция, которая задает текущие статусы ЦЕЗ; fc:C-^Sc - функция, которая задает текущие статусы КЕ; fnL : II, -> S, - функция, определяющая значения логических выражений (формул) из HL ; значения вычисляются на основе выполнения операций И, ИЛИ в рамках четырехзначной логики; fnc : U(^ca) ^с ~

deD

функция, определяющая значения логических выражений (формул) из множеств II(de D); значения вычисляются на основе выполнения операций И, ИЛИ в рамках семизначной логики; ft : / ~>[0, 1] - функция, задающая степень соответствия знаний испытуемого каждому из эталонных образов знания i е I ; /ос :С —>[0, 1] - функция, задающая степени достоверности текущих определенных статусов КЕ; /шс : \J(HLy) —>[0, 1] - функция, задающая степени

deD

достоверности текущих определенных значений логических выражений (формул) из множеств Hqj (deD); fDI : У —> 10, 1] - функция, задающая степени достоверности текущих определенных значений степеней соответствия знаний испытуемого каждому из эталонных образов знания i е /.

Выражение для Мпз может быть переписано следующим образом: Мт =<MПР0БЛ ,Mq,ML,Мс,Mи,M, >, где Mq =<Sg,fg > - МПЗ на уровне вопросов; ML =<SL,fL > - МПЗ на уровне ЦЕЗ; MC=<SCJCJDC> - МПЗ на уровне КЕ; Ми =<ful,fm,fmc> -МПЗ на уровне логических критериев знания; M, =< f,, fn, > - МПЗ на уровне эталонных образов знания. Уровни представления МПЗ и преобразования между ними схематично изображены на рис. 1.

Таким образом, всего предлагается 5 уровней представления персональных знаний. Уровни 1 и 2 являются основными, базовыми - это само выявленное знание. Уровни 3, 4 и 5 интерпретируются как инструменты анализа выявленных знаний.

Исходя из преобразований уровней 2—»3, 2—>4, и 2—>5, можно выделить 3 типа анализа персональных знаний: 1) Структурный анализ основан на идее аналогии с интеллектуальным многомерным анализом данных (технологией OLAP); 2) Логический анализ основан на вычислении логических критериев знания с помощью использования логических связок И, ИЛИ для многозначной логики; 3) Анализ соответствия эталонным образам знания позволяет вычислять степень соответствия текущих выявленных знаний пользователя АСКЗ некоторым предварительно заданным образам знания, которые могут отражать как определенный уровень знаний, так и их характер (направленность).

ТЕКУЩИЕ ОТВЕТЫ НА ВОПРОСЫ

МНОЖЕСТВО КЛАССИФИКАЦИЙ

МПЗ на уровне фигур знания

МНОЖЕСТВО ЛОГИЧЕСКИХ КРИТЕРИЕВ ЗНАНИЯ

Л.

МПЗ на уровне ЦЕЗ —1

: 3

МПЗ на уровне КЕ (классификационных единиц) СТРУКТУРНЫЙ АНАЛИЗ ЗНАНИЙ

МНОЖЕСТВО ЭТАЛОННЫХ "ОБРАЗОВ" ЗНАНИЯ

МПЗ на уровне логических критериев ЛОГИЧЕСКИЙ АНАЛИЗ ЗНАНИЙ

( 5

МПЗ на уровне эталонных образов знания АНАЛИЗ СООТВЕТСТВИЯ

ЭТАЛОННЫМ ОБРАЗАМ ЗНАНИЯ

Рис. 1. Уровни представления МПЗ и преобразования между ними

Алгоритмы АКЗ, формирующие МПЗ обучаемого, основаны на моделировании следующих рассуждений человека-эксперта, осуществляющего контроль знаний: 1) Рассуждения, связанные с формированием суждений о присутствии в сознании человека определенных когнитивных единиц па основании информации, полученной от человека в процессе взаимодействия; 2) Рассуждения, связанные с формированием суждений о степени знания одних когнитивных единиц, исходя из степени знания других единиц, когда и те, и другие единицы находятся па одном уровне иерархии в структурной декомпозиции предметной области; 3) Рассуждения, связанные с формированием суждений о степени знания некоторого множества элементов, исходя из знания/незнания этих элементов (операция «свертки»); 4) Рассуждения, связанные с выбором следующего вопроса, который будет задан человеку в процессе адаптивного взаимодействия, исходя из текущей МПЗ человека и выбранной стратегии взаимодействия.

В основе моделирования рассуждений 1-го типа лежит применение семантики логики аргументации А4, предложенной В.К. Финном. Продукции, задаваемые функциями /3и /НЕЗИ', интерпретируются как инструменты размещения соответствующих ЦЕЗ в два мультимножества: мультимножество

знания m3ll :L—>N (аргументы) и мультимножество незнания тшзи \L->N (контраргументы), где N — множество целых неотрицательных чисел. Пусть I eL, m3n (/) = /V,, тИЕЗИ (/) = N2. Тогда: если N,=0 и iV2=0, то /, (/) = «неизвестно»; если jV|>0 и N2= 0, то fL(l) = «знание»; если ^=0 и Л'2>0, то /¿(/) = «незнание»; если JV, >0 и Л^О, то /¿(/) = «противоречие».

Рассуждения 2-го типа моделируются как классический нечеткий логический вывод на основе применения композиционного правила вывода Заде: нечеткое отношение между входной и выходной переменными в данном случае — это либо /?]"', либо ït!J™L.

Рассуждения 3-го типа реализуются с помощью определенного варианта выполнения операции «свертки», В диссертационной работе предлагается 3 варианта реализации операции «свертки»: 1) на основе использования разности долей элементов со статусами «знание» и «незнание»; 2) на основе применения системы нечеткого логического вывода (CHJIB) с трапециевидными функциями принадлежности; 3) на основе связки CHJIB с «грубыми» функциями принадлежности и настраивающего эту систему генетического алгоритма (CHJIB + ГА). При этом в качестве основы для реализации CHJIB и связки СНЛВ+ГА был использован подход, предложенный А.П. Ротштейном.

Суть моделирования рассуждений 4-го типа состоит в следующем. Для каждого вопроса, входящего в текущее множество вопросов для выбора, вычисляются 2 критерия: К?"' - коэффициент соответствия вопроса текущей области знания, к1."13"- - коэффициент соответствия вопроса текущей области незнания. Также при отборе вопроса используется 3-ий критерий: Wj - сложность вопроса (он задается экспертом). Затем, в зависимости от выбранной стратегии взаимодействия, определяется постановка задачи многокритериального выбора вопроса: 1) Если Стратегия = «Максимальная лояльность», то: max, А'/":3"' min, Wt min; 2) Если Стратегия = «Максимальная строгость», то: к '"'-> min, К1/1,1"' -> max, Wj -> max.

Задача многокритериального выбора решается следующим образом: 1) Построение множества парето-оптимальиых векторов (множества Эджворта-Парето); 2) Выбор определенного вектора (т.е. вопроса) из множества парето-оптимальных векторов случайным образом, либо с помощью аддитивной свертки критериев с учетом весовых коэффициентов.

В диссертационной работе предлагаются следующие критерии эффективности адаптации для стратегий «Максимальная лояльность» и «Максимальная строгость»:

дтадапт+ _Nai+ ¡уАДАпт- _Nai-

Кмл = - Кмс = —

>

Здесь N - общее число вопросов, которое задается при одном запуске алгоритма; МАДАПТ+ - среднее число правильных ответов, данных пользователем, когда вопросы задавались в режиме адаптации с использованием стратегии

«Максимальная лояльность»; NCJ1+ - среднее число правильных ответов, данных пользователем, когда вопросы отбирались случайно; NA'lAI"~ - среднее число неправильных ответов, данных пользователем, когда вопросы задавались в режиме адаптации с использованием стратегии «Максимальная строгость»; NCJ1" - среднее число неправильных ответов, данных пользователем, когда вопросы отбирались случайно; усреднение во всех формулах ведется по числу запусков алгоритма.

В третьей главе рассматриваются дополнительные модели и алгоритмы, предлагаемая методика АКЗ, и проведенные экспериментальные исследования методики.

Для реализации предлагаемого подхода в виде программной системы, были разработаны дополнительные модели и алгоритмы: 1) Алгоритм анализа ответа на вопрос с учетом опечаток - основан на вычислении взвешенного расстояния между строками с помощью алгоритма Вагнера-Фишера; 2) Модели отбора подмножеств вопросов; 3) Модель вычисления различных интегральных числовых характеристик базы знаний о предметной области; 4) Модель уменьшения количества ЦЕЗ, имеющих статус «противоречие», на основе решения задачи многокритериальной порядковой экспертной классификации.

Все вместе предлагаемые модели и алгоритмы составляют оригинальную методику АКЗ, которая на самом «верхнем» уровне состоит из 3 этапов: 1) Выбор предметной области; 2) Разработка АСКЗ для дайной предметной области, включающая создание базы знаний и загрузку ее в базу данных программы (основная часть базы знаний описывается в файлах Microsoft Word); 3) Применение АСКЗ.

Экспериментальное исследование методики проходило в 2 этапа.

На 1-ом этапе был проведен эксперимент по накоплению фигур знания в предметной области «Основы информатики», разработанных различными субъектами. Затем, с использованием этих данных и других источников была разработана база знаний этой предметной области, некоторые данные о которой представлены в таблице 2.

Таблица 2. Некоторые параметры БЗ «Основы иш юрматики»

Название параметра Значение

1 Число фигур знания (вопросов) 250

2 Число концептов 431

3 Число ЦЕЗ 494

4 Число связей «Фигура знания - ЦЕЗ» 1146

5 Среднее число вопросов на одну ЦЕЗ 1,295

На 2-ом этапе с помощью разработанной базы знаний были проведены 2 экспериментальных исследования: исследование валидности выявления знаний; исследование эффективности механизма адаптации.

Эксперимент по подтверждению валидности выявления знаний основан на сопоставлении суждений о знаниях испытуемых, сформированных 3-мя экспертами и АСКЗ на основании одних и тех же исходных посылок - ответов испытуемых на вопросы.

Ниже, на рис. 2, представлен график, иллюстрирующий сравнение решений экспертов и АСКЗ для 30 испытуемых (решением является статус определенной КЕ, задаваемый в 7-уровневой «серой» порядковой шкале, соответствующей множеству ); решения АСКЗ формировались с помощью 3-го варианта реализации операции «свертки».

-АСКЗ (3) - — -Эксперты

Испытуемые

Рис 2. Сравнение решений системы (вариант 3) и экспертов

Коэффициент ранговой корреляции Кендалла между решениями АСКЗ и средним решением 3-х экспертов (в качестве среднего значения использовалась медиана) для 3-х вариантов реализации операции «свертки» имеет значения: 1) 0,885; 2) 0,855; 3) 0,900. Для каждого из указанных значений корреляция между двумя ранжировками статистически значима на уровне а = 0,01.

Суть экспериментального исследования эффективности механизма адаптации состоит в вычислении значений критериев эффективности адаптации для «виртуальных» испытуемых, каждому из которых соответствует «виртуальная» конфигурация знаний, представляющая собой ответы на 250 вопросов. Для каждой такой конфигурации знаний можно имитировать диалог соответствующего ей «виртуального» субъекта с АСКЗ. Теоретически число всевозможных рассматриваемых конфигураций знаний равно 2250, поэтому была использована специальная стратегия для генерации меньшего количества «виртуальных» конфигураций: 7352 для стратегии «максимальная лояльность» и 7397 для стратегии «максимальная строгость». Общее число запусков алгоритма адаптации, выполненных в ходе проведения эксперимента, составило 884940, а общее число ответов на вопросы, «полученных» от «виртуальных» субъектов, 22123500. Результаты эксперимента подтвердили эффективность адаптации для обеих стратегий адаптивного взаимодействия.

В четвертой главе описана программная реализация предлагаемой методики АКЗ. Рассмотрены архитектура программного продукта, его функции, модель базы данных, форматы файлов Microsoft Word, из которых происходит загрузка основной части базы знаний в базу данных программы.

В соответствии с наличием трех основных категорий пользователей АСКЗ, и необходимостью разделения доступа к данным и действиям для этих категорий пользователей, система реализована в виде трех автоматизированных рабочих мест: эксперта, обучаемого и администратора, каждое из которых является приложением-клиентом по отношению к серверу базы данных.

Основная идея разработанной модели базы данных (БД) состоит в введении сущности «Модель знаний» и хранении в БД ссылки па эту сущность для всех других сущностей, которым соответствуют компоненты модели знаний. Такой подход позволяет хранить в одной БД любое количество баз знаний (БЗ) по различным предметным областям, вести несколько «версий» одной БЗ, формировать новую БЗ на основе уже существующей. Таким образом, создастся гибкая среда управления данными, снижается трудоемкость описания знаний. Всего БД содержит 37 таблиц и является частично депормализованной.

Для создания системы использовались среда разработки Delphi и СУБД Firebird, клиентская часть приложения состоит из 43 программных модулей.

Заключение содержит основные полученные результаты и выводы из выполненного в работе исследования.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведены анализ и классификация существующих методов и моделей АКЗ, а также моделей представления знаний и моделей рассуждений, используемых для решения задачи АКЗ.

2. Разработана новая теоретико-множественная модель описания экспертных знаний о предметной области для решения задачи АКЗ.

3. Разработана новая теоретико-множественная модель описания персональных знаний обучаемого о предметной области для решения задачи АКЗ.

4. Разработаны новые алгоритмы АКЗ, основанные на использовании различных способов вывода на знаниях.

5. На основе предлагаемых моделей и алгоритмов разработана новая методика АКЗ.

6. Разработана и апробирована программная система, реализующая предлагаемую методику АКЗ.

7. Проведены экспериментальные исследования предлагаемой методики АКЗ, которые подтвердили валидность выявления знаний и эффективность предложенного механизма адаптации.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

В журналах, входящих в Перечень изданий, рекомендованных ВАК РФ.

1. Проскурнин A.A., Филиппович Ю.Н. Методы представления, автоматизированного выявления и анализа декларативных знаний человека о предметной области в компьютерных системах контроля знаний // Проблемы полиграфии и издательского дела. - 2010. -№ 2. - С. 71-78.

В других изданиях.

2. Проскурнин A.A. Компьютеризованное обучение химии и химической технологии // Новые технологии в азотной промышленности: Сб. трудов обще-

российской науч.-техн. конф. / Северо-Кавказский государственный технический университет. Ставрополь, 2003. — С. 69-71.

3. Проскурнин A.A. Реферативный обзор по теме «Интеллектуальные системы тестирования и контроля знаний» // Интеллектуальные технологии и системы. Сборник учебно-методических работ и статей аспирантов и студентов. Выпуск 6. / Сост. и ред. Ю.Н. Филипповича. - М.: Изд-во ООО «Эликс+», 2004. -С. 251-259.

4. Проскурнин A.A. Интеллектуальные системы тестирования и контроля знаний // Вестник информационных технологий в образовании. Сборник учебно-методических и научных работ. Выпуск 1. - М.: УМК по специальности ИТО, 2005. - С. 152-160.

5. Проскурнин A.A. Математические модели оценки знаний // Интеллектуальные технологии и системы. Сборник учебно-методических работ и статей аспирантов и студентов. Выпуск 7. / Сост. и ред. Ю.Н. Филипповича. — М.: Изд-во ООО «Эликс+», 2005.-С. 197-210.

6. Проскурнин A.A. Автоматизированная система контроля знаний // Интеллектуальные технологии и системы. Сборник учебно-методических работ и статей аспирантов и студентов. Выпуск 8. / Сост. и ред. Ю.Н. Филипповича. -М.:НОК «CLAIM», 2006. - С. 200-208.

7. Проскурнин A.A. Автоматизированное извлечение декларативных знаний субъекта на основе когнитивного тезауруса // Интеллектуальные технологии и системы. Сборник учебно-методических работ и статей аспирантов и студентов. Выпуск 9. / Сост. и ред. Ю.Н. Филипповича. - М.: НОК «CLAIM», 2007. -С.225-238.

8. Проскурнин A.A. Автоматизированное выявление и анализ декларативных знаний человека в интеллектуальных системах поддержки процессов обучения // Молодежь и наука: реальность и будущее: Материалы 1 Международной научно-практической конференции (Невинномысск, 26 февраля 2008). Сборник в 3 томах. Том 2 - Невинномысск: НИЭУП, 2008. - С. 282-285.

9. Филиппович 10.Н., Проскурнин A.A. Структурный анализ персональных знаний с использованием системы нечеткого логического вывода // Научная школа для молодых ученых «Компьютерная графика и математическое моделирование (Visual Computing)»: тезисы и доклады. - Москва, 2009. - С. 162-178.

10. Проскурнин A.A. Интеллектуальная система автоматизированного выявления и анализа декларативных знаний обучаемого // Инновации в образовательных системах: Материалы I Всероссийской дистанционной научно-практической конференции (25 декабря 2009 г.) / Под ред. И. В. Резанович. -Челябинск, Издательский центр ЮУрГУ, 2009. - С. 12-16.

11. Проскурнин A.A. Отбор подмножеств заданий в системе контроля знаний на основе решения задачи линейного программирования с булевыми переменными // Материалы научной межвузовской конференции преподавателей, аспирантов, молодых ученых и специалистов «Печатные средства информации в современном обществе (к 80-летию МГУП)». Секция «Электронные средства информации в современном обществе». Сб. тез. докл. - М., 2010. - С. 64-65.

Подписано в печать 19.11.2010 г. Формат бумаги 60x90.1/16.1 п.л. Тираж 100 экз. Заказ №481

Типография Aegis-Print 115230, Москва, Варшавское шоссе, д. 42 Тел.: 543-50-32 www.autoref.ae-print.ru

ВВЕДЕНИЕ.

ГЛАВА 1. ОБЗОР СУЩЕСТВУЮЩИХ МЕТОДОВ И МОДЕЛЕЙ АКЗ.

1.1. Общая характеристика задачи АКЗ. Понятия АВЗ и АВАЗ.

1.1.1. Выявление и оценка знаний.

1.1.2. Понятия АВЗ и АВАЗ. Две базовые парадигмы решения задачи АКЗ

1.1.3. Концептуальная модель АКЗ.

1.2. Классификация методов и моделей АКЗ.

1.2.1. Классификации компьютерных средств обучения.

1.2.2. Классификации методов АКЗ по некоторым критериям.

1.2.3. Классификация методов взаимодействия человек-компьютер, применяемых для решения задачи АКЗ.

1.2.4. Классификация типов моделей персональных знаний, формируемых с помощью различных методов АКЗ.

1.3. Математические модели АКЗ, ие использующие теорию и методы искусственного интеллекта.

1.3.1. Математическая теория обучения (научения). Статистическая теория обучения и контроля знаний.

1.3.2. Модели теории педагогических измерений.

1.4. Модели представления знаний и модели рассуждений в задачах АКЗ

1.4.1. Краткий обзор моделей представления знаний и моделей рассуждений.

1.4.2. Обзор моделей представления знаний и моделей рассуждений, применяемых в существующих интеллектуальных системах обучения и контроля (диагностики) знаний для решения задачи АКЗ (АВЗ).

1.4.3. Концептуальная модель применения моделирования знаний и рассуждений для решения задачи АКЗ.

1.5. Выводы по главе.

ГЛАВА 2. МОДЕЛИ ПРЕДСТАВЛЕНИЯ ЗНАНИЙ И МОДЕЛИ РАССУЖДЕНИЙ, СОСТАВЛЯЮЩИЕ ОСНОВУ ПРЕДЛАГАЕМОЙ МЕТОДИКИ АКЗ.

2.1. Модели представления знаний.

2.1.1. Понятие фигуры знания. Связь фигур знания с ассоциативным тезаурусом.

2.1.2. Представление знаний о предметной области: общая характеристика.

2.1.3. Представление знаний о предметной области: формальная модель

2.1.4. Представление персональных знаний. Инструменты анализа знаний

2.1.5. Формальное определение состояний МПЗ и преобразований между ними.

2.1.6. Формальная постановка задачи АКЗ (АВЗ). Преимущества и недостатки предлагаемого подхода к формализации задачи АКЗ (АВЗ).

2.2. Модели рассуждений.

2.2.1. Краткая характеристика типов моделируемых рассуждений.

2.2.2. Рассуждения о знании/незнании ЦЕЗ и логический анализ персональных знаний на уровне ЦЕЗ на основе логики аргументации А4.

2.2.3. Доказательство монотонности преобразования «МПЗ на уровне вопросов —> МПЗ на уровне ЦЕЗ», задаваемого на основе семантики логики аргументации А4.

2.2.4. Рассуждения о знании/незнании КЕ и операция «свертки». Условие монотонности преобразования «МПЗ на уровне ЦЕЗ МПЗ на уровне КЕ». Структурный анализ персональных знаний.

2.2.5. Варианты реализации операции «свертки». Логический анализ персональных знаний на уровне КЕ.

2.2.6. Генетический алгоритм для настройки СНЛВ операции «свертки»

2.2.7. Механизм рассуждений в процессе адаптивного взаимодействия. Критерии эффективности адаптации и пример их вычисления.

2.2.8. Анализ соответствия персональных знаний эталонным образам знания.

2.2.9. Преимущества и недостатки предлагаемых моделей рассуждений

2.3. Выводы по главе.

ГЛАВА 3. ДОПОЛНИТЕЛЬНЫЕ МОДЕЛИ И АЛГОРИТМЫ. ПРЕДЛАГАЕМАЯ МЕТОДИКА АКЗ.

3.1. Дополнительные модели и алгоритмы.

3.1.1. Алгоритм анализа ответа на вопрос с учетом возможных опечаток

3.1.2. Модели отбора подмножеств вопросов.

3.1.3. Интегральные числовые характеристики когнитивного тезауруса!

3.1.4. Модель уменьшения количества ЦЕЗ, имеющих статус «противоречие», на основе решения задачи многокритериальной порядковой экспертной классификации.

3.2. Предлагаемая методика АКЗ.

3.2.1. Краткая характеристика основных этапов применения методики!

3.2.2. Рекомендации по разработке основных компонентов когнитивного тезауруса.

3.2.3. Модель применения АСКЗ.

3.2.4. Место предлагаемой методики АКЗ среди других подходов к решению задачи АКЗ (АВЗ).

3.3. Экспериментальные исследования предлагаемой методики АКЗ.

3.3.1. Эксперимент по накоплению фигур знания. Разработка когнитивного тезауруса для предметной области «Основы информатики».

3.3.2. Экспериментальное исследование валидности выявления знаний.

3.3.3. Экспериментальное исследование механизма адаптации.

3.4. ВЫВОДЫ ПО ГЛАВЕ.

ГЛАВА 4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ МЕТОДИКИ АКЗ.

4.1. Общее описание.

4.1.1. Наименование, цели и назначение разработки.

4.1.2. Диаграмма прецедентов в нотации UML.

4.1.3. Функции программного продукта.

4.2. Архитектура системы.

4.2.1. Реализация системы в рамках архитектуры «клиент-сервер». Автоматизированные рабочие места (АРМ).

4.2.2. Характеристика модели базы данных.

4.3. Реализация импорта данных когнитивного тезауруса. Интерфейс взаимодействия «пользователь-система».

4.3.1. Обобщенный алгоритм импорта данных когнитивного тезауруса. Форматы файлов загрузки.

4.3.2. Графы диалога автоматизированных рабочих мест системы.

4.4. Выводы по главе.

Актуальность исследования. Современный этап развития науки, образования и народного хозяйства характеризуется разработкой и использованием информационных технологий, основанных на знаниях, на базе средств вычислительной техники, применением методов искусственного интеллекта при создании информационных систем. Возник и развивается широкий класс информационных систем — автоматизированные системы контроля знаний (АСКЗ).

Идея использования моделей и методов искусственного интеллекта в компьютерных средствах поддержки процессов обучения не является новой: первые системы такого типа появились в 70-х годах XX века. К настоящему времени эта идея уже доказала свою эффективность, и с развитием области искусственного интеллекта постоянно развивается и область интеллектуализации таких компьютерных систем.

Под автоматизированной системой контроля знаний (АСКЗ) в работе понимается автоматизированная система, основная функция которой состоит в формировании модели персональных знаний пользователя (МПЗ) в результате взаимодействия система-пользователь (под МПЗ человека понимается любая информация о знаниях человека в некоторой предметной области). Аналогично, автоматизированный контроль знаний (АКЗ) человека определяется как процесс взаимодействия человека и компьютера, в результате которого в памяти компьютера формируется МПЗ человека.

В современном мире научно-технический прогресс и формирование информационного общества создают ситуацию, когда потребность в обучении и самообучении поддерживается на протяжении всей жизни человека. Рассматривая процесс обучения как процесс управления сложной системой, необходимо отметить, что важнейшим компонентом обучения является механизм обратной связи, роль которого играет контроль знаний.

Основная цель любой АСКЗ — реализовать обратную связь: это либо обратная связь от ученика к преподавателю в системе «предметная область — преподаватель (субъект обучения) — ученик (объект обучения)», либо обратная связь от ученика к самому же ученику в системе «предметная область (объект изучения) — ученик (субъект изучения)». В первом случае речь идет о классической ситуации обучения как «совместной целенаправленной деятельности учителя и учащихся» [1], во втором — о ситуации самообучения, т.е. самостоятельного изучения некоторой предметной области, или же о самопроверке и самодиагностике, объектом которых являются знания.

Мышление, память, когнитивные процессы человека доступны для непосредственного восприятия только ему самому, а для других людей всегда остаются «черным ящиком». Поэтому судить о знаниях человека, содержании его памяти, способах мышления можно только по внешним проявлениям этих характеристик в деятельности человека, которые выступают своеобразными индикаторами для формирования суждений. Таким образом, в функционировании любой АСКЗ можно выделить 2 фазы: 1) фаза взаимодействия, результатом которой является совокупность фактических данных о деятельности пользователя в процессе взаимодействия с системой; 2) фаза интерпретации, состоящая в преобразовании полученных в результате предыдущей фазы фактических данных в МПЗ пользователя.

В большом количестве работ в области построения систем контроля знаний и значительном разнообразии предлагаемых подходов, можно выделить две базовые парадигмы их создания: парадигму оценки (измерения) знаний и парадигму выявления и анализа знаний.

В рамках первой парадигмы МПЗ представляет собой скаляр (так называемая «скалярная модель обучаемого»). В этом случае основной целью контроля знаний является их оценка, формирование некоторой меры (рейтинга, ранга), характеризующей знания человека, их носителя. Системы, построенные на основе этой парадигмы, наиболее часто относят к классу тестирующих, или тестового контроля знаний. Они дают человеку формальную оценку его знаний, т.е. отвечают на вопрос «на сколько?» он знает тот или иной предмет.

Вторая парадигма подразумевает, что МПЗ — это модель данных, для которых характерна внутренняя интерпретируемость, структурированность, связность, иерархичность информационных единиц. Такие системы дают содержательное описание знаний человека, отвечают на вопрос «что он знает или не знает?» о предмете.

Большой вклад в развитие методов формирования оценки знаний, относящихся, прежде всего, к теории педагогических измерений, внесли B.C. Ава-несов, А. Бирнбаум, Ф. Лорд, А.Н. Майоров, В.И. Михеев, Ю.М. Нейман, М. Новик, Г. Раш, А.О. Татур, М.Б. Челышкова, А.О. Шмелев и другие ученые.

Методы создания интеллектуальных систем обучения и контроля знаний исследовали многие отечественные и зарубежные ученые: C.B. Астанин, П. Брусиловский, А.И. Башмаков, ИА. Башмаков, В.И. Васильев, Т.А. Гаврилова, Д.О. Жуков, Дж. Карбонелл, В.М. Курейчик, В.А. Петрушин, Д.И. Попов, JI.A. Растригин, И.Д. Рудинский, Г.В. Рыбина, B.JI. Стефанюк, Т.А. Таран.

В разработку методов создания систем, основанных на знаниях, большой вклад внесли В.Н. Вагин, А.П. Еремеев, A.C. Нариньяни, Г.С. Осипов, Э.В. Попов, Г.С. Поспелов, ДА. Поспелов, В.К. Финн, В.Ф. Хорошевский и другие.

Подходы к созданию АСКЗ в парадигме выявления и анализа знаний, на сегодняшний день, исследованы в гораздо меньшей степени, т.к. в большинстве работ наивысший приоритет отдается решению задачи формирования интегральной оценки знаний.

Предлагаемый в диссертации подход к решению задачи автоматизированного контроля знаний ориентирован на содержательное описание и анализ персональных знаний обучаемого о предметной области.

Актуальность этого подхода обуславливается необходимостью внедрения инновационных образовательных технологий, основанных на активных и инте-f рактивных формах проведения занятий и контроля знаний обучающихся, использования в процессе обучения разнообразных источников информации. Реализация подхода ориентирована также и на устранение следующих характерных недостатков в уже существующих АСКЗ, предназначенных для формирования содержательного описания знаний обучаемого:

1. Использование методов АКЗ, максимально учитывающих специфику конкретной предметной области, и неприменимых для других областей.

2. Моделирование в АСКЗ учебного курса (предмета), а не предметной области как таковой.

3. Поверхностность, низкий уровень детализации описания знаний обучаемого в АСКЗ.

4. Необходимость наличия достаточно больших репрезентативных выборок обучаемых.

5. С одной стороны, закрытая форма заданий обладает существенными недостатками; с другой стороны, для открытой формы заданий, подразумевающей анализ свободного естественно-языкового ответа обучаемого в виде предложения, крайне трудно гарантировать высокую адекватность такого анализа.

6. Применение в АСКЗ таких методов формирования МПЗ, при которых принципиально невозможно пояснить пользователю ход рассуждений, с помощью которых была получена модель его знаний.

7. Отсутствие в АСКЗ инструментов анализа знаний обучаемого, выявленных системой.

8. Ориентированность АСКЗ на один сеанс взаимодействия с обучаемым, после которого ему/ей выдаются результаты, а не на многие сеансы, подразумевающие «диалоги» с системой в течение продолжительного периода времени, когда с каждым сеансом взаимодействия пополняется (уточняется) МПЗ обучаемого.

С точки зрения построения АСКЗ предлагаемый в работе подход основан на концепции АСКЗ как оболочки системы, основанной на знаниях (СОЗ). СОЗ предполагает разделение знаний, используемых системой, и программ для решения прикладных задач. Поэтому, при наличии АСКЗ в виде оболочки СОЗ, разработка новой АСКЗ для определенной предметной области сводится к «наполнению» базы знаний системы, а сопровождение АСКЗ будет заключаться в сопровождении базы знаний без модификации программ для решения задач. Разработка СОЗ предполагает разработку формальных моделей представления знаний, а также алгоритмов обработки этих знаний, позволяющих имитировать рассуждения человека, на основе которых человек решает определенные задачи. В случае АСКЗ необходимо разработать формализм представления экспертных знаний о предметной области, и, на его основе — формализм представления персональных знаний пользователя о предметной области (т.е. формальную модель МПЗ), а основой алгоритмов манипулирования этими знаниями будет являться имитация различных типов рассуждений человека-эксперта, осуществляющего контроль знаний.

С точки зрения концепции интеллектуализации АСКЗ, предлагаемый в работе подход можно наиболее кратко охарактеризовать как создание «активной энциклопедии». В отличие от пассивной энциклопедии, которую можно только читать, активная энциклопедия не «передает» знания пользователю, а предоставляет ему различные стратегии адаптивного вопросно-ответного взаимодействия, целью которых является соотнесение знаний пользователя со знаниями системы и синтез на основе этого соотнесения содержательной, структурной МПЗ пользователя. Вместе с этим система предоставляет пользователю инструменты анализа выявленных ею знаний (структурный анализ, логический анализ, анализ соответствия эталонным образам знания). Конечная цель взаимодействия пользователя с системой в этом случае — узнать все то, что знает система, т.е. устранить имеющиеся пробелы в своих знаниях, а также структурировать и систематизировать знания, и, тем самым, сделать их более осознанными.

Цель и задачи исследования. Целью диссертационного исследования является разработка и практическая реализация в виде программной системы новой методики АКЗ, ориентированной на решение задачи формирования содержательного, структурного описания персональных знаний обучаемого, с учетом устранения описанных выше недостатков в существующих подходах к решению этой задачи.

Для достижения этой цели в диссертационной работе решены следующие основные задачи:

1. Проведены анализ и классификация существующих методов и моделей АКЗ, а также моделей представления знаний и моделей рассуждений, используемых для решения задачи АКЗ.

2. Разработаны математические модели описания экспертных знаний и знаний обучаемого о предметной области для решения задачи АКЗ.

3. Разработаны алгоритмы АКЗ, основанные на использовании различных способов вывода на знаниях.

4. На основе предложенных моделей и алгоритмов разработана методика АКЗ.

5. Разработана и апробирована программная система, реализующая предлагаемую методику АКЗ.

6. Проведены экспериментальные исследования методики АКЗ.

Объектом исследования в работе являются модели представления знаний и модели рассуждений.

Предметом исследования являются способы применения моделей представления знаний и моделей рассуждений в АСКЗ, которые ориентированы на решение задачи формирования содержательного, структурного описания персональных знаний обучаемого, исходя из взаимодействия с ним.

Научная новизна исследования. Научно новыми являются следующие результаты, полученные в диссертационном исследовании:

1. Разработана новая теоретико-множественная модель описания экспертных знаний о предметной области для решения задачи АКЗ, отличающаяся от известных использованием элементарных единиц вербального языкового знания.

2. Разработана новая теоретико-множественная модель описания персональных знаний обучаемого о предметной области для решения задачи АКЗ, отличающаяся от известных использованием целевых единиц знания, а также выделением трех уровней описания, соответствующих трем различным типам анализа персональных знаний обучаемого — структурному анализу, логическому анализу, и анализу соответствия эталонным образам знания.

3. Разработаны новые алгоритмы АКЗ, позволяющие формировать описание персональных знаний обучаемого, исходя из взаимодействия с ним, и основанные на использовании различных способов вывода. Отличительной особенностью этих алгоритмов является обработка знаний, формальное описание которых дано в соответствии с предлагаемыми теоретико-множественными моделями, а также применение четырехзначной логики аргументации.

4. На основе предлагаемых моделей и алгоритмов разработана новая методика АКЗ.

Методы исследования. В работе использованы теория множеств и отношений, методы искусственного интеллекта, аппарат нечетких множеств и нечеткого логического вывода, методы исследования операций (решение задач многокритериальной оптимизации). При разработке программного продукта использовались объектно-ориентированный и реляционный подходы к построению программных систем.

Основные положения, выносимые на защиту.

1. Теоретико-множественные модели описания экспертных знаний и персональных знаний обучаемого о предметной области для решения задачи АКЗ.

2. Алгоритмы АКЗ, основанные на использовании различных способов вывода на знаниях.

3. Комплекс дополнительных моделей и алгоритмов, которые совместно с другими составляют основу для реализации методики АКЗ.

4. Методика АКЗ, основанная на предлагаемых моделях и алгоритмах.

Обоснованность и достоверность научных положений, рекомендаций и выводов. Обоснованность и достоверность научных положений, рекомендаций и выводов определяется корректным применением соответствующих методов исследования, а также подтверждается результатами экспериментальных исследований предлагаемой методики АКЗ. Предложенные определения понятий и классификации апробированы на конференциях и в научных публикациях.

Практическая ценность работы. Разработанный программный продукт, который является оболочкой системы, основанной на знаниях, позволяет создавать АСКЗ в различных предметных областях путем «наполнения» базы знаний системы. Разработана база знаний предметной области «Основы информатики», и АСКЗ на основе этой базы знаний. Материалы проведенного исследования были использованы в учебном процессе кафедры «Автоматизированные системы обработки информации и управления» МГТУ им. Баумана, в рамках дисциплин «Семиотика информационных технологий» и «Компьютерные технологии в науке и образовании».

Апробация работы. Основные результаты диссертационной работы докладывались и были одобрены на заседаниях комиссий по аттестации аспирантов кафедры «Автоматизированные системы обработки информации и управления» МГТУ им. Н.Э. Баумана в 2005-2008 гг. Также материалы работы были представлены на следующих научных конференциях и семинарах: Общероссийской научно-технической конференции «Новые технологии в азотной промышленности» (г. Невинномысск, 2003); I Международной научно-практической конференции «Молодежь и наука: реальность и будущее» (г. Невинномысск, 2008); Научно-методическом семинаре НОК CLAIM, на кафедре «Автоматизированные системы обработки информации и управления» МГТУ им. Н.Э. Баумана (г. Москва, 2007, 2009); Научной школе для молодых ученых «Компьютерная графика и математическое моделирование (Visual Computing)» (г. Москва, 2009); III школе-семинаре «Задачи системного анализа, управления и обработки информации» (г. Москва, 2009); I Всероссийской дистанционной научно-практической конференции «Инновации в образовательных системах» (г. Челябинск, 2009); Научной межвузовской конференции преподавателей, аспирантов, молодых ученых и специалистов «Печатные средства информации в современном обществе» (г. Москва, 2010).

Публикации по теме диссертации. Основные результаты по теме диссертации опубликованы в 11 -ти печатных работах, в том числе 1 — в журнале, включенном в Перечень ВАК РФ.

Объем и структура работы. Диссертация состоит из списка основных сокращений, введения, четырех глав, заключения, списка использованных источников из 294 наименований и 9 приложений. Основной текст изложен на

197 страницах, включая рисунки и таблицы. Приложения выполнены на 46 страницах.

Содержание работы. Во введении к диссертации обосновывается актуальность работы, определена цель и поставлены задачи исследования, сформулирован перечень базисных положений, выносимых на защиту, научная новизна проведенного исследования, практическая ценность результатов работы.

Первая глава диссертации посвящена обзору существующих методов и моделей АКЗ. Дана общая постановка задачи АКЗ, описаны классификации методов решения этой задачи по различным критериям, рассматриваются модели представления знаний и модели рассуждений в задачах АКЗ.

Во второй главе рассматриваются модели представления знаний и алгоритмы их обработки, которые предлагаются в работе для решения задачи АКЗ.

В третьей главе рассматриваются дополнительные модели и алгоритмы, предлагаемая методика АКЗ, и проведенные экспериментальные исследования методики.

В четвертой главе описана программная реализация предлагаемой методики АКЗ. Рассмотрены архитектура программного продукта, его функции, модель базы данных, форматы файлов Microsoft Word, из которых происходит загрузка основной части базы знаний в базу данных программы.

Заключение содержит основные полученные результаты и выводы из выполненного в работе исследования.

4.4. Выводы по главе

1. Основной целью разработки системы с точки зрения эксперта является предоставление ему возможности разработки базы знаний (когнитивного тезауруса) в некоторой предметной области, которая впоследствии будет использоваться как некий «эталон», «критерий» при выявлении и анализе знаний обучаемых; основная цель разработки системы с точки зрения обучаемого — предоставление ему возможности взаимодействовать с системой как с неким «виртуальным» экспертом, и в результате этого взаимодействия выявлять и анализировать свои знания, считая экспертные знания, заложенные ранее в систему, неким «критерием» для этого.

2. Основными, самыми «высокоуровневыми» функциями ИС АВАЗ являются обеспечение возможности разработки экспертом базы знаний в определенной предметной области, а также организация вопросно-ответного взаимодействия с обучаемым, с целью выявления и анализа его знаний, и предоставление обучаемому описания его персональных знаний, выявленных системой, и результатов их анализа.

3. Реализация ИС АВАЗ в виде трех АРМ: АРМ эксперта, АРМ обучаемого и АРМ администратора, позволяет эффективно организовать разделение доступа к данным и действиям для соответствующих категорий пользователей.

4. Введение в модель базы данных системы сущности «тезаурус» и хранение в базе данных ссылки на тезаурус для всех видов компонентов тезауруса и результатов различных расчетов, позволяет хранить в одной базе данных любое количество тезаурусов по различным предметным областям, вести несколько «версий» тезауруса, формировать новый тезаурус на основе уже существующего, копировать компоненты из одного тезауруса в другой. Таким образом, создается гибкая среда управления данными, и снижается трудоемкость разработки тезауруса.

ЗАКЛЮЧЕНИЕ

Основные полученные результаты и выводы из выполненного в работе исследования состоят в следующем:

1. Проведены анализ и классификация существующих методов и моделей АКЗ, а также моделей представления знаний и моделей рассуждений, используемых для решения задачи АКЗ.

2. Разработана новая теоретико-множественная модель описания экспертных знаний о предметной области для решения задачи АКЗ.

3. Разработана новая теоретико-множественная модель описания персональных знаний обучаемого о предметной области для решения задачи АКЗ.

4. Разработаны новые алгоритмы АКЗ, основанные на использовании различных способов вывода на знаниях.

5. На основе предлагаемых моделей и алгоритмов разработана новая методика АКЗ.

6. Разработана и апробирована программная система, реализующая предлагаемую методику АКЗ.

7. Проведены экспериментальные исследования предлагаемой методики АКЗ, которые подтвердили валидность выявления знаний и эффективность предложенного механизма адаптации.

1. Педагогический энциклопедический словарь / Под ред. Б.М. Бим-Бад. — М.: Большая рос. энцикл., 2002. 527 с.

2. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. — М.: Логос, 2002.-432 е.: ил.

3. Атанов Г.А. Пустынникова И.Н. Обучение и искусственный интеллект или Основы современной дидактики высшей школы. — Донецк: Изд-во ДОУ, 2002. 504 с.

4. Караулов Ю.Н. Вербальные единицы знания: структура, объем, качество // Язык и мы. Мы и язык: Сборник статей памяти Б.С. Шварцкопфа / Отв. ред. Р.И. Розина. М.: РГГУ, 2006. - 546 с.

5. Большой энциклопедический словарь. 2-е изд. - М.: Науч. изд-во «Большая российская энциклопедия», 1998.

6. Захарова И.Г. Информационные технологии в образовании: Учеб. пособие для студ. высш. пед. учеб. заведений. — М.: Издательский центр «Академия», 2003.- 192 с.

7. Лавров O.A. Что есть знание? Является ли обучение передачей знаний? Что такое е-знания? Является ли е-обучение передачей е-знания? // Образовательные технологии и общество. — 2003. — № 6(3). — С. 91-96.

8. Розина И. Н. Педагогическая коммуникация в электронной среде: теория, практика и перспективы развития // Образовательные технологии и общество. — 2004.-№7(2).

9. Аванесов B.C. Педагогическое измерение латентных качеств // Педагогическая диагностика. — 2003. — № 4.

10. Нейман Ю.М. Как измерять учебные достижения? // Вопросы тестирования в образовании. — 2001. — № 1. — С. 40-56.

11. Михеев О.В. Математические модели стандартизованных педагогических тестов // Материалы международной конференции-выставки «Информационные технологии в образовании». — Москва, 2003.

12. Левинская М.А. Автоматизированная генерация заданий по математике для контроля знаний учащихся // Образовательные технологии и общество. — 2002. № 5(4). - С. 214-221.

13. Норенков И.П., Зимин А.М. Информационные технологии в образовании. -М.: Изд-во МГТУ им. Н.Э. Баумана, 2004. — 352 е.: ил. (Сер. Информатика в техническом университете).

14. Нариньяни A.C. Модель или алгоритм: новая парадигма информационной технологии // Информационные Технологии. — 1997. № 4. — С. 11-16.

15. Стариченко Б.Е. Теоретические основы информатики: Учебное пособие для вузов. — 2-е изд. перераб. и доп. — М.: Горячая линия — Телеком, 2004. — 312 е.; ил.

16. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. — М.: Информационно-издательский дом «Филинъ», 2003. — 616 с.

17. Полат Е.С., Бухаркина М.Ю., Моисеева М.В. Теория и практика дистанционного обучения: Учеб. пособие для студ. высш. пед. учеб. заведений / Под ред. Е.С. Полат. — М.: Издательский центр «Академия», 2004. — 416 с.

18. Галеев И.Х., Иванов В.Г., Ахмадуллин М.С., Сосновский С.А., Чепегин В.И., Колосов О.В. О развитии инфраструктуры системы открытого образования // Материалы Всероссийской научно-методической конференции «Телематика 2002». — Санкт-Петербург, 2002.

19. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++, 2-е изд./Пер. с англ. — М.: «Издательство Бином», СПб.: «Невский диалект», 2000. — 560 е., ил.

20. Гаврилова Т.А. Хорошевский В.Ф. Базы знаний интеллектуальных систем. СПб.: Питер, 2001. 384 е.: ил.

21. Герман О.В. Введение в теорию экспертных систем и обработку знаний. -Мн.: ДизайнПРО, 1995.-255 е.; ил.

22. Нейлор К. Как построить свою экспертную систему: Пер. с англ. — М.: Энергоатомиздат, 1991.-286 е.: ил.

23. Аллахвердов В.М. Методологическое путешествие по океану бессознательного к таинственному острову сознания. — СПб.: Издательство «Речь», 2003.-368 с.

24. Пенроуз Р. Новый ум короля: О компьютерах, мышлении и законах физики: Пер. с англ. / Общ. ред. В.О. Малышенко. Предисл. Г.Г. Малинецкого. Изд. 2-е, испр. — М.: Едиториал УРСС, 2005. 400 с. (Синергетика: от прошлого к будущему).

25. Люгер, Джордж Ф. Искусственный интеллект: стратегии и методы решения сложных проблем, 4-е издание. : Пер. с англ. — М.: Издательский дом «Вильяме», 2003. 864 с. : ил. — Парал. тит. англ.

26. Рассел, Стюарт. Норвиг, Питер. Искусственный интеллект: современный подход, 2-е изд.: Пер. с англ. — М.: Издательский дом «Вильяме», 2006. — 1408 с. : ил. — Парал. тит. англ.

27. Поспелов Д.А. Интеллектуальные интерфейсы для ЭВМ новых поколений // Электронная вычислительная техника. Сборник статей. Вып.З. М.: Радио и связь, 1989. - С. 4-20.

28. Попов Э.В. Общение с ЭВМ на естественном языке. Изд. 2-е, стереотипное. — М.: Едиториал УРСС, 2004. 360 с. (Науки об искусственном).

29. Валькман Ю.Р. Моделирование НЕ-факторов — основа интеллектуализации компьютерных технологий // Новости искусственного интеллекта. 2004. — № 2. — С. 64-81.

30. Кривошеев А.О. Разработка и использование компьютерных обучающих программ // Информационные технологии. 1996. — № 2. — С. 14-18.

31. Гаврилова Т.А., Червинская K.P. Извлечение и структурирование знаний для экспертных систем. — М.: Радио и связь, 1992.

32. Зайцева Л.В., Прокофьева Н.О. Модели и методы адаптивного контроля^ знаний // Образовательные технологии и общество. — 2004. — № 7(4). — С. 265277.

33. Панкратова Л.П., Челак E.H. Контроль знаний по информатике: тесты, контрольные задания, экзаменационные вопросы, компьютерные проекты. — СПб.: БХВ-Петербург, 2004. 448 е.: ил.

34. Аванесов B.C. Основы педагогической теории измерений // Педагогические измерения. — № 1.

35. Аванесов B.C. Этапы разработки теста // «Конструирование педагогических тестов по русскому языку как иностранному». Доклады и сообщения. ЦМО МГУ им. М.В.Ломоносова. 15-16 апреля 2003 г. М., 2003. - С. 7-12.

36. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе. М.: Иссл. центр, 1989. 167 с.

37. Аванесов B.C. Композиция тестовых заданий. 1, 2 и 3 изд.; 3 изд. М.: Центр тестирования 2002 г. — 217 с.

38. Аванесов B.C. Математические модели педагогического измерения. Научное издание. М.: Иссл. центр проблем качества подготовки специалистов, 1994.-26 с.

39. Бирюкова Н.С., Соловова Д.В. Логический контроль знаний в компьютерных обучающих системах // Материалы международной научно-методической конференции «Образование и виртуальность». Ялта: ХНУРЭ, 2003.

40. Всеволодский С.Н., Гаврилов A.B. Архитектура интеллектуальной системы тестирования знаний с анализом ответов на естественном языке. // Международная конференция ИСТ-2003 "Информационные системы и технологии'^ Новосибирск, 2003. Т.З, С. 114-115.

41. Ерохин A.JL, Захаров И.П., Никитенко А.Н. Программа дистанционного тестирования знаний на основе алгоритма смыслового конструирования. // Материалы международной научно-методической конференции «Образование и виртуальность». — Ялта: ЯИМ, 2001.

42. Олкконен Е.А. Методы диагностики знаний обучаемого и анализа его ответов в языковых интеллектуальных обучающих системах // Труды Петрозаводского государственного университета. Сер. «Прикладная математика и информатика». Вып. 7, 1998.

43. Олкконен Е.А. Модели представления знаний в языковых интеллектуальных обучающих системах // Труды Петрозаводского государственного университета. Сер. «Прикладная математика и информатика». Вып. 6, 1997.

44. Леоненков A.B. Нечеткое моделирование в среде MATLAB и fiizzyTECH. СПб.: БХВ-Петербург, 2005. - 736 е.: ил.

45. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети: Учеб. Пособие. — М.: Издательство Физико-математической литературы, 2001. — 224 с.

46. Рудинский И.Д. Принципы интеллектуального автоматизированного тестирования знаний // Материалы международной конференции-выставки «Информационные технологии в образовании». Москва, 2001.

47. Кривицкий Б.Х. К вопросу о компьютерных программах учебного контроля знаний // Образовательные технологии и общество. — 2004. — № 7(2). — С. 158-169.

48. Васильев В.И., Тягунова Т.Н. Культура компьютерного тестирования. Ч. 1. Философия адаптивного тестирования. М.: МГУП, 2002, 200 с.

49. Васильев В.И., Тягунова Т.Н. Культура компьютерного тестирования. Ч.

50. Программно-дидактическое тестовое задание. М.: МГУП, 2002. 90 с.

51. Васильев В .И., Тягунова Т.Н. Культура компьютерного тестирования. Ч.

52. Содержательность и логичность тестовых суждений. М.: МГУП, 2002. 95 с.

53. Васильев В.И., Глухов В.В., Тягунова Т.Н. Культура компьютерного тестирования. Ч. 5. Оптимальная оценка уровня учебных достижений тестируемых. М.: МГУП, 2002. 75 с.

54. Белоногов А.Н. Пакет серверных компонентов «QTI READY» для работы с тестами в формате IMS QTI // Материалы международной конференции-выставки «Информационные технологии в образовании». — Москва, 2004.

55. Малых A.A., Манцивода A.B., Романова O.A., Стукушин Н.О. QTI-плейер: онлайновый сервис поддержки тестирования // Материалы Всероссийской научно-методической конференции «Телематика 2004». — Санкт-Петербург, 2004.

56. Гужов В.И., Данин В.Ю., Пинтус Е.С. Система тестирования на основе спецификации EMS QTI // Материалы Всероссийской научно-методической конференции «Телематика 2003». — Санкт-Петербург, 2003.

57. Напрасник C.B., Цимбалюк Е.С., Шкиль A.C. Компьютерная система тестирования знаний OpenTEST 2.0 // Материалы международной научно-методической конференции «Образование и виртуальность». Ялта: ХНУРЭ, 2006.

58. Буль Е.Е. Обзор моделей студента для компьютерных систем обучения // Образовательные технологии и общество. — 2003. — № 6(4). — С. 245-250.

59. Александров И.О., Максимова Н.Е. Закономерности формирования нового компонента структуры индивидуального знания // Психологический журнал. 2003. - № 24(6). - С. 55-76.

60. Андреев А.Б., Усачев Ю.Е. Разработка интеллектуальных средств обучения // Материалы Всероссийской научно-методической конференции «Телематика 2002». Санкт-Петербург, 2002.

61. Калашникова Т.Г. Применение аналогии для оценки системы знаний // Перспективные информационные технологии и интеллектуальные системы. — Таганрог: Изд-во, ТРТУ, 2001, № 5. С. 220-232.

62. Евланов М.В., Скляров А.Я., Штангей C.B. Топологическая модель лекционного материала и методов контроля знаний, приобретенных в ходе дистанционного образования // Проблемы бионики. 2002. - № 57. - С. 37-41.

63. Пантелеев A.B., Бакулйна О.И. Формирование систем тестирования-обучения на основе фрагментных фреймов // Научный вестник МГТУ ГА №38, серия "Информатика". -М.: Изд-во МГТУ ГА, 2001. С.31-40.

64. Перескокова О.И. Проблемы моделирования знаний в целях организации их эффективного автоматизированного контроля // Материалы региональной научно-практической конференции «Моделирование социально-педагогических систем».

65. Аткинсон Р., Бауэр Г., Кротерс 3. Введение в математическую теорию обучения: Пер. с англ. М.: Мир, 1969. - 486 с.

66. Растригин Л.А., Зренштейн М.Х. Адаптивное обучение с моделью обучаемого. -Рига: Зинатне, 1988. — 160 с.

67. Буш Р., Мостеллер Ф. Стохастические модели обучаемости. Г.: Физ-матгиз, 1962. - 484 с.

68. Свиридов А.П. Условные и безусловные алгоритмы диагностического контроля подготовки операторов ЭВМ. — М.: Моск. энерг. ин-т, 1987. 69с.

69. Свиридов А.П. Применение методов планирования эксперимента при обучении обучающих и контролирующих машин. — М.: Моск. энерг. ин-т, 1975. -65с.

70. Свиридов А.П. Основы статистической теории обучения и контроля знаний. — М.: Высшая школа, 1981. — 262 с.

71. Рудинский И.Д., Грушецкий C.B. Статистические методы вывода оценки результатов автоматизированного тестирования // Материалы международной конференции-выставки «Информационные технологии в образовании». — Москва, 2003.

72. Растригин JI.А. Обучение с моделью // Вопросы кибернетики.Человеко-машинные обучающие системы. -М.: АН СССР, 1979. С. 40-49.

73. Шмелев А.Г., Бельцер А.И., Ларионов А.Г., Серебряков А.Г. Адаптивное тестирование знаний в системе «ТЕЛЕТЕСТИНГ» // Тезисы докладов Всероссийской научно-практической конференции «Информационные технологии в образовании». Москва, 2000.

74. Филиппович Ю.Н., Черкасова Г.А., Дельфт Д. Ассоциации информационных технологий: эксперимент на русском и французском языках. С предисловием Уфимцевой Н.В. М.: МГУП, 2001. 304 с. Книга в комплекте с CD-ROM.

75. Караулов Ю.Н., Сорокин Ю.С., Тарасов Е.Ф., Уфимцева Н.В., Черкасова Г.А. Русский ассоциативный словарь. Т. 1-6, М., 1994-1998.

76. Хапров B.C., Дударь З.В. Применение методики создания теста в компьютерных системах дистанционного обучения // Материалы международной научно-методической конференции «Образование и виртуальность». — Ялта: ХНУРЭ, 2002.

77. Шкиль A.C., Чумаченко C.B., Напрасник C.B. Методика оценивания в компьютерной системе тестирования знаний // Материалы международной научно-методической конференции «Образование и виртуальность». — Ялта: ХНУРЭ, 2002.

78. Евсеев В.В., Алёхина C.B., Евсеева И.В. Выбор релевантного алгоритма оценивания знаний обучаемых в системе дистанционного обучения // Материалы международной научно-методической конференции «Образование и виртуальность». -Ялта: ХНУРЭ, 2003.

79. Печенежский H.A., Маслов A.A. Модель системы компьютеризированного адаптивного тестирования // Материалы международной научно-методической конференции «Образование и виртуальность». — Ялта: ХНУРЭ, 2002.

80. Протасов A.C. Создание интеллектуальных средств адаптивного тестирования // Материалы международной конференции-выставки «Информационные технологии в образовании». — Москва, 2003.

81. Пуголовок К.Н. Мультиагентный модуль распознавания уровня знаний студента // Материалы международной научно-методической конференции «Образование и виртуальность». — Ялта: ЯИМ, 2001.

82. Попов Д.И. Подсистема адаптивного тестирования среды дистанционного обучения // Материалы международной конференции-выставки «Информационные технологии в образовании». — Москва, 2002.

83. Крайтор Д.В. Инструментальный комплекс программ для создания обучающих систем на основе интеграции адаптивных технологий // Материалы международной конференции-выставки «Информационные технологии в образовании». Москва, 2002.

84. Русаков C.B., Перескокова О. И., Шестакова JI.B. «Интеллектуальный» генератор тестов // Материалы международной конференции-выставки «Информационные технологии в образовании». — Москва, 1998.

85. Васильев В.И. Математическая модель оценки динамики остаточных знаний // Труды Петрозаводского государственного университета. Сер. «Прикладная математика и информатика». Вып. 7, 1998.

86. Луговой H.H., Любчак В.А., Собаева Е.В. Модуль интерактивной познавательной деятельности в системе дистанционного обучения // Материалы международной научно-методической конференции «Образование и виртуальность». -Ялта: ХНУРЭ, 2003.

87. Бобровников А.Э. Принципы функционирования Web-сайта системы тестирования с фреймово-иерархической структурой предметного наполнения в Internet // Труды МАИ. 2003. - № 12.

88. Метешкин К.А., Низиенко Б.И. Методы представления знаний в интеллектуальных обучающих системах // Информатика. Сб. научн. тр. — К.: Наукова думка, 1999.-С. 13-17.

89. Метешкин К.А. Шаронова Н.В. Лингвистическое обеспечение обучающих систем с интегрированным интеллектом // Новий колепум, Харюв. — 2002. -№4/5.-С. 64-68.

90. Метешкин К.А., Шаронова Н.В. Использование гибридного интеллекта в учебном процессе высших учебных заведений // "Aima mater" ("Вестник высшей школы"). -2001. -№11. С. 10-15.

91. Ерохин А.Л., Кольченко A.B., Патрах Т.Е., Струкова A.B. О создании систем тестирования знаний с адаптацией на испытуемого // Материалы международной научно-методической конференции «Образование и виртуальность». Ялта: ХНУРЭ, 2003.

92. Лесная Н.С., Штангей C.B. Математическая модель тестовых заданий в информационной системе дистанционного образования // Материалы международной научно-методической конференции «Образование и виртуальность». -Ялта: ХНУРЭ, 2003.

93. Надточий И.Л., Кафтанников И.Л. Методология и средства повышения степени интеллектуализации ИТ-учебного процесса // Образовательные технологии и общество. 2003. - № 6(3). - С. 154-163.

94. Филиппович Ю.Н., Прохоров A.B. Семантика информационных технологий: Опыты словарно-тезаурусного описания. С предисловием А.И. Новикова М.: МГУП, 2002. 368 с. Книга в комплекте с CD ROM.

95. Смит Б. Методы и алгоритмы вычислений на строках. : Пер. с англ. -М.: ООО «И.Д. Вильяме», 2006. — 496 е.: ил. — Парал. тит. англ.

96. Маклаков Г.Ю., Маклакова Г.Г. Некоторые принципы построения компьютерных систем диагностики знаний // Материалы международной научнометодической конференции «Образование и виртуальность». — Ялта: ХНУРЭ, 2006.

97. Белоус Н.В., Куцевич И.В. Методы определения правильности выполнения тестовых заданий // Материалы международной научно-методической конференции «Образование и виртуальность». — Ялта: ХНУРЭ, 2006.

98. Слабоспицкий A.A. Открытые формы ответов в дистанционном образовании // Материалы международной научно-методической конференции «Образование и виртуальность». — Ялта: ХНУРЭ, 2006.

99. Углев В.А. Обучающее адаптивное тестирование с применением экспертных систем // Материалы Всероссийской научно-практической конференции «Информационные технологии в образовании и науке». — М.: МФА, 2006. — Ч. З.-С. 216.

100. Агаев Ф.Т., Мамедова Г.А., Керимов К.В. Использование адаптивных методов тестирования в Интернет-среде // Материалы Всероссийской научно-практической конференции «Информационные технологии в образовании и науке». М.: МФА, 2006. - Ч. 2. - С. 222.

101. Чистов В.В. Исследование операций. Учебное пособие. — М., 2001. — 144с.

102. Яхъева Г.Э. Нечеткие множества и нейронные сети: Учебное пособие /Г.Э. Яхъева. М.: Интернет-Университет Информационных Технологий; БИНОМ. Лаборатория знаний, 2006. — 316 е.: ил., табл. — (Серия «Основы информационных технологий»).

103. Прокофьева Н.О. Алгоритмы оценки знаний при дистанционном обучении // Материалы международной научно-методической конференции «Образование и виртуальность». — Ялта: ЯИМ, 2001.

104. ПО.Михаль О.Ф. Интеллектуальная система дистанционного тестирования знаний на локально-параллельных нечетких алгоритмах // Материалы международной научно-методической конференции «Образование и виртуальность». -Ялта: ЯИМ, 2001.

105. Сулейманов Дж. Ш. Исследование базовых принципов построения семантического интерпретатора вопросно-ответных текстов на естественном языке в АОС // Образовательные технологии и общество. — 2001. — № 4(3). — С. 178192.

106. Осипов Г.С. Искусственный интеллект: состояние исследований и взгляд в будущее, //http://ah.raai.org/about/persons/osipov/pages/ai/ai.html.

107. Системный анализ и принятие решений: Словарь-справочник: Учеб. Пособие для вузов/Под ред. В.Н. Волковой, В.Н. Козлова. М.: Высш. шк., 2004-616 е.: ил.

108. Смолин Д.В. Введение в искусственный интеллект: конспект лекций. — 2-е изд., перераб. М.: ФИЗМАТЛИТ, 2007. - 264 с.

109. Поспелов Д.А. Моделирование рассуждений. Опыт анализа мыслительных актов. -М.: Радио и связь, 1989. — 184 е.: ил.

110. Поспелов Д.А. Логико-лингвистические модели в системах управления. -М.: Энергоиздат, 1981. -231 с.

111. Поспелов Д.А. Ситуационное управление. Теория и практика. — М.: Наука, 1986.-284 с.

112. Дюбуа Д. Прад А. Теория возможностей. Приложения к представлению -знаний в информатике: Пер. с фр. — М.: Радио и связь, 1990. — 288 с.

113. Нечеткие множества в моделях управления и искусственного интеллекта /Под ред. Д.А. Поспелова. М.: Наука, 1986. — 311 с.

114. Пойа Д. Математика и правдоподобные рассуждения. — М.: ИЛ, 1957. -535 с.

115. Белнап Н., Стил Т. Логика вопросов и ответов. — М.: Прогресс, 1981. — 288 с.

116. Гаазе-Рапопорт М.Г., Поспелов Д.А. От амебы до робота: модели поведения / Предисл. Э.В. Попова. Изд. 2-е. М.: Едиториал УРСС, 2004. 296 с. (Науки об искусственном.)

117. Ярушкина Н.Г. Основы теории нечетких и гибридных систем: Учеб. пособие. М.: Финансы и статистика, 2004. - 320 е.: ил.

118. Нечеткие гибридные системы. Теория и практика /Под ред. Н.Г. Яруш-киной. М.: ФИЗМАТЛИТ, 2007. - 208 с.

119. Борисов В.В., Круглов В.В., Федулов A.C. Нечеткие модели и сети. — М.: Горячая линия-Телеком, 2007. — 284 е.: ил.

120. Башмаков А.И., Башмаков И.А. Интеллектуальные информационные технологии: Учеб. пособие. М.: Изд-во МГТУ им. Н.Э. Баумана, 2005. — 304 е.: ил. - (Информатика в техническом университете).

121. Минский М. Фреймы для представления знаний. — М.: Энергия, 1979.

122. Девятков В.В. Системы искусственного интеллекта: Учеб. пособие для вузов. — М.: Изд-во МГТУ им. Н.Э. Баумана, 2001. 352 е., ил. (Сер. Информатика в техническом университете).

123. Соснин П.И. Моделирование рассуждений (конспект лекций). // http://ofap.ulstu.ru/res/kl.zip.

124. Достоверный и правдоподобный вывод в интеллектуальных системах / Под ред. В.Н. Вагина, Д.А. Поспелова. -М.: ФИЗМАТЛИТ, 2004. 704 с.

125. Гладков Л.А., Курейчик В.В., Курейчик В.М. Генетические алгоритмы / Под ред. В.М. Курейчика. 2-е изд., испр. и доп. - М.: ФИЗМАТЛИТ, 2006. -320 с.

126. Белоусов А.И., Ткачев С.Б. Дискретная математика: Учеб. для вузов / Под ред. B.C. Зарубина, А.П. Крищенко. — 4-е изд., исправл. — М.: Изд-во МГТУ им. Н.Э. Баумана, 2006. — 744 с. (Сер. Математика в техническом университете; Вып. XIX).

127. Представление знаний в человеко-машинных и робототехнических системах / Том А. Фундаментальные исследования в области представления знаний. (Отчет рабочей группы РГ-18 КНВВТ.) М.: ВИНИТИ, 1984.

128. Статические и динамические экспертные системы: Учеб. пособие / Э.В. Попов, И.Б. Фоминых, Е.Б. Кисель, М.Д. Шапот. — М.: Финансы и статистика, 1996.-320 е.: ил.

129. Вениаминов Е.М. Алгебраические методы в теории баз данных и представлении знаний. — М.: Научный мир, 2003. — 184 с.

130. Кацнельсон С.Д. Содержание слова, значение и обозначение. /Под общ. ред. В.М. Жирмунского, М.М. Гухман, С.Д. Кацнельсона. Изд-е 2-е, стереотипное. — М.: Едиториал УРСС, 2004. — 112 с. (Лингвистическое наследие XX века.).

131. Георгиев В.О. Модели представления знаний предметных областей диалоговых систем // Изв. РАН. Техническая кибернетика. — 1993. — № 5. С. 24-44.

132. Брусиловский П.Л. Построение и использование моделей обучаемого в интеллектуальных обучающих системах // Изв. РАН. Техническая кибернетика. -1992.-№5.-С. 97-119.

133. Петрушин В.А. Интеллектуальные обучающие системы: архитектура и методы реализации (обзор) // Изв. РАН. Техническая кибернетика. — 1993. — № 2.-С. 164-189.

134. Растригин Л.А. Обучающие системы // Изв. РАН. Техническая кибернетика. 1993.-№ 2. - С. 153-163.

135. Колос В.В., Кудрявцева С.П., Сахно A.A. Разработка и реализация семейства интеллектуальных обучающих систем на основе учебных структур знаний // Изв. РАН. Техническая кибернетика. — 1993. — № 2. — С. 190-201.

136. Бушуев С.Д. Интегрированная система компьютерного обучения управлению проектами в условиях рынка // Изв. РАН. Техническая кибернетика. 1993. - № 2. - С. 202-208.

137. Софиев А.Э., Черткова Е.А. Компьютерные обучающие системы. — М.: ДеЛи принт, 2006. — 296 е.: 93 ил.

138. Стефанюк В.Л. Введение в интеллектуальные обучающие системы: Учебно-метод. пособие. — М.: Изд-во РУДН, 2002. — 58 с.

139. Гаврилова Т.А., Зудилова Е.В., Ильясов М.З. Интеллектуальные и обучающие системы: Учеб. пособие. — СПб. гос. техн. ун-т, СПб., 1996. — 110 с.

140. Рудинский И.Д., Клеандрова И.А. Математические основы педагогического тестирования знаний. Часть 1. Модели нечеткого оценивания знаний и количественного оценивания степени объективности тестирования. — Калининград: Изд-во КГТУ, 2003. 70 с.

141. Рудинский И.Д. Математические основы педагогического тестирования знаний. Часть 2. Информационно-кибернетический анализ системы педагогического контроля знаний. Калининград: Изд-во КГТУ, 2003. — 73 с.

142. Егоров С.Н. Понятие. — СПб: «Издательство Александра Сазанова», Ре-дакционно-издательская фирма «Роза мира», 2005. — 88 с.

143. Яхно Т.М. Системы продукций: структура, технология, применение. — ВЦ РАН, Новосибирск. 1990. - 127 с.

144. Осипов Г.С. Приобретение знаний интеллектуальными системами: Основы теории и технологии. М.: Наука. Физматлит, 1997. — 112 с. — (Проблемы искусственного интеллекта).

145. Сучков Г.В. Фреймовая модель представления знаний как основа построения адаптивных систем автоматизированного обучения // Проблемы создания автоматизированных обучающих и тестирующих систем: Сб. науч. тр. — Новочеркасск: ЮРГТУ (НПИ), 2001. С. 55-58.

146. Астанин СВ., Драгныш Н.Г., Жуковская Н.К. Особенности разработки обучающей экспертной системы // Перспективные информационные технологии и интеллектуальные системы. — Таганрог: ТРТУ, 2002. — № 1(9). — С. 72-77.

147. Астанин C.B., Калашникова Т.Г. Разработка индивидуальной модели поведения обучаемого в системе дистанционного образования // Перспективные информационные технологии и интеллектуальные системы. — Таганрог: ТРТУ, 2001.-№ 1.-С. 179-196.

148. Божич В.И., Горбатюк Н.В. Интеллектуальная система компьютерного обучения // Перспективные информационные технологии и интеллектуальные системы. Таганрог: ТРТУ, 2001. -№ 1. - С. 196-206.

149. Гречин И.В. Приобретение знаний экспертными системами // Перспективные информационные технологии и интеллектуальные системы. — Таганрог: ТРТУ, 2001. № 1. - С. 46-49.

150. Попов Д.И., Никифорова A.M. Оценка тестовых заданий при дистанционном контроле знаний // Перспективные информационные технологии и интеллектуальные системы. — Таганрог: ТРТУ, 2001. — № 1. — С. 206-213.

151. Курейчик В.В., Головинова Г. Компьютерный контроль знаний // Перспективные информационные технологии и интеллектуальные системы. — Таганрог: ТРТУ, 2003. -№ 1. С. 68-72.

152. Калашникова Т.Г. Применение дистанционных технологий в образовании // Перспективные информационные технологии и интеллектуальные системы. Таганрог: ТТТУ, 2005. - № 1 (21). - С. 117-125.

153. Попов Д.И., Попова Е.Д. Количественные характеристики банков тестовых заданий // Перспективные информационные технологии и интеллектуальные системы. Таганрог: ТРТУ, 2005. -№ 1 (21). - С. 90-93.

154. Нечаева Т.А. Контроль и оценка в вузовском образовании // Перспективные информационные технологии и интеллектуальные системы. — Таганрог: ТРТУ, 2007. № 1 (29). - С. 64-67.

155. Вишняков Ю.М., Родзин С.И. Проблемы интеграции интеллектуальных гипермедийных обучающих сред в виртуальные образовательные структуры // Перспективные информационные технологии и интеллектуальные системы. — Таганрог: ТРТУ, 2001. № 2. - С. 207-220.

156. Кравченко Ю.А., Марков В.В. Роль интеллектуальных систем обучения в развитии дивергентного мышления // Перспективные информационные технологии и интеллектуальные системы. — Таганрог: ТРТУ, 2007. — № 2 (30). — С. 22-25.

157. Нужнов Е.В. Возможности построения эффективных средств получения и контроля знаний в средах компьютерного обучения // Перспективные информационные технологии и интеллектуальные системы. — Таганрог: ТРТУ, 2000.-№3.-С. 190-196.

158. Голец И.Н., Попов Д.И. Модель представления знаний в интеллектуальной системе дистанционного образования // Перспективные информационные технологии и интеллектуальные системы. — Таганрог: ТРТУ, 2001. — № 3. — С. 135-138.

159. Попов Д.И. Проектирование интеллектуальных систем дистанционного образования // Перспективные информационные технологии и интеллектуальные системы. Таганрог: ТРТУ, 2001. -№ 3. - С. 123-130.

160. Левинская М.А. Построение интеллектуальных обучающих систем по математике с использованием языка Tree-REFAL // Перспективные информационные технологии и интеллектуальные системы. — Таганрог: ТРТУ, 2003. — № 3 (15). С. 98-105.

161. Голец И.Н., Попов Д.И. Построение пространства знаний на основе результатов тестирования // Перспективные информационные технологии и интеллектуальные системы. — Таганрог: ТРТУ, 2003. — № 4 (16). С. 119-123.

162. Сороколетов В.В. Анализ, проблемы и состояние моделей представления знаний в системах принятия решений // Перспективные информационные технологии и интеллектуальные системы. — Таганрог: ТРТУ, 2006. — № 4 (28). — С. 16-24.

163. Ибрагимов И.М. Информационные технологии и средства дистанционного обучения: учеб. пособие для студ. высш. учеб. заведений / И.М. Ибрагимов; под ред. А.Н. Ковшова. — 2-е изд., стер. — М.: Издательский центр «Академия», 2007. 336 с.

164. Саркисян С.Г., Овакимян A.C., Бархударян C.B. Генетические алгоритмы в интерактивных обучающих системах // Новости искусственного интеллекта.-2005.-№ 1.-С. 58-62.

165. Таран Т.А., Ривкинд А.И. Аргументационная система контроля знаний // Новости искусственного интеллекта. — 2001. — № 5-6. — С. 12-18.

166. Стефанюк B.JI. Учить или учиться? // Новости искусственного интеллекта. 2002. - № 5(53). - С. 13-24.

167. Таран Т.А., Сирота C.B. Технология обучения понятиям в интеллектуальных обучающих системах // Новости искусственного интеллекта. — 2003. — №6(60).-С. 18-23.

168. Ларичев О. И., Нарыжный Е. В. Компьютерное обучение процедураль-ным знаниям // Психологический журнал. — 1999. Т. 20, № 6. - С. 53-61.

169. Голенков В.В., Емельянов В.В., Тарасов В.Б. Виртуальные кафедры и интеллектуальные обучающие системы // Новости искусственного интеллекта. -2001.-№4.-С. 3-13.

170. Жуковская Н.К. Исследование и разработка моделей рассуждений в интеллектуальных обучающих системах: Дис. канд. тех. наук: 05.13.17. — М.: РГБ, 2003.-222 с.

171. Сарвилина И.Ю. Модели и средства представления знаний в информационных обучающих системах: Дис. канд. тех. наук: 05.13.17, 05.25.05 Пенза.: РГБ, 2006.-181 с.

172. Карпова И.П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах: Автореферат дис. канд. тех. наук: 05.13.13 -М., 2002. 18 с.

173. Жуков Д.О. Математические модели управления знаниями в информационных обучающих системах: Дис. д-ра техн. наук: 05.13.10 М.: РГБ, 2006. -347 с.

174. Интеллектуальные обучающие системы для пользователей лазерных технологических комплексов / О.И. Ларичев, М.Ю. Стернин, С.С. Маломуж и др. // Новости искусственного интеллекта. — 2003. № 4(58). — С. 4-11.

175. Еремеев А.П., Малиновский В.П. Реализация онтологического подхода в обучающей экспертной системе для подготовки менеджеров проектов // Материалы 9-ой Национальной конференции по искусственному интеллекту с международным участием КИИ-2004.

176. Карпов В.Э., Карпова И.П. Язык описания системы контроля знаний // Компьютеры в учебном процессе. — 2000. — №4. — С. 147-155.

177. Аверкин А.Н., Гаазе-Рапопорт М.Г., Поспелов Д.А. Толковый словарь по искусственному интеллекту. — М.: Радио и связь, 1992. — 256 с.

178. Поспелов Д.А. Из. истории искусственного интеллекта: история искусственного интеллекта до середины 80-х годов // Новости искусственного интеллекта. 1994. - № 4. - С. 70-90.

179. Плесневич Г.С. Понятийно-ориентированные языки в инженерии знаний // Новости искусственного интеллекта. — 2003. — № 6(60). — С. 3-9.

180. Прокофьева Н.О. Методы контроля знаний при компьютерном обучении // Материалы международной научно-методической конференции «Образование и виртуальность». — Ялта: ХНУРЭ, 2005.

181. Интеллектуальные составляющие в электронном образовании /В.М. Бредихин, В.В. Карасюк, A.B. Карпухин и др. // Материалы международной научно-методической конференции «Образование и виртуальность». — Ялта: ХНУРЭ, 2005.

182. Бирюкова Н.С., Марченко Ю.С. Базы знаний для логического контроля изучаемого материала в системе дистанционного образования // Материалы международной научно-методической конференции «Образование и виртуальность». -Ялта: ХНУРЭ, 2005.

183. Кобозева И.М. Лингвистическая семантика: Учебник. Изд. 3-е, стереотипное. М.: КомКнига, 2007. — 352 с. (Новый лингвистический учебник.)

184. Словарь терминов логики, //http://diс.academic.ru/diс.nsf/logic/279.

185. Потапова P.K. Новые информационные технологии и лингвистика: Учебное пособие. Изд. 2-е. М.: Едиториал УРСС, 2004. - 320 с.

186. Мизогучи Р. Шаг в направлении инженерии онтологий // Новости искусственного интеллекта. — 2000. — № 1-2. С. 11-37.

187. Ногин В.Д. Принятие решений в многокритериальной среде: количественный подход. -М.: ФИЗМАТЛИТ, 2002. 144 с.

188. Жуйков В. В. Использование тестового контроля для проверки уровня; усвоения дидактических единиц // Материалы международной научно-практической конференции "Информационные технологии в образовании (ИТС)-Черноземье-2008)", 8-11 декабря, г. Курск, 2008.

189. Хорошевский В.Ф. Пространства знаний в сети Интернет и Semantic Web (Часть 1) // Искусственный интеллект и принятие решений. — 2008. — № 1. С. 80-97.

190. Титенко С.В., Гагарш О.О. Семантична модель знань для цшей оргашзацй' контролю знань у навчальнш системь // Сборник трудов международной конференции «Интеллектуальный анализ информации-2006». — Кшв: npocBÍTa, 2006. С. 298-307.

191. Трембач В.М. Применение интеллектуальных технологий к формированию компетенций обучающихся // Искусственный интеллект и принятие решений. 2008. - № 2. - С. 34-45.

192. Рыбина Г.В. Обучающие интегрированные экспертные системы: некоторые итоги и перспективы // Искусственный интеллект и принятие решений. — 2008.-№ 1.-С. 22-46.

193. Демидова Е.А., Макаров С.И., Скуратов А.К. Инновационные технологии тестирования компьютерной грамотности и ИКТ-компетентности // Материалы XV Всероссийской научно-методической конференции «Телематика 2008», Санкт-Петербург, 2008.

194. Исакова О.Ю. Автоматизированный анализ конструкции заданий в тестовой форме // Материалы XV Всероссийской научно-методической конференции «Телематика 2008», Санкт-Петербург, 2008.

195. Шихнабиева Т.Ш. О структуризации знаний в области информатики на основе адаптивных семантических образовательных моделей // Материалы XV Всероссийской научно-методической конференции «Телематика 2008», Санкт-Петербург, 2008.

196. Штовба С.Д. Введение в теорию нечетких множеств и нечеткую логику http://matlab.exponenta.ru/fiizzvlogic/bookl/index.php.

197. Проскурнин A.A. Интеллектуальные системы тестирования и контроля знаний // Вестник информационных технологий в образовании. Сборник учебно-методических и научных работ. Выпуск 1. — М.: УМК по специальности ИТО, 2005.-С. 152-160.

198. Проскурнин A.A. Математические модели оценки знаний // Интеллектуальные технологии и системы. Сборник учебно-методических работ и статейаспирантов и студентов. Выпуск 7. / Сост. и ред. Ю.Н. Филипповича. — М.: Изд-во ООО «Эликс+», 2005. С. 197-210.

199. Проскурнин A.A. Автоматизированная система контроля знаний // Интеллектуальные технологии и системы. Сборник учебно-методических работ и статей аспирантов и студентов. Выпуск 8. / Сост. и ред. Ю.Н. Филипповича. — М.: Изд-во ООО «Эликс+», 2006.

200. Brusilovsky, P. Adaptive and Intelligent Technologies for Web-based Education // Special Issue on Intelligent Systems and Teleteaching. — Konstliche Intelligenz, 1999.-№4.-P. 19-25.

201. Brusilovsky, P. Adaptive and Intelligent Web-based Educational Systems // International Journal of Artificial Intelligence in Education. — 2003. — № 13. — P. 156-169.

202. Sosnovsky S., Shcherbinina O., Brusilovsky P. Web-based Parameterized Questions as a Tool for Learning // Proceedings of E-Learn 2003, Phoenix, Arizona USA, November 7-11, 2003. P. 2151-2154.

203. Person K., Graesser S., Kreuz J., Pomeroy V. and the Tutoring Research Group. Simulating Human Tutor Dialog Moves in AutoTutor // International Journal of Artificial Intelligence in Education. -2001. -№ 12. -P.23-39.

204. Soh L.-K., Blank, T. Integrating Case-Based Reasoning and Meta-Learning for a Self-Improving Intelligent Tutoring System // International Journal of Artificial Intelligence in Education. 2008. - № 18. - P.27-58.

205. Rash G. Probabilistick Models for Some Intelligence and Attainment Tests, 1960, Copenhagen, Denmark: Danish Institute for Educational Re-search.

206. Brusilovsky, P., Miller, P. Web-based testing for distance education // Proceedings of WebNet'99, World Conference of the WWW and Internet, Honolulu, HI, Oct. 24-30, AACE, 1999. P. 149-154.

207. Kinshuk A., Patel A. A conceptual framework for Internet based intelligent tutoring systems // Knowledge transfer (volume II) (ed. A.Behrooz), pAce, London, 1997.-P. 117-124.

208. Brusilovsky, P., Nijhawan, H. A Framework for Adaptive E-Learning Based on Distributed Re-usable Learning Activities // Proceedings of World Conference on E-Learning, E-Learn 2002, Montreal, Canada, October 15-19, 2002, AACE. P. 154161.

209. Galeev I., Chepegin V., Sosnovsky S. MONAP: Models, Methods and Applications // Proceedings of the International Conference KBCS 2000, Mumbai, India, 2000.-P. 217-228.

210. Mizoguchi R., Bourdeau J. Using Ontological Engineering to Overcome Common AI-ED Problems // International Journal of Artificial Intelligence in Education.-2000.-№ 11.-P. 107-121.

211. Self J. Theoretical Foundations for Intelligent Tutoring Systems // International Journal of Artificial Intelligence in Education. 1990. - № 1(4). - P. 3-14.

212. Ragnemalm E. Student diagnosis in practice; bridging a gap // User Modeling and User-Adapted Interaction. 1995. - № 5(2). - P. 93-116.

213. Sophiana Chua Abdullah. Student Modelling by Adaptive Testing A Knowledge-based Approach. PhD thesis, Computing Laboratory, University of Kent, Canterbury, Kent, UK, June 2003.

214. Shiri M., Aimeur E., Frasson C. Student Modelling by Case Based Reasoning // Proceedings of the 4th International Conference, ITS' 98 San Antonio, Texas, USA, August 16-19, 1998. Springer Berlin/Heidelberg, 1998. - P. 394-403.

215. Gonzalez C., Burguillo J.C., Llamas, M. A Qualitative Comparison of Techniques for Student Modeling in Intelligent Tutoring Systems // Frontiers in Education! Conference, 36th Annual, 2006. P. 13-18.

216. Guzman E., Conejo R. A model for student knowledge diagnosis through adaptive testing // International conference on intelligent tutoring systems, Maceio, 30 August 3 September, 2004. - P. 12-21.

217. Kurt Vanlehn, Zhendong Niu. Bayesian student modeling, user interfaces and feedback: A sensitivity analysis // International Journal of Artificial Intelligence in Education.-2001.-№ 12.-P. 154-184.

218. Eunice E. A Review of: "Cognitive Diagnostic Assessment for Education: Theory and Application" // International Journal of Testing. 2008. - № 8 (3). — P. 290-295.

219. Branko Zitko, Slavomir Stankov, Marko Rosic, Ani Grubisic. Dynamic test generation over ontology-based knowledge representation in authoring shell // Expert Systems with Applications. 2009. - № 36 (4). -P. 8185-8196.

220. Manning S., Dix A. Identifying students' mathematical skills from a multiple-choice diagnostic test using an iterative technique to minimise false positives // Computers & Education. 2008. - № 51 (3). - P. 1154-1171.

221. Chih-Ming Chen, Ling-Jiun Duh. Personalized web-based tutoring system based on fuzzy item response theory // Expert Systems with Applications. — 2008. — №34 (4).-P. 2298-2315.

222. Stathacopoulou R., Magoulas G., Grigoriadou M., Samarakou M. Neuro-fuzzy knowledge processing in intelligent learning environments for improved student diagnosis // Information Sciences. 2005. - № 170 (2-4). - P. 273-307.

223. Yang Shuqun, Ding Shuliang, Cai Shengzhen, Ding Qiulin. An algorithm of constructing concept lattices for CAT with cognitive diagnosis // Knowledge-Based Systems. 2008. -№ 21. - P. 852-855.

224. Chang, K.-E., Sung, Y.-T., Chang, R.-B., & Lin, S.-C. A New Assessment for Computer-based Concept Mapping // Educational Technology & Society. 2005. - № 8 (3). — P. 138-148.

225. Liu, C.-L. Using Mutual Information for Adaptive Item Comparison and Student Assessment // Educational Technology & Society. 2005. - № 8 (4). - P. 100119.

226. Nykanen, O. Inducing Fuzzy Models for Student Classification // Educational Technology & Society. 2006. - № 9 (2). - P. 223-234.

227. Henze, N., Dolog, P., & Nejdl, W. Reasoning and Ontologies for Personalized E-Learning in the Semantic Web // Educational Technology & Society. — 2004. -№7 (4).-P. 82-97.

228. Lu, C.-H., Wu, C.- W., Wu, S.-H. Chiou, G.-F., & Hsu, W.-L. Ontological Support in Modeling Learners' Problem Solving Process // Educational Technology & Society. 2005. - № 8 (4). - P. 64-74.

229. Wang, H.-Y., & Chen, S. M. Artificial Intelligence Approach to Evaluate Students' Answerscripts Based on the Similarity Measure between Vague Sets // Educational Technology & Society. 2007. -№ 10 (4). - P. 224-241.

230. Boyce, S., & Pahl, C. Developing Domain Ontologies for Course Content. Educational Technology & Society. 2007. - № 10 (3). - P. 275-288.

231. Al-A'ali, M. Implementation of an Improved Adaptive Testing Theory. Educational Technology & Society. 2007. - № 10 (4). - P. 80-94.

232. Patokorpi, E. Logic of Sherlock Holmes in Technology Enhanced Learning. Educational Technology & Society. 2007. - № 10 (1). - P. 171-185.

233. Chang, S.-H., Lin, P.-C., & Lin, Z. C. Measures of Partial Knowledge and Unexpected Responses in Multiple-Choice Tests // Educational Technology & Society. 2007. - № 10 (4). - P. 95-109.

234. Olfos, R., & Zulantay, H. Reliability and Validity of Authentic Assessment in a Web Based Course // Educational Technology & Society. 2007. - № 10 (4). - P. 156-173.

235. Tao, Y.-H., Wu, Y.-L., & Chang, H.-Y. A Practical Computer Adaptive Testing Model for Small-Scale Scenarios // Educational Technology & Society. 2008. -№ 11(3).-P. 259-274.

236. Huang, C.-J., Chen, C.-H., Luo, Y.-C., Chen, H.-X., & Chuang, Y.-T. Developing an Intelligent Diagnosis and Assessment E-learning Tool for Introductory Programming // Educational Technology & Society. 2008. - № 11 (4). - P. 139-157.

237. Heh, J.-S., Li, S.-C., Chang, A., Chang, M., & Liu, T.-C. Diagnosis Mechanism and Feedback System to Accomplish the Full-Loop Learning Architecture // Educational Technology & Society. 2008. - № \ \ (l). p. 29-44.

238. Marks, A. M., & Cronje, J. C. Randomised Items in Computer-based Tests: Russian Roulette in Assessment? // Educational Technology & Society. — 2008. № 11 (4).-P. 41-50.

239. Lin, F. O. Book review: Semantic Web and Education (Vladan Devedzic) // Educational Technology & Society. 2008. - № 11(3). - P. 292-293.

240. Martins, A. C., Faria, L., Vaz de Carvalho, C., & Carrapatoso, E. User Modeling in Adaptive Hypermedia Educational Systems // Educational Technology & Society. 2008. - № 11 (l).-P. 194-207.

241. Bunt A., Conati C. Probabilistic Student Modelling to Improve Exploratory Behaviour // User Modeling and User-Adapted Interaction. — 2003. — № 13(3). — P. 269-309.

242. Jameson A. Numerical uncertainty management in user and student modeling: An overview of systems and issues // User Modeling and User-Adapted Interaction. 1995.-№ 5(3-4).-P. 193-251.

243. Self J. Model-based cognitive diagnosis // User Modeling and User-Adapted Interaction. 1993. - № 3(1). - P. 89-106.

244. Cartucci A., Cialdea M., Nardi D. Reasoning about Student Knowledge and Reasoning // Proceedings of the International Joint Conference on Artificial Intelligence, 1991, volume 2.-P. 1087-1093.

245. Dolog P., Nejdl W. Challenges and benefits of the semantic web for user modelling // Workshop on Adaptive Hypermedia and Adaptive Web-Based Systems (AH2003), 2003. P. 99-112.

246. Davis R., Shrobe H., Szolovits P. What is a Knowledge Representation? // AI Magazine.- 1993. -№ 14(1).-P. 17-33.

247. Aamodt A., Plaza E. Case-based reasoning: foundational issues, methodological variations, and system approaches // AI Communications. IOS Press. Vol. 7:1. 1994.-P. 39-59.

248. Wille R., Ganter B. Formal Concept Analysis: Mathematical Foundations. — Springer Verlag, Berlin. — 1998.

249. Никичкин Б. В., Цуканова Н.И. Управление процессом обучения с использованием нечетких сетей Петри // «Микросистема-93»: Тезисы докладов научно-техн. конф., Москва, МГИЭМ, 1993. С. 8-11.

250. Ивлева Е.В. Разработка и исследование интеллектуальных контролирующих систем с настраиваемой нечеткой экспертной подсистемой выставления оценок: Дис. канд. тех. наук: 05.13.11. — М.: РГБ, 2005. — 180 с.

251. Plantinga Е. Student Modelling Using a Genetic Algorithm. Artificial Intelligence University of Groningen, The Netherlands, 2003.

252. Попов Д.И. Комплексная автоматизация и управление процессами аттестации персонала промышленных предприятий: Дис. д-ра техн. наук: 05.13.06: — М.: РГБ, 2007.-290 с.

253. Doignon J.-P., Falmagne J.-C. Spaces for the assessment of knowledge // International Journal of Man-Machine Studies. 1985. - № 23. - P. 175-196.

254. Караулов Ю.Н. О единицах знания // Полифония образования и англистика в мультикультурном мире. Тезисы первой международной конференции Ассоциации англоведов и преподавателей английского языка 25-26 ноября 2003 г. Москва, МГЛУ, 2003.

255. Ротштейн А.П. Интеллектуальные технологии идентификации: нечеткая логика, генетические алгоритмы, нейронные сети. Винница: УНИВЕРСУМ-Винница, 1999.-320 с.

256. Поспелов Д.А. «Серые» и/или «черно-белые» // Прикладная эргономика. Специальный выпуск «Рефлексивные процессы». — 1994. — № 1. — С. 29-33.

257. Недосекин А.О. Применение нечетких множеств в бизнесе, экономике и финансах (Послесловие к конференции FSSCEF-2004) // Новости искусственного интеллекта. 2004. - № 2. - С. 27-34.

258. Джонс М.Т. Программирование искусственного интеллекта в приложениях / М. Тим Джонс; Пер. с англ. Осипов А.И. М.: ДМК Пресс, 2004. - 312 е.: ил.

259. Асанов A.A. Методы извлечения и анализа экспертных знаний: Автореферат дис. канд. тех. наук: 05.13.10 -М., 2002. 31 с.

260. Кочин Д.Ю. Построение баз экспертных знаний для интеллектуальных обучающих систем: Автореферат дис. канд. тех. наук: 05.13.01 — М., 2006. — 24 с.