автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Автоматизированная обучающая система с расширенными функциями тестового контроля знаний, анализа и классификации информации

На правах рукописи

ЭРМАН ЕВГЕНИЙ АНАТОЛЬЕВИЧ

АВТОМАТИЗИРОВАННАЯ ОБУЧАЮЩАЯ СИСТЕМА С РАСШИРЕННЫМИ ФУНКЦИЯМИ ТЕСТОВОГО КОНТРОЛЯ ЗНАНИЙ, АНАЛИЗА И КЛАССИФИКАЦИИ ИНФОРМАЦИИ.

Специальность 05.13.10 Управление в социальных и экономических системах

Автореферат диссертации на соискание ученой степени кандидата технических наук

Астрахань - 2004

Работа выполнена в Астраханском государственном университете

Научный руководитель:

доктор технических наук, профессор ПетроваИ.Ю.

Официальные оппоненты:

доктор технических наук, профессор Дворянкин A.M.

Заслуженный деятель науки РФ, доктор технических наук, профессор Бершадский A.M.

Ведущая организация:

Саратовский государственный техниче-

ский университет

Защита диссертации состоится 25 июня 2004г., в 14 час. 00 мин. на заседании диссертационного совета КМ 212.009.03 при Астраханском государственном университете по адресу: 414056, г. Астрахань, ул. Татищева 20а

Отзывы на автореферат в двух экземплярах, заверенные гербовой печатью, просим направлять ученому секретарю диссертационного совета по адресу: 414056, г. Астрахань, ул. Татищева 20а, АГУ, диссертационный совет.

С диссертацией можно ознакомиться в библиотеке университета.

Автореферат разослан 24 мая 2004г.

Ученый секретарь диссертационного совета

К.Т.Н., ДОЦ

Щербинина О.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В настоящее время перед высшим и средним профессиональным образованием стоит задача подготовки специалистов к профессиональной деятельности с использованием новых информационных технологий (НИТ). Решение этой задачи невозможно без применения программных средств учебного назначения. Вопросы создания такого рода систем рассматриваются многими исследователями [Вержбицкий В. В., Колесникова И. В., 1990], [Шеншев Л.В., 1992], [Александров Г.Н., 1993], [Галеев И.Х., 1998], [Кривошеее А.О., 1998], [Зайнутдинова Л.Х., 1999], [Аванесов B.C., 2003] и др. Существующие в настоящее время программные средства учебного назначения, по классу решаемых задач, можно разделять на: электронные учебники, контролирующие системы, тренирующие системы, обучающие системы, учебные курсы. Наиболее развитым в настоящее время является класс обучающих систем, которые позволяют проводить комплексное обучение по заданной дисциплине. По принципам использования их можно условно разделить на обучающие системы, содержащие знания по конкретной предметной области, и инструментальные системы, предназначенные для наполнения их знаниями по произвольной предметной области с целью создания обучающей системы. Наиболее перспективными с точки зрения соотношения конечного результата и трудозатрат на создание и поддержку являются инструментальные системы, которые принято называть автоматизированными обучающими системами (АОС).

Одной из важных задач при создании АОС является возможность реализации адаптации системы к индивидуальным особенностям обучаемого, за счет организации контроля знаний и обратной связи. Анализ большинства известных. АОС и систем контроля знаний показал, что они имеют ограниченные возможности контроля знаний (рис. 1). Кроме того, в них отсутствуют средства оценки корректности тестового задания и теста в целом, возможности информационного поиска. Это ограничивает возможности разработчика курса в отношении использования различных вариантов тестовых вопросов и способов анализа ответов обучаемых. Наличие обратной связи подразумевает возможность предостав-

РОС НАЦИО! БИБЛИО

СПегср 05 100

ления обучаемому дополнительной информации по результатам тестирования. В сети Интернет в настоящее время насчитывается приблизительно 350Гб только русскоязычных документов различной тематики (по данным Yandex.ru) и этот объем постоянно увеличивается. Поэтому тематика исследований, затрагивающих организацию расширенного контроля знаний и гибкого механизма информационного поиска в сети Интернет, является актуальной.

Рисунок 1

Целью диссертационной работы является повышение эффективности процесса обучения на основе разработки АОС с расширенными функциями тестового контроля знаний, поиска, анализа и классификации учебных материалов в Интернет.

Задачи исследования. В диссертационной работе решаются следующие задачи:

- анализ существующих автоматизированных обучающих систем и систематизация требований, которые предъявляются к АОС как к специализированному программному обеспечению;

- разработка модели и алгоритмов, расширяющих валидность тестовых заданий, позволяющих оценить корректность теста и ответов обучаемых;

- разработка модели и алгоритмов анализа, классификации и поиска учебных

материалов в сети Интернет.

- проверка работоспособности и эффективности предложенных моделей и алгоритмов на практике.

Методы исследований основаны на использовании теории поиска и классификации текстовой информации, тестологии, теории вероятности, статистики, комбинаторики, математического моделирования, формализованного представления сложных структур данных. В разработке программного обеспечения использовались технологии объектно-ориентированного подхода и построения реляционных баз данных.

Научная новизна результатов, полученных в диссертации, заключается в следующем:

• разработана концептуальная модель автоматизированной обучающей системы, расширенная подсистемами статистической оценки качества тестовых заданий, классификации и поиска учебных материалов в Интернет и базе данных системы, принятия решений о пополнении базы знаний системы и корректировке тестовых заданий;

• для организации обучения использованы алгоритмы анализа имеющегося учебного материала и поиска на его основе недостающего материала в сети Интернет, позволяющей адаптировать знания, накопленные в АОС к индивидуальным потребностям обучаемого;

• предложен эффективный комплексный алгоритм сравнения формул, основанный на методах синтаксического разбора формул, позволяющий осуществлять оценку и поиск формул (с достоверностью оценки 95%).

• разработана модель базы данных для хранения тестовых заданий и статистики тестирования, позволяющая автоматизировать статистическую оценку качества тестов, выявлять некорректно составленные тестовые задания на основе сравнительного анализа

совокупности неправильных ответов обучаемых и формировать итоговые рекомендации по дальнейшей стратегии обучения.

Практическая ценность работы. На основании предложенных теоретических моделей создана информационно-справочная система «SG-PRO 2003» (свидетельство об официальной регистрации программ для ЭВМ Роспатента № 2003612420 от 30 октября 2003г.). Внедрение системы существенно ускорило создание обучающих курсов и тестов (с оценкой степени корректности тестовых заданий). Разработанная система инвариантна к предметной области, что позволяет использовать ее для создания различного рода обучающих курсов.

Система использовалась для контроля знаний студентов по дисциплине «Информатика» в Астраханском государственном университете, создания «Электронного справочного пособия для учителей школ Астраханской области» и профессионального отбора государственных служащих в Администрации Астраханской области.

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на научных конференциях Астраханского Государственного Технического Университета (2002), на X, XI, XII Международных конференциях-выставках ИТО-2000, 2001, 2002 (Москва, 20002002гг.), на Всероссийской - научно-практической конференции «Технологии ИНТЕРНЕТ - на службу обществу» (Саратов, 2002,2004гг.).

Публикации. Результаты диссертации отражены в девяти опубликованных работах.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, общих выводов и списка использованной литературы, содержащей 158 наименований. Общий объем работы 132 страницы машинописного текста, который включает 15 рисунков, 5 таблиц и 5 приложений.

СОДЕРЖАНИЕ РАБОТЫ

Во введении сформулированы основные цели диссертационной работы, обоснована актуальность темы исследования, ее научная новизна и практическая значимость.

В первой главе проанализированы тенденции развития и проблематика одной из актуальных областей современных информационных технологий — автоматизированных обучающих систем. Анализ показал, что современный этап развития АОС связан с использованием достижений в области инженерии знаний и тех возможностей, которые предоставляются глобальными компьютерными сетями.

Приведены некоторые существующие классификации обучающих систем и показана их неоднозначность. Выявлены классифицирующие признаки и дополнительно введены новые, определяющие адаптивность систем, на основе которых проанализирован ряд существующих обучающих систем. Для оценки качества обучающей системы рассматривается соответствие обучающей системы схеме процесса обучения. Процесс обучения можно трактовать как. процесс управления усвоением знаний. Как и любой процесс управления, реализуемый в замкнутой системе, этот процесс характеризуется целью управления, имеет объект управления (обучаемые), устройство управления (АОС) и канал обратной связи. На рис. 2 представлена структурная схема модели человеко-машинного управления учебным процессом. Критерием качества управления могут служить результаты контроля знаний. Из приведенной схемы управления процессом обучения видно, что важным качеством, которым должна обладать АОС, является обратная связь, позволяющая адаптировать процесс обучения к индивидуальным особенностям обучаемого.

Был проведен обзор 118 инструментальных оболочек, автоматизированных обучающих и тестирующих систем, дана их классификация и сравнительный анализ функциональных возможностей. Выявлены и проанализированы их достоинства и недостатки. Сведения о наиболее известных системах приведены в таблице 1.

Таблица 1. Сравнительный анализ наиболее известных российских АОС

ПрКШШВ КАДИС ЭКСТЕРН КОБРА АОСМПКРО Фея

Ппезмргнэяоблжть

принцип органнэафи учебного к&тертл Гипертекст и гипермедиа Набор информационных в контрольных кадров Файлы форматов Набор информационных и командою кацров Снсгетв меню, окон хыцрог

место хранят* учебного яатериала БД системы БД систеиы БД системы БД системы я внешние файлы БД сн стены

Контроль ионий

тестирование Да Да Да Да Да

реализовано! е схеиы контроля ззалкй Фикшровангсе число вопросов, произвольная выборкг вопросов из тсст1. Балеты и пороговая ехал Программируете! фиксированный тест Программируете! Фиксированное число зсгросо!

алгоритм проведай» контроля Ф газированный Фиксирован шш программируется Фюсированный Фиксированный или программируется Фнксфованный или программируется

гиты ответов Выборочные.консгруируемыеи числовые опеты Выборочные, конструируемые и нЛорочно-гонстружруемые ответы Выборочные и числовые опеты Мат. и хим. формулы. текст, графит, структурные схолы, вектэра и др Строка символов, выборочные (влбор номера ответа или области нааоане)

шдллз ответов Требует перечислены веек ®оэ-можеых эталонов Перепеленке всех ЕИМОЖНЫХ эталонов или пи£лон отвла ПрОСИ 1НЕ5НЫЙ Развитый (можн о использовать шаблоны ответов) Прлклтишый

тацсистемг ввода ответов Простая Проста! Проста! Схожвая Простая

Возможности охштпшш

'адгеквный контроль Отсутствует Программируете! Отсутствует Программируема Программируется

Контроль с опредпением фячин ошзбок Отсутствует Отсутствует Отсутствует Программируется Программируется

ЗМОЖНОСТЗ информационного поиска Отсутствует Отсутствуя Отсутствует Отсутствует Отсутствует

нала качества теста Отсутствует Отсутствует Отсутствует Отсутствует Отсутствует

Рисунок 2. Структурная схема модели человеко-машинного управления учебным процессом

В общем случае, структуру курса можно представить в виде дерева учебных материалов. Узлами дерева являются темы, а листьями - учебные материалы (ЕМ), которые можно определить следующим образом:

ЕМ = { Р, Е, QB, д, L, LNK, DEF },

где Р — множество обучающих страниц; Е — множество учебных элементов; дВ — множество блоков контрольных вопросов; д — множество контрольных вопросов, L — множество внешних источников; LNK — множество внутренних связей; DEF — множество определений курса.

Большинство рассмотренных систем ориентировано на создание обучающих модулей, состоящих из набора «кадров». В связи с бурным развитием Интернет, наиболее интересным и перспективным представляется использование гипертекстовой мультимедийной информации. Это позволит при необходимости легко интегрировать разработанные учебные курсы в глобальную сеть Интернет и материалы из Интернет в АОС.

На основе проведенного анализа известных АОС и тенденций использования информационных технологий в образовании, определены основные особенности разрабатываемой системы:

1. необходимость расширения видов тестирования: выбор варианта ответа, символьный ответ, числовой ответ, графический ответ и ответ в виде формулы (отсутствует практически во всех рассмотренных системах);

2. средства адаптации системы к образовательным стандартам и индивидуальным особенностям обучаемых:

a. средства поиска и классификации текстовой информации в сети -Интернет;

b. средства выдачи тестируемому итоговых рекомендаций и дополнительного материала, для устранения пробелов в знаниях (на основе тематического банка документов и экспертных оценок);

3. комплекс средств анализа тестовых заданий и теста в целом;

Во второй главе рассмотрены принципы организации АОС и определена функциональная структура разрабатываемой системы (рис. 3).

АОС состоит из следующих основных частей:

• база данных учебных материалов--содержит учебный и > справочный

материал (в виде гипертекстовой информации с мультимедийными вставками), тестовые задания, стандарты и программы курсов;

• база данных подсистемы поиска - содержит индексные значения тематической разбивки документов, полученные по результатам экспертных оценок и автоматического анализа набора документов тематики, стандартов и программ курсов;

• база данных статистики тестирования - содержит информацию о студентах, статистику тестирований;

• подсистема генерации электронного учебника - подсистема для создания информационного наполнения; создания и изменения структуры обучающего курса, генерации тестовых заданий;

Рисунок 3. Структура системы.

• подсистема вывода учебного материала и организации контроля знаний обучаемых;

• подсистема классификации и поиска учебных материалов - подсистема анализа и классификации исходного лекционного материала и Интернет-документов и поиска данных.

• подсистема анализа статистики тестирования и выдачи, на ее основе, методических рекомендаций по корректировке тестовой базы.

На основании результатов тестирования, анализа образовательного стандарта, программы курса и мнения экспертов, АОС определяет недостаточно проработанные темы и формирует задание на поиск дополнительных учебных материалов в сети Интернет или базе данных. Кроме того, результаты тестирования позволяют определить эффективность самих тестовых заданий (степень достоверности результатов тестирования). На основании результатов

анализа разработчику теста выдаются рекомендации, позволяющие повысить эффективность теста Для расширения возможностей контроля знаний, особенно по дисциплинам естественно-научного цикла, введен эффективный алгоритм сравнения формул в естественном виде.

В третьей главе дается описание реализованных в рамках диссертационной работы алгоритмов поиска и классификации информации (необходимы для организации обратной связи), разработанных алгоритмов сравнения формул, оценки корректности графического ответа (необходимы для расширения спектра тестовых заданий и улучшения качества тестирования) и структура разработанных баз данных.

В результате проведенного анализа структуры системы и методики обучения для работы системы были разработаны три базы данных: база данных учебных материалов, база данных подсистемы поиска и база данных статистики тестирования.

В базе данных учебных материалов хранятся древовидные структуры курсов, содержащие разбитый на тематики материал лекций, тестовые задания и словари терминов и персоналий. Тест состоит из набора тестовых заданий, разбитых на группы и тематики. Каждое задание, в рамках теста, имеет собственную степень сложности. С целью унификации тестовых заданий была разработана структура таблиц, позволяющая хранить любые виды тестовых заданий без внесения изменений в структуру базы данных.

В базе данных подсистемы поиска хранятся словари тематик, полученные автоматически на основе анализа текстов лекций, образовательных стандартов, программ курсов и дополненные знаниями экспертов.

В базе данных статистики тестирования хранится подробная статистика по результатам тестирования, на основании анализа которой формируются рекомендации подсистемой оценки тестовых заданий. За счет расширения хранимой статистической информации на основе ее анализа и оценки выполняется формирование рекомендаций по корректировке тестовых заданий.

На основе сравнения автоматических и экспертных, тематических словарей, принимается решение о поиске дополнительной информации в сети

Интернет. Для поиска дополнительной информации используется - алгоритм метапоиска по существующим наиболее популярным поисковым системам (рис. 4). Это позволяет получить актуальный на данный момент времени набор материалов по заданной тематике. После получения списка документов производится их фильтрация и классификация с целью отсечения случайной информации с помощью метода латентно-семантического анализа.

Рисунок 4. Схема работы метапоисковой системы.

Алгоритмклассификации информации.

Классические модели информационного поиска рассматривают документы как множества представляющих эти документы ключевых слов, в дальнейшем называемых термами. Терм — это обычно просто слово, семантика которого помогает описать основное содержание документа.

Формально, описание любой модели информационного поиска состоит го 4 частей:

Б — множество используемых типов представлений документов

Q — множество используемых типов описаний информационных потребностей пользователя, т. е. запросов

F - общий каркас, в рамках которого происходит моделирование описаний документов и запросов, а также описание взаимосвязей между ними

- функция ранжирования, которая паре документ/запрос сопоставляет некоторое вещественное число

В качестве описания документа используется все множество встречающихся в документе термов, за исключением общеупотребительных.

Тематики также представляются в системе наборами термов, однако эти наборы содержат не все употребляющиеся в данной тематике слова, а только небольшое их подмножество, часть которого задается пользователем при создании информационного наполнения, а другая часть выбирается автоматически по результатам анализа множества документов. Целью анализа является выявление отличий этой тематики от других и выбор термов, наилучшим образом подчеркивающих особенности этой тематики.

Выбор слов для описания каждой из тематик производится при помощи следующего алгоритма:

Построение общего словаря термов Л

В этот словарь включаются все термы, которые используются хотя бы в одном из документов задающих тематики.

Вычисление вероятностных оценок:

Для • каждого терма IV вычисляется оценка вероятности его использования в документах данной тематики

Построение «тематических» словарей:

Для каждой тематики С строится «тематический» словарь. В этот словарь попадают термы, вероятность использования которых в этой тематике превосходит вероятность их использования в любой другой тематике т.е.

и

Р(м>|С)>

С,еП

и

Для каждого из отобранных термов вычисляется его значимость в рамках данной тематики согласно следующей эмпирической формуле:

Отбор термов для описания:

Значимость термов, полученная на предыдущем этапе, задает отношение порядка на каждом из «тематических» словарей. Используя это отношение, из «тематического» словаря тематики выбирается несколько термов для использования в качестве описания этой тематики (от 10 до 30 в зависимости от значимости).

Для расширения возможностей тестового контроля знаний был разработан алгоритм сравнения формул в естественном виде. Алгоритм сравнения формул.

При сравнении формул сначала используется метод синтаксического разбора и упрощения, а затем, в случае признания формул различными дополнительно - статистический метод (рис. 5).

Алгоритм работы метода синтаксического разбора и упрощения:

1. Синтаксический разбор исходной формулы (правильный вариант ответа) и применение математических правил преобразования (раскрытие скобок).

2. Преобразование формулы в дерево операций, причем вершиной дерева является операция, выполняемая последней, сходные операции группируются, а операция возведения в степень преобразуется в последовательное умножение. Сортировка ветвей дерева и упрощение.

3. Синтаксический разбор формулы, введенной пользователем, с использованием математических правил преобразования (раскрытие скобок).

С,еП

Результат

Рисунок 5. Блок схема алгоритма сравнения формул.

4. Преобразование формулы в дерево операций. Сортировка ветвей дерева и упрощение.

5. Если число уровней деревьев различное, формулы считаются различными и алгоритм прекращает работу, иначе переходим к шагу 6.

6. Переходим к нижнему уровню дерева исходной формулы.

7. Если текущий уровень корневой - формулы эквивалентны, прекращаем работу. Сравниваем текущий уровень дерева исходной формулы с соответствующим уровнем дерева проверяемой формулы (не строгое равенство, а эквивалентность). Если уровни деревьев различны, формулы считаются различными и алгоритм прекращает работу, иначе поднимаемся на один уровень вверх и переходим к шагу 7. Упрощение дерева формулы производится, исходя из ряда специально

разработанных правил.

Кроме того, разработанный алгоритм сравнения формул по методу синтаксического разбора и упрощения позволяет выявлять ошибки и осуществлять поиск «похожих» формул из лекционного материала Для простых многочленов возможно проведение нечеткого сравнения (по внешнему виду

формулы). В этом случае все переменные (или их часть) заменяются на спецсимвол « ххххЫ >> (где N - порядковый номер переменной), затем выполняется алфавитная сортировка деревьев и производится сравнение на основе используемых операций.

При сравнении двух формул с использованием статистического метода в них последовательно подставляется ряд значений и сравниваются результаты с учетом погрешностей. Если результаты формул во всех случаях одинаковые, формулы считаются равнозначными. Для повышения эффективности статистического метода преподаватель может задавать область определения переменных формулы. Если область определения задана, в качестве контрольных значений выбирается ряд случайных чисел вне области определения.

Для оценки эффективности метода были проведены тестовые испытания на наборе из 200 различных формул. Результаты анализа представлены на рис. 6.

Рээрабоганмдй алгоритм Классический стэтистичестй метод

В Перемен а мест слагаемых

а Перемена мест слагаем.« (с задаммм области определения) а№мвнаниа членов вырзмвжя

в(4гмвненив членов выражвмчя (с задажем области определения)

Рисунок 6. Сравнительная статистика применения разработанного комплексного алгоритма сравнения формул и классического статистического метода.

Средняя точность оценки разработанного алгоритма примерно равна 95%.

Таким образом, проведенные статистические исследования подтвердили

эффективность работы данного алгоритма.

Графический вариант ответа.

Используемый в настоящее время графический вариант ответа подразумевает совпадение координат указателя мыши и графического объекта на экране с определенной степенью точности. Особенностью данного алгоритма проверки, в отличие от используемых в настоящее время, является возможность динамического построения графика функции по заданной формуле и проверка результата путем определения принадлежности точки графику функции. Правильным вариантом ответа может быть область либо точка

Алгоритм анализа тестов.

Для оценки степени корректности тестовых заданий и формирования теста применятся методика построения научно обоснованных тестов1. Основой для проведения оценки является статистика тестирования. На ее основе строятся две матрицы:

1. Матрица результатов - представляет результаты испытуемых по всем проверяемым заданиям. Если представить, для примера, что т испытуемых отвечают на л заданий, и что за каждый правильный ответ дается один балл, а за неправильный - ноль, то результат тестирования можно представить в матрице

В этой матрице строки определяют испытуемых, а столбцы - задания. Использованы только две оценки, 1 и 0. В матрице любого размера эти оценки отражают результаты взаимодействия множества испытуемых со множеством заданий.

2. Полная корреляционная матрица, которая показывает взаимосвязь всех тестовых заданий друг с другом и с итоговым тестовым баллом.

1 Аванесов B.C. Научные основы тестового контроля знаний, М. Иссл. центр, 1994 .-135 с.

В качестве показателя трудности заданий используется доля неправильных ответов (ц,). Эта доля вычисляется из отношения числа неправильных ответов (Wj ) к числу испытуемых (К):

N

Сгруппированные исходные тестовые баллы можно представить в виде гистограммы (рис. 10). На этой же гистограмме представлена кривая нормального распределения, показывающая идеально требуемое распределение тестовых результатов.

Чем лучше сделан тест и чем больше испытуемых, тем больше реальное распределение баллов, представляемое гистограммой, начинает приобретать форму распределения, изображаемого данной кривой (Рис. 7).

Рисунок 7. Гистограмма тестовых результатов.

На основе анализа в автоматическом режиме производится оценивание теста с выдачей рекомендаций об исключении или корректировке вопросов в тестовой базе.

В четвертой главе описываются разработанная система и результаты педагогического эксперимента по ее использованию. На основе теоретических исследований была создана информационно-справочная и обучающая система «80-РК0 2003» (свидетельство об официальной регистрации программ для ЭВМ

Роспатента № 2003612420 от 30 октября 2003г.). Система состоит из следующих основных частей:

1. АРМ разработчика курса — позволяет создавать обучающие курсы в визуальном режиме.

2. АРМ администратора системы — позволяет администрировать тестирование пользователей: настраивать авторизацию, время и количество попыток прохождения теста, просматривать результаты тестирования.

3. АРМ обучаемого - предоставляет обучаемому доступ к учебным материалам.

Для практической проверки эффективности работы подсистемы классификации и поиска был проведен ряд экспериментов, используя большой набор данных в качестве экспериментальной базы. На основе определения тематики был сформулирован запрос к метапоисковой системе, а затем проведена классификация полученной информации с целью выявления релевантности полученного набора документов. Далее проводился анализ полученной информации. Результаты практических экспериментов показали, что отсеивается 64% документов из исходного набора (из них ни один не удовлетворяет заданным критериям), а из оставшихся 26% по результатам экспертной оценки на 84% соответствуют указанной тематике. Данные эксперимента позволяют сделать вывод о применимости данного алгоритма для задач поиска дополнительной информации по результатам тестового контроля знаний.

В педагогическом эксперименте, который осуществлялся в период с 15 ноября 2003 г. по 8 января 2004 г. в Астраханском государственном университете, приняли участие 185 студентов 2-5 курсов, проходивших подготовку к студенческому информационному десанту. По результатам анкетирования, 87% опрошенных положительно отнеслись к введению заданий с графическим, символьным, числовым и формульным вариантами ответа. Компьютерное тестирование, целью которого было осуществление входного и выходного контроля, проводилось по дисциплине «Информатика» и носило прикладной и исследовательский характер. Исследованию подлежали два основных вопроса:

1. Целесообразность и эффективность использования данной АОС в процессе обучения.

2. Возможность оценки качества тестов по анализу статистической информации.

Необходимо было решить следующие диагностические задачи:

• сравнить уровни усвоения учебного материала, определенные посредством применения традиционных форм контроля и опытным путем, посредством использования АОС;

• оценить качество самих тестов.

Анализу подверглись следующие показатели:

• количество правильных ответов на тестовые задания;

• время тестирования;

• общие и промежуточные (по темам) оценки студентов.

Параллельно с тестовым контролем по тем же темам преподавателями

были выставлены баллы.

Сравнительный анализ результатов показал приемлемость проведения контроля с помощью АОС для проверки знаний, умений и навыков студентов по рассмотренным темам. Результаты тестирования хорошо согласовывались с результатами, полученными при использовании других методов опроса и контроля (среднее расхождения оценок не превышает 10%).

Анализ результатов тестирования и расчет среднестатистических тестовых показателей позволил выявить наиболее сложные, неясно сформулированные или слишком простые задания. Это привело к необходимости изменения содержания или формы представления тестовых заданий, а также к решению вопроса о нецелесообразности включения отдельных заданий в тест. После внесения корректировок в тест, улучшилось восприятие теста и как следствие, его дифференцирующая способность.

Таким образом, полученная в ходе эксперимента информация дает возможность, во-первых, постепенного создания надежных тестов и, во-вторых, разработки методики эффективного их использования в обучающем процессе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ.

1. Разработана концептуальная модель АОС, с расширенными функциями тестового контроля, анализа и классификации информации, повышающими эффективность адаптации к индивидуальным особенностям обучаемых и требованиям образовательных стандартов.

2. Для организации адаптивного обучения использованы алгоритмы поиска, фильтрации и классификации текстовой информации, основанные на методах латентно-семантического анализа, что позволило на основании статистики результатов тестирования пользователей находить дополнительную информацию в сети Интернет с релевантностью 84%.

3. Разработаны модели контроля знаний, обеспечивающие расширенные возможности представления и анализа ответов обучаемых и включающие:

a. Модель анализа формульного ответа на основе комплексного взаимодействия алгоритмов сравнения формул, методами синтаксического разбора и статистического анализа формул с достоверностью оценки 95%.

b. Модель анализа графического ответа, основанную на алгебраических методах динамического построения графиков функций по заданным формулам'

4. Разработана модель базы данных для хранения тестовых заданий и статистики тестирования, и алгоритмы, позволяющие выявить некорректно составленные тестовые задания на основе сравнительного анализа совокупности неправильных ответов обучаемых.

5. Разработана модель оценки качества тестов, на основе статистической обработки и методов корреляционного анализа результатов тестового контроля, что позволило оценивать качество тестовых заданий и выявлять неправильно сформулированные задания в автоматическом режиме.

6. На основе предложенных моделей и алгоритмов реализована АОС «SG-PRO 2003» (свидетельство об официальной регистрации программ для ЭВМ Роспатента № 2003612420 от 30 октября 2003г.) с улучшенными возможностями адаптации к обучаемому, которая внедрена в Астраханском государственном университете и Администрации Астраханской области.

Публикации по теме диссертации.

1. Жедунов P.P., Жолобов ДА., Эрман Е.А. Проблема создания мультимедиа учебников. Генератор мультимедиа учебников // Новые информационные технологии в электротехническом образовании: Сборник трудов. -Астрахань: АГТУ. -2000.

2. Жолобов Д.А., Эрман Е.А. Использование программы-генератора для автоматизированного создания электронных учебников // X Международная конференция-выставка ИТО-2000: Сборник трудов. - М.: МИФИ. -2000.

3. Эрман Е.А. Анализ существующих систем автоматизированного создания электронных учебников // НИТРИ0-2001. - Астрахань: АГТУ. -2001.

4. Эрман Е.А. ИТ0-2001. Использование программного комплекса «SG-Pro 2000» для создания тестовых заданий на основе интернет-технологий // XI Международная конференция-выставка ИТ0-2001: Сборник трудов. - М.: МИФИ. -2001.

5. Элькин М.Д., Эрман ЕЛ. Дистанционное образование и компьютерное тестирование // Межрегиональная научно-практическая конференция «Технологии интернет на службе обществу»: Сборник трудов. - Саратов: СГТУ. -2002.

6. Эрман Е.А. «Информационно-справочная система «SG-PRO 2003». Свидетельство об официальной регистрации программ для ЭВМ Роспатента № 2003612420 от 30 октября 2003г

7. Эрман ЕЛ . Компьютерное тестирование - современные тенденции // Вестник ПАГС, №6 Саратов: ПАГС.-2004.

8. Эрман Е.А. Обучающие системы и проблема информационного поиска дополнительной справочной информации в среде Internet // III Всероссийская научно-практическая конференция «Технологии ИНТЕРНЕТ - на службу обществу»: Сборник трудов. - Саратов: СГТУ. -2004.

9. Эрман Е.А., Элькин М.Д. Использование программного комплекса "SG-PRO 2003" для создания заданий на основе Интернет технологий // Ш Всероссийская научно-практическая конференция «Технологии ИНТЕРНЕТ -на службу обществу»: Сборник трудов. - Саратов: СГТУ. -2004.

Подписано в печать 21.05.2004 Уч.-изд. л. 1,1. Усл. печ. л. 1,0. Заказ № 540. Тираж 100 экз.

Издательский дом «Астраханский университет» 414056, г. Астрахань, ул. Татищева, 20 факс (8512) 25-17-18, тел. (8512) 54-01 -89,54-01 -87, Е-ПИЙ: гШртЩЙУажкхД!

H 166

ВВЕДЕНИЕ.

1. АВТОМАТИЗИРОВАННЫЕ ОБУЧАЮЩИЕ СИСТЕМЫ.

1.1. Анализ развития автоматизации учебного процесса.

1.2. Современная автоматизированная обучающая система.

1.3. Классификация компьютерных средств учебного назначения.

1.3.1. Существующие классификации.

1.4. Схема процесса обучения.

1.5. Автоматизированные обучающие системы (АОС).

1.5.1. Преимущества автоматизированных обучающих систем.

1.5.2. Понятие автоматизированной обучающей системы.

1.5.3. Инструментальные оболочки обучающих систем.

1.5.4. Основные направления исследований.

Выводы.

2. КОНЦЕПТУАЛЬНАЯ МОДЕЛЬ АВТОМАТИЗИРОВАННОЙ ОБУЧАЮЩЕЙ СИСТЕМЫ С РАСШИРЕННЫМИ ФУНКЦИЯМИ ТЕСТОВОГО КОНТРОЛЯ ЗНАНИЙ, АНАЛИЗА И КЛАССИФИКАЦИИ ИНФОРМАЦИИ.

2.1. Обучение с помощью АОС.

2.1.1. Электронные лекции.

2.1.2. Тестирование.

2.1.3. Требования к тестовым заданиям.

2.1.4. Статистический анализ результатов тестирования.

2.2. Структура разрабатываемой АОС.

2.3. Пользователи АОС.

2.4.1. Взаимодействие с обучаемым.

2.4.2. Работа с учебным материалом.

Выводы.

3. АЛГОРИТМИЗАЦИЯ ОСНОВНЫХ ФУНКЦИЙ АОС.

3.1. Алгоритмы поиска и классификации информации.

3.2. Алгоритм сравнения формул.

3.3. Графический вариант ответа.

3.4. Оценка тестов и тестовых заданий.

3.5. Разработка модели базы данных АОС.

3.3.3. Создание концептуальной модели базы данных.

Выводы.

4. АВТОМАТИЗИРОВАННАЯ ОБУЧАЮЩАЯ СИСТЕМА.

4.1. Физическая модель базы данных системы.

4.2. АРМ разработчика курса.

4.3. Подсистема контроля знаний.

4.4. Подсистема метапоиска.

4.5. Анализ результатов экспериментальной апробации системы.

Человеческая цивилизация вступила в новый период своего развития -период построения информационного общества. В развитых странах в сфере обработки информации в настоящее время занято 60-70% трудоспособного населения. В США 54% продукции производится в сфере ИТ. Информатизация общества привела к изменению характера профессиональной деятельности на основе внедрения в нее новых информационных технологий (НИТ).

Внедрение НИТ изменяет и характер профессиональной деятельности: изменяются методы организации труда и взаимодействия вычислительной техники с людьми и производственным оборудованием, возникают связанные с этим социальные, экономические и культурные проблемы. Профессиональная деятельность становится многомерной. Техническая деятельность развивается в окружении, которое усиливает человеческие связи, делает необходимым соблюдение таких критериев, как управление, точность, качество, и вызывает критическое поведение и творческую активность. Жизненно важным фактором становится - научить справляться с изменяющимися ситуациями в работе.

В современной профессиональной деятельности необходимо учиться действовать в условиях внедрения НИТ и овладевать новыми областями их применения, углублять и расширять обучение для получения обновляющихся знаний и предотвращения их старения. По данным американских исследователей, в сфере современных информационных технологий за 2-3 года происходит устаревание знаний (по данным International Data Corporation (IDC)). В тоже время, эффективность инвестиций в образование составляет 200-300% на вложенные средства (по данным IDC).

В этих условиях перед высшим и средним профессиональным образованием стоит задача подготовки специалистов к профессиональной деятельности с использованием НИТ. Решение этой задачи невозможно без использования программных средств учебного назначения. Вопросами создания такого рода систем рассматриваются многими исследователями [Вержбицкий В. В., Колесникова И. В., 1990], [Шеншев JI.B., 1992], [Александров Г.Н., 1993], [Галеев И.Х., 1998], [Кривошеев А.О., 1998], [Зайнутдинова JI.X., 1999], [Васильев В.И., Тягучева Т.Н., 2000-2003], [Аванесов B.C., 1994-2003] и др. Существующие в настоящее время программные средства учебного назначения, по классу решаемых задач, можно разделить на: электронные учебники, контролирующие системы, тренирующие системы, обучающие системы, учебные курсы [84]. Наиболее развитым в настоящее время является класс обучающих систем, которые позволяют проводить комплексное обучение по заданной дисциплине. По принципам использования их можно условно разделить на обучающие системы, содержащие знания по конкретной предметной области, и инструментальные системы, предназначенные для наполнения их знаниями по произвольной предметной области с целью создания обучающей системы. Наиболее перспективными с точки зрения соотношения конечного результата и трудозатрат на создание и поддержку являются инструментальные системы, которые принято называть автоматизированными обучающими системами (АОС) [9,36,41,80,133]. К основным достоинствам АОС относятся:

- интенсификация обучения [6,158];

- возможность индивидуальной адаптации курса обучения к потребностям обучаемых или условиям обучения [113,99];

- возможность использования и тиражирования передового опыта [99];

- повышение доступности образования [42,63,154];

- обучение навыкам самостоятельной работы [53,104];

- разгрузка преподавателя от ряда рутинных, повторяющихся действий (чтения лекций, проверки контрольных работ и т.д.) [85];

- возможность использования в рамках дистанционного обучения, переобучения и повышения квалификации [3,10,32].

Анализ большинства известных АОС и систем контроля знаний показал, что они имеют ограниченные возможности контроля знаний. Кроме того, в них отсутствуют средства оценки корректности тестового задания и теста в целом, возможности информационного поиска. Это ограничивает возможности разработчика курса в отношении использования различных вариантов тестовых вопросов и способов анализа ответов обучаемых. Наличие обратной связи подразумевает возможность предоставления обучаемому дополнительной информации по результатам тестирования. В сети Интернет в настоящее время насчитывается приблизительно 350Гб только русскоязычных документов различной тематики (по данным Yandex.ru) и этот объем постоянно увеличивается. Поэтому тематика исследований, затрагивающих организацию расширенного контроля знаний и гибкого механизма информационного поиска в сети Интернет, является актуальной.

Целью настоящей работы является повышение эффективности процесса обучения на основе разработки АОС с расширенными функциями тестового контроля знаний, поиска, анализа и классификации учебных материалов в Интернет.

В рамках данной работы решаются следующие задачи:

- анализ существующих автоматизированных обучающих систем и систематизация требований, которые предъявляются к АОС как к специализированному программному обеспечению;

- разработка модели и алгоритмов, расширяющих валидность тестовых заданий, позволяющих оценить корректность теста и ответов обучаемых;

- разработка модели и алгоритмов анализа, классификации и поиска учебных материалов в сети Интернет.

- проверка работоспособности и эффективности предложенных моделей и алгоритмов на практике.

Для решения поставленных задач, в работе использованы методы теории поиска и классификации текстовой информации, тестологии, теории вероятности, статистики, комбинаторики, математического моделирования, формализованного представления сложных структур данных. В разработке программного обеспечения использовались технологии объектно-ориентированного подхода и построения реляционных баз данных.

Научная новизна результатов, полученных в диссертации, заключается в следующем:

• разработана концептуальная модель автоматизированной обучающей системы, расширенная подсистемами статистической оценки качества тестовых заданий, классификации и поиска учебных материалов в Интернет и в базе данных системы, принятия решений о пополнении базы знаний системы и корректировке тестовых заданий;

• для организации обучения использованы алгоритмы анализа имеющегося учебного материала и поиска на его основе недостающего материала в сети Интернет, позволяющие адаптировать знания, накопленные в АОС к индивидуальным потребностям обучаемого;

• предложен эффективный комплексный алгоритм сравнения формул, основанный на методах синтаксического разбора формул, позволяющий осуществлять оценку и поиск формул (с достоверностью оценки 95%).

• разработана модель базы данных для хранения тестовых заданий и статистики тестирования, позволяющая автоматизировать статистическую оценку качества тестов, выявлять некорректно составленные тестовые задания на основе сравнительного анализа совокупности неправильных ответов обучаемых и формировать итоговые рекомендации по дальнейшей стратегии обучения;

Практическая ценность работы заключена в следующем:

1. На основании полученных теоретических моделей создана информационно-справочная система «SG-PRO 2003» (свидетельство об официальной регистрации программ для ЭВМ Роспатента № 2003612420 от 30 октября 2003г.). Внедрение системы существенно ускорило создание обучающих курсов и тестов (с оценкой степени корректности тестовых заданий).

2. Система инвариантна к предметной области, что позволяет использовать ее для создания различного рода обучающих курсов.

3. Система использовалась для контроля знаний студентов по дисциплине «Информатика» в Астраханском государственном университете, создания «Электронного справочного пособия для учителей школ Астраханской области», профессионального отбора государственных служащих в Администрации Астраханской области.

Диссертационная работа состоит из введения, четырех глав, общих выводов и списка использованной литературы, содержащей 158 наименований.

Выводы

В четвертой главе описываются разработанная система и результаты педагогического эксперимента по ее использованию.

Основные особенности разработанного комплекса:

1. Интегрированная система классификации и поиска, расширенная система тестовых заданий и интегрированная система оценки корректности теста.

2. Подсистема контроля знаний, обеспечивающая более полные возможности представления и анализа ответов обучаемых и включающая:

• алгоритм сравнения формул,

• алгоритм оценки графического варианта ответа.

3. Встроенные алгоритмы оценки результатов тестирования и составления корректных тестов.

Результаты проведенного педагогического эксперимента подтвердили корректность реализованных теоретических разработок.

ЗАКЛЮЧЕНИЕ

К основным результатам работы можно отнести следующие:

Разработана концептуальная модель АОС, с расширенными функциями тестового контроля, анализа и классификации информации, повышающими эффективность адаптации к индивидуальным особенностям обучаемых и требованиям образовательных стандартов. Для организации адаптивного обучения использованы алгоритмы поиска, фильтрации и классификации текстовой информации, основанные на методах латентно-семантического анализа, что позволило на основании статистики результатов тестирования пользователей находить дополнительную информацию в сети Интернет с релевантностью 84%.

Разработаны модели контроля знаний, обеспечивающие расширенные возможности представления и анализа ответов обучаемых и включающие: a. Модель анализа формульного ответа на основе комплексного взаимодействия алгоритмов сравнения формул, методами синтаксического разбора и статистического анализа формул с достоверностью оценки 95%. b. Модель анализа графического ответа, основанную на алгебраических методах динамического построения графиков функций по заданным формулам

Разработана модель базы данных для хранения тестовых заданий и статистики тестирования, и алгоритмы, позволяющие выявить некорректно составленные тестовые задания на основе сравнительного анализа совокупности неправильных ответов обучаемых.

Разработана модель оценки качества тестов, на основе статистической обработки и методов корреляционного анализа результатов тестового

115 контроля, что позволило оценивать качество тестовых заданий и выявлять неправильно сформулированные задания в автоматическом режиме.

На основе предложенных моделей и алгоритмов реализована АОС «SG-PRO 2003» (свидетельство об официальной регистрации программ для ЭВМ Роспатента № 2003612420 от 30 октября 2003г.) с улучшенными возможностями адаптации к обучаемому, которая внедрена в Астраханском государственном университете и Администрации Астраханской области.

1. Аванесов B.C. Научные проблемы тестового контроля знаний / Монография. М.: Исследовательский центр проблем качества подготовки специалистов, 1994.-135 с.

2. Агеев В.Н. Электронные учебники и автоматизированные обучающие системы.-М.: 2001.-79 с.

3. Александров Г.Н. Программированное обучение и новые информационные технологии обучения. // Информатика и образование, 1993, №5. с. 7-19.

4. Андреев А. Определимся в понятиях. // Высшее образование, 1998, № 4.-с. 53-58.

5. Аттель У. Обучающая вычислительная машина: моделирование в истинном масштабе времени обучающего диалога / В сб.т «Кибернетика и проблемы обучения» / Ред. И предисл. А.И. Берга. —

6. М.: Прогресс, 1970. с. 206-228.

7. Афанасьев В.В., Афанасьева И.В., Тыщенко О.Б. Основные компоненты компьютерных технологий обучения // НИИВО 23.04.98, № 86-98, деп. Муром. Ин-т, фил. Владим. Гос. Ун-та. Муром: 1998.

8. Баринова С.Н. Автоматизированные учебные курсы и их влияние на качество процесса обучения / Материалы конференции

9. Информационные технологии в образовании», 1999. —http ://ito .bitpro .ru/

10. Беспалько В.П. Педагогика и прогрессивные технологии обучения. — М.: 1995.

11. Булгаков М.В., Якивчук Е.Е. Инструментальные системы для разработки обучающих программ / В кн. «Компьютерные технологии в высшем образовании». / Ред. Кол.: А.Н. Тихонов, В.А.

12. Садовничий и др. М.: Изд-во Моск. Ун-та., 1994. - с. 153-162.

13. Владимирский Б. М. Роль и место когнитивной машинной графики в обучении // Тезисы докладов уч.-мет. Конференции «Современные информационные технологии в учебном процессе» Ростов: РГУ, 2000.

14. Вопросы создания автоматизированных обучающих систем на базе ЭВМ.-М., 1976.

15. Гиркин И.В. Новые подходы к организации учебного процесса с использованием современных компьютерных технологий //

16. Информационные технологии, 1998, № 6. с. 44-47.

17. Горюнов Ю.П. Логическая структура курса и обучающий алгоритм курса. / В сб.: Программированное обучение и кибернетические обучающие машины. / Под ред. Шестакова А.И. М.: Сов. Радио, 1963.-с. 24-31.

18. Грибкова В.А., Зайцева Л.В., Новицкий Л.П. Управление адаптивным диалогом в автоматизированных обучающих системах.

19. Методические указания. Рига: РПИ, 1988.-52 с.

20. Гринберг Илан, Гарбер Ли. Разработка новых технологий информационного поиска. Открытые Системы, 10, 1999.

21. Даниэла Флореску, Алон Леви, Альберто Мендельсон. Технологии баз данных для World-Wide Web: обзор. Системы управления базами данных, 4,1998.

22. Джалалуддин А.К. Применение компьютеров для целей непрерывного образования // Перспективы, 1991, № 2. с. 72-89.

23. Джалиашвили З.О., Николаев Д.Г. Сетевые технологии какэффективное средство поддержки дистанционном обучения // Материалы конференции «Информационные технологии в образовании», 2001. -http://www.bitpro.ru/

24. Добрынин В.Ю., Некрестьянов И.С. Задача выбора тематических коллекций, релевантных запросу. Труды Всероссийской научно-методической конференции "Интернет и современное сообщество Санкт-Петербург, декабрь 1998.

25. ДомрачевВ.Г., Ретинская И.В. О классификации образовательных информационных технологий // Информационные технологии, 1996, №2.-с. 10-13.

26. Дубровский В.Н. От компьютера-книги к компьютеру-учителю: принципы разработки комплекса «1С:РЕПЕТИТОР. Математика» // Материалы конференции «Информационные технологии вобразовании», 1999. http://www.bitpro.ru/

27. Журавлева И.И. Интеллектуальные обучающие системы и дистанционном образовании // Материалы конференции «Информационные технологии в образовании», 2001. -http://www.bitpro.ru/

28. Зайцева Ж.Н., Солдаткин В.И. Генезис виртуальной образовательной среды на основе интенсификации информационных процессов современного общества // Информационные технологии, 2000, № 3. — с. 44-48.

29. Искусственный интеллект : В 3-х кн. Кн. 1. Системы общения и экспертные системы: Справочник / Под ред. Э.В. Попова. М.: Радио и связь, 1990. - 464 с.

30. Камер Дуглас Э. Компьютерные сети и Internet. Разработка приложений для Internet: Пер. с англ. М.: Изд. Дом «Вильяме», 2002.-640 с.

31. Карлащук В.И. Обучающие программы. М.: «СОЛОН-Р», 2001. 528 с.

32. Карпов В.Э., Карпова И.П. К вопросу о классификации систем // Информационные технологии, 2002, №2. — с. 35-38.

33. Карташева Е. Интеллектуальные поисковые системы Excalibur. Сети, 6,1997.

34. Карташева О.В. Использование адаптивной системы тестирования АСТ-Тест для контроля знаний при дистанционном изучении темы «Базы данных» // Материалы конференции «Информационные технологии в образовании», 2001. — http://www.bitpro.ru/

35. Кибернетика и проблемы обучения: Сборник переводов / Ред. И предисл. А.И. Берга. М.: Прогресс, 1970. - 389 с.

36. Клаудио де Мора Кастро, Торкель Альфтан. Компьютеры во внешкольном образовании // Перспективы, 1991, № 2. с. 59-71.

37. Кнут Д. Искусство программирования для ЭВМ / т.З. Сортировка ипоиск / Пер. с англ. / Под ред. Баяковского и Штаркмана. М.: Мир, 1978.-848 с.

38. Компьютерные технологии в высшем образовании. / Ред. Кол.: А.Н.Тихонов, В.А. Садовничий и др.- М.: Изд-во Моск. Ун-та., 1994. — 272 с.

39. Коутс Р., Влейминк И. Интерфейс «человек-компьютер»: Пер. с англ.- М: Мир, 1990.-501 с.

40. Кривицкий Б.Х. О систематизации учебных компьютерных средств // Кафедра педагогики, психологии и методики преподавания в высшей школе МГУ.http://ifets.ieee.Org/russian/depository/v3i3/html/3.html

41. Кривошеев А.О. Компьютерные обучающие программы. Состояние и перспективы развития // Мат-лы научно-технич. Конференции «Перспективные информационные технологии в высшей школе».41. Самара, 1993.-е. 18-20.

42. Кривошеев А.О. Проблемы оценки качества программных средств учебного назначения // Сборник докладов 1-го научно-практического семинара «Оценка качества программных средств учебного назначения». М.: Гуманитарий, 1995.-е. 5-12.

43. Кривошеев А.О., Голомидов Г.С., Таран А.Н. Перспективные Internet-технологии информационного обеспечения образовательных услуг // Российский НИИ информационных систем, 2000.

44. Кривошеев А.О., Фомин С.С. Конкурс «Электронный учебник» / В кн. «Компьютерные технологии в высшем образовании». / Ред. Кол.: А.Н. Тихонов, В.А. Садовничий и др. — М.: Изд-во Моск. Ун-та., 1994. -с. 264-268.

45. Кулешов В. О дистанционном обучении студентов специальности. «Радиотехника» в МЭИ. // Радиотехнические тетради, 1994, № 6. — с. 65-66.

46. Кураленок И.Е., Некрестьянов И.С. Автоматическая классификация документов с использованием семантического анализа. Программирование, №4, с. 31-41,2000.

47. Логический подход к искусственному интеллекту: от классическойлогики к логическому программированию / Пер. с франц. — М.: Мир, 1990.-432 с.

48. Лозинский Л.Д. Математические пакеты в высшей школе // Мир ПК, 1992,№9.-с. 89-97.

49. ЛорьерЖ.-Л. Системы искусственного интеллекта. / Пер. с франц. — М.: Мир, 1991. 568 с. (Алгоритм унификации - с. 116-161.)

50. Лукас В.А. Теория автоматического управления: Учебник для вузов. — 2-е изд. М.: Недра, 1990.-416 с.

51. Мазурина С.М. Разработка моделей представления и обработки знаний в продукционных экспертно-обучающих системах // Диссертация на соискание звания канд. Техн. Наук по специальности 05.13.11.-М.: МГИЭМ, 1995.

52. Малышев Ю.А., Нежурина М.И., Шатровский В.А. Технологии представления учебных курсов для дистанционной формы обученияв среде WWW. // Информационные технологии, 1997, № 6. — с. 39-42.

53. Мамиконов А.Г. Принятие решений и информация. — М.: Наука, 1983. -184 с.

54. Марселлус Д. Программирование экспертных систем на Турбо Прологе: Пер. с англ. / Предисл. С.В. Трубицына. — М.: Финансы и статистика, 1994. 256 с.

55. Мартынов Д.В., Смольникова И.А. Искусственный интеллект иобразование. // Тезисы научно-мет. Конференции «Информационныетехнологии в образовании», Москва, 1999. -http://ito.bitpro.ru/

56. Материалы 2-й Международной выставки-конференции

57. Информационные технологии и телекоммуникации в образовании» // Каталог и тезисы докладов // Москва, ВВЦ, 6-9 апреля 2000 г.

58. Материалы конференции «Новые информационные технологии в университетском образовании» Новосибирск: 1997. -http://www.nsu.ru

59. Микрокомпьютерная система обучения «Наставник»: Брусенцов и др. М.: Наука, 1990.-224 с.

60. Морозевич А.И., Комличенко В.Н., Гедранович В.В. Стратегия автоматизации управления познавательной деятельностью на основе информационной модели образовательного процесса // Информационные технологии, 2000,№ 5.-е. 47-52.

61. Некрестьянов И.С., Добрынин В.Ю., Клюев В.В. Оценка тематического подобия текстовых документов. Труды второй всероссийской научной конференции "Электронные библиотеки", стр. 204-210, Протвино,1. Россия, сентябрь 2000.

62. Нетушил А.В., Никитин А.В. О методе синтеза учебных программ // Проблемы нейрокибернетики. Ростов-на-Дону: Из-во Ростов. Ун-та, 1969.-с. 236-243.

63. Норенков Ю.И. Исследование и разработка принципов построения адаптивных обучающих систем. / Автореферат. М.: 1993. 20 с.

64. Обучающие машины, системы и комплексы: Справочник / Под ред.

65. А .Я. Савельева. Киев: Вища шк., 1986. - 303 с.

66. Орехов В.Д. Дистанционная технология переподготовки руководителей для работы в рыночных условиях // Машиностроитель, 1995, №4-5.

67. Оцуки С. Приобретение знаний и обучение в диалоге // В кн. «Приобретение знаний»: Пер. с япон. / Под ред. С. Осуги, Ю. Саэки. -М.: Мир, 1990.-304 с.656869,70.