автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.13, диссертация на тему:Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах

На правах рукописи

КАРПОВА Ирина Петровна

ИССЛЕДОВАНИЕ И РАЗРАБОТКА ПОДСИСТЕМЫ КОНТРОЛЯ ЗНАНИЙ В РАСПРЕДЕЛЕННЫХ АВТОМАТИЗИРОВАННЫХ ОБУЧАЮЩИХ СИСТЕМАХ

Специальность 05.13.13 - Телекоммуникационные системы и компьютерные сети

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва 2002

Работа выполнена в Московском Государственном институте электроники и математики (техническом университете)

Научный руководитель

доктор технических наук, профессор Е.А. САКСОНОВ

Официальные оппоненты:

доктор технических наук, профессор Г.П. ПУТИЛОВ

кандидат технических наук, старший научный сотрудник К.С.КОВАНОВ

Ведущая организация:

Московский Государственный автомобильно-дорожный институт (технический университет)

Защита состоится " 17 " сентября 2002 г. в 14 час. на заседании диссертационного совета Д 212.133.03 в Московском Государственном институте электроники и математики по адресу: 109028, Москва, Б.Трехсвятительский пер., д.3/12.

С диссертацией можно ознакомиться в библиотеке института. Автореферат разослан " 01 " августа 2002 г.

Ученый секретарь диссертационного совета к.ф.-м.н., доцент _

И.В. Прокофьев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Программные средства учебного назначения по принципам использования можно условно разделить на обучающие системы, содержащие знания по конкретной предметной области, и инструментальные системы, предназначенные для наполнения их знаниями по произвольной предметной области с целью создания обучающей системы. Наиболее перспективными с точки зрения соотношения конечного результата и трудозатрат на создание и поддержку являются инструментальные системы, которые принято называть автоматизированными обучающими системами (АОС). К основным достоинствам АОС относятся:

- возможность использования преимуществ индивидуального обучения;

- интенсификация обучения;

- возможность индивидуальной адаптации курса обучения к потребностям обучаемых или условиям обучения;

- возможность использования и тиражирования передового опыта;

- повышение доступности образования;

- обучение навыкам самостоятельной работы;

- разгрузка преподавателя от ряда рутинных, повторяющихся действий (чтения лекций, проверки контрольных работ и т.д.);

- возможность использования в рамках дистанционного обучения, переобучения и повышения квалификации.

Благодаря развитию телекоммуникационных технологий и вычислительных сетей АОС получили возможность выйти на новый уровень. При переходе от локальных обучающих систем к распределенным качественно изменяются функциональные возможности обучающей системы. Организация распределенных АОС (РАОС) требует проработки сетевых аспектов работы системы, связанных с предоставлением удаленного доступа к системе, поддержкой распределенных данных и объединением сетевых ресурсов для решения стоящих перед системой задач.

Одной из важных задач при создании РАОС является организация контроля знаний. Большинство существующих АОС и систем контроля знаний имеют ограниченное количество форм представления ответов (обычно, выборочных) и двухбалльную систему оценки. Это обусловлено простотой анализа выборочных ответов и отсутствием формальных методов анализа и дифференцированной оценки ответов обучаемых на контрольные вопросы. Однако такой подход ограничивает возможности разработчика курса в отношении использования различных вариантов тестовых вопросов и способов анализа ответов обучаемых. В связи с этим тематика исследований, затрагивающих организацию контроля знаний в РАОС, является актуальной.

Цель работы. Целью диссертационной работы является исследование методов организации распределенных автоматизированных обучающих систем и разработка общих принципов построения систем контроля знаний на основе модели дифференцированной оценки ответов обучаемых.

Задачи исследования. В диссертационной работе решаются следующие задачи:

- анализ существующих автоматизированных обучающих систем и тенденций их развития;

- выявление требований, которые предъявляются к РАОС как к специализированному программному обеспечению, ориентированному на работу в компьютерной сети;

- разработка методов анализа и дифференцированной оценки ответов обучаемых;

- разработка математического, алгоритмического и программного обеспечения компонентов РАОС;

- экспериментальное подтверждение применимости предложенных методов.

Методы исследования основаны на использовании положений теории множеств, теории вероятности, комбинаторики и методов инженерии знаний. В разработке программного обеспечения использовалась технология объектно-ориентированного программирования.

Научная новизна. Предложен новый подход к организации контроля знаний в распределенных автоматизированных обучающих системах. К новым результатам относятся:

- разработка протокола взаимодействия компонентов РАОС, которые позволяют выполнять распределенные вычисления и интегрировать в систему существующие программные средства учебного назначения;

- создание методов сравнения множеств и списков для определения правильности ответов;

- разработка моделей представления ответов различных типов, позволяющих использовать для их анализа и оценки методы сравнения списков и множеств.

Практическая ценность. Теоретические исследования завершены созданием на их основе математического, алгоритмического и программного обеспечения задачи создания подсистемы контроля знаний в РАОС. А именно:

- разработан протокол обмена данными между ядром РАОС и вспомогательным программным обеспечением;

- созданы базы знаний, реализующие различные методики управления контролем знаний обучаемого;

- разработаны алгоритмы проведения контроля знаний, методы и алгоритмы определения правильности различных типов ответов обучаемого на контрольные вопросы;

- создан и используется в учебном процессе комплекс программ, реализующий разработанные методы и алгоритмы.

Положения, выносимые на защиту. На защиту выносятся:

- методы анализа и дифференцированной оценки ответов обучаемого на контрольные вопросы;

- модели представления различных типов ответов обучаемого на основе списков и множеств;

- архитектура открытой РАОС и протоколы взаимодействия ее компонентов.

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на 8-й Межвузовской научно-методической конференции "Информационные технологии и фундаментализация высшего образования" (РГУ нефти и газа им. Губкина, 21-22 февраля 2002 г.) и на научно-технической конференции, посвященной 40-летию МГИЭМ (19-28 февраля 2002 г.).

Публикации. По результатам выполненных исследований опубликовано 5 печатных работ, отражающих основные результаты работы.

Объем и структура диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы (145 наименований) и приложений. Основное содержание диссертационной работы изложено на 200 страницах машинописного текста, иллюстрированного таблицами и рисунками.

СОДЕРЖАНИЕ РАБОТЫ

Во введении в виде краткой аннотации показаны актуальность и практическая ценность исследования, изложены задачи диссертационной работы, представлены полученные автором основные научные результаты и положения, вынесенные на защиту, апробация работы и структура диссертации.

В первой главе проанализированы тенденции развития и проблематика одной из актуальных областей современных информационных технологий - автоматизированных обучающих систем. Анализ показал, что современный этап развития АОС связан с использованием достижений в области инженерии знаний и тех возможностей, которые предоставляются компьютерными сетями. В работе рассмотрены различные аппаратные и программные решения и современные сетевые технологии, применяемые для построения распределенных автоматизированных обучающих систем.

Приведены некоторые существующие классификации обучающих систем и показана их неоднозначность. Предложен принцип многомерной классификации систем по набору классифицирующих признаков, а также набор этих признаков и их значений для сравнительного анализа обучающих систем.

Для оценки качества обучающей системы рассматривается соответствие обучающей системы схеме процесса обучения. Процесс обучения можно трактовать как процесс управления усвоением знаний. Как и любой процесс управления, реализуемый в замкнутой системе, этот процесс характеризуется целью управления, имеет объект управления (обучаемых), устройство управления и канал обратной связи. На рис. 1 представлена обобщенная схема управления процессом обучения. Критерием качества управления могут служить результаты контроля знаний.

Рис.1. Обобщенная схема управления процессом обучения

Проведенный в работе анализ некоторых существующих обучающих систем и инструментальных средств для их создания показал следующее. Несмотря на очевидные достижения, многие обучающие системы либо вообще не имеют канала обратной связи, либо не обладают возможностями адаптации процесса обучения к уровню знаний и умений обучаемых. Кроме того, большинство существующих систем являются централизованными, могут работать в режиме удаленного доступа, но не позволяют распределять функции обучающей системы между узлами сети.

На основании вышеизложенного можно сделать вывод о необходимости разработки методов взаимодействия компонентов РАОС, позволяющих выполнять распределенные вычисления, настраивать систему на различные методики обучения и интегрировать в систему существующие программные средства учебного назначения. Также обоснована необходимость разработки способов и алгоритмов организации контроля знаний, основанных на формальных методах оценки ответов обучаемых.

Вторая глава посвящена принципам организации РАОС. Рассмотрены способы организации сетевой среды распределенной обучающей системы, которая включает в себя локальную вычислительную сеть (ЛВС) и предоставляет доступ через Internet. В работе определена функциональная структура РАОС (рис. 2).

"Тонкий" клиент 1

ЛКПО

"Тонкий" клиент N

ЛКПО

"Толстый" клиент 1

ЛППО

" Толстый" клиент N

ЛППО

локальная

вычислительная

сеть

ППО БПО

" Толстый" сервер АОС " Тонкий" сервер АОС

Мультиплатформенный учебный сервер

(BSD UNIX)

Сервер базы данных

"Толстый" сервер АОС \ " Тонкий" сервер АОС

ППО БПО

Лингвистический _сервер_

Графический сервер

Аналитический сервер

Web-браузер

" Тонкий" клиент 1

Web-браузер

" Тонкий" клиент N

ЛППО

" Толстый" клиент 1

ЛППО

" Толстый клиент N

Рис. 2. Структура распределенной АОС

Здесь используются следующие сокращения: БПО - базовое программное обеспечение;

ППО - прикладное программное обеспечение; ЛППО - локальное прикладное программное обеспечение; ЛКПО - локальное коммуникационное программное обеспечение. При доступе через Internet в качестве ЛКПО выступают Web-браузеры.

Центральное место в этой структуре занимает сервер, который управляет работой всей системы в целом. В состав сервера входит ядро РАОС и сервер базы данных (БД). Состав и функции ядра зависят от технологии организации работы режима клиент-сервер.

РАОС должна функционировать и в локальной вычислительной сети (ЛВС), и в сети Internet. В работе рассмотрены наиболее распространенные решения для организации работы внутри ЛВС и через Internet. Предложена конфигурация мультиплатформенного учебного сервера, включающего в себя сервер РАОС под Windosw, ориентированный на работу с пользователя в рамках ЛВС, и сервер РАОС под UNIX, предназначенный для управления базой данных, организации распределенных вычислений и доступа через Internet.

Распределенность обучающей системы заключается в размещении отдельных компонентов РАОС на различных узлах сети для повышения производительности системы. В качестве этих компонентов выступают данные и программные модули. Поддержка распределенных данных в рамках ЛВС обеспечивается средствами сетевой файловой системы, а в рамках глобальной сети - средствами Internet.

Программные компоненты являются вспомогательными модулями, которые предназначены или адаптированы для выполнения отдельных функций, поддерживающих процесс обучения. В совокупности с ядром РАОС они обеспечивают выполнение всех внутренних функций системы путем распределенных вычислений. Повышение надежности функционирования РАОС может быть обеспечено с помощью специального протокола обмена данными между ядром РАОС и вспомогательным программным обеспечением с динамической реконфигурацией системы.

Далее во второй главе рассматривается внутренняя логическая организация РАОС. Для выполнения функций обучения в состав РАОС должны входить знания о стратегии обучения (методиках обучения), модель предметной области и модель обучаемого.

Стратегия обучения обычно определяется алгоритмом функционирования системы, что противоречит принципам открытости РАОС. Поэтому более логичным представляется подход, при котором стратегия управления обучением оформлена как внешняя база знаний, замена которой позволяет менять поведение системы. Такая организация РАОС дает преподавателю возможность вложить в обучающую систему свои знания и представления о методике преподавания.

Правила базы знаний определяют последовательность работы системы на основании модели предметной области и модели обучаемого.

Модель предметной области (МПО) должна отражать взаимосвязи понятий (тем) предметной области и может быть использована для определения последовательности изучения тем и для получения целостного образа знаний, относящихся к данной предметной области.

Для представления структуры предметной области предложена семиотическая модель, позволяющая объединить декларативные и процедурные знания и использовать для анализа МПО аппарат теории графов. Графическая визуализация взаимосвязей дисциплин и тем в рамках дисциплины дает обучаемому возможность получить целостное представление об изучаемом курсе и о его практической ценности. Это позволяет говорить об использовании когнитивной графики.

Модель обучаемого предназначена для адаптации обучающей системы к конкретному обучаемому, поэтому она должна включать в себя сведения о цели обучения; о знаниях обучаемого в рамках изучаемого курса (текущее состояние процесса обучения); об особенностях подачи учебных материалов и выбора контрольных заданий и вопросов.

В работе рассмотрены общие принципы построения модели обучаемого, понятия исходной и целевой модели. Данные, входящие в модель обучаемого, имеют две составляющие:

• Набор правил взаимодействия системы с обучаемым.

• Набор параметров, характеризующих степень усвоения знаний обучаемым. Этот набор модифицируется в соответствии с правилами базы знаний по результатам контроля и определяет проекцию знаний обучаемого на МПО.

Для унификации межпрограммного интерфейса предлагается использовать процедурную модель представления знаний не только для описания стратегий обучения, но и для моделей предметной области и обучаемого. В работе обоснована необходимость поддержки параметров, задаваемых пользователем и имеющих произвольную семантику. Такие параметры значительно расширяют возможности по настройке системы и могут использоваться в правилах базы знаний и модели обучаемого.

Контроль знаний обучаемого является важной частью работы с пользователем. Он обеспечивает обратную связь с обучаемым и предназначен в первую очередь для определения уровня знаний обучаемого с целью организации адаптивного управления обучением. Во второй главе рассмотрены различные схемы проведения контроля знаний, определен набор встроенных параметров, предназначенных для параметрической настройки подсистемы контроля знаний.

В третьей главе разработаны методы построения и организация подсистемы контроля знаний РАОС.

В обучающих системах контроль знаний обычно осуществляется с помощью тестов. Были проанализированы различные типы тестовых вопросов и ответов и выделены следующие типы ответов: 1. Множество элементов (неупорядоченное).

2. Список элементов (упорядоченный).

3. Двухуровневые схемы, в которых в качестве элементов списка (множества) могут выступать множества и списки.

4. Выражение (арифметическое).

5. Фраза (текст).

6. Рисунок (графическое изображение).

Первые два варианта относятся к выборочному типу ответов, а двухуровневые схемы предоставляют возможность моделировать вопросы на соответствие (элементов различных множеств), на группирование элементов множества и на упорядочение этих групп.

Такой подход существенно расширяет возможности разработчика тестов по моделированию различных связей между элементами ответа и позволяет использовать для анализа и оценки ответов методы, основанные на положениях комбинаторного анализа.

Для оценки выборочных ответов был разработан метод, который не зависит от семантики вопроса и позволяет проводить оценку дифференцировано, а не по двухбалльной шкале (Д-метод). Оценка правильности ответов основана на расстоянии между эталонным списком (множеством) и ответом, которое определено на интервале от 0 (тождественность) до 1 (множества (списки) состоят из разных элементов или списки упорядочены в противоположном направлении).

Ответы типа "множество" можно оценить по степени сходства 81 между ответом обучаемого (множество = {а1, а2,..., а^ Ь1, Ь2,..., Ь]}) и эталонным ответом (множество Бе = {а1, а2,..., а^). Степень сходства является величиной, обратной расстоянию г (5=1-г), и определяется как:

61 = -К-

1 - + К ,

где - = |Бе |, Ка = |Ба П Бе|, Кь = |Ба | - Ка.

Для ответов типа "список" вводится отношение порядка, определяемое эталонным списком (эталонным ответом). Эти ответы можно оценить по формуле:

6 2 = 1 - —

2 К^

где К - количество перестановок (инверсий) анализируемого списка, Кп -максимальное количество перестановок для списка длиной п:

К п(п -1)

Если ответ содержит элементы, не входящие в эталонный список элементов, то для них не определено отношение порядка. Для оценки таких ответов предложено проводить сравнение ответа и эталона в два этапа. Сначала сравнить их как множества, определить степень сходства 81 и исключить "лишние" элементы из ответа. Затем упорядочить оставшиеся элементы ответа и получить степень сходства 82.

Окончательную величину степени сходства списков можно рассчитать как среднее арифметическое, минимум или произведение 81 и 82.

Далее в работе показано, что в качестве моделей свободно-конструируемых ответов могут использоваться списки и множества. Например, текстовые ответы, вводимые через шаблоны, можно рассматривать как множество (список) слов (словосочетаний). Для определения правильности текстовых ответов при таком подходе может применяться Д-метод. Также рассмотрена задача качественного анализа графиков. Показана сводимость представления синтаксического описания графиков к типу "список" с последующим применением для определения его правильности Д-метода.

При использовании списков и множеств в качестве моделей свободно-конструируемых ответов соответствие элементов ответа и эталона должно определяться не по полному соответствию, а с помощью функции принадлежности, зависящей от семантики элементов. Например, для текстового ответа это может быть функция, учитывающая возможность грамматических ошибок в ответе и наличие синонимов.

При использовании выборочных ответов существует возможность неадекватной оценки знаний обучаемого в случае случайного ввода правильного ответа. Была проведена оценка предложенных типов ответов (МНОЖЕСТВО, СПИСОК, МНОЖЕСТВО СПИСКОВ и СПИСОК МНОЖЕСТВ) с точки зрения величины такой вероятности.

Для ответа типа МНОЖЕСТВО и схемы "Ы вариантов ответов - из них 1 правильный" вероятность случайного ввода правильного ответа:

а8 - 1

41 = N (1)

а для схемы "Ы вариантов ответов - из них к правильных" (0 < к < К) :

8 1

ак - 2к . (2)

Для ответа типа СПИСОК и схемы "все N вариантов входят в ответ" вероятность случайного введения правильного ответа равна:

ь = 1

ак - № (3)

Для ответа типа СПИСОК и схемы "Ы вариантов ответов - из них к вариантов входят в ответ" (2 < к < К) эта вероятность равна:

аь-_1_

к N1 - (4)

к-2 (К - к)!

На рис. 3 приведены графики зависимости вероятностей случайного ввода правильного ответа от количества вариантов ответов, формулы (1)-(4).

Рис. 3. Графики зависимости логарифмов вероятностей случайного ввода правильного ответа от количества элементов в ответе

Вероятности для двухуровневых схем СПИСОК МНОЖЕСТВ и МНОЖЕСТВО СПИСКОВ вычислялись при дополнительном ограничении: ответ должен содержать все N вариантов ответа, соответствующих вопросу.

Для двухуровневой схемы СПИСОК МНОЖЕСТВ вероятность случайного ввода правильного ответа равна:

Ь8 _ N-1

^ _ N1(2^-2). (5)

Для схемы МНОЖЕСТВО СПИСКОВ эта вероятность равна:

П8Ь _ 1

^ N2 ¥<N-1), (6)

N11-

J!

J=2

где функция Т определена рекурсивно таким образом:

N-1

'J(N) = ^ TJ - 1(

i=1

при следующих начальных условиях:

Tj(N) = ^Tj - 1(N - i)

1. = 1, VN ;

2. ад) = 1, к = N ;

3. = 0, к > N.

Поправка на J вводится потому, что каждый список должен иметь длину не менее 2. На рис. 4 приведены графики для формул (5)-(6).

от

Рис. 4. Графики зависимости логарифмов вероятностей (МНОЖЕСТВО СПИСКОВ) и д/8 (СПИСОК МНОЖЕСТВ) от количества ответов N

Анализ расчетов вероятности показал:

1. для одноуровневых схем:

• ответ типа МНОЖЕСТВО, построенный по схеме "N вариантов - к правильных", предпочтительнее ответа, построенного по схеме "N вариантов - 1 правильный", при N > 4;

• ответ типа СПИСОК имеет меньшую вероятность случайного введения правильного ответа, чем ответ типа МНОЖЕСТВО, при N > 3;

• при наличии "лишних" вариантов в ответе типа СПИСОК его оценка улучшается еще приблизительно в 2-3 раза.

2. для двухуровневых схем: схема СПИСОК МНОЖЕСТВ значительно лучше схемы МНОЖЕСТВО СПИСКОВ с точки зрения вероятности случайного ввода правильного ответа (примерно в 4-5 раз).

Также была проведена оценка предложенного Д-метода определения правильности ответов, при использовании которого появляются "частично правильные ответы". Оценка осуществлялась с помощью программного моделирования различных схем построения ответа для множеств вариантов разных мощностей.

Анализ полученных результатов моделирования позволяет дать следующие рекомендация для составления тестов:

1. для ответов типа МНОЖЕСТВО и схемы "V вариантов ответа - из них 1 правильный" количество вариантов ответов должно быть не менее 4;

2. не следует использовать дифференцированную оценку ответа типа МНОЖЕСТВО в тех случаях, когда необходим точный ответ и наличие "лишних" вариантов (или отсутствие требуемых) должно расцениваться как неверный ответ;

3. для ответов типа СПИСОК нужно предлагать не менее двух "лишних" вариантов ответов;

4. схема СПИСОК МНОЖЕСТВ имеет хорошие характеристики и может применяться даже при N=5;

5. схему МНОЖЕСТВО СПИСКОВ следует использовать при N>5.

Соблюдение этих рекомендаций позволит исключить возможность случайно получить удовлетворительную оценку при использовании стандартной шкалы оценок (2, 3, 4, 5).

Для обеспечения переносимости тестов на уровне текста предложен формат описания тестов, учитывающий различные варианты ответов и вопросов и возможность подключения внешних модулей, что обеспечивает открытость системы. Для обеспечения открытости системы тестирования на уровне методик предложен механизм внешнего управления формированием тестов (на основе контрольных заданий) и управления проведением тестирования.

В четвертой главе описана реализация полнофункциональной РАОС, основанной на принципе открытой архитектуры. Определены требования к программному комплексу и его структура (рис. 5).

В целях экспериментальной проверки применимости предложенных методов построения РАОС был разработан макетный программный комплекс. Основные особенности разработанного комплекса:

1. Ориентация на работу в сети. Система обеспечивает работу в режиме "клиент-сервер" по ЛВС и через Internet с использованием различных технологий. Она включает специализированный протокол обмена данными для поддержки распределенных вычислений. Этот протокол определяет работоспособность узлов сети и вспомогательного программного обеспечения и выполняет реконфигурацию системы в случае возникновения сбоев.

2. Открытость. Принцип открытости подразумевает возможность настройки системы на требования конкретного пользователя. Здесь можно выделить три аспекта:

- Изменение режимов и параметров функционирования программного обеспечения, входящего в состав ядра системы, путем настройки параметров в файлах конфигурации.

- Возможность использования различных учебных материалов на машинных носителях и методов подачи этих материалов: электронный справочник (от просмотра текстовых файлов до подключения гипертекста), запуск демонстрационных программ и т.д.

- Организация внешнего управления процессом обучения. Это достигается путем вынесения во внешние файлы (в базу данных и в базу знаний) правил организации управления обучением и всех возможных параметров и характеристик, которые можно измерить в процессе работы с обучаемым.

3. Переносимость на различные аппаратные платформы на уровне исходных текстов программ.

Переносимость системы обеспечивается за счет того, что монитор и ядро системы контроля знаний написаны на языке C и адаптированы к использованию под управлением ОС DOS (не ниже 3.3), UNIX (точнее, Free BSD и Linux Mandrake 8.0) и WIN9x/NT.

Для системы разработан декларативный язык описания тестов с учетом схем и параметров, рассмотренных во второй главе. Этот язык позволяет хранить описание тестов во внешних по отношению к системе

файлах, что делает тест независимым от программного обеспечения. Язык предоставляет возможность параметрической настройки тестов, поддерживает набор встроенных параметров и параметры, задаваемые пользователем.

На основе разработанного языка описания тестов и Д-метода создана система контроля знаний (СКЗ), в которой реализованы рассмотренные ранее формы представления ответов.

Использование в СКЗ двухуровневых схем дает широкие возможности по представлению связей между элементами. Эти схемы позволяют моделировать ответы на соответствие, не ограничивая количество исходных множеств, и используются, например, для анализа синтаксического описания графических образов.

Открытость архитектуры СКЗ также обеспечивается возможностью подключения внешних модулей для выполнения следующих функций:

- реализации тех форм ответов, которые не включены в систему;

- получения оценок ответов;

- управления формированием теста;

- управления проведением тестирования.

В рамках СКЗ созданы базы знаний, реализующие:

• формирование теста на основе параметров вопросов для различных схем тестирования;

• проведение тестирования в соответствие с линейной, пороговой и адаптивной схемами.

Система контроля знаний реализована в двух вариантах: как приложение под ОС Windows (система TS) и как консольное приложение (система IPDO).

С использованием системы IPDO в режиме удаленного доступа через Internet проведено тестирование студентов по различным дисциплинам. Сравнение результатов основной и контрольной групп показало преимущество расширенных типов ответов перед ответами выборочного типа.

Наибольшая корреляция между результатами автоматического контроля и устного зачета наблюдается для ответов следующих типов: ВЫРАЖЕНИЕ, СПИСОК МНОЖЕСТВ и МНОЖЕСТВО СПИСКОВ. Это подтверждает результаты моделирования случайного ввода правильного ответа для двухуровневых схем.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведен анализ существующих автоматизированных обучающих систем. Предложен метод многомерной классификации АОС, использование которого позволяет проводить сравнительный анализ обучающих систем. Показана необходимость исследования сетевых технологий для создания распределенных систем (РАОС),

обеспечивающих удаленный доступ к системе и объединение сетевых ресурсов для решения стоящих перед системой задач.

2. Разработаны методы построения полнофункциональных РАОС с открытой архитектурой, применение которых обеспечивает:

- использование вычислительных ресурсов сети для выполнения функций обучающей системы;

- осуществление адаптивного управления процессом обучения на основе знаний о предметной области и об обучаемом;

- использование в обучающих системах произвольных методик преподавания и контроля знаний.

3. Сформулированы и решены следующие задачи, возникающие при создании РАОС:

- организация распределенных вычислений и повышение надежности функционирования системы путем ее динамической реконфигурации;

- организация внешнего управления взаимодействием с обучаемым путем вынесения управляющих правил во внешний модуль для обеспечения возможности алгоритмической настройки системы без необходимости программирования;

- поддержка пользовательских параметров для организации параметрической настройки системы.

4. Для оценки выборочных ответов разработан Д-метод, который не зависит от семантики вопроса и позволяет получать дифференцированную оценку ответов. Показано, что в качестве моделей свободно-конструируемых ответов (в том числе, для качественного анализа графиков) могут использоваться списки и множества. Для определения правильности свободно-конструируемых ответов при таком подходе может применяться Д-метод.

5. Разработана подсистема контроля знаний, обеспечивающая более полные возможности представления и анализа ответов обучаемых и включающая:

- методы сравнения множеств и списков;

- средства поддержки удаленного доступа для тестирования в рамках ЛВС и через Internet;

- базы знаний, управляющие формированием теста на основе набора контрольных заданий и проведением тестирования по различным методикам.

Получены расчетные и эмпирические оценки вероятности случайного ввода правильного ответа или получения положительной оценки для различных форм выборочных ответов, что позволило сформулировать рекомендации по составлению контрольных заданий.

6. На основе разработанных методов и алгоритмов создан макетный программный комплекс РАОС и подсистема контроля знаний, которая в настоящее время используется в учебном процессе. Результаты

анализа работы с этим комплексом подтвердили основные положения диссертационного исследования.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Саксонов Е.А., Карпова И.П. Анализ требований к программным обучающим системам // Проблемы передачи и обработки информации в информационно-вычислительных сетях: Тезисы докл. Международ. науч.-технич. семинара. - М.: НИЦПрИС, 1998.

2. Карпов В.Э., Карпова И.П. Язык описания системы контроля знаний // Компьютеры в учебном процессе, 2000, №4. - с. 147-155.

3. Карпова И.П. Анализ ответов обучаемого в автоматизированных обучающих системах // Информационные системы, 2001, № 11. - с. 49-55.

4. Карпов В.Э., Карпова И.П. К вопросу о принципах классификации систем // Информационные системы, 2002, №2. - с. 35-38.

5. Карпова И.П., Потомский С.Ю. Система контроля знаний ТБ // Тезисы докладов научно-технической конференции студентов, аспирантов и молодых специалистов института, посвященной 40-летию МИЭМ. - М.: МИЭМ, 2002. - с. 165-167.

Введение.

1. АВТОМАТИЗИРОВАННЫЕ ОБУЧАЮЩИЕ СИСТЕМЫ.

1.1. История развития компьютерных средств учебного назначения.

1.2. Распределенная автоматизированная обучающая система.

1.2.1. Применение сетевых технологий в обучающих системах.

1.2.2. Телекоммуникационная среда РАОС.

1.2.3. Компьютерные сети РАОС.

1.3. Классификация компьютерных средств учебного назначения.

1.3.1. Существующие классификации.

1.3.2. Виды классификации.

1.3.3. Принцип многомерной классификации.

1.4. Схема процесса обучения.

1.5. Автоматизированные обучающие системы (АОС).

1.5.1. Преимущества автоматизированных обучающих систем.

1.5.2. Понятие автоматизированной обучающей системы.

1.5.3. Требования, предъявляемые к РАОС.

1.5.4. Инструментальные оболочки обучающих систем.

1.5.5. Основные направления исследований.

Выводы.

2. ПРИНЦИПЫ СОЗДАНИЯ РАСПРЕДЕЛЕННЫХ АВТОМАТИЗИРОВАННЫХ ОБУЧАЮЩИХ СИСТЕМ.

2.1. Организация РАОС.

2.1.1. Создание сетевой среды РАОС.

2.1.2. Особенности функционирования программного обеспечения РАОС.

2.1.3. Описание протокола обмена данными между ядром АОС и вспомогательным программным обеспечением.

2.2. Основные характеристики РАОС как программного продукта.

2.3. Пользователи АОС.

2.4. Логическая структура обучающей системы.

2.4.1. Взаимодействие с обучаемым.

2.4.2. Подсистема управления обучением.

2.4.3. Модель предметной области (МПО).

2.4.3.1. Требования, предъявляемые к МПО.

2.4.3.2. Семиотическая сеть.

2.4.3.3. Анализ модели предметной области.

2.4.3.4. Организация модели предметной области (МПО).

2.4.4. Модель обучаемого.

2.4.4.1. Методы построения модели обучаемого.

2.4.4.2. Общие принципы построения модели обучаемого.

2.4.4.3. Преобразование модели обучаемого.

2.4.5. Дополнительные возможности.

2.5. Контроль знаний.

2.5.1. Схемы проведения контроля знаний.

2.5.2. Параметры проведения контроля знаний.

2.5.2.1. Встроенные параметры.

2.5.2.2. Параметры, задаваемые пользователем.

2.5.2.3. Общие замечания о параметризации.

2.5.3. Способы формирования актуального множества вопросов.

Выводы.

3. ПОДСИСТЕМА КОНТРОЛЯ ЗНАНИЙ.

3.1. Особенности работы подсистемы контроля знаний в РАОС.

3.2. Характеристики систем контроля знаний.

3.2.1. Анализ существующих систем контроля знаний.

3.2.2. Требования к подсистеме контроля знаний.

3.3. Анализ ответов обучаемого.

3.3.1. Представление вопросов и ответов.

3.3.2. Типы вопросов и ответов.

3.3.3. Методы определения правильности выборочных ответов.

3.3.3.1. Сравнение множеств элементов.

3.3.3.2. Сравнение списков элементов.

3.3.3.3. Множества списков.

3.3.3.4. Списки множеств.

3.3.4. Анализ ответа в виде арифметического выражения.

3.3.5. Текстовые ответы.

3.3.6. Графические формы задания ответов.

3.3.6.1. Распознавание образов в обучающих системах.

3.3.6.2. Задача распознавания графиков.

3.4. Расчет вероятности случайного ввода правильного ответа.

3.4.1. Ответ типа МНОЖЕСТВО.

3.4.2. Ответ типа СПИСОК.

3.4.3. Ответ типа СПИСОК МНОЖЕСТВ.

3.4.4. Ответ типа МНОЖЕСТВО СПИСКОВ.

3.5. Моделирование случайного ввода правильного ответа.

3.5.1. Моделирование ответа типа МНОЖЕСТВО.

3.5.2. Моделирование ответа типа СПИСОК.

3.5.3. Моделирование ответа типа СПИСОК МНОЖЕСТВ.

3.5.4. Моделирование ответа типа МНОЖЕСТВО СПИСКОВ.

Выводы.

4. РЕАЛИЗАЦИЯ РАСПРЕДЕЛЕННОЙ АВТОМАТИЗИРОВАННОЙ ОБУЧАЮЩЕЙ СИСТЕМЫ.

4.1. Описание программного комплекса.

4.1.1. Функциональная структура программного комплекса.

4.1.2. Структура распределенного программного комплекса.

4.1.3. Протокол обмена данными с динамической реконфигурацией системы.

4.1.4. Настройка АОС.

4.2. Подсистема контроля знаний.

4.2.1. Особенности системы контроля знаний.

4.2.2. Язык описания тестов.

4.2.2.1. Требования, предъявляемые к языку описания тестов.

4.2.2.2. Формат языка описания тестов.

4.2.3. Контроль знаний в режиме удаленного доступа.

4.2.4. Управление тестированием.

4.3. Эксперименты по применению подсистемы контроля знаний.

Выводы.

Программные средства учебного назначения по принципам использования можно условно разделить на обучающие системы, наполненные знаниями о конкретной предметной области, и инструментальные системы, предназначенные для наполнения их знаниями о произвольной предметной области с целью создания обучающей системы [103]. Наиболее перспективными с точки зрения соотношения конечного результата и трудозатрат на создание и поддержку являются инструментальные системы, которые принято называть автоматизированными обучающими системами (АОС) [17, 50, 55, 99, 134]. К основным достоинствам АОС относятся:

- возможность использования преимуществ индивидуального обучения [127];

- интенсификация обучения [8, 114];

- возможность индивидуальной адаптации курса обучения к потребностям обучаемых или условиям обучения [91];

- возможность использования и тиражирования передового опыта [90];

- повышение доступности образования [56, 76, 140];

- обучение навыкам самостоятельной работы [67, 121];

- разгрузка преподавателя от ряда рутинных, повторяющихся действий (чтение лекций, проверки контрольных работ и т.д.) [90];

- возможность использования в рамках дистанционного обучения, переобучения и повышения квалификации [3, 18, 44].

В настоящее время благодаря развитию вычислительных сетей и телекоммуникационных технологий АОС получили возможность выйти на новый уровень. При переходе от локальных обучающих систем к распределенным качественно изменяются функциональные возможности обучающей системы. Организация распределенных АОС (РАОС) требует проработки сетевых аспектов работы системы, связанных с предоставлением удаленного доступа к системе, поддержкой распределенных данных и объединением сетевых ресурсов для решения стоящих перед системой задач.

Одной из важных задач при создании РАОС является организация контроля знаний. Большинство существующих АОС и систем контроля знаний имеют ограниченное количество форм представления ответов и двухбалльную систему оценки. Это обусловлено простотой анализа выборочных ответов и отсутствием формальных методов анализа и дифференцированной оценки ответов обучаемых на контрольные вопросы. Однако такой подход ограничивает возможности разработчика курса в отношении использования различных вариантов тестовых вопросов и анализа ответов обучаемых. В связи с этим тематика исследований, затрагивающих организацию контроля знаний в РАОС, является актуальной.

Цель работы. Целью диссертационной работы является исследование методов организации распределенных автоматизированных обучающих систем и разработка общих принципов построения систем контроля знаний на основе модели дифференцированной оценки ответов обучаемых.

Задачи исследования. В диссертационной работе решаются следующие задачи:

- анализ существующих автоматизированных обучающих систем и тенденций их развития;

- выявление требований, которые предъявляются к РАОС как к специализированному программному обеспечению, ориентированному на работу в компьютерной сети;

- разработка методов анализа и дифференцированной оценки ответов обучаемых;

- разработка математического, алгоритмического и программного обеспечения компонентов РАОС;

- экспериментальное подтверждение применимости предложенных методов.

Методы исследования основаны на использовании положений теории множеств, теории вероятности, комбинаторики и методов инженерии знаний. В разработке программного обеспечения использовалась технология объектно-ориентированного программирования.

Научная новизна. Предложен новый подход к организации контроля знаний в распределенных автоматизированных обучающих системах. К новым результатам относятся:

- разработка протокола взаимодействия компонентов РАОС, которые позволяют выполнять распределенные вычисления и интегрировать в систему существующие программные средства учебного назначения;

- создание методов сравнения множеств и списков для определения правильности ответов;

- разработка моделей представления ответов различных типов, позволяющих использовать для их анализа и оценки методы сравнения списков и множеств.

Практическая ценность. Теоретические исследования завершены созданием на их основе математического, алгоритмического и программного обеспечения задачи создания подсистемы контроля знаний в РАОС. А именно:

- разработан протокол обмена данными между ядром РАОС и вспомогательным программным обеспечением;

- созданы базы знаний, реализующие различные методики управления контролем знаний обучаемого;

- разработаны алгоритмы проведения контроля знаний, методы и алгоритмы определения правильности различных типов ответов обучаемого на контрольные вопросы;

- создан и используется в учебном процессе комплекс программ, реализующий разработанные методы и алгоритмы.

Положения, выносимые на защиту. На защиту выносятся:

- методы анализа и дифференцированной оценки ответов обучаемого на контрольные вопросы;

- модели представления различных типов ответов обучаемого на основе списков и множеств;

- архитектура открытой РАОС и протоколы взаимодействия ее компонентов.

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на 8-й Межвузовской научно-методической конференции "Информационные технологии и фундаментализация высшего образования" (РГУ нефти и газа им. Губкина, 21-22 февраля 2002 г.) и на научно-технической конференции, посвященной 40-летию МГИЭМ (19-28 февраля 2002 г.).

Публикации. По результатам выполненных исследований опубликовано 5 печатных работ, отражающих основные результаты работы.

Объем и структура диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы (145 наименований) и приложений. Основное содержание диссертационной работы изложено на 204 страницах машинописного текста, иллюстрированного таблицами и рисунками.

Выводы

В четвертой главе описана реализация полнофункциональной РАОС, основанной на принципе открытой архитектуры. Определены требования к программному комплексу и его структура.

Основные особенности разработанного комплекса: 1. Ориентация на работу в сети. Система обеспечивает работу в режиме "клиент-сервер" по ЛВС и через Internet с использованием различных технологий. Она включает специализированный протокол обмена данными для поддержки распределенных вычислений. Этот протокол позволяет определить работоспособность узлов сети и вспомогательного программного обеспечения и выполняет реконфигурацию системы в случае возникновения сбоев.

2. Открытость, включающая в себя:

- Изменение режимов и параметров функционирования программного обеспечения, входящего в состав ядра системы, путем настройки параметров в файлах конфигурации.

- Возможность использования различных учебных материалов на машинных носителях и методов подачи этих материалов.

- Организация внешнего управления процессом обучения. Это достигается путем вынесения во внешние файлы (в базу данных и в базу знаний) правил организации управления обучением и всех возможных параметров и характеристик, которые можно измерить в процессе работы с обучаемым.

3. Переносимость на различные платформы на уровне исходных текстов программ.

Для системы разработан декларативный язык описания тестов, позволяющий хранить описание тестов во внешних по отношению к системе файлах, что делает тест независимым от программного обеспечения.

На основе спроектированного языка описания тестов и разработанных дифференцированных методов создана система контроля знаний, в которой реализованы рассмотренные ранее формы представления ответов.

Открытость архитектуры СКЗ также обеспечивается возможностью подключения внешних модулей для выполнения следующих функций:

- реализации тех форм ответов, которые не включены в систему;

- получения оценок ответов;

- управления формированием теста;

- управления проведением тестирования.

В рамках СКЗ созданы базы знаний, реализующие:

• формирование теста на основе параметров вопросов для различных схем тестирования;

• проведение тестирования в соответствие с линейной, пороговой и адаптивной схемами.

Система контроля знаний реализована в двух вариантах: как приложение под ОС Windows (система TS) и как консольное приложение (система IPDO).

С использованием системы IPDO в режиме удаленного доступа через Internet проведено тестирование студентов. Результаты экспериментов подтверждают сокращение времени, затрачиваемого преподавателем на проведение контрольных мероприятий.

Анализ используемых в тестах типов ответов показал, что составители тестов отдают предпочтение расширенным типам ответов (двухуровневые схемы и свободно-конструируемые ответы: текст, графики, формулы, арифметические выражения).

Заключение

К основным результатам работы можно отнести следующие:

1. Проведен анализ существующих автоматизированных обучающих систем. Предложен метод многомерной классификации АОС, использование которого позволяет проводить сравнительный анализ обучающих систем. Показана необходимость ориентации АОС на исследование сетевых технологий для создания распределенных систем (РАОС), обеспечивающих удаленный доступ к системе и объединение сетевых ресурсов для решения стоящих перед системой задач.

2. Предложен способ построения полнофункциональных РАОС с открытой архитектурой, применение которого обеспечивает:

- использование вычислительных ресурсов сети для выполнения функций обучающей системы;

- осуществление адаптивного управления процессом обучения на основе знаний о предметной области и об обучаемом;

- использование в обучающих системах произвольных методик преподавания и контроля знаний.

3. Сформулированы и решены следующие задачи, возникающие при создании РАОС:

- организация распределенных вычислений и повышение надежности функционирования системы путем ее динамической реконфигурации;

- организация внешнего управления взаимодействием с обучаемым путем вынесения правил управления во внешний модуль для обеспечения возможности алгоритмической настройки системы без необходимости программирования;

- поддержка пользовательских параметров для организации параметрической настройки системы.

4. Для оценки выборочных ответов разработан Д-метод, который не зависит от семантики вопроса и позволяет проводить оценку дифференцировано, а не по двухбалльной шкале. Показано, что в качестве моделей свободно-конструируемых ответов (в том числе, для качественного анализа графиков) могут использоваться списки и множества. Для определения правильности свободно-конструируемых ответов при таком подходе может применяться Д-метод.

5. Разработана подсистема контроля знаний, обеспечивающая более полные возможности представления и анализа ответов обучаемых и включающая:

- средства поддержки удаленного доступа для тестирования в рамках ЛВС и через Internet;

- базы знаний, управляющие формированием теста на основе набора контрольных заданий и проведением тестирования по различным методикам;

- методы сравнения множеств и списков.

Получены расчетные и эмпирические оценки вероятности случайного ввода правильного ответа или получения положительной оценки для различных форм выборочных ответов, что позволило сформулировать рекомендации по составлению контрольных заданий.

6. На основе разработанных методов и алгоритмов создан макетный программный комплекс РАОС и подсистема контроля знаний, которая в настоящее время используется в учебном процессе. Результаты анализа работы с этим комплексом подтвердили основные положения диссертационного исследования.

1. Аванесов В.С. Научные проблемы тестового контроля знаний / Монография. -М.: Исследовательский центр проблем качества подготовки специалистов,1994.-135 с.

2. Агеев В.Н. Электронные учебники и автоматизированные обучающие системы. М.: 2001. - 79 с.

3. Аджемов А.С. Единое образовательное пространство на основе инфотелекоммуникационных технологий // Сети и системы связи, 2001, №11. -с. 20-23.

4. Александров Г.Н. Программированное обучение и новые информационные технологии обучения. // Информатика и образование, 1993, №5. с. 7-19.

5. Андерсон Дж. Р., Рейзер Б. Дж. Учитель Лиспа. / В сб. "Реальность и прогнозы искусственного интеллекта" под ред. Стефанюка В. Л. / Пер. с англ. М.: Мир, 1987. - с. 27-47.

6. Андреев А. Определимся в понятиях. // Высшее образование, 1998, № 4. с. 5358.

7. Аттель У. Обучающая вычислительная машина: моделирование в истинном масштабе времени обучающего диалога / В сб. "Кибернетика и проблемы обучения" / Ред. и предисл. А.И. Берга. М.: Прогресс, 1970. - с. 206-228.

8. Афанасьев В.В., Афанасьева И.В., Тыщенко О.Б. Основные компоненты компьютерных технологий обучения // НИИВО 23.04.98, № 86-98, деп. Муром. ин-т, фил. Владим. гос. Ун-та. Муром: 1998.

9. Баринова С.Н. Автоматизированные учебные курсы и их влияние на качество процесса обучения / Материалы конференции "Информационные технологии в образовании", 1999. http://ito.bitpro.ru/

10. Березин Н.В. Перспективы создания системы адаптивного тестирования как элемента централизованного тестирования / Научный вестник МГТУ ГА, серия "Информатика", 2001, № 38. с. 26-30.

11. Беркгаут В.В., Чардин И.С. Интернет: первые шаги. М.: Наука, 1999. - с.66-69.

12. Беспалько В.П. Педагогика и прогрессивные технологии обучения. М.: 1995.

13. Бирюков В.В. Программированное обучение автокоду "Инженер" с использованием многопультовой системы. / В кн.: Теория и применение математических машин / Под ред. А.М. Оранского, Н.Н. Поснова. Мн.: Изд-во БГУ, 1972. - с. 213-216.

14. Большая Советская Энциклопедия, 3-е издание, 1970, т. 18. с. 236.

15. Брусиловский П. Л. Адаптивные обучающие системы в Word Wide Web: обзор имеющихся в распоряжении технологий. -http://ifets.ieee.org/russian/depository/WWWITS.html

16. Брусиловский П.Л., Зырянов М.И. Интеллектуальная учебная среда "Остров". // 3-я Конференция по искусственному интеллекту. Тверь: Ассоциация искусственного интеллекта, 1992. - с.33-35.

17. Булгаков М.В., Якивчук Е.Е. Инструментальные системы для разработки обучающих программ / В кн. "Компьютерные технологии в высшем образовании". / Ред. кол.: А.Н. Тихонов, В.А. Садовничий и др. М.: Изд-во Моск. ун-та., 1994. - с. 153-162.

18. Валеева Н. Дополнительное образование студентов // Высшее образование в России, № 3, 1998. с.27-29.

19. Васин Б.И., Галаев Д.А., Лаптев В.С. Инструментальные программные средства для организации дистанционного обучения, учитывающие требования международных стандартов // Конференция RELARN-2001. Тезисы докладов. -http:Wwww.relarn.ru

20. Владимирский Б. М. Роль и место когнитивной машинной графики в обучении // Тезисы докладов уч.-мет. конференции "Современные информационные технологии в учебном процессе" Ростов: РГУ, 25-26 апреля 2000.

21. Вопросы создания автоматизированных обучающих систем на базе ЭВМ. М., 1976.

22. Воронин А.Т., Чернышев Ю.А. Интеллектуальная инструментальная система для WINDOWS // Материалы Международной конференции-выставки

23. Информационные технологии в непрерывном образовании". Петрозаводск, 59 июня 1995 г. // http://petrsu.karelia.ru/psu/general/Conferences/Data/19950605

24. Гиркин И.В. Новые подходы к организации учебного процесса с использованием современных компьютерных технологий // Информационные технологии, 1998, № 6. с. 44-47.

25. Горюнов Ю.П. Логическая структура курса и обучающий алгоритм курса. / В сб.: Программированное обучение и кибернетические обучающие машины. / Под ред. Шестакова А.И. М.: Сов. Радио, 1963. - с. 24-31.

26. Грибкова В. А., Зайцева Л.В., Новицкий Л.П. Управление адаптивным диалогом в автоматизированных обучающих системах. Методические указания. Рига: РПИ, 1988. - 52 с.

27. Джалалуддин А.К. Применение компьютеров для целей непрерывного образования // Перспективы, 1991, № 2. с. 72-89.

28. Джалиашвили З.О., Николаев Д.Г. Сетевые технологии как эффективное средство поддержки дистанционном обучения // Материалы конференции "Информационные технологии в образовании", 2001. http://www.bitpro.ru/

29. Джонсон У.Л., Солоуэй Э. PROUST (автоматический отладчик программ на языке Паскаль) / В сб. "Реальность и прогнозы искусственного интеллекта" под ред. Стефанюка В.Л. / Пер. с англ. М.: Мир, 1987. - с. 48-70.

30. Домрачев В.Г., Ретинская И.В. О классификации образовательных информационных технологий // Информационные технологии, 1996, № 2. -с. 10-13.

31. Дубровский В.Н. От компьютера-книги к компьютеру-учителю: принципы разработки комплекса "1С:РЕПЕТИТОР. Математика" // Материалы конференции "Информационные технологии в образовании", 1999. -http://www.bitpro.ru/

32. Журавлева И.И. Интеллектуальные обучающие системы и дистанционном образовании // Материалы конференции "Информационные технологии в образовании", 2001. http://www.bitpro.ru/

33. Зайцева Ж.Н., Солдаткин В.И. Генезис виртуальной образовательной среды на основе интенсификации информационных процессов современного общества // Информационные технологии, 2000, № 3. с. 44-48.

34. Зенкин А.А. Когнитивная компьютерная графика / Под ред. Д. А. Поспелова. -М.: Наука, Гл. ред. физ.-мат. лит., 1991. 192 с.

35. Искусственный интеллект : В 3-х кн. Кн. 1. Системы общения и экспертные системы: Справочник / Под ред. Э.В. Попова. М.: Радио и связь, 1990. - 464 с.

36. Использование сети ISDN в системе дистанционного образования // НПЦ Инфосфера http://www.infosfera.ru/

37. Камер Дуглас Э. Компьютерные сети и Internet. Разработка приложений для Internet : Пер. с англ. М.: Изд. дом "Вильямс", 2002. - 640 с.

38. Каперко А.Ф., Карпов В.Э., Королев А.В. Система управления сложным техническом объектом на основе распределенной операционной системы реального времени // Датчики и системы, 2001, №2. с.18-21.

39. Карлащук В.И. Обучающие программы. М.: "СОЛОН-Р", 2001. 528 с.

40. Карпов В.Э., Карпова И.П. К вопросу о классификации систем // Информационные технологии, 2002, №2. с. 35-38.

41. Карпов В.Э., Карпова И.П. Язык описания системы контроля знаний // Компьютеры в учебном процессе, 2000, № 4. с. 147-155.

42. Карташева О.В. Использование адаптивной системы тестирования АСТ-Тест для контроля знаний при дистанционном изучении темы "Базы данных" // Материалы конференции "Информационные технологии в образовании", 2001. http://www.bitpro.ru/

43. Кибернетика и проблемы обучения: Сборник переводов / Ред. и предисл.

44. A.И. Берга. М.: Прогресс, 1970. - 389 с.

45. Клаудио де Мора Кастро, Торкель Альфтан. Компьютеры во внешкольном образовании // Перспективы, 1991, № 2. с. 59-71.

46. Кнут Д. Искусство программирования для ЭВМ / т.3. Сортировка и поиск / Пер. с англ. / Под ред. Баяковского и Штаркмана. М.: Мир, 1978. - 848 с.

47. Колесников А.О. Реализация авторской системы в сетевой среде // http://www.ulstu.ru/conf/NMK99/2-14.htm

48. Компьютерные технологии в высшем образовании. / Ред. кол.: А.Н. Тихонов,

49. B.А. Садовничий и др.- М.: Изд-во Моск. ун-та., 1994. 272 с.

50. Коутс Р., Влейминк И. Интерфейс "человек-компьютер": Пер. с англ. М: Мир, 1990. - 501 с.

51. Кривец В.А. Автоматизированный класс на базе ОЭМ-2. / В кн.: Теория и применение математических машин / Под ред. А.М. Оранского, Н.Н. Поснова. -Мн.: Изд-во БГУ, 1972 с. 209-213.

52. Кривицкий Б.Х. О систематизации учебных компьютерных средств // Кафедра педагогики, психологии и методики преподавания в высшей школе МГУ. -http://ifets.ieee.Org/russian/depository/v3i3/html/3.html

53. Кривошеев А.О., Голомидов Г.С., Таран А.Н. Перспективные Internet-технологии информационного обеспечения образовательных услуг // Российский НИИ информационных систем, 2000.

54. Кривошеев А.О. Компьютерные обучающие программы. Состояние и перспективы развития // Мат-лы научно-технич. конференции "Перспективные информационные технологии в высшей школе". Самара, 1993. с. 18-20.

55. Кривошеев А.О. Проблемы оценки качества программных средств учебного назначения // Сборник докладов 1-го научно-практического семинара "Оценка качества программных средств учебного назначения". М.: Гуманитарий, 1995. - с. 5-12.

56. Кривошеев А.О., Фомин С.С. Конкурс "Электронный учебник" / В кн. "Компьютерные технологии в высшем образовании". / Ред. кол.: А.Н. Тихонов, В.А. Садовничий и др. М.: Изд-во Моск. ун-та., 1994. - с. 264-268.

57. Кулешов В. О дистанционном обучении студентов специальности. "Радиотехника" в МЭИ. // Радиотехнические тетради, 1994, № 6. с. 65-66.

58. Лекции по теории графов / Емеличев В.А., Мельников О.И. Сарванов В.И., Тышкевич Р.И. М.: Наука, Гл. ред. физ.-мат. лит., 1990. - 384 с.

59. Логический подход к искусственному интеллекту: от классической логики к логическому программированию / Пер. с франц. М.: Мир, 1990. - 432 с.

60. Лозинский Л. Д. Математические пакеты в высшей школе // Мир ПК, 1992, № 9. с. 89-97.

61. Лорьер Ж.-Л. Системы искусственного интеллекта. / Пер. с франц. М.: Мир, 1991. - 568 с. (Алгоритм унификации - с. 116-161.)

62. Лукас В.А. Теория автоматического управления: Учебник для вузов. 2-е изд. -М.: Недра, 1990. - 416 с.

63. Мазурина С.М. Разработка моделей представления и обработки знаний в продукционных экспертно-обучающих системах // Диссертация на соискание звания канд. техн. наук по специальности 05.13.11. М.: МГИЭМ, 1995.

64. Малышев Ю.А., Нежурина М.И., Шатровский В.А. Технологии представления учебных курсов для дистанционной формы обучения в среде WWW. // Информационные технологии, 1997, № 6. с. 39-42.

65. Мамиконов А.Г. Принятие решений и информация. М.: Наука, 1983. - 184 с.

66. Марселлус Д. Программирование экспертных систем на Турбо Прологе: Пер. с англ. / Предисл. С.В. Трубицына. М.: Финансы и статистика, 1994. - 256 с.

67. Мартынов Д.В., Смольникова И.А. Искусственный интеллект и образование. // Тезисы научно-мет. конференции "Информационные технологии в образовании", Москва, 1999. http://ito.bitpro.ru/

68. Материалы 2-й Международной выставки-конференции "Информационные технологии и телекоммуникации в образовании" // Каталог и тезисы докладов // Москва, ВВЦ, 6-9 апреля 2000 г.

69. Материалы конференции "Новые информационные технологии в университетском образовании" Новосибирск: 1997. - http://www.nsu.ru

70. Микрокомпьютерная система обучения "Наставник": Брусенцов и др. М.: Наука, 1990. - 224 с.

71. Морозевич А.И., Комличенко В.Н., Гедранович В.В. Стратегия автоматизации управления познавательной деятельностью на основе информационной модели образовательного процесса // Информационные технологии, 2000,№ 5.- с. 47-52.

72. Нетушил А.В., Никитин А.В. О методе синтеза учебных программ // Проблемы нейрокибернетики. Ростов-на-Дону: Из-во Ростов. ун-та, 1969. - с. 236-243.

73. Норенков Ю.И. Исследование и разработка принципов построения адаптивных обучающих систем. / Автореферат. М.: 1993. 20 с.

74. Обучающие машины, системы и комплексы: Справочник / Под ред. А.Я. Савельева. Киев: Вища шк., 1986. - 303 с.

75. Орехов В.Д. Дистанционная технология переподготовки руководителей для работы в рыночных условиях // Машиностроитель, 1995, № 4-5.

76. Оцуки С. Приобретение знаний и обучение в диалоге // В кн. "Приобретение знаний": Пер. с япон. / Под ред. С. Осуги, Ю. Саэки. М.: Мир, 1990. - 304 с.

77. Пасхин Е.Н., Митин А.И. Автоматизированная система обучения ЭКСТЕРН. -М.: Изд-во Моск. ун-та, 1985. 144 с.

78. Петрушин В. А. Экспертно-обучающие системы. Киев:Наукова думка, 1991. -196 с.

79. Попов Э.В. Общение с ЭВМ на естественном языке. М.: Наука, 1982. 360 с.

80. Поспелов Д.А. Семиотические модели в управлении. / В кн. "Кибернетика. Дела практические". М.: Наука, 1984. - с. 70-87.

81. Представление и использование знаний: Пер. с япон. / Под ред. Х. Уэно, М. Исидзука. М.: Мир, 1989. - 220 с.

82. Применение ЭВМ в учебном процессе / Сборник докладов научно-технич. семинара под ред. А.И. Берга. М.: Сов. радио, 1969. - 248 с.

83. Приобретение знаний: Пер. с япон. / Под ред. С. Осуги, Ю. Саэки. М.: Мир, 1990. - 304 с.

84. Проблемы создания автоматизированных обучающих и тестирующих систем: Сборник науч. трудов / Редколл. Иванченко А.И. и др. Новочеркасск, 2001. -199 с.

85. Программированное обучение и кибернетические обучающие машины: Сборник статей под ред. Шестакова А.И. М.: Сов. радио, 1963. - 247 с.

86. Программированное обучение и обучающие машины / Труды научно-технич. семинара. Киев: Вып. 2, 1967.

87. Разработка и исследование системных средств и прикладных программ для автоматизации обучения и научных исследований на базе ЭВМ: Отчет по НИР / № гос. рег. 01860022813 Мн.: БГУ, НИИ ПФП, 1990.

88. Растригин Л. А. Вычислительные машины, системы, сети. М.: Наука. Гл. ред. физ.-мат. лит., 1982. - 224 с.

89. Растригин Л. А., Эренштейн М.Х. Адаптивное обучение с моделью обучаемого. Рига: Зинатне, 1988. - 160 с.

90. Ретинская И.В. Системы и методы поддержки принятия решений по оценке качества и выбору компьютерных средств учебного назначения (Обзор). // Информационные технологии, 1997, № 6. с. 42-44.

91. Ретинская И.В., Шугрина М.В. Отечественные системы для создания компьютерных учебных курсов. // Мир ПК, 1993, № 7. с. 55-62.

92. Ростунов Т.И. Сущность программированного метода обучения. / В сб.: Программированное обучение и кибернетические обучающие машины. / Под ред. Шестакова А.И. М.: Сов. радио, 1963. - с. 10-23.

93. Рубин Ю.Б., Самойлов В.А., Шевченко К.К. Технологические системы в открытом образовании // Материалы конференции "Информационные технологии в образовании", 2001. http://www.bitpro.ru/

94. Рудинский И. Д. Принципы интеллектуального автоматизированного тестирования знаний // Материалы конференции "Информационные технологии в образовании", 2001. http://www.bitpro.ru/

95. Савельев А.Я. Автоматизированные обучающие системы на базе ЭВМ / вып.1./ М.: Знание, 1977. 36 с.

96. Савельев А.Я., Новиков В.А., Лобанов Ю.И. Подготовка информации для автоматизированных обучающих систем: Метод. пособие для преподавателей и студентов / Под ред. А.Я. Савельева. М.: Высшая школа, 1986. - 176 с.

97. Свиридов А.П. Основы статистической теории обучения и контроля знаний: Метод. пособие. М.: Высшая школа, 1981. - 262 с.

98. Сивохин А.В. Представление знаний в интеллектуальных системах обучения / Уч. пос. Пенза: ППИ, 1990. - 86 с.

99. Сливина Н.А., Чубров Е.В. Приобретение знаний по математике с использованием учебных и научных пакетов / В кн. "Компьютерные технологии в высшем образовании". / Ред. кол.: А.Н. Тихонов, В. А. Садовничий и др. М.: Изд-во Моск. ун-та., 1994.

100. Соловов А.В. Проектирование компьютерных систем учебного назначения: Учебное пособие. Самара: СГАУ, 1995. - 137 с.

101. Соломатин Н.М., Сонин А.И., Соколов Н.К. Серебрякова И.Л., Семенов Д.В. Особенности дистанционного обучения в системе высшего образования // Вестник МГТУ им. Баумана, сер. Приборостроение, 1998, № 2. с. 101-108.

102. Стенли Р. Перечислительная комбинаторика: Пер. с англ. М.:Мир, 1990. -440 с.

103. Стоунс Е. Стратегия и тактика программированного обучения. / В сб. "Кибернетика и проблемы обучения" / Редакция и предисловие А.И. Берга. -М.: Прогресс, 1970. с. 255-265.

104. Талызина Н.Ф. Теоретические проблемы программированного обучения. -М.: Изд-во МГУ, 1969. 133 с.

105. Тезисы докладов Международной конференции-выставки "Информационные технологии в непрерывном образовании" Петрозаводск: 59 июня 1995г. -http://petrsu.karelia.ru/psu/general/conferences/data/19950605/

106. Тезисы докладов уч.-мет. конференции "Современные информационные технологии в учебном процессе" Ростов: РГУ, 25-26 апреля 2000 г. -http://www.uic.rsu.ru/~nprohoro/DO/

107. Терещенко Л.Я., Панов В.П., Майоркин С.Г. Управление обучением с помощью ЭВМ. Л.: Изд-во ЛГУ, 1981. - 143 с.

108. Толингерова Д. Программирование и управление обучением / В сб.: "Кибернетика и проблемы обучения" / Редакция и предисловие А.И. Берга. -М.: Прогресс, 1970. с. 236-254.

109. Трапезников С.Н. УРОК универсальный редактор обучающих курсов / В кн. "Компьютерные технологии в высшем образовании" / Ред. кол.: А.Н. Тихонов, В. А. Садовничий и др. - М.: Изд-во Моск. ун-та., 1994. - с. 23-32.

110. Ту Дж., Гонсалес Р. Принципы распознавания образов. / Пер с англ. Под ред. Ю.И. Журавлева. М.: Мир, 1978. - 414 с.

111. Тюрина Л. Вузовский учебник сегодня и завтра. // Высшее образование, 1998, № 1. с. 11-20.

112. Убейко В.М., Убейко В.В. Экспертные системы в технике и экономике. М.: Изд-во МАИ, 1992. - 240 с.

113. Уотермен Д. Руководство по экспертным системам: Пер. с англ. М.: Мир, 1989. - 388 с.

114. Фор А. Восприятие и распознавание образов / Пер. с фр. / Под ред. Г.П. Катыса. М.: Машиностроение, 1989. - 272 с.

115. Фу К. Последовательные методы в распознавании образов и обучении машин: Пер. с англ. / М.: Наука, Гл. ред. физ.-мат. лит., 1971. 256 с.

116. Фу К. Структурные методы в распознавании образов: Пер. с англ. / М.: Мир, 1977. 320 с.

117. Хартли Д. К вопросу об оценке обучающих программ. / В сб. "Кибернетика и проблемы обучения" / Редакция и предисловие А.И. Берга. М.: Прогресс, 1970. - с. 350-387.

118. Чиликин М.Г. Основные задачи программированного обучения. / В сб.: Программированное обучение и кибернетические обучающие машины. / Под ред. Шестакова А.И. М.: Сов. радио, 1963. - с. 5-9.

119. Чубров Е.В., Сливина Н.А., Демушкин А.С. Компьютер и изучение математики. // ИНФО, 1992, №3-4. с. 96-97.

120. Шаммазов А., Беленкова О. Технические университеты в информационно-индустриальном обществе // Высшее образование, 1998, №1. с. 20-25.

121. Шампанер Г., Шайдук А. Обучающие компьютерные системы // Высшее образование в России, 1998, № 3. с. 97-99.

122. Шемакин Ю.И. Начала компьютерной лингвистики: Учеб. пособие М.: Изд-во МГОУ, А/О "Росвузнаука", 1992. - 115 с.

123. Шмелев А.Г., Бельцер А.И., Ларионов А.Г., Серебряков А.Г. Адаптивное тестирование знаний в системе "ТЕЛЕТЕСТИНГ" // IX конференция-выставка "Информационные технологии в образовании", 1999. http://ito.bitpro.ru/

124. Bloom B.S. The sigma Problem: The Search for Methods of Group Instruction as Effective as One-to-One Tutoring // Education Researcher, № 13, 1984. p. 3.

125. Bork A. Computer and Information Technology as a learning Aid // Education and Computing, 1985, v.1, № 1. p. 29-34.

126. Buiten R., Lane H.S. Experimental system gives language student instant error feedback. / Digital Equipment Corporation Computer Application Note, 1965.

127. Coulson J.E. Computers in research and development on automated instruction. // "Proceedings of the IV-th international congress of cybernetic medicine", Nice, 1966.- p. 241-257.

128. Distance Learning Studio. Система создания мультимедийных дистанционных курсов: Документация // Составители: Пушков А.И., Ченосова Е.С., Юрков А.В.- С.-Петербург, 2000. 272 с.

129. Etienne Wenger. Artificial Intelligence and Tutoring Systems (Computational and Cognitive Approaches to the Communication of Knowledge) // Morgan Kaufmann Publishers. Los Altos, California, USA, 1987. - 487 р.

130. Haan B, Kahn Р. IRIS Hypermedia Services // Communications of ACM, 1992, v.35, № 1. p. 36-51.

131. Hebenstreit J. Computers in education The next step // Education and Computing, v.1, 1995. - p. 37-43.

132. Intelligent Tutoring Systems: Proceedings of Second International Conference // University de Montreal. Montreal, Canada, 1988. - 578 р.

133. Intelligent Tutoring Systems: Proceedings of Second International Conference // University de Montreal. Montreal, Canada, 1992. - 422 р.

134. Licklider J. Preliminary experiments in computer-aided teaching. // "Programmed Learning and Computer Based Instruction". New York, Wiley, 1962. - p. 217-239.

135. Morris J. The case for CAI. SIGCUE bulletin, 1984, v.18. - p. 11-14.

136. Patrick W. Thompson. Mathematical Microworlds and Intelligent Computer-assisted Instruction. In: "Artificial Intelligence and Instruction". Ed: Kearsly, 1987. -p. 83-109.

137. Providing computing for distance learners: a strategy fo^ home use. // Computers Education, 1992, vol.18, № 1.

138. Ronald G. Ragsdale. Effective computing in education: tools and training // Education and computing, 1991, v.7. p. 157-166.

139. Skinner B.F. The science of learning and art of teaching. // Harward Education Review, Spring, 24, 1954. p. 86-97.

140. Uhr L. The compilation of natural language text into teaching machine programs. // American Federation of Information Processing Societies Conference Proceedings, 1964. p. 26-35.

141. Uttal W.R. On conversational interaction // "Programmed Learning and Computer Based Instruction". New York, Wiley, 1962.

142. Zaitseva L., John D. Zakis. Course Development for Tutoring and Training Systems in Engineering Education / Global J. of Engng. Educ., 1991, vol. 1, № 3. Printed in Australia.