автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Инструментальные средства создания интеллектуальных обучающих систем с визуальным преобразованием, сопоставлением и вычислением формул

ВВЕДЕНИЕ

1. ОБУЧАЮЩИЕ СИСТЕМЫ КОНТРОЛЯ ЗНАНИЙ И ГЕНЕРАЦИИ ЗАДАНИЙ

1.1. История создания обучающих систем.

1.2. Классификация обучающих систем.

1.3. Обзор обучающих систем.

1.3.1. Контролирующие системы.

1.3.2. Генерирующие системы.

1.4. Архитектура интеллектуальной обучающей системы (ИОС)

1.4.1. Общая структура интеллектуальной системы.

1.4.2. Архитектура экспертной обучающей системы.

1.5. Модели представление знаний

1.6. Декларативный и процедурный подходы к построению ИОС

1.6.1. Использование декларативных знаний для контроля знаний учащихся.

1.6.2. Использование процедурных знаний в инструментарии эксперта.

1.7. Архитектура интегрированной ИОС.

1.8. Выводы.

2. ПРЕДСТАВЛЕНИЕ ФОРМУЛЬНЫХ ДАННЫХ И ЗНАНИЙ

2.1. Представление данных.

2.1.1. Представление математического содержания формул

2.1.2. Вычисление формул.

2.1.3. Визуальное представление формул.

2.2. Представление знаний.

2.2.1. Виды знаний.

2.2.2. Языки представления знаний.

2.3. ЯзыкТ-РЕФАЛ

2.3.1. Понятие синтаксического отождествления.

2.3.2. Сопоставление с образцом на деревьях математических выражений.

2.3.3. Базисный РЕФАЛ.

2.3.4. Синтаксис Т-РЕФАЛа.

2.3.5. Семантика Т-РЕФАЛа.

2.3.6. Т-РЕФАЛ-машина.

2.3.7. Сравнение РЕФАЛа и Т-РЕФАЛа.

2.3.8. Области применения Т-РЕФАЛа.

2.4. Выводы.

3. ИНТЕЛЛЕКТУАЛЬНАЯ ОБУЧАЮЩАЯ СИСТЕМА КОНТРОЛЯ

ЗНАНИЙ

3.1. Методы контроля знаний.

3.2. Модель ошибок

3.3. Каталог ошибок

3.4. Сопоставление формул.

3.4.1. Классы эквивалентности формул.

3.4.2. Унификация синтаксических ошибок

3.4.3. Унификация математических ошибок в Т-РЕФАЛ

3.4.4. Унификация неформализованных ошибок.

3.5. База знаний ошибок.

3.6. Интеллектуальный диалог.

3.7. ИОС контроля знаний по химии.

3.8. Выводы.

4. ИНСТРУМЕНТАРИЙ ГЕНЕРАЦИИ ЗАДАНИЙ

4.1. Классификация методов генерации.

4.2. Параметрический метод генерации заданий.

4.2.1. Модель задачи.

4.2.2. Выделение семейств задач.

4.2.3. Упрощение формул с помощью Т-РЕФАЛ-предложений

4.2.4. Решатель задач.

4.3. Контроль знаний в генерирующей ИОС.

4.4. Алгоритм генерации заданий.

4.5. Применение метода генерации для печатных изданий

4.6. Выводы.

Первый этап исследования возможностей создания обучающих систем приходится на 50-е и 60-е годы двадцатого столетия. В это время американский психолог Б.Ф. Скиннер выдвинул идею, получившую название программированного обучения [81]. Им предлагалось повысить эффективность управления усвоением учебного материала, построив его как последовательную программу подачи порций информации и контроля их усвоения. Это направление начало активно развиваться в США, а потом и в других странах [76]. Автоматизация программированного обучения началась с использования обучающих и контролирующих устройств различного типа в 60-х-70-х годах. А в 80—е годы с появлением и распространением персональных компьютеров началось по—настоящему массовое использование обучающих программ. Таким образом, задача создания автоматизированных систем, призванных обучать без помощи человека, имеет более чем тридцатилетнюю историю.

На сегодняшний день создано огромное количество различных программ учебного назначения по многим предметам, однако, существенного влияния на учебный процесс это не оказывает. Упор в большинстве применяемых компьютерных программ делается на наглядность, которая с помощью компьютера реализуется чрезвычайно эффективно. Но зачастую обучение этим и ограничивается, и такие программы являются, по сути дела, информационными или демонстрационными. Конечно, электронные учебно-методические пособия и средства обучения (иллюстрированные методические пособия, "Рабочие тетради", "Альбомы", "Виртуальные экскурсии" и др.) могут сыграть и играют весьма значительную роль в совершенствовании процесса обучения. Аудио-визуальное представление информации позволяет существенно расширить возможности преподавания, создает новую коммуникативную среду в отношениях учителя и ученика. При этом охватываются все традиционные формы и выявляются новые возможности и направления: дистанционное обучение (очно-заочное); обучение определенных социальных групп населения (инвалиды, реабилитационные программы и т.п.). Но демонстрационная программа не обеспечивает достаточной эффективности образования. Для обеспечения эффективности учебного процесса автоматизированный учебно-методический комплекс (электронный учебник) должен принципиально отличаться от текстовых учебников и задачников. Одно из таких отличий - возможность обеспечения интерактивности учебника и диалога с обучаемым.

Конечно, ни сегодня, ни в обозримом будущем, ни одна учебная программа не сможет заменить хорошего учителя и традиционный метод обучения и диалог. Но мнение, что учитель, в принципе, может прекрасно обходиться и без привлечения компьютерных средств [25], добиваясь при этом высокой эффективности обучения, ошибочно. Повышение эффективности обучения при использовании качественных обучающих систем было подтверждено рядом исследований [8,32,93], где выделяются следующие позитивные факторы: индивидуализация обучения [112], интенсификация обучения, использование выразительных средств вычислительной техники, таких как наглядность, наличие средств моделирования объектов и процессов и т.п. [14,82], возможность контроля степени усвоения знаний.

Кроме повышения эффективности обучения, внедрение обучающих систем разгружает преподавателя от ряда трудоемких и часто повторяющихся операций но представлению учебной информации и контролю знаний; способствует разработке объективных методов контроля знаний; облегчает накопление учебно - методического опыта. Для этого обучающие программы должны работать вместе с учителем и учитель должен выступать в роли эксперта и передавать компьютеру свои знания, а дальше основную по времени работу должна выполнять программа. Построенная таким образом обучающая система будет представлять собой экспертную систему (ЭС) и являться интеллектуальной в отличие от популярных сегодня интерактивных программ-тестов, которые могут лишь частично моделировать работу учителя по проверке знаний обучаемого [61].

Несмотря на наличие интерактивности, "директивный характер" таких обучающих программ-тестов с заранее заданным сценарием и обязательным контролем в заранее определенных местах является недостатком, лишающим обучаемого инициативы и накладывающим свои ограничения на ученика. Одним из таких ограничений является выбор ответа только из списка предложенных, Например, в обучающей системе по математике это дает возможность обратной проверки, что нежелательно. Следовательно, ученику следует позволить вводить ответ в произвольной форме (аналогично ответу в тетради), что требует более совершенных программ сопоставления и классификации ответов [66]. При этом.форма ответа (сообщения) пользователя должна быть адаптивна. То есть при вводе ответа ученик должен пользоваться той формой записи, к которой он привык в школе. Адаптивные системы с приспособлением визуальной части системы позволяют легче усвоить изучаемый материал. Еще одно свойство, вкладываемое в адаптивные системы - способность к пополнению базы лингвистических и проблемно - ориентированных знаний в рабочем режиме [62]. Система, обладающая данной возможностью, обеспечивает динамически меняющийся диалог, что положительно отражается на качестве обучения.

Требование адаптивности системы граничит с требованием индивидуального подхода к ученику, подразумевающим создание каждому ученику индивидуального варианта задания, так как в случае одинаковых задач возникает проблема "списывания". То есть при решении задачи на своем компьютере сильным учеником аналогичное решение будет у всего класса (поскольку обучающая система дает подсказки, советы и сообщает о правильности результата сразу же после ответа на вопрос). Следовательно, при массовом применении электронных учебников в реальном учебном процессе возникает проблема составления индивидуальных заданий для контрольных работ, при этом разные варианты заданий должны быть приблизительно одинакового уровня сложности. Решением данной проблемы может являться метод автоматической генерации заданий, позволяющий сгенерировать личный электронный учебник (персональный задачник).

Такой индивидуальный (диверсифицированный) подход к ученику, предполагающий создание индивидуального варианта задания, реализуется при помощи специализированных систем генерации заданий и собственных программ генерации в развитых системах компьютерной алгебры (Maple, MathCad, MatLab [20,21]). Однако системы компьютерной алгебры во-первых, являются дорогостоящими и закрытыми системами, а во-вторых не ориентированы на интерактивное обучение вследствие отсутствия проверки ответов пользователя и оценивания знаний. В свою очередь, специализированные генераторы не являются существенно интеллектуальными, исключают непосредственное участие преподавателя в составлении вариантов и не дают возможность генерации произвольной задачи.

Учитывая перечисленные недостатки систем, существующие обучающие системы не имеют должного широкого распространения. Состояние современных обучающих систем таково, что на сегодняшний день, как правило, программы генерации задач и контроля знаний не интегрированы; промышленные обучающие системы не имеют изменяемой базы знаний и исключают влияние преподавателя на процесс обучения, отсутствует конструктивный диалог с обучаемым в процессе тренинга. Обучающие системы, осуществляющие контроль знаний, как правило, представляют собой программы-тесты, в которых присутствует элемент угадывания и существует возможность обратной проверки; не существует широко распространенных систем генерации заданий.

Для устранения указанных недостатков обучающая система должна иметь возможность генерации произвольной интерактивной задачи и обеспечить контроль знаний, основанный на ответе пользователя в произвольной адаптивной форме (в терминах предметной области). Проверка таких ответов обучаемого, считающаяся раньше прерогативой человека, является сегодня задачей систем искусственного интеллекта (ИИ).

При создании таких систем ИИ существует проблема выбора языка программирования. Часто используются языки логического программирования (Prolog). На данных языках легко описываются базы знаний и производится логический вывод. Однако эти языки имеют ряд недостатков: во-первых, они не ориентированы на обучение и определенную предметную область; во-вторых, в данных языках затруднительна реализация интерфейса системы. При этом средства интеграции языков искусственного интеллекта с индустриальными языками и средами (Builder С++, Visual С, Delphi, Java) пока довольно слабые. Поэтому возникает задача разработки специализированного языка ИИ, интегрированного с индустриальным языком и являющегося языком представления знаний. Данный язык позволит создать существенно интеллектуальную обучающую систему, ориентированную как на диалог с учеником, так и на диалог с преподавателем.

Таким образом, стоит актуальная и практически значимая задача создания полноценной интеллектуальной обучающей системы, обладающей интерактивностыо, адаптивностью, индивидуальностью и позволяющей компьютеризировать важнейшие этапы учебного процесса: формирование заданий и контроль знаний. Соответственно этой задаче формулируется цель диссертационной работы - разработка модели интерактивной интеллектуальной обучающей системы по математике, создание языка представления знаний для данной системы, реализация и внедрение в конкретные обучающие системы инструментальных средств вычисления, сопоставления и преобразования формул, обеспечивающих генерацию задач и интеллектуальный контроль знаний обучаемого.

Для достижения цели были поставлены и решены следующие задачи:

• Исследование методов компьютерной алгебры, включая методы представления данных; исследование интеллектуальных систем, фреймового и продукционного представления знаний, прямого и обратного вывода, декларативных языков (Lisp, Prolog, язык нормальных алгоритмов Маркова, РЕФАЛ) с целью применения в обучающей системе по математике.

• Разработка архитектуры интеллектуальной обучающей системы, сочетающей в себе инструментарий эксперта для генерации задач и инструментарий ученика для контроля знаний.

• Создание специализированного языка представления знаний и соответствующей машины вывода, осуществляющей унификацию (сопоставление с образцом) над деревьями математических выражений.

• Реализация алгоритмов визуализации, вычисления, сопоставления и преобразования формул с применением методов компьютерной алгебры и рекурсивно-логического программирования.

Реализация алгоритмов генерации задач на основе прямого логического вывода и создание типовых запросов (скриптов на интерпретируемом языке Java Script) для автоматической генерации задач (обеспечивающих выборку различных и равноценных вариантов) с автоматизированным решением некоторых подзадач.

Создание методом автоматической генерации базы задач, используемой в интерактивных электронных учебниках и в печатных изданиях (для автоматизированного получения соответствующих T^jX-документов необходима реализация алгоритма конвертациии формул в TfcjX-формат).

Научная новизна работы состоит в следующем:

Разработана оригинальная модель интеллектуальной обучающей системы, основанной на декларативных знаниях и осуществляющей генерацию заданий и контроль знаний учащегося.

Предложен, реализован и внедрен в конкретные интеллектуальные обучающие системы новый декларативный язык древовидных структур Т-РЕФАЛ (Tree-Refal), основанный на семантике РЕФ АЛ а и учитывающий специфику предметной области (математики). Впервые алгоритмы компьютерной алгебры интегрированы с методами искусственного интеллекта и развитыми способами отождествления на деревьях в Т-РЕФАЛе (упрощение формул при генерации задач, алгоритмы преобразования формул в решателе, алгоритмы сопоставления формул при проверке знаний).

Реализованы оригинальные инструментальные средства генерации интерактивных задач по математике и проверки знаний на основе методов искусственного интеллекта (продукционно-фреймового представления знаний, прямого и обратного логического вывода).

Практическая значимость Реализованы необходимые функции визуализации и преобразования формул, а также функции контроля математических знаний учеников. Данные функции включены в динамически присоединяемую библиотеку (dll), используемую в электронных мультимедийных учебных пособиях [53-60], изданных на CD-ROM и внедренных в ряде школ, на подготовительных курсах и для дистанционного обучения. Соавторами данных изданий являются Станченко С. В., Прилуц-кий С. О., Зайцев В.Е., Крылов С. С., Тимохин В. В., Шестаков П. С., а также математики-методисты Высоцкий И. Р. и Шестаков С. А. Диссертантом реализованы алгоритмы символьной математики (визуализация, аналитические преобразования, вычисление, сопоставление формул), использующиеся в данных обучающих системах.

Реализованные алгоритмы визуализации формул также были использованы для подготовки телеуроков по физике, химии, алгебре, геометрии для телевизионного канала "Телешкола" в системе спутникового телевидения НТВ Плюс, в 2000 г. и на телеканале "Школьник ТВ", выходящем в эфир с 2002 г.

Инструментарий генерации задач успешно применяется для создания вариантов для компьютерного обучения и для автоматизированной подготовки макетов книг (методическое обеспечение экзаменационных работ в школах: 3 книги и 11 рабочих тетрадей [96-109]). Сборник задач, полученный при помощи данного инструментария, допущен Министерством образования РФ в качестве учебного пособия для учащихся 11-х классов. По таким образом сгенерированным заданиям в 2002/2003 уч.г. проводилась государственная (итоговая) аттестация по алгебре и началам анализа в общеобразовательных учреждениях города Москвы (письмо Министерства образования РФ от 24.12.2002 № 13-52-90/14, см.Приложение5).

Апробация работы. Результаты работы докладывались на IX и XI международных школах-семинарах "Новые информационные технологии"

Судак, 2001, где по итогам конкурса получен грант фонда содействия развитию малых форм предприятий в научно-технической сфере, Судак, 2003), были представлены на международной научной конференции XXVII "Гагаринские чтения" (Москва, 2001), обсуждались на международной научно-практической Интернет-конференции "Информационные технологии в науке и образовании" (Шахты, 2001), докладывались на X международной конференции "Математика. Компьютер. Образование" (Пущино,2003), на международной научно-технической конференции IEEE AIS'03 (Дивноморское,2003), на объединенном семинаре ВЦ РАН, МГУ и ОИЯИ по компьютерной алгебре под руководством проф. Абрамова С.А. (Москва, 2004), на семинаре кафедры математической теории интеллектуальных систем механико-математического факультета МГУ под руководством проф. Подколзина А.С. (Москва, 2004).

Публикации. Основные результаты диссертации опубликованы в печатных работах [43-52], и реализованы в виде электронных мультимедиа учебников на CD-ROM [53-60]. Электронный учебник "Алгебра 7-11" [53] включен в "Перечень электронных изданий учебного назначения" для поставки в сельские школы по Федеральной программе развития образования (приказ Министра образования РФ № 2677 от 11.07.2001), учебник "Математика абитуриенту" [54] имеет гриф Министерства образования РФ, учебники серии "Все задачи школьной математики" [56-59] - победители конкурса Министерства РФ по делам печати, телерадиовещания и средств массовых коммуникаций "Книга года"-2003 в номинации Мультимедиа.

Структура и объем работы. Диссертация состоит из введения, 4-х

Основные результаты работы опубликованы в печатных работах [43-52], и реализованы в виде электронных мультимедиа-учебников на CD-ROM [53-60]. Электронные учебники [53-59] являются учебниками по математике. "Алгоритмика" [60] представляет собой учебник по информатике, содержащий математические формулы и использующий разработанный автором инструментарий. Очевидно, что использование разработанного автором инструментария возможно для представления математических формул в различных предметах. Однако, следует отметить, что возможно также экстенсивное расширение разработанного типа данных формул и непосредственное применение инструментария в других предметных областях. Наиболее естественной областью является физика. Визуализация физических формул используется в видеорядах телеуроков (проект "Телешкола"). Контроль знаний физических формул аналогичен контролю знаний в математике при наличии в базе знаний физических формул и соответствующего каталога ошибок, записанного на языке Т-РЕФАЛ.

Еще одной предметной областью, оперирующей формулами, является химия. Химические формулы (вещества и реакции) также легко выражаются разработанными типами данных, следовательно, для них применимы реализованные алгоритмы преобразования и сопоставления. Для химии, помимо визуальной части, использующейся также как и физика в проекте "Телешкола", был создан прототип контролирующей системы. В этой системе были использованы те же методы и модели контроля знаний, которые применены в математике.

Таким образом, предложенные автором формульный инструментарий и метод унификации, реализованный как РЕФАЛ на деревьях или Т-РЕФАЛ, подходят для любых объектов, представляемых деревьями (физические законы, химические соединения и химические реакции, синтаксические деревья предложений русского языка и др.).

Работы [53-60], использующие результаты диссертационной работы выполнены в соавторстве со Станченко С. В., Прилуцким С. О., Зайцевым В.Е., Крыловым С. С., Тимохиным В. В., Шестаковым П. С., а также математиками - методистами Высоцким И. Р., Шестаковым С. А.

Диссертантом реализованы следующие компоненты, используемые на CD-ROM [53-59]:

1) инструментарий работы с формулами (mathem.dll), включающий в себя визуализацию, преобразования, сопоставление;

2) математическое обеспечение графиков (graph.dll, graphcomp.dll);

2) плагин взаимодействия формульных компонент с пользователем (formula.plg);

3) Java-скрипты генерации заданий (Clone.js).

Данные компоненты реализованы на языках Builder С-Ы- (основная логическая часть, включая реализацию Т-РЕФАЛ машины), Delphi (взаимодействие с интерфейсом системы), Java (для дистанционного обучения), Java-script для внешних файлов генерации заданий и решений. Взаимодействие реализованных компонент показано на рис. 1.3. Суммарный объем программного кода оценивается в 75000 строк.

ЗАКЛЮЧЕНИЕ

В результате диссертационного исследования поставленная цель реализации и внедрения в интеллектуальные обучающие системы инструментальных средств вычисления, сопоставления и преобразования формул, обеспечивающих генерацию задач и интеллектуальный контроль знаний обучаемого, достигнута.

На защиту выносятся:

1) архитектура интеллектуальной интерактивной обучающей системы по математике, осуществляющей генерацию заданий и контроль знаний учащегося на основе декларативных знаний;

2) новый декларативный язык программирования для работы с деревьями - Т-РЕФАЛ и его программная реализация;

3) новые методы и алгоритмы вычисления, сопоставления и преобразования математических формул для контроля знаний обучаемого в ИОС и генерации заданий, отличающиеся возможностью динамического изменения баз знаний, представленных на языке Т-РЕФАЛ;

4) оригинальное программное обеспечение - математическая библиотека (реализованная с использованием программ на языке Т-РЕФАЛ) для создания интерактивных обучающих систем как экспертных систем, внедренная в электронные учебники на CD-ROM [53-60];

5) инструментарий генерации формул для интерактивных задач по математике, обеспечивающий новые возможности создания наборов равноценных заданий для контрольных (экзаменационных) работ в электронном (CD-ROM [56-59]) и в печатном виде ( [96-109]).

1. Абрамов С.А., Зима Е.Б., Ростовцев В.А. Компьютерная алгебра. // Программирование, 1992, -№5, с. 4-25.

2. Агеев В. Н. Электронные учебники и автоматизированные обучающие системы. —М.: 2001. — 79 с .

3. Аверин А. И., Вагин В.Н Алгоритмы паралельной унификации.// Тр. международных науч.-техн. конф. "Интеллектуальные системы (IEEE AIS' 03)" и "Интеллектуальные САПР" (CAD-2003) -М.: Физматлит, 2003, Т. 1. -с. 153-159.

4. Алкивиядис Г. Акритас. Основы компьютерной алгебры. Пер. с англ. Панкратьева Е. В. -М.: Мир, 1994. 543 с.

5. Атанов Г.А., Пустынникова И.Н. Обучение и искусственный интеллект или основы современной дидактики высшей школы, -Донецк: Изд-во ДОУ, 2002. 504 с.

6. Ахо А., Хопкрофт Дж., Ульман Дж. Построение и анализ вычислительных алгоритмов. -М.: Мир, 1979.

7. Балыкина Е.Н. Классификация компьютерных учебных программ на примере исторических дисциплин //http://aik.barnaul.ru/aik/krug/7/23.html

8. Баринова С. H. Автоматизированные учебные курсы и их влияние на качество процесса обучения // Материалы конференции "Информационные технологии в образовании", -1999.

9. Башмаков А. И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем -М.: Информационно-издательский дом "Филинъ", 2003.

10. Братко И. Программирование на языке Пролог для искусственного интеллекта: Пер. с англ. -М.: Мир, 1990.

11. Брусиловский П. Архитектура на основе модели студента для интеллектуальных обучающихся сред //IV международная конференция по Моделированию Пользователя, Hyannis, США. User Modeling Inc, 1994. p. 31-36

12. Варсанофьев Д.В., Дымченко А.Г. Основы компиляции //http://www.codenet.ru/progr/compil/cmp/intro.php

13. Верещагин H.K., Шень А. Вычислимые функции, -M: МЦН-МОД999. 176 с.

14. Владимирский Б. М. Роль и место когнитивной машинной графики в обучении // Тезисы докладов уч.-мет. конференции "Современные информационные технологии в учебном процессе" -Ростов: РГУ, 2000.

15. Гаврилова Т. А. Представление знаний в экспертной диагностической системе АВТАНТЕСТ // Изв. АН СССР. Техн. кибернетика, 1984. -№5. с. 165-173.

16. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. -СПб: Питер, 2000. 384 с.

17. Городецкий A.E., Дубаренко В.В., Тарасова И.Л., Шереве-ров А.В. Программные средства интеллектуальных систем. -СПб.: Изд-во СПбГТУ, 2000. 171 с.

18. Гершунский B.C. Компьютеризация в сфере образования: Проблемы и перспективы. -М.: Педагогика, 1987. с. 183185.

19. Грушевский С.П., Архипова А.И. Проектирование учебно-информационных комплексов. -Краснодар, 2000г.

20. Грушевский С.П. Генерации индивидуальных заданий по математическому анализу с использованием MathCAD и MS Word // Журнал "Компьютерные инструменты в образовании". -СПб.: Изд-во ЦПО "Информатизация образования",2000. т.

21. Гуссенс М., Миттельбах Ф., Самарин А. Путеводитель по пакету и его расширению Ш]еК 2е: Пер. с англ. -М.: Мир, 1999. 606 с.

22. Джалиашвили З.О., Кондратьев В.В. Экспертная обучающая система как эвристический инструмент для формирования креативных знаний // Материалы конференции "ИТО-2001", 2001.

23. Домрачев В. Г., Ретинская И. В. О классификации образовательных информационных технологий // Информационные технологии, 1996. -№2. -с. 10-13.

24. Дубровский В. Н. От компьютера-книги к компьютеру-учителю: принципы разработки комплекса "1 С РЕПЕТИТОР. Математика" // Материалы конференции "Информационные технологии в образовании", 1999.

25. Дубровский В.Н. Учебник пользователя комплекса "1С: Репетитор. Математика".

26. Дьяконов В.П. Справочник MathCAD PLUS 6.0. -М.: СК Пресс, 1997.

27. Дьяконов В. П. Maple 7. Учебный курс. -СПб.: Питер, 2002.

28. Ефимов Г.Б. Из истории развития и применения Компьютерной Алгебры в Институте прикладной математики имени М.В.Келдыша http://www.gordon.ru/konkurssite/texts/egb02.doc

29. Журавлева Т. Э. Гибридный инструментарий интеллектуальных систем на основе расширенного логического программирования: Дис. . канд. физ. мат. наук. -М.: МАИ, 1993.

30. Зайнутдинова JI.X. Психолого-педагогические требования к электронным учебникам (на примере общетехнических дисциплин). -Астрахань: Изд-во АГТУ, 1999.

31. Карлащук В. И. Обучающие программы . -М.: "COJIOH-P ", 2001. 528 с .

32. Карпова И.П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах. Дис. . канд. техн. наук. -М.: МИЭМ, 2002.

33. Кауфман В.Ш. Языки программирования. Концепции и принципы. -М.: Радио и Связь, 1993.

34. Кибернетика и проблемы обучения : Сборник переводов / Под ред. А. И. Берга -М.: Прогресс, 1970. 389 с.

35. Клоксин У., Меллиш К. Программирование на языке Пролог: Пер. с англ. -М.: Мир, 1987.

36. Кноп К. Сказка о четверке // Компьютерра, 1999 -№35.

37. Коов М. И., Мацкин М. Б., Тыугу Э. X. Интеграция концептуальных и экспертных знаний в САПР // Изв. АН СССР. Техн. кибернетика, 1988. -№5. с. 108-118.

38. Кофман А. Введение в прикладную комбинаторику: Пер. с франц. -М.: Наука, 1975.

39. Крылова Т.В. и др. Технология подготовки учебного курса к компьютеризации -Н.Новгород, 1990.

40. Курганская Г. С. Модели, методы и технология дифференцированного обучения на базе интернет. Автореф. дис. . д-ра физ.-мат. наук. -М.: ИПМ РАН, 2001.

41. Ларичев О. И., Мечитов А. И., Мошкович Е. М., Фуремс Е. М. Выявление экспертных знаний (процедуры и реализации). -М.: Наука, 1989.

42. Левинская М.А., Зайцев В.Е. Интеллектуальная система с визуальным преобразованием, сопоставлением и вычислением формул. Тезисы докладов IX Международной школы-семинара "Новые информационные технологии" -М.: МГИ-ЭМ, 2001. -с. 388-390.

43. Левинская М.А. Метод унификации на рекурсивных структурах данных в интеллектуальной обучающей системе. Тезисы докладов молодежной научной конференции XXVII "Га-гаринские чтения" -М.: РГТУ-МАТИ, 2001. -с. 510-511

44. Левинская М.А. Рефал на деревьях как машина логического вывода в интеллектуальной обучающей системе. Материалы международной научно-практической Интернет-конференции "Информационные технологии в науке и образовании". -Шахты, 2001. -с. 80-82.

45. Левинская М.А. Интеллектуальный контроль знаний в интерактивной обучающей системе. Тезисы докладов X Международной конференции "Математика. Компьютер. Образование". -Пущино, 2003. -с. 376.

46. Левинская М.А., Зайцев В.Е. Метод генерации заданий в интерактивной обучающей системе. Тезисы докладов XI Международной школы-семинара "Новые информационные технологии" -М.: МГИЭМ, 2003, Т.1. -с. 441-442.

47. Левинская М.А. Продукционная модель интерактивной компоненты обучающей системы. Сб. науч. трудов "Математика. Компьютер. Образование". Вып. 10, Часть 1. -Москва-Ижевск: Научно-издательский центр "Регулярная и хаотическая динамика", 2003. -с. 81-95.

48. Левинская М.А. Декларативный подход к построению интерактивной обучающей системы. Труды Международных научно-технических конференций "Интеллектуальные системы (IEEE AIS' 03)" и "Интеллектуальные САПР" (CAD-2003) -М.: Физматлит, 2003, Т. 2. -с. 439-444.

49. Алгебра 7-11. Электронный учебник-справочник: Учебное пособие, рабочая тетрадь, CD-ROM //Станченко С.В., Левинская М.А., Зайцев В.Е. и др. -М.: Кудиц, Кордис&Медиа,2000. -82 е., 347 Мб на CD-ROM. (ISBN- 5-89931-004-9)

50. Математика абитуриенту. Электронный учебник-справочник: CD-ROM //Станченко С.В., Левинская М.А., Зайцев В.Е. и др. -М.: Интерактивная Линия, Новый диск,2001. -570 Мб на CD-ROM. (ISBN 5-89267-089-9)

51. Школьная математика. Программно-методический комплекс, CD-ROM //Станченко С.В., Левинская М.А., Зайцев

52. B.Е. и др. -М.: Интерактивная Линия, 2002. -209 Мб на CD-ROM.

53. Математика 5-6 (Серия "Все задачи школьной математики"). Электронный учебник-справочник: CD-ROM//CTaH4eHKO

54. C.В., Левинская М.А., Зайцев В.Е. и др. -М.:Интерактивная Линия, Просвещение-Медиа, 2003. -180 Мб на CD-ROM.

55. Алгебра 7-9 (Серия "Все задачи школьной математики"). Электронный учебник-справочник: CD-ROM //Станченко С.В., Левинская М.А., Зайцев В.Е. и др. -М.:Интерактивная Линия, Просвещение-Медиа, 2003. -175 Мб на CD-ROM.

56. Алгебра и начала анализа 10-11 (Серия "Все задачи школьной математики"). Электронный учебник-справочник: CD-ROM //Станченко С.В., Левинская М.А., Зайцев В.Е. и др. -М.: Интерактивная Линия, Просвещение-Медиа, 2003. -150 Мб на CD-ROM.

57. Алгоритмика. Электронный учебник-справочник: CD-ROM //Станченко С.В., Левинская М.А., Зайцев В.Е. и др. -М.: Интерактивная Линия, 2003. -300 Мб на CD-ROM.

58. Мальковский М. Г. Диалог с системой искусственного интеллекта . -М.: МГУ, 1985.

59. Мальковский М. Г. Программа APRIL, решающая арифметические задачи в словесной формулировке. В кн .: Алгоритмы и алгоритмические языки. Вып. 6. -М.: Изд . ВЦ АН СССР, 1973.

60. Малярик Н. П. Применение информационных (компьютерных) технологий на уроках математики // Материалы конференции "Информационные технологии в образовании", 2002. http://ito.bitpro.ru/

61. Манзон Б.М. Maple V Power Edition. -М.: Информационно-издательский дом "Филинъ", 1998.

62. Марьясина Е.Д. Программное обеспечение обучающих курсов, основанных на автоматической классификации ответов: Автореф. дис. . канд. физ.- мат. наук. -М.: МАИ, 1983.

63. Модель диалога человека-преподавателя контролирует деятельность в AutoTutor. Person N., Graesser S., Kreuz J. //International Journal of Artificial Intelligence in Education, 2001. - №12. -c. 23-39.

64. Нефедов B.H., Осипова В.А. Курс дискретной математики. -М.: Изд-во МАИ, 1992. 263 с.

65. Обучающие машины, системы и комплексы: Справочник / Под ред. А. Я. Савельева . -Киев : Вища шк., 1986. 303 с.

66. Основы информатики и программирования: Уч. пособие// Под ред. Е.А. Роганова. -М.: МГИУ, 2001. 300 с.

67. Подколзин А.С. Компьютерный решатель математических задач. -М.: Изд-во ЦПИ при мех.-мат. ф-те МГУ, 2000.

68. Поспелов Г. С. Искусственный интеллект — основа новой информационной технологии. -М.: Наука, 1988. 50 с.

69. Построение экспертных систем: Пер. с англ. / Под ред. Ф. Хейеса-Рота, Д. Уотермана, Д. Лената. -М.: Мир, 1987.

70. Проектирование компьютерных обучающих программ. // Курс лекций СПбГИТМО http://de.ifmo.ru/library/0055/labs.htm.

71. Романенко C.A. Машинно-независимый компилятор с языка Рефал: Дис. . канд. физ. мат. наук. -М.: ИПМ АН СССР, 1977. - 211 с.

72. Ростунов Т .И . Сущность программированного метода обучения . // Программированное обучение и кибернетические обучающие машины. / Под ред. Шестакова А. И. -М.: Сов. радио, 1963. с . 10-23.

73. Сайтанов И., Шемякина О., Кузнецов А. Компактные учителя // Компьютерра, 2002. -№4.

74. Свиридов А. П. Основы статистической теории обучения и контроля знаний: Метод, пособие. —М .: Высшая школа, 1981.

75. Сергушичева А.П., Швецов А.Н. Моделирование синтеза интеллектуальных тестов средствами формальной продукционной системы.// Тезисы докладов X Международной конференции "Математика. Компьютер. Образование". -Пущино, 2003. -с. 66.

76. Сивохин А. В. Представление знаний в интеллектуальных системах обучения: Уч. пос. Пенза: ППИ, 1990. - 86 с.

77. Скиннер Б.Ф. Наука об учении и искусство обучения // Программированное обучение за рубежом. -М., Высшая школа, 1968.

78. Сливина Н. А., Чубров Е. В. Приобретение знаний по математике с использованием учебных и научных пакетов // "Компьютерные технологии в высшем образовании". / Под ред. А. Н. Тихонова и др . -М.: Изд-во Моск. ун-та, 1994.

79. Солдатова JI. Н. Метод выявления аналогий для создания систем классификации и генерации задач: Автореф. дис. . канд. техн. наук. -ДВГТУ, 1998. 16 с.

80. Соловов А.В. Проектирование компьютерных систем учебного назначения: Уч. пособие. -Самара: СГАУ, 1995. 138с.

81. Сошников Д. В. Методы и средства построения распределенных интеллектуальных систем на основе продукционно-фреймового представления знаний: Автореф. дис. . канд. физ.- мат. наук. -М.: МАИ, 2002.

82. Турчин В.Ф. Алгоритмический язык рекурсивных функций (РЕФАЛ). -М.: ИПМ АН СССР, 1968.

83. Турчин В. Ф. Базисный РЕФАЛ. Описание языка и основные приемы программирования (методические рекомендации). -М.: ЦНИПИАСС, 1974.

84. Турчин В.Ф. Метаязык для формального описания алгоритмических языков. // Цифровая вычислительная техника и программирование. -М.: Сов. радио, 1966. с. 116-124.

85. Турчин В.Ф. РЕФАЛ-5. Руководство по программированию и справочник http: //www. ref al. ru/rf 5f rm. htm

86. Турчин В.Ф., Сердобольский В.И. Язык Рефал и его использование для преобразования алгебраических выражений // Кибернетика, 1969, -№. с. 58-62.

87. Финкельберг В. М. Кодирование с открытым ключом против списывания j j Компьютер в школе. 1999. - №7.

88. Хартли Д. К вопросу об оценке обучающих программ . // Сб . "Кибернетика и проблемы обучения" / Под ред А. И. Берга. -М.: Прогресс , 1970. с. 350-387.

89. Хант Э. Искусственный интеллект. -М.: Мир, 1978.

90. Хоггер К. Введение в логическое программирование: Пер. с англ. -М.: Мир, 1988.

91. Алгебра и начала анализа: Сб. задач для подготовки и проведения итоговой аттестации за курс средней школы. Под ред. Шестакова С.А., -М.: МИОО, МЦНМО, Интерактивная линия, 2002.

92. Книга для учителя./ Под ред. Шестакова С.А. и Звави-ча Л. И. -М.: Внешсигма-М, Интерактивная линия, 2003.

93. Экзаменационные работы для проведения итоговой аттестации по алгебре и началам анализа за курс средней школы по Сборнику задач для подготовки и проведения итоговой аттестации за курс средней школы под ред. Шестакова С. А. -М.: Московский учебник, 2003.

94. Готовимся к ЕГЭ. Математика. Рабочая тетрадь №1. Многочлены. Рациональные функции. Функции, заданные графиком. -М.: Центр тестирования Минобразования России, 2002.

95. Готовимся к ЕГЭ. Математика. Рабочая тетрадь №2. Геометрия. -М.: Центр тестирования Минобразования России, 2002.

96. Готовимся к ЕГЭ. Математика. Рабочая тетрадь №3. Логарифмы и логарифмическая функция. Показательная функция. -М.: Центр тестирования Минобразования России, 2002.

97. Готовимся к ЕГЭ. Математика. Рабочая тетрадь №4. Тригонометрия. -М.: Центр тестирования Минобразования России, 2002.

98. Готовимся к ЕГЭ. Математика. Рабочая тетрадь №5. Иррациональные выражения. -М.: Центр тестирования Минобразования России, 2002.

99. Алгебра и начала анализа, Рабочая тетрадь №1. Степень с натуральным показателем. Многочлены. -М.: Внешсигма-М, Интерактивная линия, 2003.

100. Алгебра и начала анализа, Рабочая тетрадь №2. Степень с целым показателем. Рациональные функции. -М.: Внешсигма

101. М, Интерактивная линия, 2003.

102. Алгебра и начала анализа, Рабочая тетрадь №3. Степень с дробным показателем. Иррациональные функции. -М.: Внешсигма-М, Интерактивная линия, 2003.

103. Алгебра и начала анализа, Рабочая тетрадь №4. Тригонометрические выражения. Тригонометрические функции. -М.: Внешсигма-М, Интерактивная линия, 2003.

104. Алгебра и начала анализа, Рабочая тетрадь №5. Степень с действительным показателем. Показательная функция. -М.: Внешсигма-М, Интерактивная линия, 2003.

105. Алгебра и начала анализа, Рабочая тетрадь №6. Логарифмы. Логарифмическая функция. -М.: Внешсигма-М, Интерактивная линия, 2003.

106. Экспертные системы. Принципы работы и примеры: Пер. с англ. / А. Брукинг, П. Джонс, Ф. Кокс и др. / Под ред. Р. Форсайта. -М.: Радио и связь, 1987.

107. Alisejtshik P. A., Kudrjavcev V. В., Peretruchin V. V., Strogalov A.S., Waschik К. Modelling educational process using expert system // Proc. of 2nd Russian German Symposium New Media for Educational and Training in Computer Science, 1996 r. - 8 p.

108. Bloom B.S. The sigma Problem: The Search for Methods of Group Instruction as Effective as One-to-One Tutoring // Education Researcher, 1984. -№13. p. 3.

109. Brown J., Burton R. Diagnostic models for procedural bugs in basic mathematical skills, Cognitive Science, 1978. -№2. -p.155

110. Buiten R., Lane H.S. Experimental system gives language student instant error feedback. / / Digital Equipment Corporation Computer Application Note, 1965.

111. Geddes K., Czapor S. and Labahn G., Algorithms for Computer Algebra, Kluwer Academic Publishers, Boston, Dordrecht, London, 1992.

112. Licklider J. Preliminary experiments in computer-aided teaching. // Programmed Learning and Computer Based Instruction. -New York, Wiley, 1962. p. 217-239.

113. Mizoguchi R. An Innovative Framework for Intelligent tutoring systems. // Artifical Intelligence Tools in Education. -Ams.: Elsevier Science Publishers, 1988.

114. Nakabayashi K., Maruyama M., Kato Y., Touhei H., Fukuhara Y., Architecture of an intelligent tutoring system on WWW. Proceeding of AIED'97, Kobe, Japan, 1997.

115. Seridi-Bouchelaghem H., Sellami M., Design of an intelligent Tutoring system on the WWW to support interactive learning// International Conference on Engineering Education, Oslo, Norway, 2001.

116. John Hughes. Why Functional Programming Matters // The Computer Journal, Vol. 32, Ж 2, 1989, p. 98 107.