автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка методов и средств контроля знаний в процессе обучения персонала промышленного предприятия

На правах рукописи

ДУБЕНКО ЮРИЙ ВЛАДИМИРОВИЧ

003481860

РАЗРАБОТКА МЕТОДОВ И СРЕДСТВ КОНТРОЛЯ ЗНАНИЙ В ПРОЦЕССЕ ОБУЧЕНИЯ ПЕРСОНАЛА ПРОМЫШЛЕННОГО ПРЕДПРИЯТИЯ

специальность 05.13.01 - Системный анализ, управление и обработка информации (промышленность)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Владикавказ 2009

Работа выполнена в ГОУ ВПО Северо-Кавказском горно-металлургическом институте (государственном технологическом университете)

Научный руководитель: доктор технических наук, доцент

Кумаритов Алан Мелитонович

Официальные оппоненты: доктор технических наук, профессор

Хузмиев Измаил Каурбекович

кандидат технических наук, Кулаева Марина Владимировна

Ведущая организация: ГОУ ВПО «Северо-Осетинский государственный университет им. К. Л. Хетагурова», г. Владикавказ

Защита состоится «20» ноября 2009 г. в 14 час. на заседании диссертационного совета Д212.246.01 в Северо - Кавказском горно - металлургическом институте (ГТУ) по адресу: 362021, PCO - Алания, г. Владикавказ, ул. Николаева, 44, СКГМИ (ГТУ).

Факс: (8672) 40-72-03, E-mail: skgtu@skgtu.ru

С диссертацией можно ознакомиться в библиотеке СКГМИ (ГТУ).

Отзывы (в двух экземплярах, заверенные печатью) просим направлять по адресу: 362021, РСО-Алания, г. Владикавказ, ул. Николаева, 44. Диссертационный совет Д 212.246.01.

Автореферат разослан «19» октября 2009 г.

Ученый секретарь

диссертационного совета Д212.246.01, к.т.н., доцент

А. Ю. Аликов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Стремительное развитие новых производственных технологий требует постоянного повышения квалификации инженеров, а также периодической и внеочередной проверки знаний работников промышленных предприятий в области промышленной и пожарной безопасности, технике безопасности и охране труда, технической эксплуатации электроустановок потребителей, технической эксплуатации электрических станций и сетей; безопасности при работе с инструментом и приспособлениями и т.д.

Важность корпоративного обучения подчеркивается Правительством РФ, а необходимость переподготовки специалистов является частью производственной политики современного предприятия и во многом определяет его интеллектуальный капитал, успешность на рынке и сведение к минимуму производственных аварий и несчастных случаев. Для повышения квалификации инженеров и другого персонала предприятий с успехом используются различные программные средства учебного назначения.

Программные средства учебного назначения по принципам использования можно условно разделить на обучающие системы, наполненные знаниями о конкретной предметной области, и инструментальные системы, предназначенные для наполнения их знаниями о произвольной предметной области с целью создания обучающей системы. Наиболее перспективными с точки зрения соотношения конечного результата и трудозатрат на создание и поддержку являются инструментальные системы, которые принято называть автоматизированными обучающими системами (АОС). К основным достоинствам АОС относятся:

-возможность использования преимуществ индивидуального обучения;

- интенсификация обучения;

- возможность индивидуальной адаптации курса обучения к потребностям обучаемых инженеров и других работников промышленных предприятий или условиям обучения;

- возможность использования и тиражирования передового опыта;

- повышение доступности образования;

- обучение навыкам самостоятельной работы;

- использование в рамках дистанционного обучения, переобучения и повышения квалификации.

В настоящее время благодаря развитию вычислительных сетей и телекоммуникационных технологий АОС получили возможность выйти на новый уровень. При переходе от локальных обучающих систем к распределенным качественно изменяются функциональные возможности обучающей системы.

Организация распределенных АОС требует проработай сетевых аспектов работы системы, связанных с предоставлением удаленного доступа к системе, поддержкой распределенных данных и объединением сетевых ресурсов для решения стоящих перед системой задач. Одной из важных задач при создании распределенных АОС является организация контроля знаний.

Большинство существующих АОС и систем контроля знаний имеют ограниченное количество форм представления ответов и двухбалльную систему оценки.

Это обусловлено простотой анализа выборочных ответов и отсутствием формальных методов анализа и дифференцированной оценки ответов обучаемых инженеров и работников промышленных предприятий на контрольные вопросы. Однако такой подход ограничивает возможности разработчика курса в отношении использования различных вариантов тестовых вопросов и анализа ответов обучаемых инженеров. В связи с этим тематика исследований, затрагивающих организацию контроля знаний в АОС применяемой на промышленном предприятии, является актуальной и практически значимой.

Цель работы: Исследование методов и принципов создания подсистемы контроля знаний в автоматизированных обучающих системах и разработка алгоритма контроля знаний на основе модели дифференцированной оценки ответов обучаемых инженеров и других работников промышленных предприятий.

Задачи исследования. В диссертационной работе решаются следующие задачи:

- анализ существующих автоматизированных обучающих систем на промышленных предприятиях и тенденций их развития;

~ выявление требований, которые предъявляются к АОС как к специализированному программному обеспечению, ориентированному на работу в вычислительной сети;

- разработка методов анализа и дифференцированной оценки ответов обучаемых инженеров и работников промышленных предприятий;

- разработка математического, алгоритмического и программного обеспечения подсистемы контроля знаний;

- экспериментальное подтверждение применимости предложенных методов и алгоритмов.

Объект исследования: автоматизированные обучающие системы.

Предмет исследований: методы и алгоритмы контроля знаний в АОС.

Методы исследований. Решение поставленных задач базируется на применении классических методов: системною анализа, теории множеств, теории вероятности и математической статистики, комбинаторики и методов инженерии знаний. В разработке программного обеспечения использовалась технология объектно-ориентированного программирования.

Научная новизна. К новым результатам относятся:

- созданные методы и алгоритмы сравнения множеств и списков для дифференцированной оценки знаний персонала промышленного предприятия, основанные на математических моделях представления ответов различных типов: множество, список, список множеств, множество списков;

- разработанный новый метод контроля знаний в автоматизированных обучающих системах, включающий модель предметной области, модель обучаемого инженера и стратегии обучения;

- разработанный новый принцип взаимодействия компонентов АОС с динамической реконфигурацией системы, который позволяет обеспечить эффективную организацию распределенных вычислений, в случае обнаружения нарушения работы ЭВМ в сети;

- созданная архитектура распределенной автоматизированной обучающей системы для промышленного предприятия, реализующая разработанные методы и алгоритмы.

Практическая ценность. Теоретические исследования завершены созданием на их основе математического, алгоритмического и программного обеспечения для подсистемы контроля знаний в АОС. А именно:

- разработан принцип обмена данными между ядром АОС и вспомогательным программным обеспечением;

- создана архитектура распределенной автоматизированной обучающей системы для промышленного предприятия;

- созданы базы знаний, реализующие различные методики управления контролем знаний персонала промышленного предприятия;

- разработаны алгоритмы проведения контроля знаний, методы и алгоритмы определения правильности различных типов ответов обучаемого инженера на контрольные вопросы;

- создан и используется на предприятиях ОАО «АЗТМ» и ОАО «МРСК Северного Кавказа» комплекс прикладных программ.

Апробация работы. Основные положения исследования докладывались на: межвузовской научно-практической конференции студентов, аспирантов и молодых ученых посвященной 89-летию КубГТУ «Научный потенциал ВУЗа - производству и образованию» (г. Армавир, 2007 г.); межвузовской научно-практической конференции, посвященной 90-летию КубГТУ и 49-летию АМТИ «Научный потенциал ВУЗа - производству и образованию» (г. Армавир, 2008 г.); VII международной научно -практической конференции «Совершенствование управления научно-техническим прогрессом в современных условиях» (г. Пенза, 2009 г.), научных семинарах кафедры «Внутризаводского электрооборудования и автоматики» Армавирского механико-технологического института (филиала) Кубанского государственного технологического университета (2005 - 2009гп); научных семинарах кафедры «Информационные системы в экономике» Северо-Кавказского горно-металлургического института (ГТУ) (г. Владикавказ, 2007 - 2009гг.), различных региональных совещаниях, научно-практических конференциях ассоциации «Промышленники» и вузов Краснодарского края, ежегодных НТК Армавирского завода тяжелого машиностроения (2005 -2009 гг.)

Личный вклад автора. Основные научные положения, выводы и рекомендации, содержащиеся в диссертационной работе, получены автором самостоятельно.

Публикации. По теме диссертации опубликовано 6 печатных работ, в том числе 2 - в журналах списка ВАК.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы. Работа содержит 170 страниц текста, 42 рисунка, 7 таблиц, 148 наименований литературных источников.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, сформулированы цели и задачи исследования.

В первой главе проанализированы тенденции развития и проблематика одной из актуальных областей современных информационных технологий - автоматизированных обучающих систем. Были исследованы работы следующих ученых: Аване-сова B.C., Агеева В.Н., Александрова Г.Н., Березина Н.В., Беспалько В.П., Вержбиц-кого В.В., Колесниковой И.В., Э.В. Попова, А.И. Берга, Ж.Л. Лорьера. Анализ показал, что современный этап развития АОС связан с использованием достижений в области инженерии знаний и тех возможностей, которые представляются вычислительными сетями. В работе рассмотрены различные аппаратные и программные решения и современные сетевые технологии, применяемые для построения распределенных автоматизированных обучающих систем.

Приведены некоторые существующие классификации обучающих систем и показана их неоднозначность. Для оценки качества обучающей системы рассматривается соответствие обучающей системы схеме процесса обучения. Процесс обучения можно трактовать как процесс управления усвоением знаний. Как и любой процесс управления, реализуемый в замкнутой системе, этот процесс характеризуется целью управления, имеет объект управления (инженеров), устройство управления и канал обратной связи. На рисунке 1 представлена обобщенная схема управления процессом обучения.

Рисунок 1 - Обобщенная схема управления процессом обучения

На рисунке 1 используются следующие сокращения: УУ - устройство управления.

Проведенный в работе анализ некоторых существующих обучающих систем и инструментальных сред для их создания показал следующее. Несмотря на очевидные достижения, многие обучающие системы либо вообще не имеют канала обратной связи, либо не обладают возможностями адаптации процесса обучения к уровню знаний и умений обучаемых. Кроме того, большинство существующих систем являются централизованными, могут работать в режиме удаленного доступа, но не позволяют распределять функции обучающей системы между узлами сети, что не позволяет задействовать всю вычислительную мощь локальных вычислительных сетей.

На основании вышеизложенного можно сделать вывод о необходимости разработки методов взаимодействия компонентов АОС, позволяющих выполнять рас-

пределенные вычисления, настраивать систему на различные методики обучения и интегрировать в систему существующие программные средства учебного назначения. Также обоснована необходимость разработки методов и алгоритмов контроля знаний, основанных на формальных методах оценки ответов обучаемых инженеров и других сотрудников промышленных предприятий.

Вторая глава посвящена принципам организации и создания распределенной АОС. Рассмотрены способы организации сетевой среды распределенной обучающей системы, которая включает в себя локальную вычислительную сеть (ЛВС) и предоставляет доступ через сеть Internet.

Центральное место в автоматизированной обучающей системе для промышленного предприятия занимает сервер, который управляет работой всей системы в целом. В состав сервера входит ядро АОС и сервер базы данных (MS SQL Server 2005). Состав и функции ядра зависят от технологии организации работы режима клиент-сервер. АОС должна функционировать и в локальной вычислительной сети (ЛВС), и в сети Internet. В диссертационной работе рассмотрены наиболее распространенные решения для организации работы внутри ЛВС и через Internet. Предложена конфигурация мультиплатформенного учебного сервера, включающего в себя сервер АОС под управлением операционной системы Windows 2003 Server, который ориентирован на работу с пользователями в рамках ЛВС, сервер БД, предназначенный для управления базой данных и сервер АОС, предназначенный для организации распределенных вычислений и доступа через интернет. Распределенность обучающей системы заключается в размещении отдельных компонентов АОС на различных узлах сети для повышения производительности системы. В качестве этих компонентов выступают данные и программные модули.

Поддержка распределенных данных в рамках ЛВС обеспечивается средствами сетевой файловой системы и СУБД MS SQL Server 2005, а в рамках глобальной сети -средствами Internet. Программные компоненты являются вспомогательными модулями, которые предназначены или адаптированы для выполнения отдельных функций, поддерживающих процесс обучения. В совокупности с ядром АОС они обеспечивают выполнение всех внутренних функций системы путем распределенных вычислений.

Повышение надежности функционирования распределенной АОС будет обеспечено с помощью специального принципа обмена данными между ядром АОС и вспомогательным программным обеспечением с динамической реконфигурацией системы.

Принцип динамической реконфигурации системы позволит обеспечить дополнительную надежность и эффективность ее функционирования (рисунок 2).

Конфигурация сети определяется следующей информацией:

-топология сети;

- процессы, которые могут быть запущены на каждом узле сети.

Для реализации данного принципа требуется список сервис-процессов: главный сервис-процесс на сервере АОС и вспомогательные процессы на тех узлах, где расположено вспомогательное программное обеспечение (ВПО). При первом запуске автоматизированной системы главный сервис-процесс запускается автоматически, опрашивает узлы сети для установления их доступности и определяет те узлы, на которых будут запущены процессы ВПО. Потом главный сервис-процесс направляет вспомогательным процессам выбранных узлов команды на запуск соответствующих приложений. При обращении подсистемы управления АОС к вспомога-

тельному процессу узла сети, главный сервис-процесс направляет запрос соответствующему вспомогательному процессу и ожидает от него ответа, который возвращает подсистеме управления. Если в течение определенного кванта времени ответ не будет получен или будет получено сообщение об ошибке, то основной сервис-процесс производит реконфигурацию системы (путем обновления записей в конфигурационном файле - в котором содержатся МАС-адреса ЭВМ на которых расположено вспомогательное ПО) и повторные попытки обработать запрос, при этом маскируя сбойные или недоступные узлы сети (рисунок 3).

Данная процедура повторяется периодически в зависимости от настроек администратором автоматизированной системы в процессе работы данной системы.

Вспомогательные процессы сразу после запуска переходят в состояние ожидания запроса от главного сервис-процесса (они являются резидентными). При запросе на подтверждение готовности вспомогательный процесс отсылает пакет по сети главному сервис-процессу. Обработка запроса на инициацию процесса заключается в том, что вспомогательный процесс запускает соответствующее приложение и отправляет главному сервис-процессу пакет, в котором зашифрован код удачного или неудачного запуска приложения. При запросе на передачу данных вспомогательный процесс передает данные запущенному приложению и ожидает результата, который отправляет обратно главному сервис-процессу. При использовании и реализации в программном коде данного принципа - распределенная автоматизированная система будет полностью работоспособной, пока хотя бы один узел сети будет доступен для запуска на нем вспомогательного программного обеспечения, кроме того автоматизированная система сможет работать в автономном режиме даже если не один узел сети не будет доступен, но будет функционировать основной сервер на котором размещено ядро системы.

Рисунок 3 - Блок-схема алгоритма реконфигурации

Далее во второй главе рассматривается внутренняя логическая структура распределенной АОС. Для выполнения функций обучения в состав АОС должны входить знания о стратегии обучения (методиках обучения), модель предметной области и модель обучаемого инженера (рисунок 4).

Рисунок 4 - Логическая структура обучающей системы

Стратегия обучения обычно определяется алгоритмом функционирования системы, что не позволяет произвольным образом менять данный алгоритм. Поэтому более логичным представляется подход, при котором стратегия управления обучением оформлена как внешняя база знаний, замена правил вывода которой позволит изменить поведение системы. Такая структура распределенной АОС даст возможность преподавателю вложить в обучающую систему свои знания и представления о методике преподавания.

Правила вывода в базе знаний определяют последовательность работы системы на основании модели предметной области и модели обучаемого инженера.

Модель предметной области (МПО) должна отражать взаимосвязи понятий (тем) предметной областей и должна быть использована для определения последовательности изучения тем и для получения целостного образа знаний, относящихся к данной предметной области.

Для представления структуры предметной области предложена семиотическая модель, позволяющая объединить декларативные и процедурные знания и использовать для анализа МПО аппарат теории графов. Графическая визуализация взаимосвязей дисциплин и тем в рамках дисциплины дает обучаемому инженеру возможность получить целостное представление об изучаемом курсе и его практической ценности.

Модель обучаемого инженера предназначена для адаптации обучающей системы к конкретному пользователю, поэтому она должна включать в себя сведения о цели обучения; о знаниях обучаемого инженера в рамках изучаемого курса (текущее состояние процесса обучения); об особенностях подачи учебных материалов и выбора контрольных заданий и вопросов.

В работе рассмотрены общие принципы построения модели обучаемого инженера, понятия исходной и целевой модели. Данные, входящие в модель обучаемого инженера, имеют две составляющие:

а) набор правил взаимодействия системы с обучаемым инженером;

б) набор параметров, характеризующих степень усвоения знаний обучаемым инженером. Этот набор модифицируется в соответствии с правилами базы знаний по результатам контроля и определяет проекцию знаний обучаемого инженера на МПО (рисунок 5).

Для унификации межпрограммного интерфейса предлагается использовать процедурную модель представления знаний не только для описания стратегий обучения, но и для моделей предметной области и обучаемого инженера. В работе обоснована необходимость поддержки параметров, задаваемых пользователем и имеющих произвольную семантику. Такие параметры значительно расширяют возможности по настройке системы и могут использоваться в правилах базы знаний и модели обучаемого инженера.

Контроль знаний обучаемого инженера является важной частью работы с пользователем. Он обеспечивает обратную связь с обучаемым инженером и предназначен в первую очередь для определения уровня знаний инженера с целью организации адаптивного управления обучением.

Рассмотрены различные схемы проведения контроля знаний, определен набор встроенных параметров, предназначенных для параметрической настройки подсистемы контроля знаний.

Рисунок 5 - Блок-схема адаптивного контроля знаний

В третьей главе разработаны методы и алгоритмы контроля знаний в распределенной АОС.

В обучающих системах контроль знаний обычно осуществляется с помощью тестов. Были проанализированы различные типы тестовых вопросов и ответов и выделены следующие типы ответов:

- множество элементов (неупорядоченное);

- список элементов (упорядоченный);

- двухуровневые схемы, в которых в качестве элементов списка (множества) могут выступать множества и списки;

- выражение (арифметическое);

- фраза (текст);

- рисунок (графическое изображение).

Первые два варианта относятся к выборочному типу ответов, а двухуровневые схемы предоставляют возможность моделировать вопросы на соответствие (элементов различных множеств), на группирование элементов множества и на упорядочение этих групп.

Такой подход существенно расширяет возможности разработчика тестов по моделированию различных связей между элементами ответа и позволяет использовать для анализа и оценки ответов методы, основанные на положениях комбинаторного анализа.

Для оценки выборочных ответов типа «множество» был разработан метод, который не зависит от семантики вопроса и позволяет проводить оценку дифференцировано, а не по двухбалльной шкале.

Возьмем п пунктов ответов на заданный вопрос теста, которые представим п-мерным вектором V=(а/,...,ап). Среди них только к пунктов ответов верные, где 1<к<п, которые представим следующим вектором:

X = Г*......хп)

Сами элементы вектора вычисляются по соотношению:

{1, если / - ый пункт ответа является верным; О, если неверный

Соответственно ответы на вопрос теста представим в виде вектора:

У = (У,.■■■.У.). элементы которого определяются по соотношению: 1, если выбран для ответа у. = <г — ый пункт, соответствующий верному; О, если наоборот.

Для оценки степени правильности ответа на тест возьмем понятие нормы вектора. Норма вектора X - это число, измеряющее общую величину элементов вектора. Она обозначается следующим символом М.

Задать норму можно несколькими способами. Наиболее употребительная векторная норма - это евклидова длина, или норма - «2»:

О)

Данная норма (1) имеет то достоинство, что соответствует нашему интуитивному представлению о расстоянии. Однако применение нормы (1) ведет к избыточным вычислениям, поэтому используется следующая норма - «1»:

(2)

О данной норме говорят, как о «манхэттенском расстоянии», поскольку величина (2) интерпретируется как число кварталов между пунктом X и У. Евклидова длина соответствует расстоянию по прямой. Третьей часто используемой нормой является шах - норма:

4 =тах,,|г-.у;| (3)

Приведенные нормы удовлетворяют следующим условиям:

а) И>0,еслих^0;

б)Ц0»=0.

в)м=нм

г)1*+ФИ+И (*)

Для сравнения (оценки) ответов по тесту используем формулу (2) в следующем виде:

1 "

к ы (4)

где к - количество верных пунктов ответа в векторе вопросов X. Оценка правильности ответов изменяется в интервале от 0 до 1, при этом:

г=0 - все пункты верных ответов выбраны; г= 1 - ответ на вопрос полностью неверный; 0<г<1 - ответ на вопрос частично верный.

Если вектор верных ответов имеет вид Х=(0, 1, 0, 1, 0), а вектор ответов обучаемого инженера У=(0,1,0,0,0), где /с=2. Тогда оценка ответа обучаемого инженера по формуле (4) будет выглядеть следующим образом:

г =1^0 + 0+0+1 + 0^ = 0.5

Ответ на вопрос теста верен на 50%, что будет соответствовать оценке в «три» балла

Если оценки по каждому пункту ответов не равнозначны, то дополнительно к вектору верных ответов X будем использовать вектор весовых множителей W, сумма элементов которого равна единице:

Примем, что в предыдущем примере вектор весовых множителей имеет вид:

И' = ("0; 0.3; 0; 0.7; 0/ Тогда расчет оценки прохождения теста определяется по формуле:

(5)

поэтому для предыдущего примера получим: г=0,7*1=0,7, что уже составляет 70% неправильного ответа. Оценка уменьшилась до 30%, так как верный пункт ответа вопроса имеет весовой множитель 0,3.

Общий результат по ш тестовым вопросам рассчитывается по формуле:

* - ± у л..

т /-1 (6)

Полный результат тестирования также подчиняется условиям (*).

Отметим, что тестовые вопросы как правило, отличаются по степени сложности. Это также будет учтено с помощью весовых множителей каждого вопроса уь где

Расчетная формула (6) модифицируется следующим образом:

к = (?)

у-1 (.1

Однако при тестировании могут использоваться не все т тестовых вопросов, а только их часть/.

Для этого необходимо пересчитать весовые множители вопросов для I выбранных вопросов:

' г > £ Г!

чтобы сумма их была равна единице. Тогда формула для оценки тестирования по / вопросам из гп имеющихся вопросов примет следующий вид:

* = -г*—Е (г ,, ^ V,,- у„\>

I г,' - ■

Использование двух групп весовых множителей ^ и г>, а также их последующая корректировка существенно повысит объективность оценки знаний инженеров и других сотрудников промышленного предприятия при тестировании. Предложенный метод будет использоваться для оценки выборочных ответов типа «множество».

Оценка правильности ответов типа «список» основана на расстоянии между эталонным списком и ответом, которое определено на интервале от 0 (тождественность) до 1 (списки состоят из разных элементов или списки упорядочены в противоположном направлении). Для ответов типа «список» вводится отношение порядка, определяемое эталонным списком (эталонным ответом). Такие ответы оцениваются по формуле:

•<8»

где - количество перестановок (инверсий) анализируемого списка; К„ - максимальное количество перестановок для списка длиной п:

Так как тестовые вопросы типа «список» также могут отличаться по степени сложности, то это будет учтено с помощью весовых множителей каждого вопроса , где

1>, = 1

Тогда расчетная формула (8) модифицируется следующим образом:

' = (9)

где ^ - весовой множитель вопроса типа «список»;

К] - количество попарных перестановок (инверсий) анализируемого списка; К„ - максимальное количество инверсий для списка длиной п.

Если ответ содержит элементы, не входящие в эталонный список элементов, то он считается неправильным.

Далее в диссертационной работе показано, что в качестве моделей свободно -конструируемых ответов могут использоваться списки и множества. Текстовые ответы, вводимые через маски ввода (шаблоны), рассматриваются как множество слов (словосочетаний). Для определения правильности таких ответов используется разработанный в работе метод. Также в работе рассмотрена задача качественного анализа графиков. Показана сводимость представления синтаксического описания графиков к типу «список» с последующим применением для определения его правильности разработанного метода сравнения списков и множеств.

При использовании списков и множеств в качестве моделей свободно-конструируемых ответов соответствие элементов ответа и эталона определяется не по полному соответствию, а с помощью функции принадлежности, зависящей от

семантики элементов. Для текстового ответа эта функция, которая учитывает возможность грамматических ошибок в ответе и наличие синонимов.

При использовании выборочных ответов существует вероятность неверной оценки знаний обучаемого инженера в случае случайного ввода правильного ответа. Для этого в диссертационной работе была проведена оценка предложенных типов ответов (множество, список) с точки зрения величины такой вероятности. Для определения вероятности случайного ввода правильного ответа на вопрос теста будем использовать хорошо апробированный метод моделирования (разыгрывания) случайных величин ответов методом Монте-Карло.

В данном методе необходимо использовать генератор для получения псевдослучайных чисел, через который можно получить закон распределения количества угаданных пунктов ответа на тест, для полной группы событий.

Наиболее целесообразно для решения данной проблемы использовать широко известное биноминальное распределение случайной величины «угаданных» ответов Ъ.

В нем принимается, что вероятность выбора случайным образом любого пункта ответа равновероятна, в том числе и правильного, и равна:

1

>

где А, - количество пунктов ответа ву'-ом тесте.

В общем виде биноминальный закон распределения можно представить в виде таблицы 1.

Таблица 1 - Биноминальный закон распределения

ъ 0 1 К

р С к! Р 'Я ' Р*

Вероятность не «угадать» заданный пункт ответа на тест равна я=1-р. В частности для теста с пятью пунктами предполагаемых ответов закон распределения бу-

= 1 -1-1=1

дет иметь следующий вид (таблица 2), с учетом, что р 5 ; 9 ~ 5 5 .

Таблица 2 - Закон распределения для вопроса с пятью пунктами ответов

ъ 0 1 2 3 4 5

р 0,328 0,41 0,205 0,051 0,0064 0,00032

Далее приведем блок-схему алгоритма для подсистемы контроля знаний в автоматизированной обучающей системе (рисунок 6).

В четвертой главе описана реализация полнофункциональной распределенной АОС, основанной на принципе открытой архитеюуры. Определены требования к программному комплексу и его структура (рисунок 7).

Рисунокб — Блок-схема алгоритма контроля знаний в АОС промышленного предприятия

01Л

-—^

Аутентификация обучаемого инженера

Выбор режима работы

Консультация

Визуализация МПО

Демонстрация учебных материалов

Вопрос

Ответ

Файлы с учебными материалами

Подсистема управления

МПО для

обучаемого

инженера

Подсистема контроля знаний

Результаты контроля

1 Описания

1 тестов

Стратегия обучения

Управление моделью предметной области

~ тг

Управление контролем

знаний и моделями обучаемых инженеров

Описание МПО

Ьаза знаний

Рисунок 7 - Функциональная структура программного комплекса

В целях экспериментальной проверки применимости предложенных методов создания распределенной автоматизированной обучающей системы для промышленного предприятия был разработан макетный программный комплекс. Основные особенности разработанного программного комплекса:

а) Ориентация на работу в сети. Система обеспечивает работу в режиме «клиент-сервер» в рамках ЛВС и через Internet, включает специализированный принцип обмена данными между ядром АОС и ВПО.

б) Определенный уровень открытости. Принцип открытости подразумевает возможность настройки системы на требования конкретного пользователя.

в) Переносимость на различные платформы на уровне исходных текстов программ.

Переносимость обеспечивается за счет того, что подсистема управления и ядро системы контроля знаний написаны на языке программирования С# в среде интегрированной разработки приложений Microsoft Visual Studio 2008, использована библиотека классов Framework Class Library (FCL). Тестирование программного комплекса проводилось под управлением операционных систем Windows ХР Professional SP3, и Windows Vista Basic SPl. Для того чтобы программный комплекс успешно работал, необходимо установить на персональный компьютер, работающий под управлением данных операционных систем платформу Microsoft.Net Framework 2.0.

С учетом функциональной структуры автоматизированной системы, распределенного характера и наличия дополнительного программного обеспечения архитектура программного комплекса будет выглядеть следующим образом (рисунок 8).

Программный комплекс состоит из двух основных модулей:

- система AUTO LS, для которой разработан GUI под ОС Windows в среде Microsoft Visual Studio 2008 на языке С#;

- система AUTO LSNet, которая является интернет-приложением и предназначена для удаленного тестирования обучаемого сотрудника предприятия в интерактивном режиме с использованием сети Internet.

Приведем описание для системы AUTO LS. Рассмотрим модуль для администрирования, предназначенный для работы в ЛВС (TestAdmin).

На рисунке 9 приведено окно TestAdmin с результатами тестирования сотрудников Армавирского завода тяжелого машиностроения по технике безопасности и охране труда, проведенного в феврале 2009 г.

Система AUTO LSNet, является интернет - приложением и предназначена для удаленного тестирования сотрудников предприятий в интерактивном режиме с использованием сети Internet. На рисунке 10 приведено окно системы, при прохождении инженером Армавирского завода тяжелого машиностроения тестирования.

На рисунке 11 приведено окно с результатами тестирования по сети интернет.

После прохождения тестирования сотрудниками Армавирского завода тяжелого машиностроения в программном комплексе AUTO LS по технике безопасности и охране труда был проведен устный зачет по этой же дисциплине с целью сравнения результатов автоматического контроля и устного зачета.

Результаты сравнения приведены в виде графиков на рисунке 12.

ТоШЗШЕШ=Нт1

ПодкраааЛБС

Поддержи ЛВС Uttdo^s

Уия сэтя I

Сервисы

Белом, процгсс

ТСР.Ф

Укз еэтл N

Сернесн

TCP/IP

ToHKHHEHEiHlN

Бсаол. яроцке

Токшйюнж!

W^b-ojayssp

Тонигасш=н11

Wsb-Spayssp

Windows 2003 Server

Поддержка ЛВС Windows

Система упраБЛ.

S3 Спутана уТИаЕ- П5НН2

Учебные материалы

СКЗ

Тесты

Л.

Тожгайкгигнт I

Учетнке цятяртгегц

БЗ СКЗ

Ci.';Tvi;s упр Ткш

Поздарах» ЛВС Widows

ToiCTKH КШгЛГ N

У чзонкз материалы

БЗ СКЗ

СнггЕИауц? Тесты

Поддана JBCISiEilows

Windows 2003 Server

CV^MSSQL S«vk2305 ВД'

Система ynpasx Систг- XS

БЗ

Учебные материалы ynpfi£-

СКЗ

Тесты

Сервис-процесс

Web-cepsep

То£СГыЙ КШЭН1 1

Учесныбматерналы

БЗ СКЗ

Скстааупр Тасты

FTP. TELNET

!L

Тоастьш кшент N

Учоше зитгрнглы

£3 Ш

Сгстааулр Тасты

Wsb-opa73=p

Рисунок 8 - Архитектура распределенного программного комплекса АОС промышленного предприятия

1 2 3 4 5 6 / 8 SlOliiS 131415161^:181920212223242526 27 2829303IS2333435353? 38394041424344454в47^4Э505152

Количество сотрудников

Результаты тестироваькя

- ' " I " ' ■ ■ • - - Г""'" I...... -

Рисунок 9 - Окно TestAdmin с результатами тестирования

KoMTope.ni, знаний

Запрос ш»е«тв разбивается .чз скатало честен?

бызаапэ здны ел?сг :' V s. 6 . •

■^(ЖвшЬ;

Сх&иад»кы>о ад фариц одинм*»« tfi* <у>ул< й.гадхми^ся

бьягряте один ствег.

А. Все чары соъедкнякитн в строку ч-гаеа зидеяiranfc 8. Скивсяы. на sooyciw«-« а cocne« URL' (руссжне схмзэпи. пробеги, служены* с»«ызапы;. »меняется поггедоаявяьисс1ыо, состоящей м снижи» % « [М- 16-т> ASC8 кодэ. Сшвоп пробела меяет заменяться iw5s Na %2(l. пvco знаком Ч*. Приз*»: конца строки згменя«1ся ходит Ъ!ХУ&ОА. 3ior процесс нза*вается URL-

Б Дпя .каждого эпеменгд фо.ж<ы, лчеюциэ uuf.. эдаойбе параметром КАМЕ, формируется naps NAME = эдк». где «due - зцчение зпоюнта. геедгнме- лопьнвателйч иче наз^зчеччое пс умолчанию. При отсутствии »аченм.сюгамсгеукяцая паре им5«г'£кд: fv'AME -. Для ззджкноло»; я перешочагепё« ноюяьзуктся зиачедая только зыЪранкькэпекея'«: С Закодированная информация передастся с«яаеру одним tu мащдсо ?б£Т и« POST). . D, Все явреиислеивсе

Рисунок 10 - Прохождение тестирования по сети internet.

Конгороль знаний

Summary öf ycftir jkevioüs attempts

Попытка 3de«(Juleho - баплов {1 Оценка/ID

1 суббага 14 И>онь 2GÖB 02:13 1.25 S.2S

У Вас Go пы«е не г попыток

• ■• • ....... . . . Л. ..... . ! . .' ^'-л:.: *

Взим нгоговая оценка за этот тест: 6,25 / 10

Рисунок 11 - Результаты тестирования по сети internet.

Количигео сотрудники

Рисунок 12 - Сравнение устного зачета и автоматизированного тестирования

Как видно из графиков результаты проведенного эксперимента подтверждают высокую степень корреляции результатов обоих форм проверки знаний (тестирования с применением ЭВМ и устного зачета), следовательно разработанные методы и алгоритмы контроля знаний в диссертационной работе реализованные в программном комплексе позволяют дифференцированно проводить оценку знаний сотрудников предприятия с большой степенью приближенности к оценке человеком.

ЗАКЛЮЧЕНИЕ

а) Проведен сравнительный анализ существующих автоматизированных обучающих систем. Показана необходимость исследования сетевых технологий доя создания распределенных систем, обеспечивающих удаленный доступ к системе и объединение сетевых ресурсов для решения стоящих перед системой задач.

б) Разработаны методы построения полнофункциональных распределенных АОС с открытой архитектурой для промышленных предприятий, применение которых обеспечивает:

- использование вычислительных ресурсов сети для выполнения функций обучающей системы;

- осуществление адаптивного управления процессом обучения на основе знаний о предметной области и об обучаемом инженере;

- использование в обучающих системах произвольных методик преподавания и контроля знаний.

в) Сформулированы и решены следующие задачи, возникающие при создании распределенной АОС промышленного предприятия:

- организация распределенных вычислений и повышение надежности и эффективности функционирования системы путем ее динамической реконфигурации;

- организация внешнего управления взаимодействием с обучаемым инженером путем вынесения управляющих правил во внешний модуль для обеспечения возможности алгоритмической настройки системы без необходимости программирования;

- поддержка пользовательских параметров для организации параметрической настройки системы.

г) Для оценки выборочных ответов разработан новый метод, который не зависит от семантики вопроса и позволяет получать дифференцированную оценку ответов. Показано, что в качестве моделей свободно-конструируемых ответов могут использоваться списки и множества. Для определения правильности свободно-конструируемых ответов при таком подходе применяется разработанный метод сравнения множеств и списков.

д) Разработан новый алгоритм контроля для подсистемы контроля знаний, и сама подсистема, обеспечивающая более полные возможности представления и анализа ответов обучаемых инженеров и других сотрудников промышленного предприятия и включающая:

- методы сравнения множеств и списков;

- средства поддержки удаленного доступа для тестирования в рамках ЛВС и через Internet;

- базы знаний, управляющие формированием теста на основе набора контрольных заданий и проведением тестирования по различным методикам. Получены расчетные и эмпирические оценки вероятности случайного ввода правильного ответа или получения положительной оценки для различных форм выборочных ответов.

е) На основе разработанных методов и алгоритмов создан макетный программный комплекс распределенной АОС и подсистема контроля знаний, которая в настоящее время используется в учебном процессе АМТИ (филиал) КубГТУ. Результаты анализа работы с этим комплексом подтвердили основные положения диссертационного исследования. Разработанный программный комплекс был внедрен на предприятиях ОАО «АЗТМ» (г. Армавир) и ОАО «МРСК Северного Кавказа» (г. Владикавказ). Экономический эффект от внедрения составил более трехсот тысяч рублей в год.

ПУБЛИКАЦИИ

Основное содержание диссертационной работы отражено в следующих опубликованных работах:

1. Дубенко Ю.В. Возможность и эффективность применения экспертных систем для оценки качества знаний // Труды межвузовской научно-практической конференции, посвященной 89-летию КубГТУ «Научный потенциал ВУЗа - производству и образованию», №3. - Армавир: АМТИ (филиал) КубГТУ, 2007, с. 201-204.

2. Дубенко Ю.В. Метод оценки и анализа текстовых ответов в автоматизированных обучающих системах // Сборник трудов по материалам межвузовской научно - практической конференции, посвященной 90-летию КубГТУ и 49-летию АМТИ «Научный потенциал ВУЗа - производству и образованию», №4. - Армавир: АМТИ (филиал) КубГТУ, 2008, с. 189-193.

3. Дубенко Ю.В., Бабанская-Никель И.П. Автоматизированные обучающие системы, как один из видов программно-аппаратных средств, использующихся в образовательной деятельности // Сборник трудов по материалам межвузовской научно - практической конференции, посвященной 90-летию КубГТУ и 49-летию АМТИ «Научный потенциал ВУЗа - производству и образованию», №4. - Армавир: АМТИ (филиал) КубГТУ, 2008, с. 329-331.

4. Дубенко Ю.В. Метод оценки и анализа выборочных типов ответов в автоматизированных обучающих системах//Сборник трудов по материалам VII международной научно — практической конференции «Совершенствование управления научно-техническим прогрессом в современных условиях» - Пенза: СГЭУ, 111 У, БГЭУ, межотраслевой научно-информационный центр пензенской государственной сельскохозяйственной академии, 2009, с. 88-93.

5. Дубенко Ю.В. Способы оптимального определения правильности различных типов ответов обучаемого на контрольные вопросы //Вестник Воронежского государственного технического университета, том 5, №2,2009, с. 153-157.

6. Кумаритов A.M., Дубенко Ю.В. Методы и алгоритмы контроля знаний и оценки эффективности автоматизированных обучающих систем на производственном предприятии //Москва: Аудит и финансовый анализ, №2,2009, с. 455-467.

Подписано в печать 15.10.09 г. Заказ № 09-118 Формат 60x84/16 Бумага офсетная. Гарнитура «Тайме». Печ. л. 1,5. Тираж 100 экз.

Отпечатано в Редакционно-издательском отделе Армавирского механико-технологического института (филиал) ГОУ ВПО «Кубанский государственный технологический университет» 352905, г. Армавир, ул. Кирова, 127

Введение.

1 Автоматизированные обучающие системы.

1.1 История развития компьютерных средств учебного назначения.

1.2 Распределенная автоматизированная обучающая система.

1.3 Классификация компьютерных средств учебного назначения.

1.4 Схема процесса обучения.

1.5 Обзор и анализ существующих АОС.

2 Принципы создания автоматизированных обучающих систем для промышленных предприятий.

2.1 Организация автоматизированной обучающей системы.

2.2 Логическая структура автоматизированной системы.

2.3 Анализ модели предметной области.

2.4 Контроль знаний сотрудников промышленного предприятия.

3 Разработка алгоритма для подсистемы контроля знаний в АОС.

3.1 Особенности работы подсистемы контроля знаний в АОС.

3.2 Метод сравнения множеств и списков элементов.

3.3 Статистическая обработка результатов тестирования.

3.4 Алгоритм работы подсистемы контроля знаний в АОС.

4 Реализация подсистемы контроля знаний в АОС промышленного предприятия.

4.1 Описание программного комплекса.

4.2 Описание подсистемы контроля знаний.

4.3 Эксперименты по применению подсистемы контроля знаний.

В настоящее время стремительное развитие новых производственных технологий требует постоянного повышения квалификации инженеров, а также периодической и внеочередной проверки знаний работников промышленных предприятий в области промышленной и пожарной безопасности, технике безопасности и охране труда, технической эксплуатации электроустановок потребителей, технической эксплуатации электрических станций и сетей; безопасности при работе с инструментом и приспособлениями и т.д.

Важность корпоративного обучения подчеркивается Правительством РФ, а необходимость переподготовки специалистов является частью производственной политики современного предприятия и во многом определяет его интеллектуальный капитал, успешность на рынке и сведение к минимуму производственных аварий и несчастных случаев. Для повышения квалификации инженеров и другого персонала предприятий с успехом используются различные программные средства учебного назначения.

Программные средства учебного назначения по принципам использования можно условно разделить на обучающие системы, наполненные знаниями о конкретной предметной области, и инструментальные системы, предназначенные для наполнения их знаниями о произвольной предметной области с целью создания обучающей системы [105]. Наиболее перспективными с точки зрения соотношения конечного результата и трудозатрат на создание и поддержку являются инструментальные системы, которые принято называть автоматизированными обучающими системами (АОС) [19, 52, 55, 100, 137]. К основным достоинствам АОС относятся:

- возможность использования преимуществ индивидуального обучения [130];

- интенсификация обучения [10, 115];

- возможность индивидуальной адаптации курса обучения к потребностям обучаемых инженеров и других работников промышленных предприятий или условиям обучения [88];

- возможность использования и тиражирования передового опыта [87];

- повышение доступности образования [55, 74, 143];

- обучение навыкам самостоятельной работы [65, 123];

- использование в рамках дистанционного обучения, переобучения и повышения квалификации [5, 20, 46].

В настоящее время благодаря развитию вычислительных сетей и телекоммуникационных технологий автоматизированные обучающие системы вышли на новый уровень. При переходе от локальных обучающих систем к распределенным качественно изменяются функциональные возможности обучающей системы.

Организация распределенных АОС требует проработки сетевых аспектов работы системы, связанных с предоставлением удаленного доступа к системе, поддержкой распределенных данных и объединением сетевых ресурсов для решения стоящих перед системой задач. Одной из важных задач при создании распределенной АОС является организация контроля знаний.

Большинство существующих АОС и систем контроля знаний имеют ограниченное количество форм представления ответов и двухбалльную систему оценки. Это обусловлено простотой анализа выборочных ответов и отсутствием формальных методов анализа и дифференцированной оценки ответов обучаемых инженеров и работников промышленных предприятий на контрольные вопросы. Однако такой подход ограничивает возможности разработчика курса в отношении использования различных вариантов тестовых вопросов и анализа ответов обучаемых инженеров. В связи с этим тематика исследований, затрагивающих методы организации контроля знаний в АОС применяемой на производственном предприятии, является актуальной и практически значимой.

Цель работы: Исследование методов и принципов создания подсистемы контроля знаний в автоматизированных обучающих системах и разработка алгоритма контроля знаний на основе модели дифференцированной оценки ответов обучаемых инженеров и других работников промышленных предприятий.

Задачи исследования. В диссертационной работе решаются следующие задачи:

- анализ существующих автоматизированных обучающих систем на промышленных предприятиях и тенденций их развития;

- выявление требований, которые предъявляются к АОС как к специализированному программному обеспечению, ориентированному на работу в вычислительной сети;

- разработка методов анализа и дифференцированной оценки ответов обучаемых инженеров и работников промышленных предприятий;

- разработка математического, алгоритмического и программного обеспечения подсистемы контроля знаний;

- экспериментальное подтверждение применимости предложенных методов и алгоритмов.

Объект исследования: автоматизированные обучающие системы.

Предмет исследований: методы и алгоритмы контроля знаний в АОС.

Методы исследований. Решение поставленных задач базируется на применении классических методов: системного анализа, теории множеств, теории вероятности и математической статистики, комбинаторики и методов инженерии знаний. В разработке программного обеспечения использовалась технология объектно-ориентированного программирования.

Научная новизна. К новым результатам относятся:

- созданные методы и алгоритмы сравнения множеств и списков для дифференцированной оценки знаний персонала промышленного предприятия, основанные на математических моделях представления ответов различных типов: множество, список, список множеств, множество списков;

- разработанный новый метод контроля знаний в автоматизированных обучающих системах, включающий модель предметной области, модель обучаемого инженера и стратегии обучения;

- разработанный новый принцип взаимодействия компонентов АОС с динамической реконфигурацией системы, который позволяет обеспечить эффективную организацию распределенных вычислений, в случае обнаружения нарушения работы ЭВМ в сети;

- созданная архитектура распределенной автоматизированной обучающей системы для промышленного предприятия, реализующая разработанные методы и алгоритмы.

Практическая ценность. Теоретические исследования завершены созданием на их основе математического, алгоритмического и программного обеспечения для подсистемы контроля знаний в АОС. А именно:

- разработан принцип обмена данными между ядром АОС и вспомогательным программным обеспечением;

- создана архитектура распределенной автоматизированной обучающей системы для промышленного предприятия;

- созданы базы знаний, реализующие различные методики управления контролем знаний персонала промышленного предприятия;

- разработаны алгоритмы проведения контроля знаний, методы и алгоритмы определения правильности различных типов ответов обучаемого инженера на контрольные вопросы;

- создан и используется на предприятиях ОАО «АЗТМ» и ОАО «МРСК Северного Кавказа» комплекс прикладных программ.

Апробация работы. Основные положения исследования докладывались на: межвузовской научно-практической конференции студентов, аспирантов и молодых ученых посвященной 89-летию КубГТУ «Научный потенциал ВУЗа - производству и образованию» (г. Армавир, 2007 г.); межвузовской научно-практической конференции, посвященной 90-летию КубГТУ и 49-летию АМТИ «Научный потенциал ВУЗа - производству и образованию» (г. Армавир, 2008 г.); VII международной научно - практической конференции «Совершенствование управления научно-техническим прогрессом в современных условиях» (г. Пенза, 2009 г.); научных семинарах кафедры «Внутризаводского электрооборудования и автоматики» Армавирского механико-технологического института (филиала) Кубанского государственного технологического университета (2005 - 2009 гг.); научных семинарах кафедры «Информационные системы в экономике» Северо-Кавказского горнометаллургического института (ГТУ) (г. Владикавказ, 2007 - 2009 гг.), различных региональных совещаниях, научно-практических конференциях ассоциации «Промышленники» и вузов Краснодарского края, ежегодных НТК Армавирского завода тяжелого машиностроения (2005 - 2009 гг.).

Личный вклад автора. Основные научные положения, выводы и рекомендации, содержащиеся в диссертационной работе, получены автором самостоя тельно.

Публикации. По теме диссертации опубликовано 6 печатных работ, в том числе 2 - в журналах списка ВАК.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы. Работа содержит 170 страниц текста 42 рисунка, 7 таблиц, 148 наименований литературных источников.

ЗАКЛЮЧЕНИЕ а) Проведен сравнительный анализ существующих автоматизированных обучающих систем. Показана необходимость исследования сетевых технологий для создания распределенных автоматизированных обучающих систем, обеспечивающих удаленный доступ к системе и объединение сетевых ресурсов для решения стоящих перед системой задач. б) Разработаны методы построения пол но функциональных распределенных АОС с открытой архитектурой для промышленных предприятий, применение которых обеспечивает:

- использование вычислительных ресурсов сети для выполнения функций обучающей системы;

- осуществление адаптивного управления процессом обучения на основе знаний о предметной области и об обучаемом инженере;

- использование в обучающих системах произвольных методик преподавания и контроля знаний. в) Сформулированы и решены следующие задачи, возникающие при создании распределенной АОС промышленного предприятия:

- организация распределенных вычислений и повышение надежности и эффективности функционирования системы путем ее динамической реконфигурации;

- организация внешнего управления взаимодействием с обучаемым инженером путем вынесения управляющих правил во внешний модуль для обеспечения возможности алгоритмической настройки системы без. необходимости программирования;

- поддержка пользовательских параметров для организации параметрической настройки системы. г) Для оценки выборочных ответов разработан новый метод, который не зависит от семантики вопроса и позволяет получать дифференцированную оценку ответов. Показано, что в качестве моделей свободно-конструируемых ответов могут использоваться списки и множества. Для определения правильности свободно-конструируемых ответов при таком подходе применяется разработанный метод сравнения множеств и списков. д) Разработан новый алгоритм контроля для подсистемы контроля знаний, и сама подсистема, обеспечивающая более полные возможности представления и анализа ответов обучаемых инженеров и других сотрудников промышленного предприятия и включающая:

- методы сравнения множеств и списков;

- средства поддержки удаленного доступа для тестирования в рамках ЛВС и через Internet;

- базы знаний, управляющие формированием теста на основе набора контрольных заданий и проведением тестирования по различным методикам.

Получены расчетные и эмпирические оценки вероятности случайного ввода правильного ответа или получения положительной оценки для различных форм выборочных ответов. е) На основе разработанных методов и алгоритмов создан макетный программный комплекс распределенной АОС и подсистема контроля знаний, которая в настоящее время используется в учебном процессе АМТИ (филиал) КубГТУ. Результаты анализа работы с этим комплексом подтвердили основные положения диссертационного исследования. Разработанный программный комплекс также был внедрен на предприятиях ОАО «АЗТМ» (г. Армавир) и ОАО «МРСК Северного Кавказа» (г. Владикавказ). Экономический эффект от внедрения составил более трехсот тысяч рублей в год.

1. Аванесов B.C. Научные проблемы тестового контроля знаний / Монография. М.: Исследовательский центр проблем качества подготовки специалистов, 1994.- 136 с.

2. Аванесов В. С. Композиция тестовых заданий. М., 1996. - 191 с.

3. Аванесов B.C. Основы научной организации педагогического контроля.-М., 1989.- 167 с.

4. Агеев В.Н. Электронные учебники и автоматизированные обучающие системы. М.: 2001.-79 с.

5. Аджемов A.C. Единое образовательное пространство на основе инфо-телекоммуникационных технологий // Сети и системы связи, 2001, №11. с. 20-23.

6. Александров Г.Н. Программированное обучение и новые информационные технологии обучения. // Информатика и образование, 1993,5. с. 7-19.

7. Андерсон Дж. Р., Рейзер Б. Дж. Учитель Лиспа. / В сб. "Реальность и прогнозы искусственного интеллекта" под ред. Стсфанюка В.Л. / Пер. с англ. М.: Мир, 1987. - с. 27-47.

8. Андреев А. Определимся в понятиях. // Высшее образование, 1998, № 4.-с. 53-58.

9. Аттель У. Обучающая вычислительная машина: моделирование в истинном масштабе времени обучающего диалога / В сб. "Кибернетика и проблемы обучения" / Ред. и предисл. А.И. Берга. М.: Прогресс, 1970. - с. 206-228.

10. Афанасьев В.В., Афанасьева И.В., Тыщенко О.Б. Основные компоненты компьютерных технологий обучения // НИИВО 23.04.98, N° 86-98, деп. Муром, ин-т, фил. Владим. гос. Ун-та. Муром: 1998.

11. Безлепкин В., Власов В., Пименова Е. Государственный интерес (о дополнительном профессиональном образовании) // Высшее образование, 1998, №1, с. 3-7.

12. Березин Н.В. Перспективы создания системы адаптивного тестирования как элемента централизованного тестирования / Научный вестник МГТУ ГА, серия "Информатика", 2001, № 38. с. 26-30.

13. Беркгаут В.В., Чардин И.С. Интернет: первые шаги. М.: Наука, 1999. - с.66-69.

14. Беспалько В.П. Педагогика и прогрессивные технологии обучения. -М.: 1995.

15. Бирюков В.В. Программированное обучение автокоду "Инженер" с использованием многопультовой системы. / В кн.: Теория и применение математических машин / Под ред. А.М. Оранского, H.H. Поснова. -Мн.: Изд-во БГУ, 1972.-е. 213-216.

16. Большая Советская Энциклопедия, 3-е издание, 1970, т. 18. с. 236.

17. Борк А. Компьютеры в обучении: чему учит история / Информатика и образование, 1990, №5, с. 110-118.

18. Брусиловский П.Л., Зырянов М.И. Интеллектуальная учебная среда «Осгров». // 3-я Конференция по искусственному интеллекту. Тверь: Ассоциация искусственного интеллекта, 1992. - с.33-35.

19. Булгаков М.В., Якивчук Е.Е. Инструментальные системы для разработки обучающих программ / В кн. "Компьютерные технологии в высшем образовании". / Ред. кол.: А.Н. Тихонов, В.А. Садовничий и др. -М.: Изд-во Моск. ун-та., 1994. с. 153-162.

20. Валеева Н. Дополнительное образование студентов // Высшее образование в России, № 3, 1998. с.27-29.

21. Вержбицкий В.В., Колесникова И.В. Проблемы разработки АОС экспертного типа по общественным наукам. М.: НИИ ВШ, 1990. Вып. 1. -48 с.

22. Владимирский Б. М. Роль и место когнитивной машинной графики вобучении // Тезисы докладов уч.- мет. конференции "Современные информационные технологии в учебном процессе" Ростов: РГУ, 25-26 апреля 2000.

23. Вопросы создания автоматизированных обучающих систем на базе ЭВМ. -М., 1976.

24. Гандерлой М., Джорден Д., Чанц Д. Освоение Microsoft SQL Server 2005.: Пер. с англ. М.: ООО «И.Д. Вильяме», 2007. - 1104 е.: ил. - Па-рал. тит. англ.

25. Гершунский Б.С. Компьютеризация в сфере образования: Проблемы и перспективы. — М.: Педагогика, 1987. с. 178-181.

26. Гиркин И.В. Новые подходы к организации учебного процесса с использованием современных компьютерных технологий // Информационные технологии, 1998, № 6. с. 44-47.

27. Гмурман В.Е. Теория вероятностей и математическая статистика: учеб. пособие. 12-е изд., перераб. - М.: Высшее образование, 2008. - 479 е.: ил.

28. Гмурман В.Е. Руководство к решению задач по теории вероятностей и математической статистике: Учеб. пособие 11-е изд., перераб. — М.: Высшее образование, 2006. - 404 с.

29. Горюнов Ю.П. Логическая структура курса и обучающий алгоритм курса. / В сб.: Программированное обучение и кибернетические обучающие машины. / Под ред. Шестакова А.И. М.: Сов. Радио, 1963. - с. 24-31.

30. Грибкова В.А., Зайцева JÏ.B., Новицкий Л.П. Управление адаптивным диалогом в автоматизированных обучающих системах. Методические указания. Рига: РПИ, 1988. - 52 с.

31. Джалалуддин А.К. Применение компьютеров для целей непрерывного образования // Перспективы, 1991, № 2. с. 72-89.

32. Джонсон У.Л., Солоуэй Э. PROUST (автоматический отладчик программ на языке Паскаль) / В сб. "Реальность и прогнозы искусственного интеллекта" под ред. Стефанюка B.J1. / Пер. с англ. М.: Мир, 1987. -с. 48-70.

33. Джордж Ф. Основы кибернетики: Пер. с англ./ Под ред. A.JI. Горелика. М.: Радио и связь, 1984. 272 с.

34. Дидактические основы компьютерного обучения JL, 1989.

35. Домрачев В.Г., Ретинская И.В. О классификации образовательных информационных технологий // Информационные технологии, 1996, №2. -с. 10-13.

36. Журавлева И.И. Интеллектуальные обучающие системы в дистанционном образовании // Материалы конференции "Информационные технологии в образовании", 2001. http://www.bitpro.ru

37. Зайцева Ж.Н., Солдаткин В.И. Генезис виртуальной образовательной среды на основе интенсификации информационных процессов современного общества // Информационные технологии, 2000, № 3. с. 4448.

38. Зенкин A.A. Когнитивная компьютерная графика / Под ред. Д.А. Поспелова. М.: Наука, Гл. ред. физ.-мат. лит., 1991. - 192 с.

39. Искусственный интеллект : В 3-х кн. Кн. 1. Системы общения и экспертные системы: Справочник / Под ред. Э.В. Попова. М.: Радио и связь, 1990.-464 с.

40. Использование сети ISDN в системе дистанционного образования // НПЦ Инфосфера http://www.infosfera.ru

41. Камер Дуглас Э. Компьютерные сети и Internet. Разработка приложений для Internet: Пер. с англ. М.: Изд. дом "Вильяме", 2002. - 640 с.

42. Каперко А.Ф., Карпов В.Э., Королев A.B. Система управления сложным техническом объектом на основе распределенной операционной системы реального времени // Датчики и системы, 2001, №2. с. 18-21.

43. Карлащук В.И. Обучающие программы. М.: "COJTOH-P", 2001. 528 с.

44. Карташева O.B. Использование адаптивной системы тестированияt

45. АСТ-Тест для контроля знаний при дистанционном изучении темы "Базы данных" // Материалы конференции "Информационные технологии в образовании", 2001. http://www.bitpro.ru

46. Кибернетика и проблемы обучения: Сборник переводов / Ред. и пре-дисл. А.И. Берга. М.: Прогресс, 1970. - 389 с.

47. Клаудио де Мора Кастро, Торкель Альфтан. Компьютеры во внешкольном образовании // Перспективы, 1991, № 2. с. 59-71.

48. Кнут Д. Искусство программирования для ЭВМ / т.З. Сортировка и поиск / Пер. с англ. / Под ред. Баяковского и Штаркмана. М.: Мир, 1978.- 848 с.

49. Компьютерные технологии в высшем образовании. / Ред. кол.: А.Н. Тихонов, В.А. Садовничий и др.- М.: Изд-во Моск. ун-та., 1994. 272 с.

50. Коутс Р., Влейминк И. Интерфейс "человек-компьютер": Пер. с англ. -М: Мир, 1990.-501с.

51. Кривец, В.А. Автоматизированный класс на базе ОЭМ-2. / В кн.: Теория и применение математических машин / Под ред. A.M. Оранского, H.H. Поснова. Мн.: Изд-во БГУ, 1972 - с. 209-213.

52. Кривошеев А.О., Голомидов Г.С, Таран А.Н. Перспективные Internet-технологии информационного обеспечения образовательных услуг // Российский НИИ информационных систем, 2000.

53. Кривошеев А.О. Компьютерные обучающие программы. Состояние и перспективы развития // Мат-лы научно-технич. конференции "Перспективные информационные технологии в высшей школе". Самара, 1993.-с. 18-20.

54. Кривошеев А.О. Проблемы оценки качества программных средств учебного назначения // Сборник докладов 1-го научно-практического семинара "Оценка качества программных средств учебного назначения". М.: Гуманитарий, 1995. -с. 5-12.

55. Кривошеев А.О., Фомин С.С. Конкурс "Электронный учебник" / В кн. "Компьютерные технологии в высшем образовании". / Ред. кол.: А.Н. Тихонов, В.А. Садовничий и др. М.: Изд-во Моск. ун-та., 1994. - с. 264-268.

56. Кулешов В. О дистанционном обучении студентов специальности. "Радиотехника" в МЭИ. // Радиотехнические тетради, 1994, № 6. с. 6566.

57. Лекции по теории графов / Емеличев В.А., Мельников О.И. Сарванов В.И., Тышкевич Р.И. М.: Наука, Гл. ред. физ.-мат. лит., 1990. - 384 с.

58. Логический подход к искусственному интеллекту: от классической логики к логическому программированию / Пер. с франц. М.: Мир, 1990. - 432 с.

59. Лозинский Л.Д. Математические пакеты в высшей школе // Мир ПК, 1992, №9.-с. 89-97.

60. Лорьер Ж.Л. Системы искусственного интеллекта. / Пер. с франц. М.: Мир, 1991. - 568 с. (Алгоритм унификации - с. 116-161.)

61. Лукас В.А. Теория автоматического управления: Учебник для вузов. -2-е изд. М.: Недра, 1990.-416 с.

62. Мазурина СМ. Разработка моделей представления и обработки знаний в продукционных экспертно-обучающих системах // Диссертация на соискание звания канд. техн. наук по специальности 05.13.11. М.: МГИЭМ, 1995.

63. Малышев Ю.А., Нежурина М.П., Шатровский В.А. Технологии представления учебных курсов для дистанционной формы обучения в среде WWW. // Информационные технологии, 1997, № 6. с. 39-42.

64. Мамиконов А.Г. Принятие решений и информация. М.: Наука, 1983. -184 с.

65. Марселлус Д. Программирование экспертных систем на Турбо Прологе: Пер. с англ. / Предисл. СВ. Трубицына. М.: Финансы и статистика,1994.-256 с.

66. Мартынов Д.В., Смольникова И.А. Искусственный интеллект и образование. // Тезисы научно-мет. конференции "Информационные технологии в образовании", Москва, 1999. http://ito.bitpro.ru

67. Материалы 2-й Международной выставки-конференции "Информационные технологии и телекоммуникации в образовании" // Каталог и тезисы докладов // Москва, ВВЦ, 6-9 апреля 2000 г.

68. Материалы конференции "Новые информационные технологии в университетском образовании" Новосибирск: 1997. - http://www.nsu.ru ;

69. Микрокомпьютерная система обучения' "Наставник": Брусенцов и др. -М.: Наука, 1990. -224 с.

70. Морозевич А.И., Комличенко В.Н., Гедранович В.В. Стратегия автоматизации управления познавательной деятельностью на основе информационной модели образовательного процесса // Информационные технологии, 2000, № 5,- с. 47-52.

71. Нетушил А.В., Никитин А.В. О методе синтеза учебных программ // Проблемы нейрокибернетики. Ростов-на-Дону: Из-во Ростов, ун-та, 1969. - с. 236-243.

72. Норенков Ю.И. Исследование и разработка принципов построения адаптивных обучающих систем. / Автореферат. М.: 1993. 20 с.

73. Обучающие машины, системы и комплексы: Справочник / Под ред. А.Я. Савельева. Киев: Вища шк., 1986. - 303 с.

74. Орехов В.Д. Дистанционная технология переподготовки руководителей для работы в рыночных условиях // Машиностроитель, 1995, № 4-5.

75. Оцуки С. Приобретение знаний и обучение в диалоге // В кн. "Приобретение знаний": Пер. с япон. / Под ред. С. Осуги, Ю. Саэки. М.: Мир, 1990. - 304 с.

76. Пасхин E.H., Митин А.И. Автоматизированная система обучения ЭКСТЕРН. -М.: Изд-во Моск. ун-та, 1985.- 144 с.

77. Петрушин В.А. Экспертно-обучающие системы. Киев:Наукова думка, 1991.-196 с.

78. Попов Э.В. Общение с ЭВМ на естественном языке. М.: Наука, 1982. -360 с.

79. Поспелов Д.А. Семиотические модели в управлении. / В кн. "Кибернетика. Дела практические". М.: Наука, 1984. - с. 70-87.

80. Представление и использование знаний: Пер. с япон. / Под ред. X. Уэно, М. Исидзука. М.: Мир, 1989. - 220 с.

81. Применение ЭВМ в учебном процессе / Сборник докладов научно-технич. семинара под ред. А.И. Берга. М.: Сов. радио, 1969. - 248 с.

82. Приобретение знаний: Пер. с япон. / Под ред. С. Осуги, Ю. Саэки. М.: Мир, 1990.-304 с.

83. Проблемы создания автоматизированных обучающих и тестирующих систем: Сборник науч. трудов / Редколл. Иванченко А.И. и др. Новочеркасск, 2001. -199 с.

84. Программированное обучение и кибернетические обучающие машины: Сборник статей под ред. Шестакова А.И. М.: Сов. радио, 1963. -247 с.

85. Программированное обучение и обучающие машины / Труды научно-технич. семинара. Киев: Вып. 2, 1967.

86. Разработка и исследование системных средств и прикладных программ для автоматизации обучения и научных исследований на базе ЭВМ: Отчет по НИР / № гос. per. 01860022813 Мн.: БГУ, НИИ ПФП, 1990.

87. Растригин JT.A. Вычислительные машины, системы, сети. М.: Наука. Гл. ред. физ.-мат. лит., 1982. - 224 с.

88. Растригин Л.А., Эренштейн М.Х. Адаптивное обучение с моделью обучаемого. Рига: Зинатне, 1988. - 160 с.

89. Ретинская И.В. Системы и методы поддержки принятия решений по оценке качества и выбору компьютерных средств учебного назначения (Обзор). // Информационные технологии, 1997, № 6. с. 42-44.

90. Ретинская И.В., Шугрина М.В. Отечественные системы для создания компьютерных учебных курсов. // Мир ПК, 1993, № 7. с. 55-62.

91. Рихтер Д. Windows для профессионалов: создание эффективных Win32 приложений с учетом специфики 64-разрядной версии Windows / Пер. с англ. - 4-е изд. - СПб.: Питер; М.: Издательство «Русская Редакция»; 2008. - 720 стр.: ил.

92. Рихтер Д. CLR via С#. Программирование на платформе Microsoft.NET Framework 2.0 на языке С#. Мастер-класс. / Пер. с англ. 2-е изд., неправ. -М.: Издательство «Русская Редакция»; СПб.: Питер, 2008. - 656 стр.: ил.

93. Робинсон Д. Отладка приложений для Microsoft.NET и Microsoft Windows/Пер. с англ. М.: Издательство-торговый дом «Русская Редакция», 2004. - 736 стр.: ил.

94. Ростунов Т.И. Сущность программированного метода обучения. / В сб.: Программированное обучение и кибернетические обучающие машины. / Под ред. Шестакова А.И. М.: Сов. радио, 1963. - с. 10-23.

95. Рубин Ю.Б., Самойлов В.А., Шевченко К.К. Технологические системыв открытом образовании // Материалы конференции "Информационные технологии в образовании", 2001. http://www.bitpro.ru

96. Рудинский И. Д. Принципы интеллектуального автоматизированного тестирования знаний // Материалы конференции "Информационные технологии в образовании", 2001. http://www.bitpro.ru

97. Руссинович М., Соломон Д. Внутреннее устройство Microsoft Windows: Windows Server 2003, Windows XP и Windows 2000. Мастер-класс. / Пер. с англ. 4-е изд. - М.: Издательство «Русская Редакция»; СПб.: Питер; 2008. - 992 стр.: ил.

98. Савельев А .Я. Автоматизированные обучающие системы на базе ЭВМ / вып. U М.: Знание, 1977. 36 с.

99. Савельев А .Я., Новиков В.А., Лобанов Ю.И. Подготовка информации для автоматизированных обучающих систем: Метод, пособие для преподавателей и студентов / Под ред. А.Я. Савельева. М.: Высшая школа, 1986. - 176 с.

100. Сайт электронной энциклопедии http://ru.wikipedia.org . .

101. Свиридов А.П. Основы статистической теории обучения и контроля знаний: Метод, пособие. М.: Высшая школа, 1981. - 262 с.

102. ЮЗ.Сивохин A.B. Представление знаний в интеллектуальных системах обучения / Уч. пос. Пенза: ППИ, 1990. - 86 с.

103. Сливина H.A., Чубров Е.В. Приобретение знаний по математике с использованием учебных и научных пакетов / В кн. "Компьютерные технологии в высшем образовании". / Ред. кол.: А.Н. Тихонов, В.А. Садовничий и др. М.: Изд-во Моск. ун-та., 1994.

104. Соловов A.B. Проектирование компьютерных.систем учебного назначения: Учебное пособие. Самара: СГАУ, 1995. - 137 с.

105. Соломатин Н.М., Сонин А.И., Соколов Н.К. Серебрякова И.Л., Семенов Д.В. Особенности дистанционного обучения в системе высшего образования // Вестник МГТУ им. Баумана, сер. Приборостроение,1998, №2. с. 101-108.

106. Станек У.P. Microsoft SQL Server 2005. Справочник администратора / Пер. с англ. М.: Издательство «Русская Редакция», 2008. - 544 е.: ил.

107. Стенли Р. Перечислительная комбинаторика: Пер. с англ. М.:Мир, 1990. -440 с.

108. Стоуне Е. Стратегия и тактика программированного обучения. / В сб. "Кибернетика и проблемы обучения" / Редакция и предисловие А.И. Берга. -М.: Прогресс, 1970. с. 255-265.

109. Талызина Н.Ф. Теоретические проблемы программированного обучения. -М.: Изд-во МГУ, 1969. 133 с.

110. Ш.Терещенко Л.Я., Панов В.П., Майоркин С.Г. Управление обучением с помощью ЭВМ. Л.: Изд-во ЛГУ, 1981. - 143 с.

111. Толингерова Д. Программирование и управление обучением / В сб.: "Кибернетика и проблемы обучения" / Редакция и предисловие А.И. Берга. М.: Прогресс, 1970. - с. 236-254.

112. Трапезников С.Н. УРОК универсальный редактор обучающих курсов / В кн. "Компьютерные технологии в высшем образовании" / Ред. кол.: А.Н. Тихонов, В.А. Садовничий и др. - М.: Изд-во Моск. ун-та., 1994. -с. 23-32.

113. Ту Дж., Гонсалес Р. Принципы распознавания образов. / Пер с англ. Под ред. Ю.И. Журавлева. М.: Мир, 1978. - 414 с.

114. Тюрина Л. Вузовский учебник сегодня и завтра. // Высшее образование, 1998, № 1.-е. 11-20.

115. Убейко В.М., Убейко В.В. Экспертные системы в технике и экономике. М.: Изд-во МАИ, 1992. - 240 с.

116. Уотермен Д. Руководство по экспертным системам: Пер. с англ. М.: Мир, 1989.-388 с.

117. Фор А. Восприятие и распознавание образов / Пер. с фр. / Под ред. Г.П. Катыса. М.: Машиностроение, 1989. - 272 с.

118. Фу К. Последовательные методы в распознавании образов и обучении машин:Пер. с англ. / М.: Наука, Гл. ред. физ.-мат. лит., 1971. 256с.

119. Фу К. Структурные методы в распознавании образов: Пер. с англ. / М.: Мир, 1977. 320 с.

120. Хартли Д. К вопросу об оценке обучающих программ. / В сб. "Кибернетика и проблемы обучения" / Редакция и предисловие А.И. Берга. -М.: Прогресс, 1970. -с. 350-387.

121. Ховард М., Лебланк Д. Защищенный код \ Пер. с англ. 2-е изд., испр. - М.: Издательство-торговый дом «Русская Редакция», 2005. - 704 стр.: ил.

122. Чиликин М.Г. Основные задачи программированного обучения. / В сб.: Программированное обучение и кибернетические обучающие машины. / Под ред. Шестакова А.И. М.: Сов. радио, 1963. - с. 5-9.

123. Чубров Е.В., Сливина Н.А., Демушкин А.С. Компьютер и изучение математики. // ИНФО, 1992, №3-4. с. 96-97.

124. Шаммазов А., Беленкова О. Технические университеты в информационно-индустриальном обществе // Высшее образование, 1998, №1. с. 20-25.

125. Шампанер Г., Шайдук А. Обучающие компьютерные системы // Высшее образование в России, 1998, № 3. с. 97-99.

126. Шемакин Ю.И. Начала компьютерной лингвистики: Учеб. пособие -М.: Изд-во МГОУ, А/О "Росвузнаука", 1992. 115 с.

127. Эспозито Д. Знакомство с технологией Microsoft ASP.NET 2.0 AJAX. -M.: «Русская Редакция»; СПб.: Питер, 2008. 320 е.: ил.

128. Эспозито Д. Microsoft ASP.NET 2.0. Углубленное изучение/ Пер. с англ. М.: Издательство «Русская Редакция»; СПб.: Питер, 2008. - 592 е.: ил.

129. Bloom В.S. The sigma Problem: The Search for Methods of Group Instruction as Effective as One-to-One Tutoring // Education Researcher, № 13,1984. p. 3.

130. Bork A. Computer and Information Technology as a learning Aid // Education and Computing, 1985, v.l, № 1. p. 29-34.

131. Buiten R., Lane H.S. Experimental system gives language student instant error feedback. / Digital Equipment Corporation Computer Application Note, 1965.

132. Coulson J.E. Computers in research and development on automated instruction. // "Proceedings of the IV-th international congress of cybernetic medicine", Nice, 1966. p. 241-257.

133. Distance Learning Studio. Система создания мультимедийных дистанционных курсов: Документация // Составители: Пушков А.И., Ченосова Е.С., Юрков А.В. С.-Петербург, 2000. - 272 с.

134. Etienne Wenger. Artificial Intelligence and Tutoring Systems (Computational and Cognitive Approaches to the Communication of Knowledge) // Morgan Kaufmann Publishers. Los Altos, California, USA, 1987. - 487 p.

135. Haan B, Kahn P. IRIS Hypermedia Services // Communications>;of ACM, 1992, v.35,№l.-p. 36-51.

136. Hebenstreit J. Computers in education The next step // Education and Computing, v.l, 1995. -p. 37-43.

137. Intelligent Tutoring Systems: Proceedings of Second International Conference // University de Montreal. Montreal, Canada, 1988. - 578 p.

138. Intelligent Tutoring Systems: Proceedings of Second International Conference // University de Montreal. Montreal, Canada, 1992. - 422 p.

139. Licklider J. Preliminary experiments in computer-aided teaching. // "Programmed Learning and Computer Based Instruction". New York, Wiley, 1962.-p. 217-239.

140. Morris J. The case for CAI. SIGCUE bulletin, 1984, v. 18. - p. 11-14.

141. Patrick W. Thompson. Mathematical Microworlds and Intelligent Computer-assisted Instruction. In: "Artificial Intelligence and Instruction".

142. Ed: Kearsly, 1987. p. 83-109.

143. Providing computing for distance learners: a strategy forp home use. // Computers Education, 1992, vol.18, № 1.

144. Ronald G. Ragsdale. Effective computing in education: tools and training // Education and computing, 1991, v.7. p. 157-166.

145. Skinner B.F. The science of learning and art of teaching. // Harward Education Review, Spring, 24, 1954. p. 86-97.

146. Uhr L. The compilation of natural language text into teaching machine programs. // American Federation of Information Processing Societies Conference Proceedings, 1964.-p. 26-35.

147. Uttal W.R. On conversational interaction // "Programmed Learning and Computer Based Instruction". New York, Wiley, 1962.

148. ZaitsevaL., JohnD. Zakis. Course Development for Tutoring and Training Systems in Engineering Education / Global J. of Engng. Educ, 1991, vol. 1, № 3. Printed in Australia.