автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка Concept Tree модели представления и контроля знаний, обеспечивающей заданный уровень функционирования человеко-машинных систем управления

На правах рукописи

РАЗРАБОТКА CONCEPT TREE МОДЕЛИ ПРЕДСТАВЛЕНИЯ И

КОНТРОЛЯ ЗНАНИЙ, ОБЕСПЕЧИВАЮЩЕЙ ЗАДАННЫЙ УРОВЕНЬ ФУНКЦИОНИРОВАНИЯ ЧЕЛОВЕКО-МАШИННЫХ СИСТЕМ УПРАВЛЕНИЯ

Специальность 05.13.01. Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва 2003

Работа выполнена в Московском государственном институте электронной техники (техническом университете).

Научные руководители

кандидат технических наук, доцент Фоменко Александр Иванович.

кандидат технических наук, доцент Лупин Сергей Андреевич.

Официальные оппоненты - доктор технических наук, профессор

Лисов Олег Иванович;

кандидат технических наук, доцент Минаков Евгений Иванович.

Ведущая организация - Московский военный институт

радиоэлектроники Космических войск.

Защита состоится "_" _ 2003 года на заседании

диссертационного совета Д212.134.02 при Московском государственном институте электронной техники (техническом университете). 124498, Москва, К-498, МИЭТ.

С диссертацией можно ознакомиться в библиотеке МИЭТ. Автореферат разослан "_"_2003 года.

Ученый секретарь диссертационного совета

к.т.н., профессор_./У^/у _Н.В. Воробьев

- А \ й^оЕ

Общая характеристика работы

Актуальность проблемы. Технический прогресс, как в военной, так и в гражданской областях, зависит не только от наличия высокопроизводительной техники, но и в не меньшей мере от того, как подготовлены люди, которые будут ее использовать. Технические комплексы сосредотачивают в себе огромную мощь, которая постоянно растет, и цена ошибки, допущенная оператором, в них соответственно возрастает.

В качестве примеров технических комплексов можно рассматривать такие системы как:

• атомные электростанции;

• системы ПВО и ПРО;

• БТР, БМП, танковая техника;

• управление энергообеспечением регионов и т.п.

В общем случае современные комплексы управления представляют собой высокоавтоматизированные системы, однако роль человека в них остается весьма существенной.

Оператор может, как поддерживать устойчивость системы, так и привести ее в состояние представляющее угрозу для жизни многих людей. Катастрофа на Чернобыльской АЭС наглядный тому пример.

Вероятность ошибочных решений операторов систем управления можно снизить за счет обеспечения заданного уровня их профессиональной подготовки. Другими словами, уровень подготовки оператора должен соответствовать уровню технических средств, которыми он управляет.

Таким образом, для обеспечения заданного уровня функционирования, надежности и устойчивости системы управления в целом, где человек выступает неотъемлемым звеном контура управления, необходимо чтобы уровень освоения навыков человека-оператора, соответствовал уровню, определенному диапазоном требований. На современном этапе этот процесс реализуется с помощью компьютерных систем обучения.

Информатизация процесса обучения представляет собой систему методов, процессов и программно-технических средств, интегрированных с целью сбора, обработки, хранения, распространения и использования информации в интересах ее потребителей. Цель информатизации процесса обучения состоит в глобальной интенсификации интеллектуальной деятельности за счет использования новых информационных технологий.

Получая и перерабатывая информацию, человек использует пять чувств. Исследования психологов показывают, что он запоминает 20% того, что видит, 30% того, что слышит, 50% если видит и слышит одновременно и 80% той информации, которую__.ои ^идш^-снышит и

I" НАЦИОНАЛЬНАЯ

библиотека I

} С.Петербург ¿¡л* )

} 09 Мр5 I

активно реагирует на нее.

Компьютерный мир вышел на новый уровень, уровень мультимедиа, а именно - способ преподнесения информации, синтезирующий в себе звук, объемное (движущееся) изображение и текст. Мультимедийные средства помогают корпорациям продвигать на рынок новые продукты и обучать своих сотрудников; в вооруженных силах, используя тренажер, можно совершить виртуальное испытание; и т.д.

На данный момент в мире представлено множество систем обучения, использующих разнообразные модели, сетевые и программно-аппаратные комплексы на основе средств новых информационных технологий. Данные системы позволяют проводить обучение, предоставляют богатый интерфейс и набор разнообразных модулей для достижения наилучших результатов, а также ряд возможностей для тестирования освоенных знаний. Но, как правило, тестирование в таких системах не является основной функцией и носит вспомогательный характер.

Специализированные системы тестирования, контроля, оценки и аттестации, которые обладают действительно серьезным потенциалом, чтобы так называться, выполняются в виде отдельного модуля или системы, которые слабо коррелированны с конкретной системой обучения.

Возникает проблема объективности оценки знаний, поскольку для достоверной оценки уровня усвоения материала необходимо учесть оценку каждого понятия заданной области знаний.

Проблема, решению которой посвящена эта работа, может быть сформулирована как обеспечение заданного уровня функционирования, надежности, устойчивости технической системы с участием человека, за счет повышения подготовки человека-оператора до необходимого уровня. Это становится возможным на основании разрабатываемой модели представления и оценки знаний, которая позволяет проводить процесс обучения до достижения заданного уровня освоения области знаний.

Цель работы. Настоящая работа посвящена созданию методики обеспечения заданного уровня функционирования человеко-машинных систем управления, на основе разрабатываемой модели представления и контроля знаний.

Методы исследования. В работе использовались математические методы теории множеств, общей теории систем, теории графов, теории вероятности и математической статистики, теории нечеткой логики, теории массового обслуживания.

Научная новизна. На защиту выносятся:

1. Concept Tree (СТ) модель представления и контроля знаний, интегрирующая информационные понятия и тесты, обеспечивая заданный уровень подготовки оператора человеко-машинных систем управления.

2. Алгоритм построения дерева понятий, который определяет последовательность этапов организации рациональной структуры

представления знаний.

3. Методика подготовки на основе дерева понятий, раскрывающая специфику организации обучения.

4. Методика аттестации и принципы получения объективной оценки знаний на основе дерева понятий, позволяющих проводить объективный контроль достижения требуемого уровня усвоения навыков.

Практическая значимость. Предлагаемая СТ-модель позволяет обеспечивать заданный уровень освоения знаниями, и как следствие, достичь заданный уровень функционирования человеко-машинной системы.

Внедрение результатов. Теоретические и практические результаты диссертационной работы внедрены в учебный процесс МИЭТ при проведении занятий по дисциплинам «Программное обеспечение ЭВМ» и «Персональные ЭВМ». Предложен курс для подготовки операторов дистанционного управления. Разработанный программно-аппаратный комплекс на основе СТ-модели, внедрен в процесс повышения квалификации персонала ЗАО «Группа Медиа Артс.

Апробация работы. Основные положения диссертации докладывались и обсуждались на Всероссийских межвузовских научно-технических конференциях студентов и аспирантов "Микроэлектроника и информатика-99", международных конференциях "Информационные технологии в открытом образовании", "Качество дистанционного образования: концепции, проблемы", "Математические методы и информационные технологии в экономике, социологии и образовании", "Математика, компьютер, образование", "Компьютерные технологии в науке, производстве, социальных и экономических процессах", "Применение новых технологий в образовании".

Публикации. По материалам диссертации опубликовано девять тезисов докладов и одна статья.

Структура диссертации. Диссертация состоит из введения, пяти глав, заключения, списка литературы и приложения.

Содержание работы

Во введении сформулированы актуальность, цель работы, ее научная новизна и практическая значимость; представлены применяемые методы исследования, внедрение результатов, апробации и структура диссертации.

В первой главе проведен анализ человеко-машинных систем управления, в таких областях как авиация (авиадиспетчеры, пилоты), энергетика (операторы АЭС), оборона (операторы дистанционного управления танками).

Функционирование технической системы управления с участием человека, зависит от трех основных элементов этой системы: аппаратного обеспечения, программного обеспечения и человеческого фактора,

которые в совокупности формируют «стратегическую триаду» для технических систем управления.

ТС = {Нс,8с,Рс}, (1)

где ТС - техническая система, Нс - аппаратная составляющая, 8С -программная составляющая, Рс - составляющая человека-оператора.

Соответственно чтобы повысить уровень функционирования технической системы управления необходимо воздействовать на каждую её составляющую.

Человек-оператор в таких системах является неотъемлемой частью, и на него ложатся задачи функционирования системы в целом, так как он является элементом замкнутого контура управления.

Качество такой системы выражается следующей зависимостью:

ктс = кнс ' К5с • Крс, (2)

где КНс и - качество аппаратной и программной составляющих соответственно, КРс - качество составляющей человека-оператора.

В замкнутой системе управления движением или слежением, влияние человека-оператора может быть отражено с помощью передаточной функции человека-оператора:

(1 + Т«)1¥Ме-^

■ / , , (3)

Ь + ше 3

где 1¥с(а) - передаточная функция сглаживания; г- время запаздывания; к, т, Ту - случайные функции времени с математическими ожиданиями, величины которых выбираются человеком для получения оптимального режима управления.

Качество человеко-машинной системы управления определяется степенью выполнения требований, предъявляемых к системе и ее можно оценить следующим соотношением:

т т

я/ = ЕаЛ' 0<Ж<1; приО<а,х<\, =1, (4) И

где а, - важность требованиях] - степень выполнения требования

Таким образом, для обеспечения заданного уровня функциональности, надежности и устойчивости системы управления в целом, в которых человек выступает неотъемлемым звеном замкнутого контура управления, необходимо повышать уровень знаний и навыков человека-оператора, до уровня определенного диапазоном требований.

Рассмотрены направления развития искусственного интеллекта. Выбрано основное направление искусственного интеллекта, связанное с разработкой моделей представления знаний; созданием баз знаний, образующих ядро экспертных систем.

Проанализированы различные определения данных и знаний.

В диссертации знания - это выявленные закономерности предметной области (принципы, связи, законы), позволяющие решать задачи в этой области. При обработке на ЭВМ знания трансформируются аналогично данным.

Проведен анализ моделей представления знаний, для различных предметных областей. Большинство из них может быть сведено к следующим классам: продукционные, семантические сети, фреймы, формальные логические модели.

Каждая модель имеет свою область применения и свои преимущества. Но с точки зрения поставленной задачи - интеграция со средствами оценки понимания информационного содержания структур -их возможности ограничены.

Поэтому необходимо создать модель, предназначенную для визуализации связей сложных процессов и систем в виде комплексной модели представления информации. Она позволила бы наглядно дать представления о связях основных понятий материала, темы или процесса друг с другом. С помощью такой модели оператор может более быстро и эффективно разобраться в структуре и понятиях области знаний.

Рассмотрена структура и приведена классификация экспертных систем. Рассмотрены инструментальные средства построения экспертных систем. Выдвинуты положительные стороны использования разрабатываемой модели в экспертных системах.

Проведен анализ нечетких экспертных систем. Обоснована актуальность теории нечетких множеств. Выбрана область внедрения алгоритмов нечеткой логики для разрабатываемой модели.

Рассмотрены вопросы инженерии знаний, связанные с получением знаний, их анализом и формализацией для дальнейшей реализации в интеллектуальной системе.

Третья часть проведенного анализа в этой главе, посвящена системам контроля, рейтинговым системам и объективной оценки знаний.

Приведены недостатки технологии и объективности оценки знаний современных систем аттестации.

Таким образом, необходимо, чтобы разрабатываемая модель позволяла тесно интегрировать механизмы тестирования и аттестации, для получения максимально объективной оценки усвоения и понимания информационного содержания.

Во второй главе рассматривается концепция процесса усвоения информации человеком. Формулируются некоторые рекомендации для совершенствования процесса обучения и повышения его эффективности.

Проводится расчет эффективности обучающих систем, содержащих информационные ресурсы. Рассматривается теоретическое обоснование зависимости эффективности обучения от количества представляемой информации. Получена зависимость эффективности обучения от скорости

усвоения информации.

д __ max '-'О_

' Э0 + (1 - Э0) • ехр(-/Л/,)' где Alt - дополнительное количество информации в момент времени /, Этах ~ эффективность системы до введения информации; Этш: -эффективность идеально функционирующей системы, /л - коэффициент пропорциональности.

Существует область, в которой процесс обучения проходит наиболее эффективно. Данные расчеты учтены в методике обучения на основе разрабатываемой модели.

Описана разработанная в диссертационной работе СТ-модель, которая основана на фреймовой теории М. Минского, семантических сетях, продукционной модели и двумерном представлении набора концепций и их отношений - предложенных Джозефом Новаком, и представляет собой гибридную модель. Она является специализированной и предназначена для представления и контроля знаний, позволяя обеспечить заданный уровень их освоения.

СТ-модель - это иерархическая модель знаний представляющая совокупность понятий х,еХ связанных между собой по определенным правилам иу, и учитывающая вес V, вносимый каждым понятием в общую структуру знаний. Понятия, связанные иерархическими отношениями, образуют ориентированный граф G(X,Y) - называемый деревом понятий. Понятия и связи в последовательности формируют простые суждения через слова в узлах и связях. Деревья понятий могут использоваться, чтобы представить и оценить знание индивидуума.

СТ-фрейм - это совокупность атрибутов знаний, описывающих некоторое понятие. Связь СТ-фрейма с узлом находящимся на более высоком уровне, отражается атрибутом адреса родителя R.

х, с хк, если Rx = к, (6)

где к - номер СТ-фрейма, родителем которого является г-тый СТ-фрейм.

СТ-связь - логическое соединение двух СТ-фреймов иу,

показывающее их взаимное отношение.

Значением атрибута может быть практически что угодно (числа или математические соотношения, тексты на естественном языке или программы, правила вывода или ссылки на другие атрибуты данного СТ-фрейма или других СТ-фреймов). В качестве значения атрибута может выступать набор атрибутов более низкого уровня, что позволяет в модели реализовать "принцип матрешки".

Важнейшим свойством СТ-модели является заимствованное из теории семантических сетей наследование свойств. Наследование происходит по АКО-связям (A-Kind-Of = это). Атрибут R указывает на СТ-фрейм более высокого уровня иерархии, откуда переносятся значения

аналогичных атрибутов. Атрибут Л имеет словарное значение, определяющее смысл данной связи. Таким образом, создается сеть логически связанной информации.

Структура СТ-фрейма:

, -

СТ-фр*йм

х,={Ы,А,У,Р,Р,Щ-Х = {х1}, А={а,}, (7)

где Х- множество понятий, А - множество атрибутов понятий.

Ресурсы в СТ-фрейме - информация, поясняющая и раскрывающая значения атрибутов а, еА. Ресурсами могут быть: текст, рисунки, звук, видео, тесты, тематические конференции и другие средства мультимедиа и электронного общения.

Вес СТ-фрейма - это совокупная оценка сложности и объема информации заложенной в СТ-фрейме относительно всей описанной в модели информации V,. Он используется для оценки усвоения понятия при подготовки с помощью СТ-модели.

Предложен процесс построения деревьев понятий, который состоит из двух этапов, важнейшим из которых является подготовка и сбор материалов области знаний. При создании деревьев понятий области знания огромное значение имеет уровень квалификации человека,

который проводит этот этап.

Второй этап - это создание СТ-фреймов, задание необходимых атрибутов и наполнение их ресурсами. После этого структуру можно оптимизировать до необходимого содержательного уровня.

Предложена методика подготовки на основе дерева понятий, которая включает следующие этапы:

• Создание учебного материала и подготовка информационной среды обучения, с учетом корпоративного взаимодействия.

• Процесс обучения в сочетании с промежуточным и итоговым контролем, сетевое планирование занятий.

• Анализ результатов обучения, на основе которого совершенствуется структура и содержание деревьев понятий, корректируются необходимые коэффициенты системы.

Данная методика раскрывает специфику подготовки на основе СТ-модели и позволяет проводить эффективное обучение.

В третьей главе описываются механизмы контроля знаний на основе СТ-модели.

Для применения модели оценки весь материал рассматриваемой области знания упорядочивается в виде многоуровневой иерархической структуры, реализованной с помощью СТ-фреймов. Каждый СТ-фрейм связан только с одним узлом, находящимся на более высоком уровне. На самом верхнем уровне структуры находится СТ-фрейм, который ставится в соответствие данной области знаний х, е X, на самом нижнем - СТ-фреймы, представляющие самые простые понятия. Каждый СТ-фрейм характеризуется:

• весом Vu который отражает относительную значимость этого понятия для освоения заданного уровня области знаний V,, Vt е[Ур,Утах], ге[1,и]; VP>Vmax - минимально и максимально допустимый вес понятия в структуре дерева, и - количество понятий в дереве;

Vx.eX, VXi=ZVX(, если RXt=i. (8)

м

• функциональной оценкой /, eF, показывающей полноту знания понятия;

/,€[о,1] /, ={£f; /+/,=i, (9)

[// > J I ^ "поп

где Рпт - порог положительной оценки.

• порогом, достижение которого необходимо чтобы засчитать знание понятия в качестве верного Р,.

у£сист_ v . p =p

ЯИ'100' J 1 cucm (10)

minF,, 3j Pj Ф Pcucm где Pcucm - возможный общий порог системы. • уровнем усвоения понятия Uх — это текущая оценка усвоения

понятия, получаемая на основе суммы функциональных оценок дочерних понятий с учетом их весовых параметров.

=YV4f4,ecnu R4 = i. (11)

Чтобы ответ был засчитан в качестве верного, уровень усвоения понятия должен быть больше или равен значению порога.

^ ä РХ: (12)

Преимуществом механизма оценки знаний понятий в СТ-модели является учет, как правильных ответов, так и неверных. Пусть хк имеет т прямых потомков {х,,...,х1+т}. Пусть при ответе имеет место следующая ситуация: {х,,..., х1+а} - правильные ответы; {х,+а+] ,...,х1+ь} - неверные ответы;

- незаданные вопросы. Для учета неверных ответов, вес понятий, на которые они были даны, умножается на отрицательный смягчающий коэффициент для неверных ответов к0.

Кроме того, учитываются такие понятия, контроль уровня усвоения которых не был произведен из-за достижения порога. При учете этих знаний, к общей функциональной оценке понятия прибавляется вес не отвеченного понятия с учетом коэффициента смягчения для не отвеченных понятий кн, который имеет отрицательное значение. Полное значение уровня усвоения равно:

а b __т

У К L +k„Y vx fz +ки Yvx =UZ , (13)

1=i ;=a+i ыь+\

k0< 0, kH <0, |£н|<ф„[. Для оценивания понятий дерева G(X,Y), формируется множество вопросов T={t,}Je [l,s], из которого формируются тесты.

Разбиением этого множества получаем множество подмножеств тестов:

7},С/ = 1,2,3,...,и); Tj *0, Т,[\Т1 =0, U7; =Т (14)

Для каждого СТ-фрейма может существовать множество вопросов {tk}, вопросы из которого используются для формирования тестов Т},

Ух, еХ, 3?, еГ (15)

Система тестирования на основе СТ-модели предусматривает ввод коэффициентов сложности для вопросов V, и коэффициентов точности

ответов на них /, .

ЗГ,={*,} Г;сГ ¿К,у=К„ (16)

7=1

где ^ - количество вопросов для г-го понятия.

л =

V/' /,/ > о

, (17)

о, 3/ < О

где fl' - коэффициент точности у'-го варианта ответа на /-ый вопрос,

.V - количество вариантов ответа на г'-ый вопрос.

Вопросу теста соответствует значение порога Р, - это минимальная

сумма весов вариантов ответов, которая должна быть набрана, чтобы система засчитала ответ в качестве верного.

[Р V/ Р =Р

л сист ' V 1 1 сист

(18)

Зу Р{1 *Рсжт'

тт ^

и

где Реист - возможный общий порог сис1емы, 5 - количество вариантов ответа на 1-ый вопрос.

Если порог достигнут или превышен, слушатель получает долю от общего веса вопроса, соответствующую сумме коэффициентов точности для указанных вариантов:

V *

и, =—£/, • (19)

100 ^ 1 '

Тогда уровень усвоения понятия выражается:

(20)

7=1

где ц - количество вопросов для г-го понятия.

Механизм СТ-тестов не исключает и проведение оценки знаний посредством нечетких отношений.

Механизм нечеткой оценки знаний поддерживается в системе посредством:

• определения возможных оценок для испытуемого на основе

нечетких множеств;

• ввода экспертом вопросов четырех уровней сложности;

• предложением экспертом нескольких (не менее 4) вариантов ответов и коэффициентов точности каждого ответа;

• ввода нечеткой характеристики «правильности» ответа на вопрос;

• ввода возможных подсказок на вопрос и зависимости изменения оценки за вопрос от их использования;

• ввода лимита времени, необходимого для ответа на вопросы. Каждый раз, когда задается вопрос, на основании описанной модели

происходит «прогнозирование» наиболее вероятного ответа испытуемого и соответственно выбирается вопрос необходимого уровня. По мере увеличения правильных ответов увеличивается и уровень сложности задаваемых вопросов и наоборот.

СТ-модель позволяет реализовать динамическое тестирование с вероятностной оценкой знаний, отличие которой от обычных статических систем тестирования в том, что:

• при расчете порога усвоения знаний учитываются знания, на которые даны как верные ответы, так и не верные, а также знания, контроль которых не был произведен из-за достижения необходимого порога усвоения;

• динамически формируется вопрос с помощью вероятностного выбора, задача которого заключается в выборе следующего вопроса на основе анализа достижения порога усвоения

В четвертой главе приведено описание разработанного аппаратно-программного комплекса (ИОС), базирующегося на предложенной СТ-модели, основными модулями которого являются:

• Модуль CTree Creator, позволяющий строить деревья понятий для обучения и контроля;

• Модуль тестирования;

• Модуль обмена информацией, организующий взаимодействие пользователей между собой;

• Модули взаимодействия с серверами баз;

• Модуль интерфейсов, разграничивающий права доступа пользователей.

Обосновывается выбор программных и аппаратных средств. Проводится анализ средств новых информационных технологий, анализ и моделирование средств телекоммуникаций. Проводится моделирование потоков данных на основе комплементарных графовых моделей.

Потоки в физических каналах связи между узлами системы описываются физическим уровнем системы Щ.

Задача проектирования на этом уровне представления заключается в следующем:

• изучение и анализ существующей системы передачи данных;

• модернизация системы для достижения требуемых параметров. Каждый канал связи характеризуется пропускной способностью 1У и

временем прохождения по нему элемента данных

Тогда вся среда передачи данных может быть охарактеризована матрицей минимального времени доставки данных Т = Ц/*,,]) и матрицей максимальной пропускной способности Ь = ||/*,,|| между всеми парами узлов системы.

Время доставки - суммарное время прохождения данными всех каналов, образующих цепь /й/, /гЛ¿еЕ, соединяющую узлы 1(Н/) и у'(7гдД Минимальное время определяется с помощью алгоритма Ли нахождения кратчайшего пути в графе.

, м-1

№1=1

Нахождение максимальной пропускной способности сводится к решению задачи определения максимального потока в сети.

/* =таху, (22)

где поток в сети V - последовательность чисел ут, удовлетворяющая следующим условиям:

= 1

0,1 = 2,..!-I О <ут<1т (23)

-У,1 = 1

где те [1, М], Н) - множество дуг, выходящих из вершины г, Я,2 -множество дуг, входящих в вершину и

Максимальный поток в сети равен минимальной величине разрезов в этой сети и может быть определен по алгоритму Форда-Фолкерсона.

Используемая в работе оценка физического уровня представления основана на сопоставлении реальных и требуемых значений минимального времени доставки данных по каналам связи.

/^ = ¿¿4 (24)

где 1)еслиУг,у€[1,/]4тах-^0,то (25)

2)ес™Зи6[и]4и-^<0,ТОД^Л°;^7^0' . ,(26)

t -t Л -t <0

* у тах * у' ^ у так * у

где {у - минимальное время доставки данных.

Пятая глава посвящена результатам испытаний созданной ИОС. Сформулирована цель, содержание и организация опытно-экспериментального обучения.

Общая цель опытно-экспериментального исследования заключалась в том, чтобы проверить и подтвердить полученные в диссертации теоретические положения и выводы в части:

• Проверки работоспособности и целесообразности применения моделей информационного обучения и их элементов на основе СТ-модели;

• Оценки эффективности сбалансированного количества информации;

• Оценки эффективности представления знаний и обучение на основе СТ-модели;

• Оценки эффективности типовых форм обучения на основе СТ-модели;

• Оценки эффективности получения объективной оценки знаний на основе СТ-модели;

• Апробирования информационно-образовательного портала;

• Апробирования программно-аппаратного комплекса СТ-модели; Для достижения поставленных целей необходимо было решить

следующие задачи:

1. Выбрать раздел для информационного обучения;

2. Выбрать целесообразные модели информационного обучения;

3. Подготовить комплект учебного материала для экспериментального обучения;

4. Организовать материально-техническое обеспечение эксперимента;

5. Выбрать место, время и сформировать группу испытуемых для экспериментальной работы;

6. Спланировать и провести эксперимент. Данные задачи были решены.

Разработаны модели информационного обучения. Описан процесс проектирования программ для информационного обучения и автоматизированного проектирования компьютерных обучающих курсов. Разработан информационно-образовательный сайт и созданы электронные курсы на основе предложенной СТ-модели.

Рассмотрен ход и проведен анализ эксперимента, по которым разработаны рекомендации.

Прошли опытное исследование курсы «Компьютерные вирусы» и «Компьютерные сети» для студентов дневного отделения в Московском институте электронной техники. Подготовлен курс «Система дистанционного управления танка-робота» для обучения и контроля I операторов.

Рассмотрен пример реализации предлагаемой методики обучения: построено дерево понятий для курса «Компьютерные сети», сформированы вопросы, заданы весовые коэффициенты и на их основе разработаны тесты. Проведена интеграция дерева обучения с набором

тестов. В результате контроля одного из тестов получены функциональные оценки, рассчитаны уровни усвоения, и на основе сравнения их значений с пороговой величиной (60% или 3 балла по 5-ти бальной шкале) принято решение о достижении необходимого уровня усвоения области курса.

В заключении приведены основные результаты работы.

Основные результаты работы

1. Описаны основные элементы человеко-машинной системы управления. Показано, что повышение уровня функционирования системы управления может быть реализовано за счет улучшения подготовки оператора. Предложена оценка качества человеко-машинной системы управления.

2. На основе анализа существующих моделей представления знаний и применяемых методик аттестации и оценки знаний обоснована необходимость создания модели и методик, позволяющих одновременно учитывать представление и контроль знаний.

3. Проведен расчет эффективности обучающих систем, содержащих информационные ресурсы.

4. Разработана новая Concept Tree модель представления и оценки знаний, интегрирующая информационные понятия и тесты, обеспечивая заданный уровень подготовки оператора человеко-машинных систем управления.

5. Разработан алгоритм построения дерева понятий, который определяет последовательность этапов для организации рациональной структуры представления знаний.

6. Разработана методика подготовки на основе дерева понятий, раскрывающая специфику организации обучения.

7. Разработаны методика аттестации и принципы получения оценки знаний на основе дерева понятий, позволяющих проводить объективный контроль достижения требуемого уровня усвоения навыков.

8. Разработан аппаратно-программный комплекс информационно-образовательной системы на основе Concept Tree модели.

9. Проведено опытно-экспериментальное обучение на основе разработанных модели и методик.

10. Разработанные методики внедрены, проверены на практике и доказали свою эффективность.

Основные результаты диссертации изложены в работах: 1. Пущин М.Н. Особенности обучения по технологии компьютерной педагогики. // Микроэлектроника и информатика - 2000. Седьмая всероссийская межвузовская научно-техническая конференция студентов и аспирантов. Тезисы докладов. -М.:МГИЭТ(ТУ), 2000.

2. Пущин М.Н. Тенденции современных гипертекстовых технологий в образовании. // Третья Международная научно-техническая конференция "Электроника и информатика - XXI век". Тезисы докладов. -М.:МГИЭТ(ТУ), 2000.

3. Пущин М.Н. Компьютерные лекции и эффективность обучения. // Международная научно-техническая конференция «Математические методы и информационные технологии в экономике, социологии и образовании». Сборник материалов. Часть 2. Пенза, 2001.

4. Пущин М.Н. Анализ и моделирование телекоммуникаций дистанционного образования. // Материалы II Международной научно-практической конференции «Компьютерные технологии в науке, производстве, социальных и экономических процессах - КТ 2001». Часть 3. Новочеркасск, 2001.

5. Пущин М.Н. Фреймовая модель процесса самообучения. // Сборник трудов по итогам VII международной открытой научной конференции "Современные проблемы информатизации в технике и технологиях". Выпуск 7. Воронеж, 2002.

6. Пущин М.Н., Больных А.Н., Любезнов Д.П. Программный комплекс визуализации информации на основе фреймовой модели. // Четвертая Всероссийская научная internet-конференция "Компьютерное и математическое моделирование в естественных и технических науках". Выпуск 16. Тамбов, 2002.

7. Пущин М.Н., Больных А.Н., Любезнов Д.П. Моделирование информационной системы с использование новых информационных технологий. // Четвертая Всероссийская научная internet-конференция "Компьютерное и математическое моделирование в естественных и технических науках". Выпуск 16. Тамбов, 2002.

8. Пущин М.Н. Аттестация студентов на основе фреймовой модели представления данных в информационной системе Вуза. // Межвузовский сборник научных трудов "Системы управления и информационные технологии". Выпуск 9. Воронеж, 2002.

9. Пущин М.Н. Concept Tree - модель представления знаний. // Материалы международной научно-технической конференции "Новые методологии проектирования изделий микроэлектроники". Владимир, 2002.

10. Пущин М.Н. Комплексный подход к представлению и оценке знаний. // Сборник трудов по итогам VIII международной открытой научной конференции "Современные проблемы информатизации в непромышленной сфере и экономики". Выпуск 8. Воронеж, 2003.

Подписано в печать: Заказ №140. Тираж 100 экз. Уч.-изд.л. 1,0. Формат 60x84/16 Отпечатано в типографии МИЭТ(ТУ) 124498, Москва, К-498, МИЭТ(ТУ)

12 3 0 8

Список сокращений.

Введение.

Глава 1. Анализ человеко-машинных систем управления.

1.1. Человеко-машинные системы управления.

1.1.1. Функционирование технической системы управления.

1.1.2. Передаточная функция человека-оператора.

1.1.3. Оценка качества человеко-машинной системы управления.

1.2. Интеллектуальные системы.

1.2.1. Данные и знания.

1.2.2. Анализ моделей представления знаний.

1.2.3. Экспертные системы: структура и классификация.

1.2.4. Анализ нечетких экспертных систем.

J 1.2.5. Инженерия знаний.

1.2.6. Инструментальные средства построения интеллектуальных систем.

1.3. Анализ систем контроля и оценки знаний.

1.3.1. Анализ программ обучения и тестирования.

1.3.2. Анализ рейтинговых систем.

1.3.3. Системы тестирования.

1.3.4. Объективность оценки знаний. ф 1.4. Выводы.

Глава 2. Представление знаний на основе Concept Tree модели.

2.1. Обработка информации, процесс познания.

2.2. Расчет эффективности обучающих систем, содержащих информационные ресурсы.

2.3. Представление знаний с помощью деревьев понятий.

2.4. Concept Tree - модель представления знаний.

2.5. Построение деревьев понятий.

2.5.1. Алгоритм построения дерева понятий.

2.6. Макро и микро деревья понятий. р 2.7. Методика подготовки на основе дерева понятий.

2.7.1. Построение процесса подготовки.

2.7.2. Совершенствование структуры и содержания дерева понятий

2.7.3. Совместное корпоративное взаимодействие.

2.7.4. Сетевое планирование процесса подготовки.

2.8. Выводы.

Глава 3. Методика контроля знаний на основе Concept Tree модели.

3.1. Concept Tree - модель контроля знаний.

3.1.1. Вес, функциональная оценка и порог понятий.

3.1.2. Максимальный порог и уровень усвоения.

3.1.3. Коэффициенты смягчения.

3.2. Принципы получения объективной оценки знаний.

3.3. Принципы построения модульно-рейтинговой системы.

3.4. Функционирование системы тестирования.

3.4.1. Общие положения.

3.4.2. Функционирование.

3.4.3. Отчеты.

3.4.4. Тесты.

3.4.5. Весовые коэффициенты.

3.4.6. Максимальный балл и проходной балл.

3.4.7. Перемешивание.

Ф 3.5. Алгоритм вероятностной оценки знаний на основе дерева понятий

3.6. Методика оценки знаний на основе нечетких отношений.

3.7. Выводы.

Глава 4. Программно-аппаратная реализация Concept Tree модели.

4.1. Модули информационно-образовательной системы.

4.2. Обоснование выбора применяемых средств.

4.2.1. Выбор аппаратных средств.

4.2.2. Выбор программных средств и языка программирования. д 4.3. Реализация модуля визуализации информации.

4.4. Реализация модуля тестирования и аттестации.

4.5. Модель хранения данных.

4.6. Моделирование потоков данных на основе комплементарных графовых моделей.

4.6.1. Оценка конфигурации среды.

4.6.2. Время доставки данных и пропускная способность среды.

4.6.3. Улучшение параметров среды.

4.6.4. Алгоритм оптимизации физического уровня системы управления

4.7. Выводы.

Глава 5. Опытно-экспериментальное испытание с использованием Concept

Tree модели.

5.1. Разработка моделей информационного обучения.

5.2. Цель, содержание и организация опытно-экспериментального исследования.

5.2.1. Испытание

5.2.2. Испытание 2.

5.3. Анализ результатов эксперимента.

5.4. Выводы.

Актуальность проблемы. Технических прогресс, как в военной, так и в гражданской областях, зависит не только от наличия высокопроизводительной техники, но и в не меньшей мере от того, как подготовлены люди, которые будут ее использовать. Технические комплексы сосредотачивают в себе огромную мощь, которая постоянно растет, и цена ошибки, допущенная оператором, в них соответственно возрастает.

В качестве примеров технических комплексов можно рассматривать такие системы как:

• атомные электростанции;

• системы ПВО и ПРО;

• БТР, БМП, танковая техника;

• управление энергообеспечением регионов и т.п.

В общем случае современные комплексы управления представляют собой высокоавтоматизированные системы, однако роль человека в них остается весьма существенной.

Оператор может, как поддерживать устойчивость системы, так и привести ее в состояние представляющее угрозу для жизни многих людей.

Катастрофы, связанные с деятельностью человека, такие как: крупнейшие атомные аварии на Чернобыльской АЭС и американской АЭС TMI-2, ядерные испытания на Урале, крупнейшая в истории России катастрофа пассажирского лайнера "Адмирал Нахимов", крупнейшая в истории наземного транспорта железнодорожная катастрофа в Башкирии, происшествия в космической сфере, авиапроисшествия, пожары и еще множество серьезных аварий, наглядный тому пример.

Вероятность ошибочных решений операторов систем управления можно снизить за счет обеспечения заданного уровня их профессиональной подготовки. Другими словами, уровень подготовки оператора должен соответствовать уровню технических средств, которыми он управляет.

Чаще всего человек в системах управления выполняет следующие четыре задачи:

1) задание курса движения, целеуказаний, режимов работы и тестирования, и т.п.;

2) наблюдение за работой аппаратуры, контроль за правильностью функционирования отдельных блоков, проведение профилактического ремонта и регламентных работ;

3) измерение текущих параметров системы с помощью оптических или радиолокационных приборов. При этом человек является одним из звеньев замкнутой системы управления;

4) решение ряда логических задач, связанных с обработкой информации, поступающей на элементы визуализации системы, и имеющих характер выбора стратегий, целераспределения и ряда других тактических задач.

В некоторых системах (танковых, авиационных и др.) все четыре перечисленные задачи приходится иногда выполнять одному человеку.

Наличие человека в сложных системах управления позволяет делать их достаточно надежными в эксплуатации, и относительно простыми по логике построения.

Чтобы правильно предусмотреть роль, отводимую в системе человеку, необходимо знать возможности человека по физической, сенсорной и другим видам нагрузок [111].

Таким образом, для обеспечения заданной эффективности функционирования, надежности и устойчивости системы управления в целом, где человек выступает неотъемлемым звеном контура управления, необходимо чтобы уровень освоения навыков человека-оператора, соответствовал уровню, определенному диапазоном требований. На современном этапе этот процесс реализуется с помощью компьютерных систем обучения.

Информатизация процесса обучения представляет собой систему методов, процессов и программно-технических средств, интегрированных с целью сбора, обработки, хранения, распространения и использования информации в интересах ее потребителей. Цель информатизации процесса обучения состоит в глобальной интенсификации интеллектуальной деятельности за счет использования новых информационных технологий (НИТ).

Компьютерный мир вышел на новый уровень, уровень мультимедиа, а именно - способ преподнесения информации, синтезирующий в себе звук, объемное (движущееся) изображение и текст [19]. Мультимедийные средства помогают корпорациям продвигать на рынок новые продукты и обучать своих сотрудников [18]; в вооруженных силах, используя тренажер, можно совершить виртуальное испытание; и т.д.

Получая и перерабатывая информацию, человек на самом деле использует пять чувств [92]. Исследования психологов показывают, что он запоминает 20% того, что видит, 30% того, что слышит, 50% если видит и слышит одновременно и 80% той информации, которую он видит, слышит и активно реагирует на нее.

На Западе, особенно в США, различные варианты обучения с применением компьютеров уже завоевали свое место и составляют серьезную область приложения сил для разработчиков. Чем больше объем предназначаемой к обучению информации, тем более эффективным и полезным становится применение таких современных обучающих технологий.

По некоторым оценкам, в настоящее время на компьютерный тренинг расходуется порядка 20% бюджета американских корпораций, предназначенного для обучения персонала. Аналогично, английские банки, которые активно поддерживали своих служащих, желавших повысить свой профессиональный уровень, в начале 90-х годов резко сократили ассигнования на повышение квалификации кадров (в рамках компании по сокращению общих издержек), сохранив финансирование компьютерного обучения. Введение компьютерного тренинга дало дополнительную экономию, и теперь, по подсчетам экспертов, за его счет покрывается около 30% потребностей в обучении.

На данный момент в мире представлено множество систем обучения, использующих разнообразные модели, сетевые и программно-аппаратные комплексы на основе средств новых информационных технологий. Данные системы позволяют проводить обучение, предоставляют богатый интерфейс и набор разнообразных модулей для достижения наилучших результатов, а также ряд возможностей для тестирования освоенных знаний. Но, как правило, тестирование в таких системах не является основной функцией и носит символический характер.

Специализированные системы тестирования, контроля, оценки и аттестации, которые обладают действительно серьезным потенциалом, чтоб так называться, выполняются в виде отдельного модуля или системы, которые слабо коррелированны с конкретной системой обучения. Естественно системы тестирования содержат вопросы из разных разделов осваиваемого материала, но непосредственной связи между этим материалом и вопросами теста по этому материалу не существует.

Так же встает проблема объективности оценки знаний, поскольку для достоверной оценки уровня усвоения материала необходимо учесть оценку каждого понятия заданной области знаний. Методики, реализованные в системах оценки, учитывают вклад каждого понятия из заданной области, не в той мере как он был определен в системе обучения. Соответственно невозможно дать верный ответ на вопрос, чему научила система обучения, и достигнут ли требуемый уровень освоения области знания.

Проблема, решению которой посвящена эта работа, может быть сформулирована как обеспечение заданного уровня функционирования, надежности, устойчивости технической системы с участием человека, за счет повышения подготовки человека-оператора до необходимого уровня. Это становится возможным на основании разрабатываемой модели представления и оценки знаний, которая позволяет проводить процесс обучения до достижения заданного уровня освоения области знаний.

Цель работы. Настоящая работа посвящена созданию методики обеспечения заданной эффективности функционирования человеко-машинных систем управления, на основе разрабатываемой модели представления и контроля знаний.

Методы исследования. В работе использовались математические методы теории множеств, общей теории систем, теории графов, теории вероятности и математической статистики, теории нечеткой логики, теории массового обслуживания.

Научная новизна.

1. СТ-модель представления и контроля знаний, интегрирующая информационные понятия и тесты, обеспечивая заданный уровень подготовки оператора человеко-машинных систем управления.

2. Алгоритм построения дерева понятий, который определяет последовательность этапов для организации оптимальной структуры представления знаний.

3. Методика подготовки на основе дерева понятий, раскрывающая специфику организации обучения.

4. Методика аттестации и принципы получения объективной оценки знаний на основе дерева понятий, позволяющих проводить объективный контроль достижения требуемого уровня усвоения навыков.

Практическая значимость. Предлагаемая СТ-модель позволяет обеспечивать заданный уровень освоения знаниями, и как следствие, достичь заданный уровень функционирования человеко-машинной системы.

Внедрение результатов. Теоретические и практические результаты диссертационной работы внедрены в учебный процесс МИЭТ при проведении занятий по дисциплинам «Программное обеспечение ЭВМ» (ПО ЭВМ) и «Персональные ЭВМ» (ПЭВМ). Предложен курс для подготовки операторов дистанционного управления комплексом. Разработанный программноаппаратный комплекс на основе СТ-модели, внедрен в процесс повышения квалификации персонала ЗАО «Группа Медиа Артс».

На защиту выносятся:

1. СТ-модель представления и контроля знаний.

2. Алгоритм построения дерева понятий.

3. Методика подготовки на основе дерева понятий.

4. Методика аттестации и принципы получения объективной оценки знаний на основе дерева понятий.

5. Аппаратно-программный комплекс информационно-образовательной системы на основе СТ-модели.

Апробация работы. Основные положения диссертации докладывались и обсуждались на Всероссийских межвузовских научно-технических конференциях студентов и аспирантов "Микроэлектроника и информатика-99", международных конференциях "Информационные технологии в открытом образовании", "Качество дистанционного образования: концепции, проблемы", "Математические методы и информационные технологии в экономике, социологии и образовании", "Математика, компьютер, образование", "Компьютерные технологии в науке, производстве, социальных и экономических процессах", "Применение новых технологий в образовании".

Публикации. По материалам диссертации опубликовано девять тезисов докладов и одна статья.

Структура диссертации. Диссертация состоит из введения, пяти глав, заключения, списка литературы и приложения.

4.7. Выводы

1. Проведен выбор аппаратных, программных средств и языка программирования для разработки информационно-образовательной системы на основе СТ-модели. Разработаны основные модули информационно-образовательной системы на основе СТ-модели, позволяющие повысить эффективность функционирования человеко-машинных систем управления.

2. Разработана модель структуризации и хранения данных, с целью повышения эффективности надежности и качества человеко-машинных систем управления.

3. Разработана модель физического уровня информационно-образовательной системы, использующая представление с помощью комплементарных графов; проведена оценка физических параметров среды передачи данных системы.

Глава 5. Опытно-экспериментальное испытание с использованием Concept Tree модели

5.1. Разработка моделей информационного обучения

Рассмотрим, каким образом, по какой модели (схеме) может осуществляться обучение с применением деревьев понятий.

Моделирование - это один из теоретических методов научного исследования, своего рода логика упрощения. Само понятие модели в нашем понимании - это упрощенное, но содержащее существо явления, описание действительности, сделанное с какой-либо целью. Описываемые ниже модели элементов системы информационного обучения (МИО) относятся к моделям описательного порядка [40].

В результате анализа организации информационного образования в отечественных и зарубежных образовательных учреждениях целесообразно, по нашему мнению, выделить пять Моделей (схем, вариантов) организации образовательного процесса использующих деревья понятий. При этом, за основание классификации моделей взяты превалирующие средства доставки и представления учебных материалов (табл. 5.1).

Заключение

В результате работы получены следующие основные выводы:

1. Описаны основные элементы человеко-машинной системы управления. Показано, что повышение функционирования системы управления может быть реализовано за счет улучшения подготовки оператора. Предложена оценка качества человеко-машинной системы управления.

2. На основе проведенного анализа, существующих моделей представления знаний и применяемых методик аттестации и оценки знаний, обоснована необходимость создания модели и методик, позволяющих одновременно учитывать представление и контроль знаний.

3. Проведен расчет эффективности обучающих систем, содержащих информационные ресурсы.

4. Разработана новая СТ-модель представления и оценки знаний, интегрирующая информационные понятия и тесты, обеспечивая заданный уровень подготовки оператора человеко-машинных систем управления.

5. Разработан алгоритм построения дерева понятий, который определяет последовательность этапов для организации оптимальной структуры представления знаний.

6. Разработана методика подготовки на основе дерева понятий, раскрывающая специфику организации обучения.

7. Разработаны методика аттестации и принципы получения оценки знаний на основе дерева понятий, позволяющих проводить объективный контроль достижения требуемого уровня усвоения навыков.

8. Разработан аппаратно-программный комплекс информационно-образовательной системы на основе СТ-модели.

9. Проведено опытно-экспериментальное обучение на основе разработанных модели и методик.

10. Разработанные методики внедрены, проверенны на практике и доказали свою эффективность.

1. Карманов А.В. Актуальные проблемы совершенствования системы военного образования // Военное образование. - 1997. №2.

2. Липский В. Комбинаторика для программистов. М.: Мир, 1998.

3. Нетрадиционные формы и методы обучения и контроля качества знаний. -Саранск, 1994.-219 с.

4. Минский М. Фреймы для представления знаний. М.: Энергия, 1979.

5. Уинстон П.Г. Искусственный интеллект / Пер. с англ. В.Л. Стефанюка; Под ред. Д.А. Поспелова. -М.: Мир, 1980.

6. Искусственный интеллект: Справ. В 3 кн. П Кн.2. Модели и методы / Под ред. Д.А. Поспелова. -М.: Радио и связь, 1990.

7. Сигорский В.П. Математический аппарат инженера. Изд. 2-е, стереотип. - Киев: Техника, 1977.

8. Уэно X., Коямо Т., Окамото Т. Представление и использование знаний: Пер. с яп. / Под ред. Уэно X., Исидзука М. Москва: Мир, 1989.

9. Ausubel, D.P., Novak J.D., Hanesian Н. (1978). Educational Psychology: A Cognitive View (2nd ed.). New York: Holt, Rinehart& Winston. Reprinted, 1986. New York: Warbel & Peck.

10. Canas A.J., Ford K.M., Novak J.D., Hayes P., Reichherzer Т., Suri N. Using Concept Maps with Technology to Enhance Collaborative Learning in Latin America. Accepted for publication, Science Teacher.

11. Ausubel D.P. The Psychology of Meaningful Verbal Learning. New York: Grune and Stratton, 1963.

12. Гмурман В.Е. Теория вероятностей и математическая статистика: Учеб. пособие для втузов. Изд. 5-е, перераб. и доп. М.: Высшая школа, 1977. -479 с.

13. Авдеев Е.В., Еремин А.Т., Норенков И.П., Песков М.И. Системы автоматизированного проектирования в радиоэлектронике: Справочник / Под ред. И.П. Норенкова. М.: Радио и связь, 1986. - 368 е.: ил.

14. Широ Г.Э., Лупин С.А., Желобаев A.J1. Методические указания по выполнению лабораторных работ по курсу «Математическое обеспечение САПР микроэлектронной аппаратуры» / Под ред. Г.Э.Широ. М.: Изд. МИЭТа, 1986.-52 с.

15. Широ Г.Э., Лупин С.А., Желобаев А.Л. Сборник лабораторных работ по курсу «Математическое обеспечение САПР микроэлектронной аппаратуры». М.: Изд. МИЭТа, 1986. - 60 с.

16. Ревякин A.M. Графы, матроиды и их инженерные приложения. Методические указания. -М.: МИЭТ, 1991. 178 е.: ил.

17. Пущин М.Н. Особенности обучения по технологии компьютерной педагогики // Микроэлектроника и информатика 2000. Седьмая всероссийская межвузовская научно-техническая конференция студентов и аспирантов. Тез. докл. - М.: МГИЭТ (ТУ), 2000.

18. Пущин М.Н. Тенденции современных гипертекстовых технологий в образовании // Третья Международная научно-техническая конференция "Электроника и информатика XXI век". Тез. докл. - М.: МГИЭТ (ТУ), 2000.

19. Байдун В.В., Бунин А.И. Средства представления и обработки знаний в системе FRL/PS // Всесоюзная конференция по искусственному интеллекту: Тез. докл., т.1. Минск, 1990.

20. Кирсанов Б.С., Попов Э.В. Отечественные оболочки экспертных систем для больших ЭВМ // Справочник по искусственному интеллекту, т.1. М.: Радио и связь, 1990.

21. Ковригин О.В., Перфильев К.Г. Гибридные средства представления знаний в системе СПЭИС // Всесоюзная конференция по искусственному интеллекту: Тез. докл. т. 2. Переславль-Залесский, 1988.

22. Николов С.А. и др. Анализ состояния и тенденции развития информатики. Проблемы создания экспертных систем / Исследовательский отчет под ред. С.А. Николова. София: Интерпрограмма, 1991.

23. Хейес-Рот и др. Построение экспертные систем / Под ред. Ф. Хейес-Рота, Д. Уотермена, Д. Лената. -М.: Мир, 1987.

24. Цейтин Г.С. Программирование на ассоциативных сетях // ЭВМ в проектировании и производстве. Вып. 2. Л.: Машиностроение, 1985.

25. Шенк Р., Бирнбаум Л., Мей Дж. К интеграции семантики и прагматики. Новое в зарубежной лингвистике: Вып. XXIV. Компьютерная лингвистика. -М.: Прогресс, 1989.

26. Соловьев С.Ю., Соловьева Г.М. Вопросы организации баз знаний в системе ФИАКР // Экспертные системы: состояние и перспективы / Под ред. Д.А. Поспелова. М.: Наука, 1989.

27. Хинчин А.Я. Работы по математической теории массового обслуживания. — М.: Государственное издательство физико-математической литературы, 1963.

28. Давыдов Э.Г. Игры, графы, ресурсы. М.: Радио и связь, 1981.

29. Широ Г.Э. Автоматизация конструирования микроэлектронной аппаратуры. М.: МИЭТ, 1986.

30. Gane С, Sarson Т. Structured System Analysis. Prentice-Hall, 1979.

31. Дейт К. Дж. Введение в системы баз данных. Киев.: Диалектика, 1998.

32. Гилула М.М. Множественная модель данных в информационных системах. -М.: Наука, 1992.

33. Оре О. Теория графов. М.: Наука, 1980.

34. Банди Б. Методы оптимизации. Вводный курс. М.: Радио и связь, 1988.

35. Дунаев С. Доступ к базам данных и техника работы в сети. М.: Диалог-МИФИ, 1999.

36. Месарович М., Такахара Я. Общая теория систем: математические основы. -М.: Мир, 1978.

37. Месарович М., Мако, Такахара Я. Теория многоуровневых иерархических систем. М.: Мир, 1973.

38. Андреев А.А. Дидактические основы дистанционного обучения в высших учебных заведениях: Дисс. . д-ра пед. наук, М., 1999.

39. Андреев А.А., Меркулов В.П., Тараканов Г.В. Современные телекоммуникационные системы в образовании // Педагогическая информатика 1995. № 1.-С. 55-63.

40. Андреев А.А. Применение телекоммуникаций в учебном процессе. В сб. Основы применения информационных технологий в учебном процессе Вузов.-М.: ВУ, 1995.

41. Андреев А.А. Введение в дистанционное обучение. ч.П М.: МЭСИ, 1997. -50 с.

42. Совершенствование подготовки специалистов без отрыва от производства: Сб. науч. трудов. М.: НИИ ВШ, 1986.

43. Концепция создания и развитие системы дистанционного образования в России. М.: Госкомвуз, 1995.

44. Методические вопросы использования телекоммуникаций в образовании: Отчет НИР / ИНИНФО; рук. Григорьев С.Г., 1996.

45. Создание системы информационных ресурсов высшей школы с интерактивным доступом: Отчет о НИР / Центр информатизации образования ВШ; Рук. Иванников А.Д., 1996.

46. Создание эффективных программных, информационных и методических средств для поддержки учебного процесса в различных предметных областях: Отчет о НИР / НИИВО; Рук. Сазонов, 1996. 104 с.

47. Разработка средств дистанционного обучения, компьютерных сетей и баз данных: Отчет о НИР / НИИ Микроэлектроники и информационной измерительной техники; Рук. Моисеев С.Х., 1995.

48. Сетевые технологии в образовании: Отчет о НИР / Инст. проблем информатики РАН / ИЛИ РАН; рук. Федосеев А.А.

49. Кривошеев А.О. Разработка и использование компьютерных обучающих программ // Информационные технологии. 1996. № 2. - С. 14-17.

50. Шамсутдинова И.Г. Теоретические основы высшего заочного образования: Дисс. . д-ра пед. наук, 1993.

51. Гейн Н.А. Содержание и методы дистанционного обучения по информатике: Дисс. . канд. пед. наук, 1994.

52. Калиновский И.В., Мороз В.К. Сравнительных анализ эффективности компьютерных коммуникаций в образовании. М.: ИНИНФО, 1993.

53. Концепция системы интенсивного обучения в вузах. М.: Ассоциация исследователей и разработчиков системы непрерывного интенсивного образования "КАДРЫ", 1992.

54. Пущин М.Н. Компьютерные лекции и эффективность обучения // Международная научно-техническая конференция «Математическиеметоды и информационные технологии в экономике, социологии и образовании»: Сборник материалов. Ч. 2. Пенза, 2001. - С. 117-120.

55. Концепция создания и развития единой системы дистанционного образования в России // Проблемы информатизации ВШ. 1995. - вып. 3.

56. Тихонов А.Н. Стратегия и пути перехода от информатизации образования к информатизации регионов России и общества в целом // Бюллетень "Проблемы информатизации высшей школы". 1995. - вып. 4.

57. Федоров М. От дистанционного обучения к единому образовательному пространству // Международное сотрудничество. - 1996. № 1.

58. Роберт И.В. Современные информационные технологии в образовании. -М.: Школа-Пресе, 1994. С. 205.

59. Воронина Т.П., Кашицин В.П., Молчанова О.П. Образование в эпоху НИТ. -М.: АМО, 1995.

60. Amadco A. Distance education without high costs // Learning and leading with technology, 1995. № 8. vol 22. - P. 12-13.

61. Holmberg B. Status and trends of distance education. L.: Kogan Page, 1981. -P. 200.

62. Holtmerg B. Growth and structure of distance education. L.: Groom Helm, 1986.-P. 163.

63. Keegan D. The foundation of distance education. L.: Groom Helm, 1986. - P. 276.

64. Полякова T.M. и др. Разработка обучающих курсов в среде мультимедиа. // Материалы 2-й и 3-й конференции по ДО. М.: МЭСИ, 1997. - С. 99-107.

65. Агаев В.Т. Методические рекомендации по подготовке материалов для учебных аудио-видеосредств. М.: МИЭП, 1996, - С. 8.

66. Золотарев А.А. и др. Теория и методика систем интенсивного обучения. -М.: МГТУ ГА, 1994. Т. 1-4.

67. Основы военно-педагогических знаний. М.: ВПА, 1989. - 243 с.

68. Трифонов В.В. Учебный процесс и его методическое обеспечение. М.: ВА им. Ф.Э. Дзержинского, 1993. - 262 с.

69. Талызина Н.Ф. Управление процессом усвоения знаний. М.: МГУ, 1984.

70. Архангельский С.И. Учебный процесс в высшей школе. М.: ВШ, 1980. -368 с.

71. Основы военной психологии и педагогики / Под ред. А.В.Барабанщикова. -М.: ВИ, 1981.-358 с.

72. Сборник категорий, понятий и терминов по военной педагогике ВВШ. / Под ред. П.Н. Городова. М., 1990. - 63 с.

73. Бершадский A.M., Кревский И.Г. Дистанционное образование на базе новых ИТ. Пенза, 1997, -55 с.

74. Короткое Э.Н. Современные концепции обучения и их применение в подготовке военных кадров. М: ВПА, 1976.

75. Барабанщиков А.В., Демин В.Г. О закономерностях военно-педагогического процесса. М: ВПА, 1967.

76. Родионов Б.У., Татур А.О. Стандарты и тесты в образовании. М., 1995. -48 с.

77. Подготовка кадров управления. М: РАГС, 1992. - 124 с.

78. Быков А.К. Педагогическая техника военного преподавателя. Курган: Курганское ВАТУ, 1993. - С. 63.

79. Рейтинг в учебном процессе ВУЗА: опыт, проблемы, рекомендации. / Под ред. Синайского А.С. -М: ВУ, 1997.

80. Исследование проблем совершенствования систем подготовки военных специалистов в условиях реформирования ВС (Шифр «Приоритет »): Отчет по НИР. 1996. - С. 37.

81. Максимов B.C. Военная дидактика. // Основы военно-педагогических знаний. М.: ВПА. - С. 63-103.

82. The development of distant education in the Swedish Armed Forces. (19921995). Материалы международной конференции по ДО. М., 1995.

83. Программа подготовки и переподготовки военнослужащих в США SOC (Servicemembers Opportunity Colleges). Материалы международной конференции по ДО. М., 1995.

84. Концепция развития системы военного образования // Ориентир. 1994. №3.

85. Якубайтис Э.А. Информационные сети и системы. М: ФиС, 1996. - С. 365.

86. Никитин А.Б., Синегал B.C., Сороцкий В.А., Цикин И.А. Интерактивные информационные технологии на основе Web-серверов и систем компьютерной видеоконференцсвязи. // ДО. 1998. №1.

87. Хуторской А.В. Эвристическое обучение. М.: МПА, 1998. - 266 с.

88. Исследование эффективности применения средств новых информационных технологий в учебном процессе: Отчет по НИР / Научно-исследовательская группа исследования учебного процесса и НОТ. М.: ВУ, 1995.-43 с.

89. Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения. М: Педагогика, 1998. - С. 192.

90. Берг А.И. Кибернетика и проблемы обучения. М., 1970. - 390 с.

91. Довгяло A.M. Диалог человека и ЭВМ. М., 1992.

92. Загузов Н.И. Технология подготовки и защиты кандидатской диссертации. М.: Педагогика, 1993. - 114 с.

93. Королев М.А. Использование ЭВМ в организации и планировании учебного процесса. М., 1972. - 279 с.

94. Латышев В.Л. Компьютерные технологии обучения. -М.: МАИ, 1992.

95. Талызина Н.Ф. Методика составления обучающих программ. М.: 1980. -47 с.

96. Хакен Г. Информация и самоорганизация: макроскопический подход к сложным системам. М.: Мир, 1991.

97. Межвузовская научная конференция «Эффективность информационных технологий обучения в высшей школе». М.: НИИ ВО, 1994.

98. Психолого-педагогические и психолого-физиологические проблемы компьютерного обучения. М., 1985.

99. Назарова Т.С., Полат Е.С. Средства обучения (Технология создания и использования). М.: УРАО, 1998. - 203 с.

100. Мордвинов В.А. Мобильные информационные PDA-технологии в образовании. Новые информационные технологии в образовании: Аналитические обзоры по основным направлениям развития высшего образования. М.: НИИВО, 1998. - вып. 9. - 56 с.

101. Полат Е.С., Моисеева М.В, Петров А.Е., Бухаркина М.Ю., Аксенов Ю.В., Горбунькова Т.Ф. Дистанционное обучение. М.: ВЛАДОС, 1998. - 192 с.

102. Андреев А.А. Некоторые проблемы информатизации военного образования: Материалы XXIII научно-методической конференции «Военное образование в условиях реформ». ВАА им. М.И. Калинина, 2324 ноября 1993.

103. Волков Ю.Г. Диссертация. Подготовка, защита, оформление: Практическое пособие. М.: Гардарики, 2001. - 160 с.

104. Трифонов Н.И. Моделирование внедрения мобильных информационных технологий в учебный процесс. -М.: МИРЭА, 1998.

105. Старов М.И., Чванова М.С., Вислобокова М.В. Психолого-педагогические проблемы общения при ДО // Дистанционное образование . 1999. №2.

106. Преснухин J1.H., Соломонов J1.A., Четвериков В.Н., Шаньгин В.Ф. Основы теории и проектирования вычислительных приборов и машин управления. -М.: Высшая школа, 1970.

107. Попов Д.И. Способ оценки знаний в дистанционном обучении на основе нечетких отношений // Дистанционное образование. -2000. №6.

108. Система дистанционного обучения «Прометей». Общее описание системы. М: Институт виртуальных технологий в образовании, 2000.

109. Павлов Н., Артемов А., Сидорова Т., Фролов В. Контроль знаний студентов // Высшее образование в России. 2000. №1.

110. Домарев В.В. Безопасность информационных технологий. Методология создания систем защиты. -М: ДиаСофт, 2001.

111. Киселев Д.В. Методика построения корпоративной информационной системы в условиях существующей иерархии: Дисс. . канд. тех. наук. -М., 2000.

112. Растригин JI.A. Вычислительные машины, системы, сети. -М.: Наука, 1982.-224 с.

113. Селетков С.Г. Соискателю ученой степени. 3-е изд., - Ижевск: Изд-во ИжГТУ, 2000.

114. Пущин М.Н. Concept Tree модель представления знаний // Материалы международной научно-технической конференции "Новые методологиипроектирования изделий микроэлектроники". Тез. докл. Владимир, 2002.

115. Novak J.D. The theory underlying concept maps and how to construct them. Cornell University, 2001.

116. Moore M.G., Kearsley G. Listant Education: A System View. Wadsworth Pubishing, 1996.-290 p.

117. Sounder W.E. The effectivenes of traditional versus satelite delivery in management of technology masters degree programs / American Journal of DE., 1993. #7(1).-P. 37-53.

118. Carnot M.J., Dunn В., Canas A.J., Graham P., Muldoon J. Concept Maps vs. Web Pages for Information Searching and Browsing. Manuscript in preparation, 2001.