автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Математические модели управления знаниями в информационных обучающих системах

На правах рукописи

Жуков Дмитрий Олегович

"Математические модели управления знаниями информационных обучающих системах"

Специальность 05.13.10 "Управление в социальных и экономических системах"

(по техническим наукам)

Автореферат диссертации на соискание ученой степени доктора технических наук

Москва 2006

Работа выполнена в:

Московском государственном университете приборостроения и информатики

Научный консультант: доктор философских наук, доктор

экономических наук, кандидат технических наук, профессор, академик Петровской академии наук и искусств Александр Иванович Субетто

Официальные оппоненты: доктор технических наук, профессор

Литвак Борис Григорьевич

доктор технических наук, профессор Валентинов Владимир Валентинович

доктор технических наук, профессор Петрова Ирина Юрьевна

Ведущая организация: Томский государственный университет

систем управления и радиоэлектроники

Защита состоится 3 ноября 2006 г. в 14 часов на заседании диссертационного совета Д 212.132.10 Московского государственного института стали и сплавов (технологический университет) в Исследовательском центре проблем качества подготовки специалистов

по адресу: 105318, Москва, Измайловское шоссе, д.4.

С диссертацией можно ознакомиться в библиотеке Исследовательского центра проблем качества подготовки специалистов Московского государственного института стали и сплавов (технологический университет)

Автореферат разослан 28 сентября 2006 г.

Ученый секретарь /Л н

диссертационного совета Д 212.132.10, I 1 У

ведущий научный сотрудник, к.т.н. I/ /V Моргунов И-Б.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность темы

Актуальность разработки математических и информационных моделей управления знаниями обусловлена, как научными целями расширения теоретических представлений о процессах передачи знаний и обучения, так и практическими целями создания более эффективных обучающих систем, внедрение которых должно способствовать обеспечению необходимого качества образования, что напрямую связанно с поддержкой Российской национальной образовательной доктрины.

В ряде работ авторов Субетто А.И., Селезневой H.A., Майбороды Л .А., Кудрявцева Ю.А. было четко обозначено, что "образование — один из ключевых моментов в стратегии выживания России в начале XXI века, реализации концепции ее устойчивого развития, обеспечения всей системы национальной безопасности. Россия сможет выжить только как «образованная, просвещенная Россия», в которой государство вместе с обществом постоянно несет ответственность за темпы повышения среднего образовательного ценза населения. Образовательная политика является ядром всей системы внутренней политики российского государства". Одним из элементов доктрины образования [Субетто А.И., Селезнева H.A., Майборода JI.A., Кудрявцев Ю.А.] является его доступность независимо от внешних факторов.

Значительная протяженность территории и сосредоточенность ведущих педагогических кадров в крупных городах делает ограниченным доступ широкой аудитории пользователей к традиционным образовательным ресурсам, что вызывает необходимость разработки и использование автоматизированных информационно-обучающих систем (АИОС) и их размещение в сети Интернет. Построение и проектирование АИОС в значительной степени должно ориентироваться на Internet-технологии. В настоящее время число Internet пользователей в России составляет от 7% до 15% в зависимости от региона и по прогнозам специалистов может увеличиться в течение ближайших 5 лет до 25%, что связано с наметившимся экономическим ростом и уменьшением стоимости подключения (за счет увеличения числа пользователей). Использование информационных технологий является одним из приоритетных направлений в управлении учебным процессом и обеспечении качества образования и в этой связи можно упомянуть работы Дьячко А.Г., Дзегеленок И.И., Савельева А .Я. (один из первых, кто начал исследования по использованию АИОС в обучении) и ряда других авторов (например, Елисов Л.К.: Структура и принципы построения автоматизированных обучающих систем).

Поскольку обучение и передача знаний затрагивают различные социальные группы, то процесс управления знаниями необходимо рассматривать, используя методы и модели теории управления и принятия решений в социальных системах, в том числе при нечетких состояниях и в условиях неопределенности (см. работы Рыкова A.C., Б.ГЛитвака и ряда других авторов). Кроме того, при решении задач управления обучением необходимо принимать во внимание, что в данном случае объектом управления является не физический объект, а система человек-компьютер, и это является гораздо более трудной для формализации задачей. Представление знаний в данном случае имеет более широкий смысл, чем просто формализация предметной области, т.е. совокупность декларативных методов, семантических сетей, формальных грамматик и т.д. Представление знаний необходимо рассматривать как совокупность процессов, включающих формализацию знаний, передачу (обучение) их пользователю, усвоение и диагностику (для организации обратных связей).

Предлагаемые в данной работе математические модели информационных процессов обучения и их управления имеют принципиальные отличия от существующих.

Цель исследования

Разработка математических моделей эффективного управления знаниями, позволяющих достигнуть заданного уровня обученности индивидуальных и коллективных пользователей за наименьшее время и число шагов обучения.

Задачи исследования

• разработка методов формализации задач управления процессами усвоения знаний;

• разработка математических и информационных моделей управления процессами усвоения знаний с учетом диагностики знаний;

• разработка методов и алгоритмов управления процессами восприятия знаний и процессами машинного обучения с учетом информационных потребностей коллективных и индивидуальных пользователей;

• разработка эффективных алгоритмов, позволяющих при сохранении надежности полученных результатов уменьшить затраты труда и времени на диагностику знаний, которая необходима для установления обратных связей при управлении процессами усвоения знаний;

• разработка методов и правил построения наиболее эргономичных для данного пользователя графических человеко-машинных интерфейсов, повышающих эффективность управления за счет того, что использование системы становится более удобным;

• разработка программного обеспечения АИОС и экспериментальная проверка на их базе предлагаемых в данной работе математических и информационных моделей процессов управления восприятием знаний, методов работы со знаниями, методов машинного обучения, методов построения наиболее эргономичных для данного пользователя графических интерфейсов и эффективных алгоритмов диагностики знаний.

Объект и предмет исследования

Объектом исследования являются процессы управления восприятием знаний, а предметом исследований разработка эффективных математических и информационных

Рис. 1. Обобщенная схема области исследований, проведенных в данной работе.

моделей управления процессами восприятия знаний на дисциплинарном уровне для отдельных пользователей и их групп, с целью повышения качества образования. На рис.1 представлена обобщенная схема области исследований, которым посвящена данная работа.

Методы исследования

Для реализации намеченных целей и решения задач были использованы следующие научные подходы и методы:

• математическая статистика;

• операционное исчисление;

• теория принятия решений;

• методы системного анализа;

• методы оптимизации.

Научная новизна

• Разработаны методы формализации задач управления процессами восприятия знаний, при которых процессы обучения, рассматриваются как совокупность случайных переходов между соседними состояниями, описывающими изучаемую информационную систему.

• Разработаны математические модели управлепия знаниями, в которых для процессов обучения были получены как гиперболические, так и параболические дифференциальные уравнения П-го порядка, на основе которых были сформулированы и решены краевые задачи (с различными граничными условиями), учитывающие как личностные характеристики пользователей, так и особенности информационных процессов обучения в группе.

• Определено количество учебной информации, передаваемой на одном шаге обучения пользователю или группе (в зависимости от индивидуальных характеристик), для того чтобы работа системы была наиболее эффективной.

• На основе созданных моделей разработаны новые алгоритмы и методы машинного обучения и диагностики знаний, позволяющие при сохранении надежности полученных результатов уменьшить затраты труда и времени на диагностику знаний, которая необходима для установления обратных связей при управлении процессами усвоения знаний и обучение.

• Исследованы некоторые модели человеко-машинного общения. На основе полученных результатов разработаны новые теоретические и практические принципы построения наиболее эргономичных, для данного пользователя графических интерфейсов (созданных с учетом его психофизиологических особенностей), что должно способствовать более эффективному управлению процессом предоставления знаний.

Практическая значимость

Практическая значимость диссертации состоит в том, что использование в учебном процессе АИОС, созданных на основании результатов полученных в работе, приводит к увеличению среднего балл на экзамене по сравнению с контрольными группами примерно на 0,4 — 0,2 балла и уменьшению количества необходимого для обучения времени примерно в 1,5 — 2,0 раза. Автоматизированные компьютерные системы диагностики знаний, работающие по адаптивным алгоритмам, разработанным в диссертации, позволяют при сохранении надежности полученных результатов уменьшить затраты труда и времени на диагностику знаний.

Достоверность полученных в диссертации результатов, выводов и рекомендаций подтверждается результатами практического использования. На основании математических и информационных моделей, полученных в диссертационной работе, было создано несколько прикладных компьютерных программ, внедренных в ряде вузов. В частности были внедрены:

• сетевая система тестирования знаний с элементами искусственного интеллекта;

• сетевой мультимедийный лабораторный практикум по курсу общей физики;

• сетевой мультимедийный лабораторный практикум по аналитической химии "Основы количественного химического анализа";

• Интернет-система обучения, диагностики знаний и психологического тестирования.

В Российском университете дружбы народов (РУДН) на ФПК внедрены компьютерные обучающие программы и системы тестирования знаний.

На разработки, выполненные по результатам диссертации, получено 11 свидетельств о регистрации программ для ЭВМ и 2 свидетельства о регистрации баз данных (выданные РОСПАТЕНТОМ), 8 свидетельств выданных отраслевым фондом алгоритмов и программ Министерства образования РФ (ОФАП).

Практическая значимость полученных в диссертации результатов подтверждается дипломами и наградами, полученными за разработки, выполненные на основе диссертационной работы. Среди наград можно упомянуть дипломы Московского инженерно-технического института (технический университет), золотые и серебреные медали международных выставок.

Начиная с 2002 года, на протяжении ряда лет результаты, полученные в данной диссертации, используются для разработки программного обеспечения, создаваемого в рамках Межвузовской комплексной работы "Инновационные технологии образования" проводимой Федеральным Агентством по образованию РФ.

Основные положения, выносимые на защиту

1. Методы формализации задач управления процессами усвоения знаний, в которых процесс обучения рассматривается как переход между соседними состояниями (величина знаний в

-7"

которых выражается в оценочных единицах-баллах). При величине знаний , предоставляемой объекту обучения на шаге обучения Н, его балл из состояния (к-1) может переходить в состояние к, кроме того, изменение состояния к может осуществляться и за счет перехода к+1~* к, а процесс обучения можно рассматривать как бинарный (двухпоточный) или как многопоточный (четырехлоточный) информационный процесс.

2. Процесс управления знаниями при обучении можно описать как краевую задачу с помощью неоднородных дифференциальных уравнений второго порядка (как гиперболического (для двухпоточного процесса), так и параболического (для четырехпоточного процесса) типа), учитывающих не только процесс "механического" накопления учебной информации объектом обучения в зависимости от числа шагов обучения, но и структуризацию знаний. Суть сформулированных краевых задач заключается в следующем:

X =0

• При индивидуальном обучении: на границе отрезка распределения баллов должно выполняться граничное условие "отражения" (т.е. баллы не могут уменьшаться

X =£

и выходить в область отрицательных значений). На границе отрезка

распределения баллов необходимо, чтобы выполнялось граничное условие "поглощения" (т.к. пользователь, достигший заданный уровень в Ь баллов, заканчивает

обучение). Каждый пользователь, имея начальный балл равный некоторому -*-1 должен после общения с системой, через некоторое число шагов обучения достигнуть уровня обученности в Ь баллов, или в противном случае обучение должно продолжаться.

• Доя модели коллективного обучения (группы) необходимо учитывать, что знания

9 4 =0) „

группы в целом характеризуются функцией распределения . Поэтому,

плотность вероятности получить при тестировании балл равный нулю должна быть равна нулю, а знания некоторых субъектов обучения могут превосходить уровень Ь, но

процесс обучения продолжается, а достижение бесконечно большой величины баллов невозможно (равно нулю).

Полученные решения описывают, как индивидуальную восприимчивость пользователей к обучению, так и особенности процессов обучения группы.

3. Решения сформулированных краевых задач, которые позволяют определить необходимое количество учебной информации, передаваемой на одном шаге обучения объекту обучения (в зависимости от его характеристик), для того чтобы процесс был наиболее эффективным (заданное состояние обученности было бы достигнуто за наименьшее число шагов).

4. Алгоритмы и методы машинного обучения и диагностики знаний, полученные на основе представленных в диссертации математических и информационных моделей управления процессами усвоения знапий.

5. Адаптивная модель диагностики знаний, позволяющая уменьшить число вопросов и затраты времени при тестировании. В представленной модели максимальное число вопросов, которые необходимо задать пользователю для точной оценке его уровня

2-JN неподготовленности, не превосходит (где /V-число уровней трудности вопросов).

6. Новые методы и правила создания более эргономичных графических пользовательских интерфейсов (GUI), созданных с учетом психофизиологических особенностей пользователя и тем самым повышающих эффективность управления знаниями за счет адаптации человеко-машинного взаимодействия.

Апробация работы

Основные результаты диссертационной работы докладывались на:

• Международной конференции "Научная сессия МИФИ-2006", 23-27 января 2006 г., Москва, Россия.

• Международной конференции "Научная сессия МИФИ-2005", 24-28 января 2005 г., Москва, Россия.

• VII Международной научно-практической конференции "Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права", 1-5 октября 2004 г., Сочи, Россия.

• X Международной конференции "Современные технологии обучения СТО-2004", 21-22 апреля 2004 г., С.-Петербург, Россия.

• Международной конференции "Интернет-образование" (Web-Based Education - 2004), 16 — 18 февраля 2004 г., Инсбрук, Австрия.

• Международной конференции "Научная сессия МИФИ-2004", 26-30 января 2004 г., Москва, Россия.

• VI Международной научно-практической конференции "Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права", 6-9 октября 2003 г., Сочи, Россия.

• XI Международной школе - семинаре "Новые информационные технологии", 20-23 мая 2003 г., Судак, Украина.

• IX Международной конференции "Современные технологии обучения СТО-2003", 23 апреля 2003 г., С.-Петербург, Россия.

• Международной конференции "Научная сессия МИФИ-2003", 20-24 января 2003 г., Москва, Россия.

• II Всероссийской научно-технической конференции "Проблемы информатики в образовании, управлении, экономике и технике", 26-27 ноября 2002 г., Пенза, Россия.

• Международной конференции "Научная сессия МИФИ-2002", 21-25 января 2002 г., Москва, Россия.

• Научно-технических семинарах кафедр "Автоматизированные системы обработки информации и управления" и "Вычислительные машины, комплексы, системы и сети" Московского государственного университета приборостроения и информатики.

Структура диссертационной работы

Диссертация состоит из введения, 6 глав с 12 таблицами и 62 иллюстраций (рисунки, графики, схемы, экранные формы и т.д.), заключения, приложения и библиографического списка, состоящего из 201 названия. Общий объем работы составляет 342 страницы.

СОДЕРЖАНИЕ РАБОТЫ Введение

Во введении обсуждены постановка задачи и характеристики решаемой проблемы. Обоснована актуальность и практическая значимость темы диссертации, сформулированы цели исследования и научная новизна.

Глава 1

В главе 1 обсуждаются специфика и свойства такого объекта как знания и модели работы с ним. Формулируются основные цели управления знаниями. Проведен анализ основных задач управления, которые необходимо решить при обучении и создании эффективных автоматизированных информационно-обучающих систем (АИОС), математических моделей представления и управления знаниями, диагностики знаний и моделей графических пользовательских интерфейсов человеко-машинного общения. Сделаны следующие основные выводы:

1. Знаниям в определенной степени присущ некоторый случайный характер. Например, сама величина тестового балла за одно задание при измерении знаний, определяемая на основании экспертной оценки является случайной, поскольку на самом деле принадлежит некоторому нечеткому интервалу. В силу этого:

• Шкала таких оценок имеет относительный, а не абсолютный характер.

• Перекрытие интервалов позволяет говорить о квазинепрерывном распределении баллов на всем отрезке допустимых значений. Знания являются непрерывной величиной, которую можно выражать в условных числовых единицах (баллах).

Расплывчатость границ знания и множественность взаимосвязей между элементами предметной области говорит о том, что нельзя выделить элементарный объем знаний. Кроме того, в силу специфики мышления человека, ему свойственно при определенных условиях, имея некоторый набор связей между элементами знания, находить новые или неизвестные, которые также являются знанием (процесс самообучения).

Все это говорит о том, что процесс обучении можно рассматривать как случайный процесс и описывать его в терминах теории вероятности. Автоматизированные информационно-обучающие системы (АИОС), в силу присутствия человеческого фактора, действие которого имеет психофизическую природу, можно отнести к классу стохастических систем управления, процессы, в которых (при определенных условиях) можно рассматривать как полумарковские процессы (вероятность перехода при которых из одного состояния в другое зависит как от этого состояния, так и от состояния, в которое будет осуществлен следующий переход.

2. При проектировании АИОС и их программной реализации для экспериментальной проверки моделей управления знаниями можно использовать любые формы (процедурная или декларативная) и модели представления знаний (логическая, сетевая и продукционная). Однако они не дают ответ на главный вопрос: как достигнуть заданного критерия обученности за минимальное число шагов? Они также не подходят для создания простой в наполнении учебным материалом, универсальной автоматизированной информационной обучающей системы (АИОС), в которой можно одинаково хорошо осуществлять управление как легко, так и трудно формализуемыми и структурируемыми знаниями.

3. Обеспечение необходимого качества образования требует качественной системы управления знаниями, основанной на постоянном мониторинге, имеющем высокую точность измерений. Такой контроль знаний требует наличия большой базы вопросов и ресурса времени. Решением задачи является адаптивное тестирование. Однако классическая модель не дает ответов на ряд вопросов. Например, какой должна быть величина шага между трудностью вопросов при последовательных правильных ответах? Какова должна быть величина шага трудности для испытуемого, чей уровень подготовленности лежит вблизи максимума уровня трудности вопросов? Можно ли уменьшить число вопросов при адаптивном тестировании? Ответы на эти вопросы позволяют оптимизировать диагностику знаний при сохранении качества получаемой информации и качества управления представлением знаний. Таким образом, для эффективного управления диагностикой знаний необходимо продолжить дальнейшие разработки алгоритмов адаптивного тестирования.

4. При управлении знаниями необходимо решить задачу разработки эффективного человеко-машинного интерфейса для компьютерных средств обучения с учетом личностных психофизиологических качеств обучаемого. Разработка более комфортных для пользователя графических человеко-машинных интерфейсов необходима для более эффективного управления процессом представлением знаний. Поскольку, усвоение знаний пользователем в значительной степени определяется еще и тем насколько ему удобно работать с системой.

Глава 2

В главе 2 разработаны математические модели управления знаниями и процессами обучения пользователя и группы пользователей в целом, позволяющие достигнуть заданного критерия обученности за минимальное число шагов обучения, при использовании как легко, так. и трудно формализуемых и структурируемых знаний. Исследованы различные информационные модели управления работой со знаниями и предложены новые алгоритмы машинного обучения. Показано, что для управления представлением знаний может быть сформулирован и решен ряд краевых задач. Кроме того, разработан. ;- г г-.-этт формализации задач управления при обучении, позволяющий рассматривать информационный процесс обучения как случайный процесс перехода между соседними состояниями, описывающими состояния системы.

Формулировка задачи управления системой обучения и процессом в целом начинается с формализации процесса обучения, а условия управления и характеристики управляющих воздействий должны быть основаны на диагностике знаний и ее объективных критериях. Целенаправленная система управления должна обеспечивать достижение поставленных зада™, относящихся к некоторым классам состояний обучаемых. Для каждого класса состояний в системе должна быть реализована последовательность управляющих воздействий, приводящих к желаемому результату. Все это является первоочередной чядачспоскольку задачи управления базами данных и потоками учебной информации определяются именно моделями, на основе которых работает система, а не аппаратными средствами и сетевыми технологиями.

Управление обучением. При управлении процессом обучения под объектом управления следует понимать множество субъектов обучения (как отдельных пользователей, так и учебных групп). Состояние субъекта обучения может быть описано конечным множеством параметров, а объект управления может подвергаться следующим воздействиям:

• случайные внешние возмущения;

• управляющие воздействия, формируемые модулем управления процессом обучения в

системе и состоящие из обучающего и контролирующего воздействий.

Причем, результат целенаправленного воздействия в определенной степени также является случайным, поскольку связан с человеческим фактором.

Эффективность. При определении показателей эффективности АОС, работающей в условиях воздействия случайных факторов, можно пользоваться понятием вероятности некоторых случайных событий. Такими величинами могут быть, например, вероятности повышения баллов пользователей, характеризующих их знания после проведения обучения.

Математические модели управления представлением знаний в интеллектуальных обучающих системах и комплексах должны позволять управлять процессом обучения таким образом, что пользователь достигает некоторой границы обученности Ь наиболее простым и эффективным способом (минимальное число шагов обучения).

Математические модели представления знаний в автоматизированных обучающих системах Модель бинарного информационного потока при представлении знаний Расплывчатость границ знания и множественность взаимосвязей между элементами предметной области говорит о том, что нельзя выделить элементарный объем знаний. Кроме того, в силу специфики мышления человека, ему свойственно при определенных условиях, имея некоторый набор связей между элементами знания находить новые или неизвестные, которые также являются знанием (процесс самообучения). Величина тестового балла за одно задание при измерении знаний, определяемая на основании экспертной оценки, является случайной, поскольку на самом деле принадлежит некоторому нечеткому интервалу. В силу перекрытия интервалов можно говорить о квазинепрерывном-распределении баллов на всем отрезке допустимых значений. Знания являются непрерывной величиной, которую можно выражать в условных числовых единицах (баллах).

Обучение и управление знаниями в силу присутствия человеческого фактора, действие которого имеет психофизическую природу, можно отнести к классу стохастических процессов, которые (при определенных условиях), можно рассматривать как полумарковские процессы (вероятность перехода при которых из одного состояния в другое зависит как от этого состояния, так и от состояния, в которое будет осуществлен следующий переход. Подобный подход получил фундаментальное обоснование и развитие в работах профессора А.П.Свиридова в которых разработана статистическая динамика знаний. Согласно исследованиям профессора АЛ.Свиридова, интенсивности переходов между состояниями (интенсивности усвоения и забывания) может зависеть от времени и это позволяет получить линейные системы дифференциальных уравнений с коэффициентами зависящими от времени, для которых однако не всегда могут быть получены аналитические решения. Поэтому в данной работе был развит'другой подход. ' , . '

Рассмотрим случайный дискретный процесс передачи знаний, при котором, величина знаний пользователей, характеризуется баллами, принимающими некоторые значения от 0 до N. Будем считать, что при величине знаний - ^ , предоставляемой пользователю на шаге

обучения А, его балл из дискретного состояния к-1 переходит в состояние к, кроме того, изменение состояния к может осуществляться за счет перехода к+1~* к (рис.2).

к-1 к к+1 Рис.2. Схема бинарного информационного потока при представлении знаний

Обозначим через р^ вероятность нахождения в состоянии к-1, после А шагов обучения, через р^ - вероятность нахождения в состоянии 1.

Рассмотрим процесс обучения кейс совокупность процессов происходящих в состояниях к-1, к и к+1.

Вероятность р^ ^ перехода из состояния к-1 в состояние к на (И+1) шаге будет равна = д ■ р^ где - вероятность перехода к-1~* к.

Вероятность р перехода из состояния к+1 в состояние к на (Ь+1) шаге будет равна рк+1 А = <]2'Рк+\ к'ГДС Чг"веРоятностьпереходак+1~* к.

Процесс передачи знаний на (к+1) шаге опишем как сумму процессов: (г>+ , + р )• Вероятности п и а положим равными 1/2, т.е. любой из переходов (вправо или влево) из любого соседнего состояния можно считать равновероятным. Тогда

РьмГЯ

Рк-\,к+Р

А+1.А

(1)

Для описания процесса передачи знаний от интеллектуальной мультимедийной обучающей системы к пользователю введем следующие переменные

Х=к-Е' *=йт> Р** = £ Р(дс,<)

где £ - изменение тестового балла пользователя в результате предоставляемой обучающей системой величины знаний на одном шаге, £ <. у (в идеальном случае надо стремится, чтобы £ было равно , т.к. нет смысла выдавать на одном шаге информации больше, чем может быть усвоено пользователем). Из уравнения (1) находим

р (л:,/ + г) = <7 [/? (*-£,/) + р (* + £,о] (2)

Разложим р(х,г + т), р (х-£,1) и р (х + е,1)в ряд и, ограничиваясь членами,

содержащим не более чем вторую производную по X и по получим дифференциальное уравнение И-порядка гиперболического типа

д р (».о | Г дгр (*.') Е1 Зр (*■')

вt + 2 Э*2 ~ 2-г ах

Полученное уравнение описывает математическую модель представления знаний и процессов их передачи от системы к пользователю. Данное уравнение может быть интерпретировано следующим образом:

д Р (*•')

1) член уравнения —_- описывает процесс "механического" накопления учебной

дг

информации пользователем в зависимости от числа шагов обучения; г д Р (*>')

2) член уравнения ^ ^ описывает процесс, при котором полученные знания

2 д г

структурируются и сами становятся источником новой учебной информации;

3) член уравнения £ д Р (*■*) описывает процесс усвоения информации в целом.

2-Г д X

При описании информационного процесса обучения, необходимо определить, при какой величине учебной информации ( Г ), предоставляемой системой и изменении тестового балла £ , работа обучающей системы является наиболее эффективной (минимальное число

шагов обучения) и каково необходимое число шагов обучения ^ для достижения результата.

Каждый пользователь, имея начальный балл равный некоторому ^, должен после

общения с системой достигнуть уровня обученности в Ь баллов. Сформулируем краевую

задачу. Потребуем, чтобы на границе отрезка распределения баллов д; =0 выполнялось

граничное условие "отражения" (т.е. баллы не могут выходить в область отрицательных значений)

<1 р (*•'). . , ----= 0 (а)

а х 1 *-«

На границе д» отрезка распределения баллов потребуем, чтобы выполнялось

граничное условие "поглощения" (т.к. пользователь, достигший заданный уровень в Ь баллов заканчивает обучение)

р с*,о| ^=0 (Ь)

Для решения поставленной задачи воспользуемся методом функций Грина, т.е. найдем решение для точечного источника находящегося в точке ^ .

д С (*.') д1 <7 <*.0 _ ^ Зв (*.0 д1 дх

где (у (х,1) - функция точечного источника (функция Грина),

г И п

Г° 2 ° 2-т

с начальным условием (с)

(4)

, при х^х^

Проделав необходимые вычисления, получим выражение для @ (х\'Н <Б )» котоРое определяет вероятность того, что после цикла работы обучающей системы для пользователя имеющего исходный балл % , уровень обученности в баллов достигнут не будет.

Соответственно, вероятность достижения желаемого результата р (,Х\'И >£г) будет равна (5) Р Осрй >£ ) = 1 -в ОГ|.Й .£• )"

сое

■1 -Ь-4

Е ■

л -1

( . Л \

Х\ 1

--К ■ п +-

и 1 2 J У

ей

^I СО (е >)+

з/г (/г со (е ) со (е )

1-6

(5)

Количество информации, характеризующее информационный процесс обучения

Описание процесса обучения, в терминах теории вероятностей, позволяет ввести понятие количества информации - ^ , характеризующей процесс обучения. В качестве

исходного понятия для определения количества информации можно использовать функцию Сг (х,>Л .£• )• Функции (} (Х|,/2 ,£■ ) И // связаны формулой Шеннона

N

Н (*!■£: ) = -Х С (лгрЛ .еИсщ С (лг^/г •£ >

А

Суммирование по Ь определяется тем, что при экспериментально определенном тестовом балле д» и фиксированной величине (которую необходимо определить для

данного ^ ) количество шагов обучения Ь определяет информационную энтропию процесса, при достижения уровня обученности Ь. На рис.3 представлено 3-х мерное изображение зависимости Ц (х,.£- ) отд, и £ для £ =70.

Для выбора оптимальной стратегии обучения необходимо провести анализ предлагаемой математической модели.

Информационны ■етропвя

/ С. юмекеккс-----гв:

:< баял*

Рис.3. 3-х мерное изображение зависимости (д^, £ ) от д^ и £

При работе системы с пользователем, имеющим тестовый балл , особый интерес представляет определение величины и числа шагов обучения Ь. Величина £ определяет величину . Если выполнить условие % ~ Е (количество предлагаемой учебной

информации равно количеству информации, которая может быть усвоена пользователем), то процесс обучения будет наиболее эффективным. На рис. 4 представлена зависимость Н (Х\'£ -Ь ) от £ ДЛЯ -¿=70 (кривая 1 построена для д;, = 20, кривая 2 для д^ = 30, кривая 3 для % = 40, кривая 4 для д;, =50, кривая 5 для д^ = 60).

При выборе для данного д-1 можно потребовать выполнение условия: £ -где ¿■Дд:,) - величина £ , после которой, информационная энтропия процесса обучения

начинает уменьшаться (нижняя граница £ для данного д^), а максимальное значение £Гтах

определяется индивидуальными способностями обучаемого. При эффективной работы системы необходимо, чтобы 2: ■

Рис.4. Зависимость информационной энтропии для различных тр , от величины изменения

тестового балла £

Определение числа шагов обучения

Пусть для того, чтобы считаться успешно прошедшим обучение пользователь должен набрать 70 баллов =70) (условие получения зачета или незачета). На предварительном

(перед обучением) тестировании истинный балл испытуемого составил д;] = (50 . На рисунке 5

Рис.5. Зависимость р (х><Н '£ ) вероятности достижения желаемого результата после определенного числа шагов обучения для ^ = (30

представлена зависимость р (х\>Н >Е) вероятности достижения желаемого результата (сдачи зачета) после определенного числа шагов обучения. Кривая 1 построена для £ =1, а кривые 2,3,4,5 соответственно для £ равного 2,5,10 и 20. В соответствии с данными, представленными на рис.4 для эффективной работы обучающей системы с этим пользователем (^ = 50 ) £ >Ъ, что согласуется с данными, представленными на рис. 5.

Сравнение результатов для пользователей с различными начальными показывает, что при одинаковых £ для обучения изначально более слабо подготовленного учащегося (меньшее из

двух х) требуется большее число шагов работы системы, чем при обучении хорошо подготовленного. Данный результат является достаточно очевидным и не противоречит экспериментальным данным.

Основываясь на предложенной модели представления знаний и процессов их передачи для работы АИОС, можно использовать следующий алгоритм:

1. Вся учебная информация в системе разделяется на элементы размером в один тестовый балл, система проводит вводное тестирование по случайной выборке вопросов и определяет балл пользователя^, на основании которого определяет величину Хтеор = £\ (х,) (количество учебной информации на одном шаге обучения для данного пользователя). В данном случае у является нижней границей.

2. Система самостоятельно выбирает величину учебной информации, равную 1 - х,, и проводит обучение (в данном случае у » £ ).

3. Система проводит второе тестирование и определяет балл обучаемого х[ и величину, £ равную £ ~Х\~Х\ (после чего автоматически определяет количество учебной

информации у на одном шаге: £1(х^)-Т -х[~X.)■ Затем по уравнению (5) находим необходимое число шагов при заданной вероятности, например 0,8 — 0,9. Если условие £,(х1)-Т - Х1_ Х1 не выполняется, то обучение надо проводить по групповой модели.

4. Система осуществляет несколько шагов обучения, проводит третье тестирование и определяет балл обучаемого х[< затем находит £ ~х" ~х[ (после чего определяет количество учебной информации на одном шаге равным £ и уточняет необходимое

число шагов работы при заданной вероятности).

5. Система выполняет определенное число шагов обучения и проводит следующее тестирование и т.д., до тех пор пока уровень обученности не будет достигнут,

или обучение будет принудительно прервано системой после определенного числа шагов.

По мере накопления статистики работы, система самообучается. При анализе результатов работы из базы данных выбираются все пользователи с одинаковыми х, ИХ] >а затем для них проводится проверка условия: лежит ли число шагов обучения в интервале допустимой статистической погрешности.

Математическая модель бинарного информационного потока при коллективном обучении Для работы системы с группой пользователей можно использовать следующую модель: в качестве исходного уравнения возьмем уравнение (3), а знания в группе характеризуются некоторой функцией распределения (р =0)- Поскольку распределение баллов при

входном тестировании близко по форме к Гауссову, с максимумами, находящимися в различных областях, то в качестве <^?(х,0) можно выбрать:

<р 0,0)

2а -\J2tv

('-"У

■е 2ст! '

где а-положение максимума распределения баллов на входном тестировании (математическое ожидание); а - дисперсия их распределения.

Экспериментально установлено, что доля пользователей ничему не обучающихся в процессе работы, для большой группы стремится к 0. Поэтому для модели коллективного учебного процесса потребуем, чтобы на границе д; =0 отрезка распределения баллов выполнялось условие

£>(*><) =0 ^ 1 дс-0

(а)

т.е. любой пользователь в процессе работы системы обязательно обучается.

В качестве второго краевого условия нужно потребовать, чтобы

р (*,0| =0 00

' I *-0О

т.к. в процессе обучения группы возможна ситуация, когда знания некоторых пользователей превосходят уровень Ь, но процесс продолжается. Однако достижение ими бесконечно большой величины баллов не возможно.

Использование операционного метода позволяет получить для функции распределения у/ (,Х1> к ) тестовых баллов обучаемых по Х\ от нуля до некоторого числа £ (выражение 6).

/Ц&гу^РСс-О)

о

(г,У

[у № ¿^ 1 1 п^пгт <1х+

п-0ПГП\

п-ои!п! йх~

[у (кУ (ГзУ

2" 1 1 2£ОП\<П+Ш

[у (КзГ " и-0 П\'П\ йх

<1х+

йх~

где:

У г-

х—XI

2е

2е )

и^х-'.'-х.У-и 1

А-

XI-х

0, при

1, при А >

е

и2 (Ь.*.*.х,) = и г

из (А.*.*.*,) = 1/з

А-

0, ирм А<

1, при А >

0, при

1, при А >

х-х\ £

Х-XI £

Х\+Х £

х\-х

(6)

<5, (*.*.*.*,)-

0, при А *

1, при А =

¿3 (А. = •

0, при Нф

1, при Ъ~

х\-х £

х\-х £

х\ —х £

Х\—Х

д2 <*,*,*,*,> =

0, при А ф

1, при А =

£

Х~Х1

При больших значениях ¿^ функция распределения быстро стремится к 0, поэтому при вычислении интеграла в формуле (6) £ можно положить равным конечному числу.

Наиболее интересным для работы системы является изменение доли (К) пользователей, имеющих балл выше уровня обученности Ь, в зависимости от числа шагов обучения И (рис. 6)

7 РЕ

для /,=70, Я=45 и (7=12 , при фиксированных значениях (кривая 1 для =2, кривая 2 для

р Р р

= 5, кривая 3 для =10, кривая 4 для =20).

М(Ь),

ДОЛЯ 1

пользователей. Имеющих Сади выше критерия оа обученное» I,

Рис.6. Зависимость доли пользователей, имеющих балл выше критерия обученности Ь от числа

шагов обучения

Представленные данные не только показывают, как изменяется доля участников, перешедших в процессе обучения порог в Ь баллов, но и позволяют прогнозировать процесс обучения и работу всей системы. Как видно из рисунка 6 (кривая 4) после 7 шага обучения доля пользователей, перешедших порог в Ь баллов, перестает изменяться (для выборки с данными исходными характеристиками). И процесс обучения должен быть принудительно остановлен, т.к. дальнейшая работа системы будет не эффективной.

Для данной группы пользователей ^<0,42 . для других групп пользователей (с

другими начальными О, О, £ и т.д.) ^ будет иметь другое значение (которое предварительно

рассчитывается системой). Исходя из значения , обучающая система определяет число

шагов обучения. С увеличением О доля пользователей, способных достигнуть уровень обученности Ъ, увеличивается.

В данном случае для работы ЛИОС может быть использован следующий алгоритм:

1. Вся учебная информация в системе разделена на элементы размером в один тестовый балл, система проводит вводное тестирование по случайной выборке вопросов и

определяет характеристики данной группы пользователя (Я - средний балл, О -дисперсия баллов).

2. Система самостоятельно выбирает величину учебной информации (с учетом ответов испытуемых по разным темам), равную X ~ ~ О. ' 11 проводит первый шаг

обучения (в данном случае у » £ ).

3. Система проводит второе тестирование и определяет средний балл группы и

величину £ равную £ = а ~ а (после чего система автоматически, с учетом

ответов на втором тестировании, определяет количество учебной информации на одном шаге, равном £ (в данной модели £ =•£-), а затем находит необходимое

число шагов работы, при заданной величине уровня обученности Ь.

4. Система выполняет определенное число шагов обучения и проводит итоговое тестирование.

Модель многопоточного информационного процесса представления знаний в обучающей системе

Рассмотрим случайный дискретный процесс передачи знаний, показанный на рисунке 7. Будем считать, что при величине знаний ^ , предоставляемой пользователю на шаге обучения

И, его балл из дискретного состояния к, может переходить как в состояние к+1, так и в состояние к-1 (рис.7). Процесс перехода к-* к+1 следует трактовать как обучение, а процесс к~* к-1 как процесс потери ранее полученной учебной информации из-за дезориентации и нарушения связей между фрагментами учебного курса.

Применяя к данной модели подход, изложенный ранее, процесс передачи знаний на

(71+1) шаге опишем как разность: (р\ . г+р ) и ¡,+р )• Первый процесс

* * к, к

определяет увеличение количества учебной информации в состоянии к, а второй процесс -

уменьшение информации. Вероятности <7|' (72' и С[Л положим равными 1/2, т.е. любой из

Ч3"

к-1 к к+1

Рис.7. Схема многопоточного процесса получения знаний от обучающей системы

переходов (вправо или влево) из любого соседнего состояния можно считать равновероятным. Проделав необходимые рассуждения и математические вычисления для плотности вероятности р (х,1), получим дифференциальное уравнение П-го порядка параболического типа

Сформулируем для информационного процесса обучения краевую задачу. Потребуем, чтобы на границе отрезка распределения баллов д; =0 выполнялось граничное условие "отражения" (т.е. баллы не могут уменьшаться и выходить в область отрицательных значений). й р (*•').

= 0

(а)

й X 1

При х =£, потребуем, чтобы выполнялось граничное условие "поглощения" (т.к. пользователь, достигший заданный уровень в £, баллов заканчивает обучение)

Р Н ^ = ° <Ь)

После решения поставленной задачи для вероятности (хуН 'В ) того> 4X0 после цикла работы обучающего комплекса для пользователя, имеющего исходный балл д» • уровень обученности в £ баллов достигнут не будет, получим уравнение (7).

ЯГ Е »"'

71 "=1

п+-

-е

1

п+— 2

е2 7 1 2 2

~е

212-"<а+1>

(7)

Функцию (х^И •£ )»можно использовать для введения информационной энтропии

N

Н (Хр£ ) = -£ О <Х,.Й •£ >-1о§ в (х,>Ь '£ )

А =1

На рис.8 представлено 3-х мерное изображение зависимости (Х\*Б ^ от Х\ и £

для =70.

Соответственно вероятность достижения желаемого результата будет равна

РСгг/г >£•)=!-СОсг/г.гт)-

Рис.8. 3-х мерчзе изображение зависимости // (д;,, £ ) от ^ и £

Индивидуальное обучение. На рис.9 представлена зависимость // , £ ) от % для уровня обученности Ь[=50 (кривая 1 построена для £ = 3, кривая 2 для £ - 4, кривая 3 для £ = 5, кривая 4 для £ = б, кривая 5 для £ = 7).

Как видно из рис.9, при заданном уровне 1,1=50 баллов, функция £{ (д;,, £ ) имеет минимум при ^ = 33 — 36 баллов, при £ »7 минимум исчезает. Таким образом, для пользователя, уровень обученности которого в данный момент составляет ^, и 35, можно определить верхнюю границу количества учебной информации, передаваемую системой на одном шаге обучения -р = £ * 7, для того чтобы он достиг обученности в 50 баллов.

Нижняя граница определяется его способностью к ее усвоению. На рис.10 представлена зависимость вероятности достижения желаемого результата р (х\'Н >£) (в данном случае

границы в 50 баллов) от числа шагов обучения И.

Выбрав приемлемую величину р (хуН • £ )» например, равную 0,6-0,8, можно

определить число шагов обучения Л=6-10, после которого может быть достигнут уровень обученности Х|=50 баллов. Если условием окончания обучения является достижения уровня обученности /,2=70 баллов, то обучение необходимо продолжить.

Рис.9. Зависимость информационной энтропии от тестового балла % для достижения критерия

обученности 1^=5 О

Предлагаемая модель показывает, что с ростом обученности верхняя граница количества учебной информации, передаваемой системой на одном шаге обучения, должна увеличиваться, подтверждая тем самым, что чем выше уровень подготовки, тем большее количество учебной информации может быть усвоено пользователем единовременно.

Р(х,Ь,е),

вероятность 1 достутжо-ия желаемого результата 01

о< о«

02

о 5 ю 1> аз а эо

И, число шагов

Рис.10. Зависимость р (хгН *£ ) вероятности достижения желаемого результата после определенного числа шагов обучения Ь, для ^ = 35

Алгоритм работы обучающей системы в данном случае должен быть следующим: 1. Обучающая система проводит входное тестирование и определяет текущее значение Х|, уровень обученности который может быть достигнут, исходя из наличия минимума у функции // )* А также верхнюю границу количества учебной информации,

передаваемой системой на одном шаге обучения <£ , и приемлемое число шагов обучения И\.

2. Система проводит обучение и осуществляет промежуточное тестирование, по результатам которого определяется достигнутый уровень обученности • Затем определяется величина количества учебной информации, передаваемой системой на одном шаге обучения ^ - ¿ч _

3. Исходя из достигнутого уровня обученности ^ определяется приемлемое число шагов обучения Ьд и уровень обученности £ , который может быть достигнут исходя из наличия минимума у функции ц (Х\'£ ) ПРИ заданном количестве учебной

информации, передаваемой системой на одном шаге обучения ^.

4. Далее процесс повторяется до тех пор, пока не будет достигнут критерий окончания обучения.

Коллективное обучение. Когда система имеет дело с группой обучаемых, то их знания в целом (как группы) характеризуются некоторой функцией распределения. Экспериментально установлено, что доля пользователей ничему не обучающихся в процессе работы, при статистически большой выборке стремится к 0. Для модели коллективного учебного процесса потребуем, как и раньше, чтобы на границе =0 отрезка распределения баллов выполнялось условие

р (*.о|

х-0

= 0

(а)

В качестве второго краевого условия, как и ранее, потребуем, чтобы р (*,о| =0 (Ь)

X "00

Использование операционного метода позволяет получить функцию распределения у/ (х1>5 ) тестовых баллов обучаемых по Х\ от нуля до некоторого числа после цикла

работы системы

У 0с,.5>=ехр

2л-1

{ехр

/ехр о

(х-яУг

2 £■(

(р(рф) (¡X - /схр

(у+ЛДУТ

2 е И

9<х,0) с1х ~ ]ехр

(*ЬаУ

2еЧ

2ег (ГШсЬс

ФФ) ¿с

При больших значениях £ функция распределения быстро стремится к 0, поэтому при вычислении соответствующих интегралов можно положить равным конечному числу. В качестве возьмем распределение Гаусса

1

<р(х, 0) =

2ау[2л

~е 2а

где а - положение максимума распределения баллов на входном тестировании (математическое ожидание), О — дисперсия их распределения. На рис.11 показано изменение доли (М) пользователей имеющих балл выше уровня обученности Ь, в зависимости от числа шагов

обучения И для /.=70, £1=45 и (7= 12, при различных фиксированных значениях £ (кривая 1 для £ = 6, кривая 2 для = 10, кривая 3 для £ = 15, кривая 4 для =20, кривая 5 для £ =30).

N0.),

Даш

пшиаигап^ юмммдасОип ■иле критерия овучмиосм Ь

Ь, число вигов

Рис. 11. Зависимость доли пользователей, имеющих балл выше критерия обученности Ь от числа шагов обучения, для ¿=70, <3=45 и <7=12

Представленные данные не только показывают, как изменяется доля участников перешедших в процессе обучения порог в Ь баллов, но и позволяют прогнозировать процесс обучения и работу всей системы. Наиболее наглядно это заметно на кривой 5. Как видно из рисунка 11 (кривая 4) после 14-16 шага обучения доля пользователей, перешедших порог в Ь , баллов практически перестает изменяться (для выборки с данными исходными характеристиками). И процесс обучения должен быть принудительно остановлен, т.к. дальнейшая работа системы будет не эффективной. Для группы пользователей с £ =30

^<0,75 . Исходя из значения % , обучающая система определяет число шагов обучения.

Изменение величины О не приводит, при сохранении величин остальных параметров, к изменению вида зависимости доли пользователей, способных достигнуть критерий Ь. (максимальная доля остается без изменения).

Изменение величины а также практически не изменяет максимальной доли пользователей, способных достигнуть уровень обученности Ь. Однако увеличение а, уменьшает число шагов обучения, при достижении определенной доли пользователей, чей балл превышает уровень Ь. По величине £ , можно определить какая доля пользователей из данной

группы может достигнуть заданный уровень Ь.

Данные модели нашли практическое подтверждение в созданных по результатам диссертации мультимедийных обучающих комплексах по физике, химии, русскому языку.

Глава 3

В главе 3 обсуждаются вопросы, как диагностика знаний связана с управлением знаниями и качеством образования. Обсуждается предлагаемый алгоритм оптимального адаптивного тестирования, при котором максимальное число вопросов, которые необходимо задать пользователю для точной оценке его уровня подготовленности составляет 2-\/N (где

N-число уровней трудности вопросов в базе тестирования), что обеспечивает уменьшение затрат времени при сохранении необходимого качества управления представлением знаний. Кроме того, в этой главе представлены результаты экспериментальной проверки эффективности разработанного алгоритма адаптивного тестирования и их сравнение с результатами линейного тестирования, подтверждающие предлагаемую модель.

Одной из основных задач управления представлением знаний является обеспечение • необходимого качества образования, которое, в свою очередь, требует качественного управления, основанного на точной диагностике знаний.

Выявление реального уровня знаний является кропотливой и трудоемкой работой, т.к. для оценки подготовленности обучаемого необходимо задать не один-два вопроса, а десятки и сотни. Без использования компьютеров это не представляется возможным, но даже при использовании автоматизированных информационно-обучающих систем возникают определенные проблемы, главная из которых - это ограниченность времени обучения, определенная доля которого должна быть потрачена на текущий контроль знаний. Можно сформулировать следующую задачу: обеспечение необходимого качества обучения требует адекватного управления представлением знаний, основанного на постоянной и точной диагностике, но текущий контроль знаний требует необходимости задавать большое количество вопросов и времени, которого может не хватить на само обучение.

К сожалению, существующие модели адаптивного тестирования или близкие к нему подходы не дают ответы на ряд вопросов. Например, какой должна быть величина шага между трудностью вопросов при последовательных правильных ответах? Или какова должна быть величина шага трудности для испытуемого, чей уровень подготовленности лежит вблизи максимума уровня трудности вопросов? Можно ли минимизировать число вопросов при адаптивном тестировании?

Если адаптивное тестирование проводится с использованием шкалы, имеющей много значений уровней трудности заданий § , на каждом из которых может быть несколько

вопросов одного уровня, возникает задача уменьшения числа вопросов. Например, можно начать с вопроса имеющего самую маленькую трудность и подниматься по шкале с шагом через 10 вопросов. Однако, если число уровней трудности составляет несколько сотен или тысяча, то возникает вопрос, какой шаг трудности необходимо выбрать, чтобы провести тестирование с использованием минимального числа вопросов, но с достаточной точностью?

Пусть имеется N-уровней трудности вопросов (число вопросов на каждом уровне имеет

N

значение только для уточнения уровня знаний). Разобьем N-уровней на X отрезков по--

X

уровней трудности вопросов на каждом (с округлением до целого).

Проведем верхнюю оценку минимального числа вопросов, которое потребуется для определения уровня знаний условного пользователя. Самое большое количество вопросов (при старте с самого нижнего уровня) должно быть задано пользователю, подготовленность которого находится вблизи самого большого уровня трудности вопросов (на последнем отрезке). Для того чтобы дойти до последнего отрезка, потребуется задать Х-вопросов (по

числу отрезков) и не более чем - вопросов, чтобы уточнить его уровень на последнем

X

отрезке. Таким образом, функция f(x) - числа вопросов будет иметь вид:

/у л W

Простые математические вычисления показывают, что данная функция имеет минимум ПРИ Х—л]N 'а минимальное число вопросов будет не более чем 2-%/jV •

На рис.12 представлена графическая схема алгоритма уточнения уровня подготовленности пользователя после первого неверного ответа (точка А), % - отрезок номер к, Хк+\' отрезок

номер к+1. Сплошными стрелками указаны переходы после правильных ответов, пунктирными - при ошибочных. В целом алгоритм уточнения уровня подготовленности точно такой же, как алгоритм классического адаптивного тестирования.

увеличение трудности

Рис. 12. Графическая схема алгоритма уточнения уровня подготовленности пользователя

Оценка знаний пользователей может быть проведена на основании уровней их подготовленности 01, полученных из максимальных уровней трудности заданий , на которые они ответили. Для этого необходимо провести следующие процедуры:

1. Трудность заданий для адаптивного тестирования должна быть определена заранее, например, на основе модели Раша.

2. Первичный набранный балл испытуемого с уровнем подготовленности 01 равен /(, который определяется номером (от 1 до К) последнего правильно выполненного ¡-го задания в упорядоченной по возрастанию трудности последовательности тестовых заданий.

3. Расчет уровня подготовленности испытуемого 0 осуществляется приравниванием математических ожиданий баллов самим баллам 1} при известных трудностях

К |

заданий £ т.е. --=/,

>11 + ехр(£,-#)

Расчет окончательного тестового балла пользователя может осуществляться, например линейным преобразованием 0. на метрическую 100 бальную шкалу.

Экспериментальная проверка показала, что оптимизированная модель адаптивного тестирования позволяет получить не менее надежную оценку уровня знаний, чем линейное тестирование, но при этом происходит значительное сокращение необходимого числа заданных вопросов не только по сравнению с линейным тестированием, но и классической моделью адаптивного тестирования. Все это приводит к экономии необходимых при тестировании времени, трудозатрат и аппаратных компьютерных ресурсов.

Глава 4

Разработка более комфортных для пользователей графических человеко-машинных интерфейсов необходима для более эффективного управления процессом представлением знаний. Поскольку усвоение знаний пользователем в значительной степени определяется еще и тем, насколько ему удобно работать с системой. Особенностью предлагаемого в диссертации подхода к разработке графических интерфейсов пользователя является возможность создания различных графических человеко-машинных интерфейсов самим пользователем, а также возможность адаптации интерфейса системой под профиль пользователя.

В АИОС должны быть встроены инструменты управления, позволяющие пользователю изменять графический интерфейс, исходя из собственных представлений об удобстве работы. Для этого предусмотрена возможность выбора подходящего интерфейса из существующих

шаблонов. Пользователь имеет возможность добавлять новые или удалять ненужные элементы управления, составляя при этом собственные наборы элементов управления. Кроме того, должна быть возможность выбора дизайна интерфейса и изменение расположения мепю и элементов управления (программная реализация такой системы будет описана в главе 6).

С помощью встроенных в АИОС средств должно быть возможно изменение и оптимизация под конкретного пользователя элементов управления в графическом интерфейсе системы обучения. Для этого необходимо изучить психофизиологические особенности восприятия данным пользователем графической информации. В диссертации для этого был разработан следующий подход. Для того чтобы определить, как должны быть расположены элементы управления (кнопки, линейки прокрутки, панели инструментов и т.д.) для данного пользователя, он должен пройти специальный психофизиологический тест, созданный в игровой форме и встроенный в оболочку обучающей системы. Игровая форма необходима для того, чтобы пользователь не догадывался, что проводится психофизиологический эксперимент, и мог проявить на подсознательном уровне свои индивидуальные особенности визуального восприятия информации и работы с графическим интерфейсом.

После запуска теста в полноэкранном режиме появляется рисунок, причем пользователь подозревает, что поле экрана разделено на квадраты размером 100 на 100 пикселей (стандартный размер кнопки составляет 25 на 75 пикселей). В каждом из квадратов случайным образом, поочередно появляется игровой персонаж (например, "зверек", "колобок", "птичка" и т.п.), имеющий элементы мультипликации. Графическое изображение игрового персонажа по цветовым и яркостным характеристикам схоже с игровым полем (рисунком на экране). Спустя некоторое, время персонаж исчезает с экрана. Задачей пользователя является поймать игровой персонаж в данном поле и переместить его, с помощью манипулятора "мышь" в корзину, находящуюся в центре экрана, после чего в другом квадрате появляется новый персонаж. Далее пользователь повторяет свои действия по поимке персонажа и т.д. Следует специально отметить, что указатель манипулятора "мышь" при появлении нового персонажа находится в центре экрана, куда он был позиционирован пользователем при перемещении предыдущего игрового персонажа в корзину.

Сущность самого психофизиологического теста заключается в следующем:

1. Все квадраты, расположенные по краям экрана, имеют номерау от 1 до Ы;

2. Система фиксирует время появления персонажа в квадрате с номером}\

3. Система фиксирует время поимки игрового персонажа в квадрате с номером

4. Для каждого из квадратов с номером _/ вычисляется время Д^. = /2уи для

нескольких появлений персонажа (к - раз) определяется величина А/ ^ = — •

Величина А^ характеризует время отклика пользователя на появление игрового

персонажа и может, в качестве комплексного параметра характеризовать какие из находящихся по краям экрана квадратов (справа, слева, сверху, снизу) являются для данного пользователя наиболее удобными для доступа и акцентируют его внимание в первую очередь. Очевидно, что элементы управления должны размещаться в наиболее привлекательных квадратах и секторах экрана. В данном случае критерием выбора являются наименьшие значения величины Д (.

По завершении теста обучающая система на основании полученных результатов предлагает пользователю свой вариант расположения элементов управления. Кроме того, система отслеживает наиболее и наименее часто используемые элементы управления.

Разработанная методика позволяет получить результаты, усредненные по некоторой выборке пользователей. Исследования показали, что среднее время отклика для опытных и не очень опытных пользователей практически одинаково на любом из 2-х уровней

*

психофизиологического теста. Кроме того, независимо от опыта работы четко прослеживаются две области с минимальными временами отклика (соответствующие центрам правого и левого краев экрана) и две области с максимальными временами отклика.

Полученные результаты свидетельствуют о необходимости создания графического интерфейса в любой системе человеко-машинного общения под индивидуального пользователя и включении подобных инструментов психофизиологических исследований в оболочку АИОС.

Для описания работы пользователя с системой можно использовать понятие маршрут выполнения операции: последовательности воздействий на элементы управления, приводящий к выполнению данной операции. Например, в редакторе Word операцией будет являться, например, вставка символа, а маршрутом ее выполнения будет последовательность: выбор раздела "Вставка" главное меню, выбор пункта "Символ" в выпадающем списке, выбор требуемого символа в дополнительном окне. Узлами маршрута являются элементы управления. Графическим представлением маршрута является последовательность узлов, в которой есть направленные связи-воздействия пользователей с затраченными интервалами времени. Вес каждого узла маршрута определяется числом повторений соответствующей операции. Сами узлы маршрутов различных операций могут совпадать. Суммарные веса элементов интерфейса, соответствующих вершинам графа, получаются путем объединения всех маршрутов выполнения различных операций. Дугам соответствует воздействие пользователя на элемент интерфейса. На представленной ниже схеме показана структура одного из возможных графов.

В данном случае возможна следующая оптимизация взаимодействия пользователей с вычислительными инструментами. На основании статистики, полученной при работе большого числа тестировщиков, может быть выбран минимальный набор элементов управления, который чаще всего используется большинством пользователей, с объединением элементов в группы по критерию частоты связей между собой. Остальные элементы будут доступны через настройки панелей инструментов.

Общая модель взаимодействия пользователя с системой может иметь следующий вид:

1. Система предлагает графический интерфейс, оптимизированный с учетом статистических данных полученных для большого числа тестировщиков.

2. Пользователь имеет возможность вручную изменить настройку интерфейса. Система отслеживает действия пользователя (например, частоту обращения к тем или

иным элементам и частоту связей этих элементов и т.д.) и накапливает статистику для конкретного человека. После чего предлагает ему пройти психофизиологический тест, пс окончании которого система может оптимизировать интерфейс для индивидуальногс пользователя, который в диалоговом режиме может либо принять, либо отвергнут изменения, Программная реализация показала правильность предлагаемого подхода.

Глава 5

Для проверки математических и информационных моделей управления обучением, разработанных в главах 2 и 3 было необходимо осуществить программную реализацию данных АИОС, следовательно, необходимо описать информационные процессы и их управление, а также создать структуру данных, выбрать СУБД и провесгн экспериментальную проверку эффективности передачи и обработки данных.

В главе 5 рассматриваются вопросы управления информационными процессами, происходящими в обучающих системах, на основании чего обсуждаются общие принципы разработки и построения таких систем.

Модель данных и структура базы данных обучающих систем

Структура базы данных (БД) АИОС должна разрабатываться с учетом специфики процесса обучения и использования большого количества мультимедийной информации (см.рис.13 и таблицу 1). Отображение содержимого учебного курса на компьютере пользователя не должно зависеть от среды исполнения и от используемой системы управления

Таблица 1.

Таблица БД Описание данной таблицы

Графы обучения Содержит в себе структуры обучающих курсов, связи элементов обучения, алгоритмы взаимодействия элементов

Группы пользователей Отвечает за идентификацию пользователя к группе/группам обучения

Группы пользователей системы Хранит в себе группы пользователей с привилегиями прав доступа к ресурсам системы

Другие ресурсы Содержит в себе ссылки на модуль и параметры обработки гетерогенных ресурсов

Журнал библ.:'У! с-.и Содержит статистическую информацию о доступе к ресурсам библиотеки -----

Журнал системы Регистрирует все действия пользователя над системой

Интерфейсы Отвечает за интерфейс обучения (структура, вид, дизайн, контент) для конкретного курса обучения

Курсы Хранит в себе названия и основные параметры курсов обучения

Модули Хранит в себе название и параметры подключения модулей к системе

Настройки Содержит настройки всех модулей системы

Параметры пользователя Хранит информацию о данных, введённых при регистрации. Система позволяет расширять список вводимых параметров в зависимости от требования конкретной организации

Пользователи Хранит в себе основные параметры зарегистрированного пользователя

Пользователи библиотеки Содержит параметры и список привилегий доступа внешних пользователей библиотеки

Пользователи системы Хранит в себе данные пользователей с привилегиями прав доступа к ресурсам системы

Ресурсы Основной банк данных ресурсов, содержащий ресурс и его тип

Список ресурсов Содержит иерархии ресурсов, тип ресурса, ссылки на модули обработки ресурсов, привилегии доступа к ресурсам

Статус обучения Предназначена для сохранения промежуточных и итоговых параметров обучения пользователя. Например, пройденные тесты и лабораторные работы, прочитанные лекции и методические пособия, выполненные домашние работы и т.д.

Структура библиотеки Содержит в себе структуру и привилегии доступа к ресурсам электронной библиотеки

Текущее положение Определяет текущее положение, статус и состояние пользователя в графе программы обучения

Тестовые ресурсы Содержат в себе структуру, содержание и алгоритмы обработки тестовых заданий

Элементы обучения Хранит в себе основные параметры элементов обучения и ссылки на модули для их обработки

HTML/XML ресурсы Содержит в себе структуры HTML/XML документов с объектами обучения

обучением. Информационная модель содержимого учебного курса должна включать в себя модель данных межсетевого взаимодействия и модель данных для управления содержимым.

Рис.12. Структура БД мультимедийной обучающей системы

Модель данных межсетевого взаимодействия определяет формат представления пересылаемых данных и функции (методы), используемые для передачи.

Модель данных для управления содержимым должна описывать, как система управления должна управлять содержимым учебного курса, отображаемым для обучаемого и определяет порядок защиты и управления доступом к базе данных АИОС.

Информационная модель компоновки учебного курса определяет состав и форму представления информации в учебном курсе при его передаче пользователю.

Информационная модель тестовых данных должна содержать описание структуры и формата тестовых заданий, а также результатов тестирования. Она должна гарантировать обмен данными между системой управления обучением и средой исполнения, и вместе с тем, она не налагает никаких ограничений на содержание тестов и форму их представления.

При разработке баз данных (БД) и баз знаний (БЗ) обучающей системы необходимо стремиться к определенной стандартизации структуры, благодаря которой работа системы определялась бы только управлением и не зависела от конкретного наполнения. Структура БД должна быть максимально гибкой и по возможности одинаково пригодной, как для технических, так и гуманитарных учебных курсов, но вместе с тем подчиняться единому алгоритму управления. Возможная модель такой структуры БД с таблицами и связями между ними представлена на рис.13 и расшифровкой функций таблиц базы в таблице 1.

Выбор СУБД для автоматизированной информационно - обучающей системы

На сегодняшний день существует множество СУБД, обеспечивающих надёжное хранение, разностороннюю обработку и защиту информации как от повреждений, связанных с выходом из строя оборудования, разрывом соединения, отказом в обслуживании и т.д., так и от несанкционированного доступа. Среди них такие системы, как DB 2.0 компании IBM; Oracle SQL Server компании Oracle; MS SQL Server компании Microsoft; SyBase Server компании Sybase; Interbase Server компании Inprise; Informix SQL Server компании Informix; MySQL, mSQL, PostGres SQL. Наиболее развитыми среди них считаются DB 2.0; Oracle SQL Server; MS SQL Server. DB 2.0 и Oracle SQL Server достаточно дорогие и сложные в обслуживании СУБД, что в конечном итоге ведет к увеличению стоимости разработки и её поддержки.

Выбор в пользу Microsoft SQL Server предопределяется сравнением между собой ценовых параметров систем управления базами данных SQL Server и Oracle, поскольку по функциональным возможностям они обе являются пригодными для создания обучающих систем. MS SQL Server относительно недорогая и мощная СУБД. С её помощью можно легко создавать и использовать как базы данных средних размеров, так и крупные базы данных, хранящие сотня и тысячи мегабайт данных.Все это делает MS SQL Server привлекательным решением для реализации БД на платформе Windows. Для решения на базе других платформ возможно применение других продуктов. В целом выбор сервера БД во многом определяют параметры создаваемой системы обучения. Выбор в пользу реляционной модели представления данных обусловлен тем, что она позволяет добиться необходимых результатов.

Передача и обработка информации в обучающих системах

При работе системы сервер получает от рабочих станций большое количество заявок и должен быстро их обрабатывать. При проведении сеансов работы обучающей системы можно использовать модель бесприоритетного обслуживания заявок. В данной модели все заявки поступают в неограниченную очередь и ожидают обслуживания единственным процессором в порядке очереди.

Л _ л

Каждый тип заявок создает поток с интенсивностью ' со средней

длительностью обслуживания^*', дисперсией и коэффициентом загрузки блока

обработки ki~ XiTi Если предположить, что потоки заявок одного типа являются простейшими, то получится одноканальная система обслуживания с единственным процессором, неограниченной очередью и неограниченным временем ожидания. Условие существования стационарного режима имеет вид

М+1

Л=2>,<1 ¥

, а среднее время ожидания в очереди для заявок всех типов

одинаково и равно

Л^+Г

ИЛЛт>стг{Г,Ь

г

2(1 — R) ti~T +Г;

где ^ I - среднее время пребывания заявки типа / в блоке обработки (сумма времени ожидания и обслуживания),

t

EAJ,

. J»1_

м* 1

ЕЯ,

- среднее время пребывания одной заявки из всего потока в блоке

- среднее число заявок типа / в очереди,

обработки,

U+1

- среднее число заявок всех типов в очереди,

fit Äiti . среднее число заявок типа / в блоке обработки,

М+1

П = Z«i

- среднее число заявок всех типов в блоке обработки.

Экспериментальная проверка эффективности обработки информации в разработанных системах

Для предлагаемой модели обработки заявок экспериментальным путем для СУБД MS SQL Server на компьютере Pentium 4-2,40 ГНг/512МВ с операционной системой Windows-2003 Server было определено среднее время обслуживания различных заявок при количестве итераций равном 1000,

Суммарная загрузка процессора с учетом всех типов заявок составила R=0,649X. Из условия существования стационарного режима R<1 ограничение на интенсивность сеансов обучения при обработке результатов в режиме реального времени составляет Х^/0,649 =1,54 =4 сеанс в секунду.

Среднее время обслуживания сложных заявок типа "Тестовое задание" и "Пакеты с материалом учебного курса" значительно больше, чем среднее время обслуживания простых заявок, т.к. их размер больше. Очевидно, что при изменении среднего числа заявок определенного типа, поступающего в ходе сеанса и усложнении их структуры будет изменяться среднее время обслуживания, и как следствие будет уменьшаться интенсивность сеансов. Производительность компьютера, выделенного под сервер, прямо пропорционально связана с критическим значением X при приближении к которому среднее время пребывания заявки в блоке обработки резко возрастает. Однако даже при Х=0,5 сеанса в секунду производительность системы обучения составит 1800 заявок в час, что является очень большим не только в случае установки системы в локальной сети, но и при использовании сети Internet в режиме on-line. Одним из путей увеличения производительности является использование под сервер более мощных, чем Pentium 4-2,40 ГНг/512МВ компьютеров.

Глава 6

В главе 6 представлена архитектура АИОС, разработанная на основе результатов полученных в главах 1-5, что необходимо для экспериментальной проверки представленных в диссертации математических и информационных моделей управления представлением знаний, методов работы со знаниями, методов машинного обучения и моделей человеко-машинного общения. При создании данных систем были использованы алгоритмы машинного обучения, полученные на основе результатов имитационного моделирования проведенного в главе II, алгоритмы адаптивного тестирования, разработанные в главе III, а также методы и правила создания и адаптации наиболее эргономичных для данного пользователя графических интерфейсов.

Кроме того, здесь представлено описание некоторых программных продуктов, созданных на основе полученных в диссертации результатов и представлены экспериментальные результаты исследований эффективности разработанных обучающих систем и методов управления знаниями. Общие концепции построения обучающих систем

Главной задачей при проектировании компьютерной образовательной среды является не просто создание обучающей системы, а создание недорогой при разработке и эффективной в работе системы. Данная система должна строиться по модульному принципу с возможностью модернизации при возникновении новых задач. Структура системы представлена на рис. 14.

В таблице 2 представлено описание элементов структуры разработанной системы. При разработке учебного материала необходимо использовать объектный принцип построения учебного курса. В соответствии с этим принципом учебный материал разбивается на части — объекты. В результате происходит переход от больших негибких фрагментов к многократно используемым отдельным учебным объектам, доступным для поиска и включения в другие курсы, централизованного редактирования и т.д. Чтобы избежать проблем, связанных с многопользовательским режимом, система должна обеспечивать механизм блокировки и ведения истории изменения ресурсов (для избегания искажения и утраты информации). Когда ресурс открыт для редактирования, он блокируется для других пользователей.

Рис.14. Структура системы компьютерного обучения

Процесс обучения

После изучения курса лекций, выполнения компьютерного тренинга и лабораторных работ, учащийся проходит итоговое тестирование. Схема такого процесса обучения представлена на рис.15. Система управления процессом обучения выполняет функции распределения учебного материала между учащимися, контроль заданий и т.д. _Таблица 2.

Элементы структуры Описание

Ядро системы Реализует базовые операции ввода-вывода, обеспечивает связь между компонентами системы, обеспечивает безопасность системы, управляет разграничением доступа.

Планирование программы Модуль планирования учебного процесса.

Реализация программы Модуль реализации программы учебного процесса.

Контроль обучения Модуль, обеспечивающий тестирование, проведение лабораторных работ, экзаменов.

Библиотека Хранилище данных; содержит лекции, методические пособия и пр.

Общение Система обмена сообщениями, организация сетевых конференций, лекций.

Администрация Модуль администрирования системы.

Контроль процесса Позволяет контролировать процесс обучения студентов.

Студенты Модуль ответственный за подключение студентов к системе.

Дополнительные модули Модули для подключения учебных материалов и средств обработки информации не включенных в основные модули системы сторонних разработчиков.

Система безопасности Отвечает за сохранность данных и управление доступом к ресурсам системы.

Рис.15. Схема процесса обучения

Экспериментальная проверка эффективности разработанных АИОС

В Московском государственном университете приборостроения и информатики (МГУПИ) были проведены широкомасштабные эксперименты (в которых участвовало более 800 студентов II курса) по влиянию автоматизированного компьютерного обучения на результаты, показанные студентами на экзаменах по физике в группах участвовавших и не участвовавших в эксперименте (таблица 3). Для этого на основе полученных в диссертации результатов была разработана автоматизированная обучающая система по курсу "Оптика и атомная физика", рассчитанная на студента II курса технического вуза. Эксперименты показали, что использование обучающего комплекса "Оптика и атомная физика" увеличивает средний балл на экзамене по сравнению с контрольными группами примерно на 0,4 балла, для "бюджетных" студентов и 0,2 балла для "контрактных".

По оценке преподавателей, участвовавших в эксперименте, автоматизированная система обучения "Оптика и атомная физика" существенно облегчает работу и уменьшают количество необходимого для обучения времени примерно в 1,5 - 2,0 раза.

Таблица 3.

Студенты, проходившие компьютерное обучение Студенты, не проходившие компьютерное обучение

госбюджетная форма обучения контрактная форма обучения госбюджетная форма обучения контрактная форма обучения

средний балл 3,92 3,25 3,48 3,02

% студентов, доп. к сессии 96% 34,4% 90,6% 32,1%

% студ., сдавших экз. в сессию 95% 51,3% 86,4% 68,7%

% отл. оценок 26,9% 16,7% 13,8% 12,5%

% хор. оценок 38,5% 25,0% 34,5% 12,5%

% удов, оценок 30,8% 25,0% 37,9% 43,8%

% неуд, оценок 3,8% 33,3% 13,8% 31,2%

Помимо физики также были разработаны обучающие комплексы по химии и обучающие

системы для факультета повышения квалификации Российского университета дружбы народов (РУДН) и Международного центра тестирования при РУДН.

Заключение

В заключении диссертации содержаться основные результаты, полученные в работе. Приложение

В приложении представлены акты о внедрении практических результатов диссертационной работы, ксерокопии авторских свидетельств о регистрации программ для ЭВМ, выданные РОСПАТЕНТОМ (13 штук) и отраслевым фондом алгоритмов и программ Министерства образования и науки РФ (ОФАП 8 штук) и копии дипломов, полученных на выставках за компьютерные программы, разработанные на основании диссертации.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИОННОЙ РАБОТЫ

1. Разработаны новые методы формализации задач управления процессами усвоения знаний. Расплывчатость границ знания и множественность взаимосвязей между элементами предметной области позволяет при формализации задач управления знаниями рассматривать процесс обучения как совокупность случайных переходов между соседними состояниями, описывающими знания объекта (субъекта) обучения. При величине знаний

, предоставляемой объекту обучения на шаге обучения Н, его балл из состояния (к-1) может переходить в состояние к, кроме того, изменение состояния к может осуществляться и за счет перехода к+1~* к. Величина знаний в любом из состояний выражается в оценочных единицах-баллах и может принимает некоторые значения от 0 до N. Процесс обучения можно рассматривать или как бинарный (двухпоточный), или как многопоточный (четырсхпоточный) информационный случайный процесс.

2. На основе разработанной формализации задач управления знаниями для процессов обучения бьши получены неоднородные дифференциальные уравнения второго порядка (как гиперболического типа (для двухпоточных процессов), так и параболического (для четырехпоточных)), учитывающие не только процесс "механического" накопления учебной информации объектом обучения в зависимости от числа шагов обучения, но и структуризацию знаний. Это позволяет сформулировать и решить ряд краевых задач с граничными условиями различного типа, суть которых заключается в следующем:

• При индивидуальном обучении: на границе отрезка распределения баллов х должно выполняться условие "отражения" (т.е. баллы не могут уменьшаться и выходить в область

X =i

отрицательных значений). На границе отрезка распределения баллов необходимо,

чтобы выполнялось условие "поглощения" (т.к. пользователь, достигший заданный критерий в L баллов заканчивает обучение). Каждый пользователь, имея начальный балл

равный некоторому должен после общения с системой, через некоторое число шагов обучения достигнуть уровня обученности в L баллов, или в противном случае процесс обучения должен продолжаться.

• Для модели коллективного обучения (группы) необходимо учитывать, что знания группы, в

целом, характеризуются функцией распределения Ф &'t ~ 0) Поэтому плотность вероятности получить при тестировании балл равный нулю также должна быть равна нулю, а знания некоторых субъектов обучения могут превосходить критерий L, но процесс обучения продолжается, а достижение бесконечно большой величины баллов невозможно (равно нулю). Полученные решения описывают, как индивидуальную восприимчивость пользователей к обучению, так и особенности обучения группы.

3. Решение сформулированных в работе краевых задач позволяет определить методами имитационного моделирования необходимое количество учебной информации, передаваемой на одном шаге обучения объекту обучения (в зависимости от его характеристик), для того чтобы процесс был наиболее эффективным (заданное состояние обученности было бы достигнуто за наименьшее число шагов).

4. На основе полученных теоретических результатов и имитационного моделирования разработаны новые алгоритмы и методы машинного обучения и диагностики знаний, что позволяет разрабатывать АИОС для любых предметных областей, без предварительной жесткой структуризации знаний и сделать процесс разработки АИОС и обучения более технологичным и менее трудоемким.

5. При исследовании адаптивных моделей диагностики знаний были получены результаты, позволяющие оптимизировать алгоритм диагностики знаний при одновременном сохранении качества получаемой информации и качества управления знаниями. Даны ответы на такие важные вопросы как: какова должна быть величина шага между трудностью вопросов при последовательных правильных ответах и какова должна быть величина шага трудности для испытуемого, чей уровень подготовленности лежит вблизи максимума уровня трудности вопросов? Можно ли уменьшить число вопросов при адаптивном тестировании? В частности, было определено, что максимальное число вопросов, которые необходимо задать пользователю для точной оценке его уровня

подготовленности не превосходит (где N-число уровней трудности вопросов в базе

тестирования), это уменьшает затраты времени при сохранении необходимого качества управления знаниями.

6. С учетом созданных математических моделей процессов управления знаниями и информационных моделей разработаны принципы построения баз данных обучающих систем, учитывающих динамику процессов обучения. Проведены экспериментальные исследования и анализ процессов передачи и обработки информации в АИОС, на основании которых, показано, что при использовании современного аппаратного обеспечения, быстрая и бесперебойная работа обучающей системы может быть реализована в рамках модели бесприоритетного обслуживания заявок, а в качестве системы управления базой данных можно выбрать практически любую доступную сетевую реляционную СУБД.

7. Решена задача обеспечения адаптации графического пользовательского интерфейса (GUI) обучающей системы к конкретному пользователю, что повышает ее эффективность в

управлении процессами усвоения знаний, за счет увеличения эргономичное™. На основе психофизиологических исследований были разработаны методы и правила создания адаптивных графических пользовательских интерфейсов (С1Л). Было обнаружено, что для каждого пользователя существует свое среднее время отклика на различные события, происходящие на экране монитора, которое обучающая система может использовать для создания наиболее эргономичного для данного пользователя графического интерфейса.

8. Исходя из математических и информационных моделей процессов управления усвоением знаний и взаимодействия пользователей с АИОС, а также моделей передачи и обработки информации в АИОС была разработана общая архитектура систем подобного класса. При разработке данных систем были использованы алгоритмы машинного обучения, полученные на основе результатов имитационного моделирования проведенного в главе 2, алгоритмы эффективного адаптивного обучения, разработанные в главе 3 и методы построения наиболее эргономичных пользовательских графических интерфейсов (глава 4).

9. На основе программной реализации АИОС для различных областей знания (физика, химия, изучение языков) осуществлена экспериментальная проверка:

• разработанных математических и информационных моделей процессов управления восприятием знаний, методов работы со знаниями, методов машинного обучения математических моделей управления знаниями;

• методов построения наиболее эргономичных для данного пользователя интерфейсов;

• эффективных алгоритмов адаптивной диагностики знаний,

которая показала справедливость предлагаемых в диссертации математических моделей.

СПИСОК ОСНОВНЫХ ПУБЛИКАЦИЙ (всего более 80 публикаций)

1. Жуков Д.О. Программное обеспечение мультимедийных систем обучения и диагностики знаний, М.: «Радио и связь», 2003.-432с. Монография.

2. Петров О.М., Жуков Д.О., Зотов Д.Д. Архитектура Web-cиcтeм обучения. // Информационные ресурсы России. - 2006. - № 4 (92). - С.24-26.

3. Ельникова С.И., Жуков Д.О. Новые информационные технологии при разработке систем дистанционного обучения языкам// Вестник МГТУ им.Н.Э.Баумана, серия "Естественные науки", специальный выпуск "Лингвистика", 2005, - С.103-111.

4. Жуков Д.О. Оптимизация графического человеко-машинного интерфейса в автоматизированных обучающих системах с помощью психофизиологических измерений. //Научные труды VII Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права».-Сочи, 1-5октября2004,С.82-87.

5. Жуков ДО. Краевые задачи в теории информации. //Научные труды VII Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права». - Сочи, 1-5 октября 2004, С.76-81.

6. Жуков Д.О. Использование информационных технологий для создания систем дистанционного обучения и тестирования// Информационные ресурсы России. - 2004. -№ 1 (77). — С.26-29.

7. Петров О.М., Жуков Д.О., Зотов Д.Д. Особенности хранения и шифрования данных в \УеЪ-системах обработки информации// Информационные ресурсы России. — 2006. — № 1 (89). — С.30-32.

8. Жуков Д.О. Тестирования знаний по физике с помощью интеллектуальных компьютерных «генераторов» // Информационные ресурсы России. — 2004. — № 4 (80). — С.22 -25.

9. Жуков Д.О. Разработка 1шегпе1-систем диагностики знаний и психологического тестирования для профессиональной ориентации и подготовки к ЕГЭ// «Вопросы тестирования в образовании». — 2003. — № 8. — С.92-101.

10. Жуков Д.О. Сетевая мультимедийная система лабораторных работ по курсу физики// Информатика и образование. - 2003. - № 7. - С.81-83.

11. Алешкин H.A., Гусаров A.C., Жуков Д.О. Разработка и использование «Конвертора» для создания компьютерных программ тестирования знаний по физике// Физическое образование в вузах. - 2002. - Т.8, № 1. - С.92-95.

12. Александров H.A., Жуков Д.О., Зотов Д.Д. и др. Электронные лабораторные работы по курсу общей физики для студентов технических вузов// Физическое образование в вузах. -2002. - Т.8. -№1. - С.96-102.

13. Беланов A.C., Жуков Д.О., Мацнев А.П., Соколов В.В. Компьютерные тесты по курсу общей физики и их роль в улучшении знаний студентов// Физическое образование в вузах. -2002. - Т.8, №2. - C.47-S7.

Н.Жуков Д.О., Селезнев В.В., Тычкин В.О., Александров H.A. Разработка и использование редактора баз данных, для создания компьютерных программ тестирования знаний по общей физике// Физическое образование в вузах. - 2002. - Т.8, №2. - С.58-66.

15. Беланов A.C., Жуков Д.О., Карпицкая Я.А. Создание компьютерных лабораторных работ для электронного учебника по курсу физики «Оптика». Физическое образование в вузах. -

2001. - Т.7, №3. - С.97-105.

16. Беланов A.C., Еремин П.С., Жуков Д.О. и др. Электронный учебный комплекс по оптике и атомной физике для нефизических специальностей технических вузов// Физическое образование в вузах. - 2001. - Т.7, №3. - С.92-96.

17. Александров H.A., Беланов A.C., Жуков Д.О. и др. Компьютерные комплексы тестирования знаний студентов по курсу общей физики// Физическое образование в вузах. - 2001. — Т.7, №4. - С.50-56.

18. Golubiatnikov I., Arutjunov A., Zhukov D. An Impact in the System of Distance Education. //The conference on Web-based Education (WBE 2004). - Innsbruck, Austria, 2004. - C. 234-236.

19. Голубятников И.В., Жуков Д. О. Принципы организации систем дистанционного обучения. //Научные труды VI Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права». - Сочи, 2003. - С.43-46.

20. Жуков Д.О., Соколов В.В. Мультимедийные системы обучения и контроля знаний. //Научные труды VI Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права». - Сочи, 2003, С.66-71.

21. Жуков Д.О., Кудряшов A.A. Автоматизированная среда разработки компьютерных обучающих программ «MetodiClass»// Сб. науч. тр. «Научная сессия МИФИ-2004», Москва, 2004. — Т. 10. — С.47-48.

22. Жуков Д.О., Беланов A.C. Информационные системы с элементами искусственного интеллекта в обучающих программах и программах тестирования знаний по физике. //Тезисы докладов научно-методической школы-семинара по проблеме «Физика в системе инженерного образования России». - Москва, 2002. - С.108-110.

23. Жуков Д.О., Костаков М.А., Лесько С.А. Информационные технологии обработки информации в обучающих и экспертных системах. //Труды XI Международного научно-технического семинара «Современные технологии в задачах управления, автоматики и обработки информации»: тез. докл. — Алушта, 2002. — С.185-186.

24. Алешкин A.C., Арутюнов И.С., Жуков Д.О. Создание и использование интеллектуальных систем тестирования знаний. //Труды XI Международного научно-технического семинара «Современные технологии в задачах управления, автоматики и обработки информации»: тез. докл. - Алушта, 2002. - С. 172-173.

25. Жуков Д.О., Костаков М.А., Лесько С.А. Сетевой комплекс программ управления обучающими системами с элементами искусственного интеллекта, как основа учебной среды по физике //II Всероссийская научно-техническая конференция «Проблемы информатики в образовании, управлении, экономике и технике»: тезисов докл. - Пенза,

2002. - С.88-90.

26. Алешкин A.C., Арутюнов И.С., Выборной А.Н., Гусаров А.Н., Жуков Д.О. Генератор заданий по курсу высшей математики // Сб. науч.тр. «Научная сессия МИФИ-2003». -Москва, 2003. - Т.12. - С.202-203.

27. Жуков Д.О., Зотов Д.Д., Першин М.Д. Реализация основных концепций мультимедийного обучения в электронных учебниках // Сб.науч.тр. «Научная сессия МИФИ-2003». - Москва, 2003. - Т.12. - С.206-207.

28. Жуков Д.О., Ионов А.Ю., Копылов И.А. Генератор задач по физике // Сб.тр. VI Всероссийской научно-технической конференции «Новые информационные технологии». — Москва, 2003. - Т. 2. - С. 211-215.

29. Жуков Д.О., Архипов И.В., Давидович Д.Б., Метальников М.П., Панферов H.A., Хусяинов А.Ш. Сетевой компьютерный обучающий комплекс-тренажер «Основы количественного химического анализа» //Тезисы докладов XI Международной школы-семинара «Новые информационные технологии». - Судак, 2003. - Т. 2. - С. 375-376.

30. Алешкин A.C., Гусаров А.Н., Жуков Д.О., Хныкип А.П. Автоматическая система централизованного хранения и обработки исходного кода программ написанных на процедурных языках. //Материалы X международной конференции "Современные технологии обучения СТО-2004". - С.-Петербург, 2004. - Т.1. - С. 168-169.

31.Ельникова С.И, Жуков Д.О., Арутюнов И.С. Использование новых информационных технологий для создания Интернет систем поддержки тестирования и обучения // Сб. науч. тр. «Научная сессия МИФИ-2005». - Москва, 2005. - Т.10. - С. 94-95.

32. Зотов Д.Д., Жуков Д.О., Петров О.М. Оптимизированная модель АСУ дистанционного образования в сети Internet // Сб. науч. тр. «Научная сессия МИФИ-2005». — Москва, 2005. — Т.2. — С. 173-174.

33. Жуков Д.О., Лесько С .А., Родюшкин С.А., Агроник А.Ю., Лысяков О.В. Разработка автоматической системы оптимизации графического интерфейса на примере Интернет-органайзера с использованием технологии .NET //Труды Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования». - Москва, 17-18 февраля 2005 г.- С.5-7.

ДИПЛОМЫ И МЕДАЛИ (полученные на выставках за программное обеспечение,

разработанное на основе результатов диссертации)

1. Золотая медаль V Международного салона промышленной и интеллектуальной собственности (иАрхимед-2002"). За разработку "Электронный учебный комплекс по оптике и атомной физике для студентов нефизических специальностей технических вузов".

2. Авторы: Жуков Д.О., Беланов A.C., Зотов Д.Д.

3. Серебряная медаль V Международного салона промышленной и интеллектуальной собственности ("Архимед-2002"). За разработку "Компьютерный лабораторный практикум по физике". Авторы: Жуков Д.О., Костаков МЛ., Лесько С.А.

4. Золотая медаль и диплом "Лауреат ВВЦ" Всероссийского выставочного центра (ВВЦ) на международной выставке - форуме "СОВРЕМЕННАЯ ОБРАЗОВАТЕЛЬНАЯ СРЕДА -2003". За разработку программного обеспечения для автоматизированных систем обучения и диагностики знаний. Автор: Жуков Д.О.

5. Диплом МИФИ 2002 г. За разработку систем компьютерного тестирования знаний студентов по курсу общей физики для студентов нефизических специальностей вузов. Авторы: Жуков Д.О., Алешкин A.C.

6. Диплом МИФИ 2003 г. За разработку обучающей системы "Основы количественного химического анализа". Авторы: Жуков Д.О., Гусаров А.Н., Алешкин A.C., и др.

7. Диплом МИФИ 2005 г. За комплекс работ по разработке Интернет портала поддержки тестирования. Авторы: Жуков Д.О., Ельникова С.И., Арутюнов И.С.

8. Диплом МИФИ 2005 г. За комплекс работ по разработке Интернет портала поддержки изучения русского языка. Авторы: Жуков Д.О., Ельникова С.И., Лесько С.А.

9. Диплом МИФИ 2006 г. За комплекс работ по Разработке Интернет-портала поддержки тестирования www.testor.ru. АвтрЬы: Hd&ohJ^XX/Ельникова С.И., Лесько С.А.

Подписано в печать 25 сентября 2006 г. Заказ 171 / 09-25 Тираж 100 экз. Объем 2,0 пл.

Типография

Московского государственного университета приборостроения и

информатики

107076, г. Москва, ул. Стромынка, д. 20.

Введение.

Глава 1. Основные задачи управления в системах автоматизированного обучения.

1.1. Цель управления знаниями - обеспечение качества образования.

1.1.1. Роль знаний в современном обществе.

1.1.2. Дерево целей управления, качество и мера качества знаний.

1.1.3. Детализация (постановка) задач управления знаниями в АИОС.

1.2. Объектно-ориентированное описание знаний.

1.2.1. Шкалы измерений знаний.

1.2.2. Знание как нечеткое множество.

1.2.3. Выводы.

1.3. Модели представления и управления знаниями в АИОС.

1.4. Управление диагностикой знаний.

1.4.1. Методы контроля знаний.

1.4.2. Модели оценки знаний.

1.4.3. Выводы.

1.5. Управление человеко-машинным общением в АИОС.

1.5.1. Роль человеко-машинного интерфейса в АИОС.

1.5.2. Графический интерфейс пользователя (GUI) в АИОС.

1.6. Взаимодействие различных групп пользователей с АИОС.

1.7. Выводы.

Глава 2. Математические модели управления знаниями.

2.1. Эффективность и управление обучением.

2.2. Модель бинарного информационного потока при управлении представлением знаний.

2.2.1. Формализация модели представления знаний.

2.2.2. Краевые задачи и дифференциальные уравнения Н-го порядка.

2.2.3. Постановка и решение краевых задач при управлении обучением

2.2.4. Количество информации в процессе представления знаний.

2.2.5. Определение числа шагов обучения.

2.2.6. Математическая модель коллективного обучения.

2.3. Модель многопоточного процесса представления знаний.

2.4. Выводы.

Глава 3. Алгоритмы эффективного управления диагностикой знаний

3.1. Алгоритмы диагностики знаний близкие к адаптивному тестированию.

3.1.1. Контроль знаний по методике уточняющих вопросов.

3.1.2. Алгоритм анализа результатов при оценке «зачет-незачет».

3.1.3. Алгоритм анализа результатов при оценке «неудовлетворительно— удовлетворительно—хорошо—отлично».

3.2. Классическая модель адаптивного тестирования.

3.2.1. Расчет трудности заданий.

3.3. Оптимизированная модель адаптивного тестирования.

3.4. Экспериментальная проверка оптимизированной модели адаптивного тестирования.

3.5. Выводы.

Глава 4. Роль человеко-машинного интерфейса при управлении обучением.

4.1. Создание графического интерфейса пользователем.

4.2. Создание графического интерфейса с учетом характеристик пользователя.

4.3 Адаптация графического интерфейса.

4.4. Выводы.

Глава 5. Управление информационными процессами в АИОС.

5.1. Модель данных и структура баз данных обучающих систем.

5.2. Выбор СУБД для автоматизированной обучающей системы.

5.3. Передача и обработка информации в обучающих системах.

5.4. Экспериментальная проверка эффективности обработки информации в АИОС.

Глава 6 . Программная реализация АИОС и проверка разработанных моделей управления.

6.1. Архитектура автоматизированных обучающих систем.

6.2. Подготовка материалов курса для использования в АИОС.

6.3. Реализация процесса обучения.

6.4. Программная реализация разработанных АИОС.

6.5. Экспериментальная проверка эффективности разработанных обучающих систем.

6.6. Выводы.

Основные результаты диссертационной работы.

Актуальность разработки математических и информационных моделей управления знаниями обусловлена как научными целями расширения теоретических представлений о процессах передачи знаний и обучения, так и практическими целями создания более эффективных обучающих систем, внедрение которых должно способствовать обеспечению необходимого качества образования, что напрямую связано с поддержкой Российской национальной образовательной доктрины.

В работе [1] авторами А.И. Субетто, Н.А. Селезневой, Л.А. Майборода, Ю.А. Кудрявцевым было четко обозначено, что «образование — один из ключевых моментов в стратегии выживания России в начале XXI века, реализации концепции ее устойчивого развития, обеспечения всей системы национальной безопасности. Россия сможет выжить только как «образованная, просвещенная Россия», в которой государство вместе с обществом постоянно несет ответственность за темпы повышения среднего образовательного ценза населения. Образовательная политика является ядром всей системы внутренней политики российского государства».

Одним из элементов доктрины образования [1] является его доступность вне зависимости от внешних обстоятельств и различных факторов.

Значительная протяженность территории и сосредоточенность ведущих педагогических кадров в крупных городах делает ограниченным доступ широкой аудитории пользователей к традиционным образовательным ресурсам, что вызывает необходимость разработки и использование автоматизированных информационно-обучающих систем (АИОС) и их размещение в сети Интернет. Построение и проектирование АИОС в значительной степени должно ориентироваться на Мегпе!-технологии. В настоящее время число Мегпе^пользователей в России около 11 млн. человек и составляет от 7% до 15% в зависимости от региона, и по прогнозам специалистов может увеличиться в течение ближайших 5 лет до 25%, что связано с наметившимся экономическим ростом и уменьшением стоимости подключения (за счет увеличения числа пользователей).

Разработка АИОС для сети Интернет должна учитывать необходимость интеграции сетевых ресурсов, которая способна вывести управление развитием образования и его качество на новый уровень. В работе П.И. Дзегелёнок, [2], являющегося учеником Н.А.Селезневой, была осуществлена разработка принципов управления развитием образовательной среды и создания инструментальных средств динамической интеграции сетевых информационных ресурсов. К основным достижениям данного исследования можно отнести разработку апостериорной схемы построения базы данных учебных ресурсов, позволяющую поддерживать растущее информационное поле в актуальном состоянии, что особенно важно для слабоструктурированных ресурсов, извлекаемых из сети Интернет.

Стоит выделить три основных направления использования информационных технологий в образовании:

• обеспечение качества управления образованием;

• общая компьютеризация вузов и развитие информационно-вычислительных сетей;

• обеспечение качества обучения.

К сожалению, направленность данной работы не позволяет подробно обсудить все аспекты использования информационных технологий в образовании и обеспечении его необходимого качества. Компьютеризация вузов и развитие информационно-вычислительных сетей являются очень важным фактором обеспечения качества образования, но выходят за рамки обсуждения в данной работе.

Задачи управления и обеспечения качества образования по своей природе и в силу сложности систем, для которых они должны быть решены очень близки к задачам нечеткой оптимизации и принятия решений при нечетких состояниях среды и условиях некоторой неопределенности.

Решение подобных задач хорошо описано в работах профессора А.С.Рыкова [3,4].

Использование информационных технологий в обеспечении качества управления является хорошо проработанной сферой научной и технической деятельности и в этой связи можно упомянуть ряд работ профессоров А.Г. Дьячко и И.И. Дзегелёнок [например, 5 и 6], которые много сделали для использования информационных технологий в планировании и управлении учебным процессом, и обеспечении качества образования.

Нельзя не отметить, что одним из первых, кто начал развитие в России использования АИОС в обучении является директор научно-исследовательского института высшего образования, профессор Савельев А .Я.

Проблема обеспечения и управления качеством обучения в значительной степени может быть решена путем использования компьютерных обучающих программ и АИОС, что нашло свое отражение в работе профессора Елисова Л.Н. [7], работе [8] проводимой под руководством сотрудника Исследовательского центра проблем качества подготовки специалистов Ж.Н.Зайцевой и многих других работах.

Одним из мощных стимулов дальнейшего развития АИОС является рост рынка информатизации, составляющий 20% в год, и смещение приоритетов развития в постиндустриальном обществе в сторону информационных технологий.

Поскольку обучение и передача знаний затрагивают различные социальные группы, то процесс управления знаниями необходимо рассматривать, используя методы и модели теории управления и принятия решений в социальных системах. При решении задач управления обучением необходимо учесть, что в данном случае объектом управления является не физический объект, а система человек-компьютер, что является гораздо более трудной для формализации задачей. Представление знаний в данном случае имеет более широкий смысл, чем просто формализация предметной области, т.е. совокупность декларативных методов, семантических сетей, формальных грамматик и т.д. Его необходимо рассматривать как совокупность процессов, включающих формализацию знаний, передачу их пользователю (обучение), усвоение и диагностику (для организации обратных связей).

Прежде чем приступить к формулировке задач управления знаниями и описанию их математических моделей необходимо дать определения следующим понятиям и категориям: что такое знание, как можно измерить знание, что такое представление знаний, зачем нужно управлять знаниями и каковы основные задачи управления этим процессом. Определение смыслового значения категории «знание» позволяет ввести измерение знания и, соответственно, после этого определить, в какой форме должно осуществляться представление знаний. Однако управление знаниями является более сложным вопросом, чем просто представление знаний, поскольку природа и математические модели процессов трансформации представления знаний в образ знаний (или знания) у объекта, которому они были представлены, остаются малоизученными. Любой процесс обучения и управления обучением должен быть направлен не на представление знаний, а на то, чтобы эти знания были усвоены, что невозможно без исследования и разработки математических моделей обучения, чему и посвящена настоящая работа. Естественно, математические модели должны опираться на ту или иную форму представления знаний и их измерения, поэтому построение моделей обучения невозможно без их обсуждения.

Знание как философская категория имеет очень глубокий и многогранный смысл, подробное описание которого просто не представляется возможным. Для этой философской категории можно дать следующее весьма упрощенное определение: знание - это форма существования и систематизации результатов познавательной деятельности человека. Выделяют различные виды знания: обыденное («здравый смысл»), личностное, неявное и т.д. Научному знанию присущи логическая обоснованность, доказательность, воспроизводимость познавательных результатов. Всякая интеллектуальная деятельность, в том числе и обучение, опирается на знания, в которые следует включать характеристику текущей ситуации, оценку возможности выполнения тех или иных действий, законы того мира, в котором выполняются действия и т.д. Даже такой краткий обзор показывает необъятность и многогранность феномена «знание». Формулировка задачи управления знаниями должна начинаться с формализации описания модели, а условия управления и характеристики управляющих воздействий должны быть основаны на диагностике знаний и ее объективных критериях. Целенаправленная система управления должна обеспечивать достижение поставленных задач, относящихся к некоторым классам состояний обучаемых (связанных с оценкой уровня их знаний и возможностью достижения других состояний). Для каждого класса состояний в системе должна быть реализована последовательность управляющих воздействий, приводящих к желаемому результату. Причем именно это является первоочередной задачей при разработке управления автоматизированных информационно-обучающих систем, поскольку задачи управления базами данных, базами знаний и потоками учебной информации в значительной степени определяются именно моделями, на основе которых работает система, а не существующими аппаратными средствами и сетевыми технологиями. При построении математических моделей управления знаниями возникает необходимость большей детализации и сужения понятия знания. Пусть имеется некоторая предметная область знаний, например, определенная учебная дисциплина (философия, астрономия, биология, математика, химия, физика и т.д.). Каждая предметная область имеет свой набор взаимосвязанных по определенным законам элементов, которые составляют содержание учебной дисциплины. В множество этих элементов могут входить тезаурус, определения, законы, правила, теоремы, аксиомы, леммы, формулы, основные понятия и т.д. Сами эти элементы могут быть представлены в различных формах: декларативной, процедурной или какой-либо иной.

Процедурные знания описывают последовательность действий, которые могут использоваться при решении каких-либо задач, декларативные знания, как правило, носят характер некоторых утверждений. Однако в любом случае необходимо каким-либо образом представлять эти знания, и, кроме того, контролировать, насколько хорошо были усвоены представленные знания.

Управление знаниями должно опираться на их диагностику, которая способна: во-первых, оптимизировать процесс индивидуального обучения, во-вторых, обеспечить правильное определение результатов обучения и, руководствуясь выработанными критериями, свести к минимуму ошибки при выборе стратегии действий обучающей системы. Диагностика должна быть направлена на решение двух основных задач:

- управление обучением;

- повышение эффективности обучения; и ориентироваться на следующие цели:

- внутренняя и внешняя коррекция в случае неверной оценки результатов;

- определение пробелов и подтверждение успешных результатов обучения;

- планирование последующих этапов (итераций) учебного процесса.

Для того чтобы формировать управляющее воздействие при обучении и работать со знаниями, необходим, измеритель (инструмент) с помощью которого можно определять уровень знаний (их величину) или их соответствие некоторой экспертной оценке.

В настоящее время существует множество различных измерительных шкал и подходов к описанию измерений. В классическом понимании [9] измерение - это алгоритмическая операция, которая данному наблюдаемому состоянию объекта, процесса и т.д. ставит в соответствие определенное обозначение: число, номер, символ, определение и т.д. Данное соответствие обеспечивает то, что результаты измерений содержат информацию об объекте или его состоянии, а количество информации зависит от степени полноты этого соответствия.

Среди применяющихся шкал можно выделить: Шкалы наименований (номинальные шкалы)', Порядковую шкала; Шкалы интервалов', Шкалы отношений и другие.

С точки зрения управления знаниями использование для измерений шкал наименований и порядковых шкал более подходит для качественных характеристик обучения, т.к. они имеют описательный характер и часто не позволяют корректно определять количественную величину управляющего воздействия. Использование абсолютной шкалы невозможно, поскольку в шкале знаний нельзя указать абсолютный нуль и единицу. Однако возможно использование шкалы интервалов с условными нулем и единицей и, при определенных условиях, шкалы отношений.

Представление знаний можно определить как представление элементов, составляющих предметную область, и их взаимосвязей друг с другом. Все более возрастающие информационные потоки, с которыми сталкивается человек, привели к необходимости использования компьютерных автоматизированных обучающих систем и, как следствие, к необходимости формализации представления знаний.

Можно выделить три типа формальных моделей представления знаний: логическую, сетевую и продукционную. Логическая модель представляет собой, как правило, некоторую формальную систему исчислений, обычно это бывает исчисление предикатов первого порядка. Все знания о предметной области описываются в виде формул этого исчисления или так называемых правил вывода.

Более наглядной оказывается сетевая модель представления знаний, согласно которой любые знания можно представить в виде совокупности конечного числа объектов (понятий) и связей (отношений) между ними.

Простейшие отношения между объектами называются базовыми, а все остальные могут быть выражены через них, как некоторые комбинации. Данный подход лежит в основе так называемых семантических сетей. Все понятия, входящие в сеть, описываются в виде фреймов — минимально возможного описания сущности какого-либо явления, события, ситуации и т.д. Каждый фрейм состоит из элементарных единиц — слотов (причем в качестве слотов могут выступать новые фреймы и т.д.). Для того чтобы представить семантическую сеть в виде совокупности фреймов необходимо представлять отношения между вершинами сети.

Основу продукционной модели составляют системы продукций. Каждая продукция в наиболее общем виде записывается как стандартное выражение следующего вида: Имя продукции Имя сферы Предусловие Условие для ядра

Если «А» то «В» (А и В имеют разные значения) Постусловие

Каждая из форм представления знаний послужила в свое время основой для создания языка программирования, ориентированного на работу со знаниями (например, язык Frame Representation Language, основанный на фреймовых представлениях, и язык Пролог, опирающийся на модель представления в виде продукций).

Машинные формы обучения подразумевают создание баз знаний большого размера, что является очень сложным. Поскольку необходимо не только накапливать знания и представлять их выбранным способом, но и проверять их полноту и непротиворечивость.

Измерение и представление знаний является в настоящее время достаточно хорошо изученным вопросом [10]. Однако в управление знаниями необходимо включить и процессы преобразования представления знаний в знания, которые формируются у объекта обучения, что является еще мало изученной научной областью. При работе со знаниями, в силу их специфических свойств, возникают существенные трудности. Несмотря на то, что любые знания являются моделью объективной реальности, сами знания также можно рассматривать как реально существующий объект. Однако любое представление знаний всегда основывается на определенной модели, и уже в силу этого является ограниченным и неполным по сравнению с самим знанием. Объект (например, учащийся), получает представление знаний, которые он трансформирует в собственное представление знаний. Априори неизвестно, какие процессы происходят при такой трансформации, т.е. объект представляет собой «черный ящик», на вход в который передаются некоторые входные данные и оказывается управляющие воздействие, основанное на информации, полученной на выходе. В результате представления знаний объекту и их усвоения, у объекта формируется свой образ представления знаний. При контроле усвоения знаний, строго говоря, объект возвращает не знания, как таковые, не представление знаний, и даже не образ представления знаний, а свое представление образа представления знаний (см. рис.1). Задачей контроля является сопоставление образа представления знаний сформировавшегося у объекта с экспертной оценкой знаний (например, знаниями преподавателя в данной предметной области), которую мы принимаем за основу измерений. формирование образа^Ч к. представления знаний }

Рис.1. Упрощенная схема превращения знаний в образ знаний у объекта обучения

На основании отличия отклика объекта от эталона необходимо сформировать управляющее воздействие и таким образом управлять представлением знаний, чтобы после цикла обучающих воздействий величина отличия соответствовала бы заранее установленному значению.

С научной и теоретической точки зрения разработка математических и информационных моделей управления знаниями в автоматизированных информационно-обучающих системах представляет существенный интерес:

• Человеко-машинное общение и обучение является одним из наиболее сложных и малоизученных информационных процессов (в существующих автоматизированных информационных обучающих системах АИОС нет адекватных математических моделей описывающих процесс обучения человека компьютерной системой).

• Наличие человеческого фактора делает процесс взаимодействия человек-компьютер в некоторой степени непредсказуемым (вероятностным). Кроме того, необходимо учитывать психофизиологические особенности конкретного пользователя и особенности его индивидуальной работы с обучающей системой. Автоматизированные информационно-обучающие системы (АИОС), в силу присутствия человеческого фактора, действие которого имеет психофизическую природу, можно отнести к классу стохастических систем управления [11-15]. Процессы в которых (при определенных условиях), можно рассматривать как полумарковские процессы (вероятность перехода при которых из одного состояния в другое зависит как от этого состояния, так и от состояния, в которое будет осуществлен следующий переход [11-13,16]). Подобный подход получил фундаментальное обоснование и развитие в работах профессора А.П.Свиридова [11-13]. В любых стохастических системах, в том числе и в АИОС стратегией управления, обеспечивающей необходимые уровень и точность управления (мера возможности достижения системой управления заданной цели) является прогнозирование событий. В данном случае прогнозирование это вероятностная оценка достижения будущего состояния системы на основе минимальной и достаточной информации о прошлых и настоящих входных сигналах, прошлом управлении и его результатах) и упреждающая реализация управления на объект управления.

• Имеющиеся возможности информационных технологий по обработке и передаче данных уже существенно превосходят возможности человека по их усвоению, что определяет необходимость адаптации человеко-машинного взаимодействия и разработки новых подходов к созданию человеко-машинных интерфейсов.

Цель исследования. Разработка математических моделей эффективного управления знаниями, позволяющих достигнуть заданного уровня обученности индивидуальных и коллективных пользователей за наименьшее время и число шагов обучения.

Задачи исследования

• разработка методов формализации задач управления процессами усвоения знаний в обучающих системах;

• разработка математических и информационных моделей управления процессами усвоения знаний с учетом диагностики знаний;

• разработка методов и алгоритмов управления процессами восприятия знаний и процессами машинного обучения с учетом информационных потребностей коллективных и индивидуальных пользователей;

• разработка эффективных алгоритмов, позволяющих при сохранении надежности полученных результатов уменьшить затраты труда и времени на диагностику знаний, которая необходима для установления обратных связей при управлении процессами усвоения знаний;

• разработка методов и правил построения наиболее эргономичных для данного пользователя графических человеко-машинных интерфейсов, повышающих эффективность управления за счет того, что использование системы становится более удобным;

• разработка программного обеспечения АИОС, и экспериментальная проверка на их базе предлагаемых в данной работе математических и информационных моделей процессов управления восприятием знаний, методов работы со знаниями, методов машинного обучения, методов построения наиболее эргономичных для данного пользователя графических интерфейсов и эффективных алгоритмов диагностики знаний.

Объект и предмет исследования. Объектом исследования являются процессы управления восприятием знаний, а предметом исследований разработка эффективных математических и информационных моделей управления процессами восприятия знаний на дисциплинарном уровне для отдельных пользователей и их групп, с целью повышения качества образования.

Методы исследования. Для реализации намеченных целей и решения задач были использованы следующие методы и технологии:

• математическая статистика;

• операционное исчисление;

• теория принятия решений;

• методы системного анализа;

• методы оптимизации. Научная новизна

• Разработаны методы формализации задач управления процессами восприятия знаний, при которых процессы обучения, рассматриваются как совокупность случайных переходов между соседними состояниями, описывающими изучаемую информационную систему.

• Разработаны математические модели управления знаниями, в которых для процессов обучения были получены как гиперболические, так и параболические дифференциальные уравнения Н-го порядка, на основе которых были сформулированы и решены краевые задачи (с различными граничными условиями), учитывающие как личностные характеристики пользователей, так и особенности информационных процессов обучения в группе.

• Определено количество учебной информации, передаваемой на одном шаге обучения пользователю или группе (в зависимости от индивидуальных характеристик), для того чтобы работа системы была наиболее эффективной.

• На основе созданных моделей разработаны новые алгоритмы и методы машинного обучения и диагностики знаний, позволяющие при сохранении надежности полученных результатов уменьшить затраты труда и времени на диагностику знаний, которая необходима для установления обратных связей при управлении процессами усвоения знаний и обучение.

• Исследованы некоторые модели человеко-машинного общения. На основе полученных результатов разработаны новые теоретические и практические принципы построения наиболее эргономичных, для данного пользователя графических интерфейсов (созданных с учетом его психофизиологических особенностей), что должно способствовать более эффективному управлению процессом предоставления знаний.

Практическая значимость. Практическая значимость диссертации состоит в том, что использование в учебном процессе АИОС, созданных на основании результатов полученных в работе, приводит к увеличению среднего балл на экзамене по сравнению с контрольными группами примерно на 0,4-0,2 балла и уменьшению количества необходимого для обучения времени примерно в 1,5-2,0 раза. Автоматизированные компьютерные системы диагностики знаний, работающие по адаптивным алгоритмам, разработанным в диссертации позволяют при сохранении надежности полученных результатов уменьшить затраты труда и времени на диагностику знаний.

Достоверность полученных в диссертации результатов, выводов и рекомендаций подтверждается результатами практического использования.

На основании математических и информационных моделей, полученных в диссертационной работе было создано несколько прикладных компьютерных программ, внедренных в ряде вузов. В частности было внедрено:

• сетевая система тестирования знаний, с элементами искусственного интеллекта;

• сетевой мультимедийный лабораторный практикум по курсу общей физики;

• сетевой мультимедийный лабораторный практикум по аналитической химии «Основы количественного химического анализа»;

• Интернет система обучения, диагностики знаний и психологического тестирования.

В Российском университете дружбы народов (РУДН) на ФПК внедрены компьютерные обучающие программы и системы тестирования знаний.

На разработки, выполненные по результатам диссертации, получено 11 свидетельств о регистрации программ для ЭВМ и 2 свидетельства о регистрации баз данных (выданные РОСПАТЕНТом), 8 свидетельств выданных отраслевым фондом алгоритмов и программ Министерства образования РФ (ОФАП).

Практическая значимость полученных в диссертации результатов подтверждается дипломами и наградами, полученными за разработки, выполненные на основе диссертационной работы. Среди наград можно упомянуть дипломы Московского инженерно-технического института (технический университет), золотые и серебреные медали международных выставок.

Начиная с 2002 года, и на протяжении ряда лет, полученные в данной диссертации результаты используются для разработки программного обеспечения, создаваемого в рамках Межвузовской комплексной работы

Инновационные технологии образования», проводимой Федеральным

Агентством по образованию РФ.

Основные положения выносимые на защиту

1. Методы формализации задач управления процессами усвоения знаний, в которых процесс обучения рассматривается как переход между соседними состояниями (величина знаний в которых выражается в оценочных единицах-баллах). При величине знаний ^ , предоставляемой объекту обучения на шаге обучения Ь, его балл из состояния (к-1) может переходить в состояние к, кроме того, изменение состояния к может осуществляться и за счет перехода к+1—а процесс обучения можно рассматривать, или как бинарный (двухпоточный) или как многопоточный (четырехпоточный) информационный случайный процесс.

2. Процесс управления знаниями при обучении можно описать как краевую задачу с помощью неоднородных дифференциальных уравнений второго порядка (как гиперболического (для двухпоточного процесса), так и параболического (для четырехпоточного процесса) типа), учитывающих не только процесс «механического» накопления учебной информации объектом обучения в зависимости от числа шагов обучения, но и структуризацию знаний. Суть сформулированных краевых задач заключается в следующем:

• При индивидуальном обучении: На границе отрезка распределения г =0 баллов Л должно выполняться граничное условие "отражения" (т.е. баллы не могут уменьшаться и выходить в область отрицательных значений). На границе ^ ^ отрезка распределения баллов необходимо, чтобы выполнялось граничное условие "поглощения" (т.к. пользователь, достигший заданный уровень в Ь баллов заканчивает обучение). Каждый пользователь, имея начальный балл равный некоторому должен после общения с системой, через некоторое число шагов обучения достигнуть уровня обученности в L баллов, или в противном случае процесс обучения должен продолжаться. • Для модели коллективного обучения (группы) необходимо учитывать, что знания группы в целом характеризуются функцией распределения p(x*t= 0) п Поэтому, плотность вероятности получить при тестировании балл равный нулю должна быть равна нулю, а знания некоторых субъектов обучения могут превосходить уровень L, но процесс обучения продолжается, а достижение бесконечно большой величины баллов не возможно (равно нулю).

Полученные решения описывают, как индивидуальную восприимчивость пользователей к обучению, так и особенности процессов обучения группы.

3. Решения сформулированных краевых задач, которые позволяют определить необходимое количество учебной информации, передаваемой на одном шаге обучения объекту обучения (в зависимости от его характеристик), для того чтобы процесс был наиболее эффективным (заданное состояние обученности было бы достигнуто за наименьшее число шагов).

4. Алгоритмы и методы машинного обучения и диагностики знаний, полученные на основе представленных в диссертации математических и информационных моделей управления процессами усвоения знаний.

5. Адаптивная модель диагностики знаний, позволяющая уменьшить число вопросов и затраты времени при тестировании. В представленной модели максимальное число вопросов, которые необходимо задать пользователю для точной оценке его уровня подготовленности не превосходит где N-число уровней трудности вопросов).

6. Новые методы и правила создания более эргономичных графических пользовательских интерфейсов (GUI), (созданных с учетом психофизиологических особенностей пользователя и тем самым повышающих эффективность управления знаниями, за счет адаптации человеко-машинного взаимодействия). Апробация работы

Основные результаты диссертационной работы докладывались на:

• Международной конференции «Научная сессия МИФИ-2006», 23-27 января 2005 г., Москва, Россия.

• Международной конференции "Научная сессия МИФИ-2005", 24-28 января 2005 г., Москва, Россия.

• VII Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права», 1-5 октября 2004 г., Сочи, Россия.

• X Международной конференции «Современные технологии обучения СТО-2004», 21-22 апреля 2004 г., С.-Петербург, Россия.

• Международной конференции «Интернет-образование» (Web-Based Education - 2004), 16- 18 февраля 2004 г., Инсбрук, Австрия.

• Международной конференции «Научная сессия МИФИ-2004», 26-30 января 2004 г., Москва, Россия.

• VI Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права», 6-9 октября 2003 г., Сочи, Россия.

• XI Международной школе - семинаре «Новые информационные технологии», 20-23 мая 2003 г., Судак, Украина.

• IX Международной конференции «Современные технологии обучения СТО-2003», 23 апреля 2003 г., С.-Петербург, Россия.

• Международной конференции «Научная сессия МИФИ-2003», 20-24 января 2003 г., Москва, Россия.

• II Всероссийской научно-технической конференции «Проблемы информатики в образовании, управлении, экономике и технике», 26-27 ноября 2002 г., Пенза, Россия.

• Международной конференции «Научная сессия МИФИ-2002», 21-25 января 2002 г., Москва, Россия.

• Научно-технических семинарах кафедр «Автоматизированные системы обработки информации и управления» и «Вычислительные машины, комплексы, системы и сети» Московской государственной академии приборостроения и информатики.

Публикации. По теме диссертационной работы было опубликовано более 80 научных работ (13 из которых в указанных ВАК ведущих рецензируемых научных журналах и изданиях, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора наук). Монография: Жуков Д.О. Программное обеспечение мультимедийных систем обучения и диагностики знаний, М.: «Радио и связь», 2003. - 432с. Получено 11 авторских свидетельств, выданных РОСПАТЕНТ на программы для ЭВМ и 2 авторских свидетельства на базы данных. Кроме того, получено 8 авторских свидетельств, выданных ОФАП на компьютерные программы, 8 дипломов и 3 медали различных выставок.

Структура и объем диссертационной работы. Диссертация состоит из введения, 6 глав с 12 таблицами и 62 иллюстраций (рисунки, графики, схемы, экранные формы и т.д.), заключения, приложения и библиографического списка, состоящего из 201 названия. Общий объем работы составляет 342 страницы.

Основные результаты диссертационной работы

1. Разработаны новые методы формализации задач управления процессами усвоения знаний. Расплывчатость границ знания и множественность взаимосвязей между элементами предметной области позволяет при формализации задач управления знаниями рассматривать процесс обучения как совокупность случайных переходов между соседними состояниями, описывающими знания объекта (субъекта) обучения. При величине знаний ^ , предоставляемой объекту обучения на шаге обучения к, его балл из состояния (к-1) может переходить в состояние к, кроме того, изменение состояния к может осуществляться и за счет перехода к+1-^к. Величина знаний в любом из состояний выражается в оценочных единицах-баллах и может принимать некоторые значения от 0 до N. Процесс обучения можно рассматривать или как бинарный (двухпоточный), или как многопоточный (четырехпоточный) информационный случайный процесс.

2. На основе разработанной формализации задач управления знаниями для процессов обучения были получены неоднородные дифференциальные уравнения второго порядка (как гиперболического типа (для двухпоточных процессов), так и параболического (для четырехпоточных)), учитывающие не только процесс «механического» накопления учебной информации объектом обучения в зависимости от числа шагов обучения, но и структуризацию знаний. Это позволяет сформулировать и решить ряд краевых задач с граничными условиями различного типа, суть которых заключается в следующем:

• При индивидуальном обучении: на границе отрезка распределения баллов X 0 должно выполняться условие «отражения» (т.е. баллы не могут уменьшаться и выходить в область отрицательных значений).

На границе х £ отрезка распределения баллов необходимо, чтобы выполнялось условие «поглощения» (т.к. пользователь, достигший заданного уровня в Ь баллов заканчивает обучение). Каждый пользователь, имея начальный балл равный некоторому ^ , должен после общения с системой, через некоторое число шагов обучения достигнуть уровня обученности в Ь баллов, или в противном случае процесс обучения должен продолжаться. • Для модели коллективного обучения (группы) необходимо учитывать, что знания группы в целом характеризуются функцией распределения г . Поэтому плотность вероятности получить при тестировании балл, равный нулю, должна быть равна нулю, а знания некоторых субъектов обучения могут превосходить уровень Ь, но процесс обучения продолжается, а достижение бесконечно большой величины баллов невозможно (равно нулю). Полученные решения описывают как индивидуальную восприимчивость пользователей к обучению, так и особенности обучения группы.

3. Решение сформулированных в работе краевых задач позволяет определить методами имитационного моделирования необходимое количество учебной информации, передаваемой на одном шаге обучения объекту обучения (в зависимости от его характеристик), для того чтобы процесс был наиболее эффективным (заданное состояние обученности было бы достигнуто за наименьшее число шагов).

4. На основе полученных теоретических результатов и имитационного моделирования разработаны новые алгоритмы и методы машинного обучения и диагностики знаний, что позволяет разрабатывать АИОС для любых предметных областей, без предварительной жесткой структуризации знаний и сделать процесс разработки АИОС и обучения более технологичным и менее трудоемким.

5. При исследовании адаптивных моделей диагностики знаний были получены результаты, позволяющие оптимизировать алгоритм диагностики знаний при одновременном сохранении качества получаемой информации и качества управления знаниями. Даны ответы на такие важные вопросы как: какова должна быть величина шага между трудностью вопросов при последовательных правильных ответах и какова должна быть величина шага трудности для испытуемого, чей уровень подготовленности лежит вблизи максимума уровня трудности вопросов? Можно ли уменьшить число вопросов при адаптивном тестировании? В частности, было определено, что максимальное число вопросов, которое необходимо задать пользователю для точной оценки уровней трудности вопросов в базе тестирования). Это уменьшает затраты времени при сохранении необходимого качества управления знаниями.

6. С учетом созданных математических моделей процессов управления знаниями и информационных моделей разработаны принципы построения баз данных обучающих систем, учитывающих динамику процессов обучения. Проведены экспериментальные исследования и анализ процессов передачи и обработки информации в АИОС, на основании которого показано, что при использовании современного аппаратного обеспечения быстрая и бесперебойная работа обучающей системы может быть реализована в рамках модели бесприоритетного обслуживания заявок, а в качестве системы управления базой данных можно выбрать практически любую доступную сетевую реляционную

7. Решена задача обеспечения адаптации графического пользовательского интерфейса (GUI) обучающей системы к конкретному пользователю, что повышает ее эффективность в управлении процессами усвоения знаний его уровня подготовленности, не превосходит

СУБД. за счет увеличения эргономичности. На основе психофизиологических исследований были разработаны методы и правила создания адаптивных графических пользовательских интерфейсов (GUI). Было обнаружено, что для каждого пользователя существует свое среднее время отклика на различные события, происходящие на экране монитора, которое обучающая система может использовать для создания наиболее эргономичного для данного пользователя графического интерфейса.

8. Исходя из математических и информационных моделей процессов управления усвоением знаний и взаимодействия пользователей с АИОС, а также моделей передачи и обработки информации в АИОС, была разработана общая архитектура систем подобного класса. При разработке данных систем были использованы алгоритмы машинного обучения, полученные на основе результатов имитационного моделирования проведенного в главе 2, алгоритмы эффективного адаптивного обучения, разработанные в главе 3, и методы построения наиболее эргономичных пользовательских графических интерфейсов (глава 4).

9. На основе программной реализации АИОС для различных областей знания (физика, химия, изучение языков) осуществлена экспериментальная проверка:

• разработанных математических и информационных моделей процессов управления восприятием знаний, методов работы со знаниями, методов машинного обучения математических моделей управления знаниями;

• методов построения наиболее эргономичных для данного пользователя интерфейсов;

• эффективных алгоритмов адаптивной диагностики знаний, которая показала справедливость предлагаемых в диссертации математических моделей.

1. Дзегеленёнок П.И. Управление развитием образовательной среды на основе интеграции сетевых информационных ресурсов: диссертация на соискание ученой степени кандидата технических наук. — М. — 2000.

2. Дзегелеленок И.И. Информационные технологии в управлении качеством образования // Труды Исследовательского центра проблем качества подготовки специалистов. — Москва, 2004. — 67 с.

3. Елисов JI.H. Структура и принципы построения автоматизированных обучающих систем. М.: МИИГА, 1986.

4. Ларин Д.А. Механизм генерации компьютерных обучающих программ как средство управления качеством обучения: диссертация на соискание ученой степени кандидата технических наук. — М. — 2000.

5. Перегудов Ф.И., Тарасенко Ф.П. Введение в системный анализ. — М., «Высшая школа», 1989. — 367 с.

6. Субетто А.И. Квалиметрия. — С-Пб.: Астерион, 2002. — 288 с.

7. Свиридов А.П. Введение в статистическую теорию обучения и контроля знаний. 4.2 Элементы статистической динамики знаний. М.: МЭИ, 1974.- 152 с.

8. Свиридов А.П. Разработка и исследование систем автоматизированного обучения на базе статистических моделей: диссертация на соискание ученой степени доктора технических наук, — М. — 1984. 427 с.

9. Свиридов А.П. Основы статистической теории обучения и контроля знаний. М.: Высшая школа, 1981. - 262 с.

10. Коган А.Б. Биологическая кибернетика. — М., «Высшая школа», 1977.

11. Трифонов Е.В. Прогнозирование — общий принцип управления в физиологических системах // 2-я Международная конференция по основным проблемам бионики, АН СССР. — М-Л., 1978. — С.74-75.

12. Майн X., Осаки С. Марковские процессы принятия решений. — М., «Наука», 1977. — 175 с.

13. Обучающие машины, системы и комплексы: Справочник / Под общ. ред. А.Я. Савельева. — Киев: Высшая школа, 1986. — 303 с.

14. Машбиц Е.И., Андриевская В.В., Комиссарова Е.О. Диалог в обучающей системе — Киев: Высшая школа. Головное изд-во, 1989. — 183 с.

15. Hurtley R. Computer assisted learning // Human interaction with computer, 1998. —P. 129-159.

16. Стрикелова JI.B., Пискунов М.У., Тихонов И.И. Организация учебного процесса с помощью АОС: педагогические основы. — Минск: Изд-во Белорусского университета, 1986. — 95с.

17. Машбиц Е.И. Компьютеризация обучения: Проблемы и перспективы. //Информатика и образование, 1986.— №1. — С.110-127.

18. Гофер А.М, Левин H.A. Диалоговые системы обучения на персональных ЭВМ //Информатика и компьютерная грамотность.— М.: Наука 1988.— С. 176-186.

19. Представление и использование знаний /Под ред. X. Уэно, М. Исидзука. — М.: Мир, 1989. — 220 с.

20. Минский М. Фреймы для представления знаний. — М.: Мир, 1979. — 151 с.

21. Кесс Ю.Ю. Анализ и синтез фреймовых моделей АСУ. — М.: Энергоатомиздат, 1986.— 169с.

22. Селезнева H.A. Качество высшего образования как объект системного исследования. Лекция-доклад. — М.: Исследовательский центр проблем качества подготовки специалистов, 2002. — 95 с.

23. Субетто А.И. Качество непрерывного образования в Российской Федерации: состояние, тенденции, проблемы и перспективы. — СПб-М.: Исследовательский центр проблем качества подготовки специалистов, 2000. — 498 с.

24. Горленко O.A. Менеджмент качества: анализ основных определений // Методы менеджмента качества. — 2004. — № 12. — С.34-36.

25. Давыдова Л.Н. Различные подходы к определению качества образования // Качество. Инновации. Образование. — 2005. — № 2. — С.5-8.

26. Бордовский Г.Л., Нестеров A.A., Трапицын С.Ю. Управление качеством образовательного процесса. — СПб.: Изд-во РГПУ им. А.И. Герцена, 2001. —359 с.

27. Субетто А.И. Квалитология образования. — СПб.-М.: Исследовательский центр проблем качества подготовки специалистов, 2000. —220 с.

28. Субетто А.И. Технология сбора и обработки информации в процессе мониторинга качества образования (на федеральном уровне). СПб. — М.: МЦПКПС, 2000.-49 с.

29. Литвак Б.Г. Экспертные оценки и принятие решений. — М.: Патент, 1996, —271 с.

30. Литвак Б.Г. Автоматизированные системы экспертного оценивания и аккредитация. // Труды центра/Исследовательский центр проблем качества подготовки специалистов. — М, 1993 — 143 с.

31. Бегенау З.Г. Функция, форма, качество. — М.: Мир, 1969. — 168 с.

32. Баер Г. и др. Контроль и качество продукции. — М.: Прогресс, 1968.

33. Льюс Р., Галантер Р. Психофизические шкалы //Психологические измерения. — М.: Мир, 1967.

34. Гаспарский В. Праксеологический анализ проектно-конструкторских разработок. — М.: Мир, 1978. —170 с.

35. Лопухин М.М. Метод планирования и прогнозирования научных работ.

36. М.: Советское радио, 1971.— 160 с.

37. Пью Р.У. Принципы переработки информации человеком и теория систем // Справочник по системотехнике. — М.: Советское радио, 1970.

38. Ларичев О.И. Теория и методы принятия решений. — М.: Логос, 2000.296 с.

39. Титов A.B.Формализованное описание комплексной модели оценки в задаче управления качеством (на примере квалиметрии высшей школы): диссертация на соискание ученой степени кандидата технических наук.1. М.— 1998.— 184 с.

40. Новое качество высшего образования в современной России. Концептуально-программный подход //Под научной ред. Н.А.Селезневой и А.И.Субетто. -М.:ИЦ, 1995. — 200с.

41. Субетто А.И. Введение в квалиметрию высшей школы. Кн.1. — М.:ИЦ, 1991. —96с.

42. Субетто А.И. Введение в квалиметрию высшей школы. Кн.2. — М.:ИЦ, 1991.— 122с.

43. Субетто А.И. Введение в квалиметрию высшей школы. Кн.З. — М.:ИЦ, 1991.—171с.

44. Субетто А.И. Введение в квалиметрию высшей школы. Кн.4. — М.:ИЦ, 1991.— 163с.

45. Субетто А.И. Системологические основы образовательных систем: Часть 1. —М.:ИЦ, 1994. —284 с.

46. Субетто А.И. Системологические основы образовательных систем: Часть 2. — М.:ИЦ, 1994, —312 с.

47. Субетто А.И. Квалиметрия человека и образования. Методология и практика. — М.:ИЦ, 1994. — 242 с.

48. Игценко В.В. Разработка методологии функционально-сетевого мониторинга технологии подготовки специалистов высших учебных заведений: диссертация на соискание ученой степени доктора технических наук. — М. — 2004. 372 с.

49. Черчмен У., Акофф Р., Арноф JI. Введение в исследование операций. — М.:Наука, 1968. —486 с.

50. Моисеев В.Б., Андреев А.Б., Кузнецов A.A. и др. Адаптивная автоматизированная информационная система анализа знаний // МГОУ-XXI-Новые технологии. — № 3, 2001. — С. 25-29.

51. Мухин О.И. Компьютерная инструментальная среда «Слоистая машина» — Пермь: Изд-во Пермского политехнического ин-та., 1997. — 46 с.

52. Вихрев В. Authorware Professional в свете исторических задач центра ExMultimedia // КомпьютерПресс. — Вып.8, 1997. — С.51-56.

53. Пирогов С. HyperCard, HyperStudio, SuperCard: сравнение основных характеристик //КомпьютерПресс. — Вып.8, 1995. — С.46-49.

54. Голубятников И.В. Основные принципы проектирования и применения мультимедийных обучающих систем. — М.: «Машиностроение», 1999. — 318с.

55. Голубятников И.В. Автоматизированная мультимедийная обучающая система «Организация ЭВМ, комплексов и сетей». — М., 2000, per. номер в информационно-библиотечном фонде РФ -50200000044

56. Машбиц Е.М., Бондаровская В.М. Зарубежные концепции программного обучения. — Киев.: Наукова думка, 1964. — 170 с.

57. Ходашинский И.А. Вопросы, задачи и анализ ответов в интеллектуальных обучающих системах //Информационные технологии. — № 5,2001 — С. 36-41.

58. Маркелов С.А. Разработка и исследование средств управления фундаментализацией образования в социальных системах (на основе логико-категориальных моделей): диссертация на соискание ученой степени кандидата технических наук. — М., 1996.

59. Полуаршинова Е.Г. Тесты как средство контроля качества подготовки учащихся в системе управления образованием региона (на примере среднего образования г. Москвы): диссертация на соискание ученой степени кандидата технических наук. — М., 1998. — 155 с.

60. Lord F.M. Application of Item Response Theory to Practical Testing Problems //Hillsdale N-J. Lawrence Erlbaum Ass., Publ., 1980. 266 p.

61. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests // Copenhagen, Denmark: Danish Institute for Educational Research, 1960. — 199 c.

62. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов — М.: Прометей, 2000. — 168 с.

63. Millman Jason, Determining test length: Passing scores and test length for objectives-based tests //Los Angelis: Instructional Objectives Exchange, 1972.-p 33.

64. Millman Jason, Criterion-referenced measurement //In W.J. Popham Evaluation in Education: Current applications. — Barkley CA.: McCutchan, 1974 —p.311-397.

65. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. М.: Логос, 2002. — 432 с.

66. Wright B.D., Masters G.N. Rating scale analysis. — Chicago, 1982. — 206 c.

67. Mislevy R.J., Bock R.D. Introduction to Item Response Theory. — 1990.

68. Stocking M.L., Lord F.M. Developing a common metric in Item Response Theory //Applied Psychological Measurement. — vol. 7. — 1983.

69. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе: Учебное пособие. — М.: Исследовательский центр, 1989.— 167 с.

70. Люсин Д.В. Основы разработки и применения критериально-ориентированных педагогических тестов. — М.: Исследовательский центр, 1993. — 51 с.

71. Educational measurement /Ed. by Linn R. — N.Y.Macmillan, 1989. 610 p.

72. Keeves J.P. Educational Reserch, Methodology and Measurement: An International Handbook. — Oxford, Pergamon Press. — 1988.

73. Millan, J. Reliabity and validity of criterion-referensed test scores. In R.E.Traub //New directions of testing and measurement. — №4, Methodological developments, San Francisco: Jossey-Bass. 1979. — p. 7592.

74. Feltd S.N., Brennan, R.L. Reliability In R.L. Linn. Educational measurement. — 3rd ed. -New York, Macmillan, 1989. -p. 105-146.

75. Переверзев В.Ю. Зарубежный опыт массового педагогического тестирования абитуриентов // Шестой симпозиум «Квалиметриячеловека и образования: методология и практика»: тез. докл. Книга II, Ч.2.—Москва, 1997. С. 167.

76. Berk R.A. Criterion- referenced measurement. The state of art Baltimor, MD.

77. Jons Hopkins University Press, 1980.

78. Hambelton R.K. and others. Criterion-Referenced Measurement: a Review of Technical Issues and Development // Review of Education Research. — vol. 48, № 1 (Winter 1978).- p.1-48.

79. Гласс Дж., СтенлиДж. Стастические методы в педагогике и психологии.- М.: Прогресс, 1976. 495 с.

80. Educational Testing Service. Standarts for quality and fairness. — Prinston, NJ, 1987.

81. Messick S. Validity In R.L.Linn Educational Measurement. — 3rd ed. — New-York, Macmillan, 1989.- p. 13-105.

82. Hambelton R.K., Swaminathan H., Rogers H.J. Fundamentals of Item Response Theory. — Sage publications, 1991. — 327c.

83. Crocker L., Algina J. Introduction to classical & modern test theory. — Orlando, 1986.

84. Linden W.J., Hambelton R.K. Handbook of modern item response theory. — New York, 1997.

85. Усачев Ю.Е. Проектирование интеллектуального учебника // Дистанционное образование. — № 4. — 2000. — С.24-27.

86. Тельнов Ю.Ф. Интеллектуальные информационные системы в экономике. — М.: Из-во Московского государственного университета экономики, статистики и информатики, 1988. — 174 с.

87. Искусственный интеллект. В 3-х кн. Кн.2 Модели и методы: Справочник / Под ред. Д.А.Поспелова. — М.: Радио и связь, 1980. — 304 с.

88. Назаретов В.М., Ким Д.П. Робототехника и гибкие автоматизированные производства. В 9-ти кн. Кн. 6 Техническаяимитация интеллекта: Учебное пособие для втузов /Под ред. И.М.Макарова. — М.: Высшая школа, 1986. — 144 с.

89. Моисеев В.Б., Усманов В.В., Усачев Ю.Е., Андреев А.Б. Интеллектуальная система анализа знаний // Вторая Всероссийская конференция «Развитие системы тестирования в России»: тез. докл. — Москва, 2000. — С. 82-84.

90. Ope О. Теория графов. — М.: Наука, 1980. — 336 с.

91. Зайцева Л.В., Прокофьева Н.О. Модели и методы адаптивного контроля знаний // Educational Technology & Society. — № 7(4), 2004. — С.265-277.

92. Зайцева Л.В. Модели и методы адаптации к учащимся в системах компьютерного обучения // Educational Technology & Society. — №. 6(3), 2003.-С.204-212.

93. Овчинников B.B. Оценивание учебных достижений учащихся при проведении централизованного тестирования. М.: Из-во Век книги, 2001. —27 с.

94. Нейман Ю.М. О шкалировании результатов централизованного тестирования в 2001 году // Вопросы тестирования в образовании. — № 1,2001.— С. 94-106.

95. Weiss D.J. (Ed.) New Horizons in Testing: Latent Trait Test Theory and Computerized Adaptive Testing. New-York, Academic Press, 1983. - 345 P

96. Соловов A.B. Проектирование компьютерных систем учебного назначения: Учебное пособие. — Самара: СГАУ, 1995. —138 с.

97. Соловов A.B. Дидактика и технология электронного обучения в системе КАДИС // «Индустрия образования», №6. — М.: МГИУ, 2002, — С.54-64.

98. Зайцева Л.В., Новицкий Л.П., Грибкова В.А. Разработка и применение автоматизированных обучающих систем на базе ЭВМ /Под ред. Л.В.Ницецкого. Рига : «Зинатне», 1989. - 174 с.

99. Зайцева Л.В. Методы контроля знаний при автоматизированном обучении //Автоматика и вычислительная техника, 1991. — № 4. — С. 88-92.

100. Свиридов А.П. Введение в статистическую теорию обучения и контроля знаний. Ч. 1 Стандартизированные методы контроля знаний. М.: МЭИ, 1974.- 134 с.

101. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации // Проблемы кибернетики. 1978. -Вып. 33.-С. 5-68.

102. Ю.Прокофьева Н.О. Алгоритмы оценки знаний при дистанционном обучении // Образование и виртуальность 2001: сб. науч. тр. 5-й Международной конференции. — Харьков-Ялта: УАДО, 2001. — С. 8288.

103. Прокофьева Н.О. Сравнительный анализ алгоритмов оценки знаний // Интернет Образование - Наука - 2002: сб. науч. тр. 3-й Международной научно-практической конференции. - Винница: ВГТУ, 2002.-С. 85-87.

104. Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения. — М: Педагогика, 1988. —191с.

105. Иванов Ю.С. Параметрическое моделирование в системах автоматизированного обучения и управления. — Казань: ИССО РАО, 1994.— 198 с.

106. Рынгач В.Д., Краснов М.А., Лысяков А.Ф., Мазурук А.А. / Под ред. Довгелло A.M. — Автоматизированные системы для обучения программированию. Проектирование и реализация. — Киев, 1989. — 161 с.

107. Житомирский В.Г., Долгий А.В., Степанов Г.А. Принципы организации автоматизированных систем обучения на базе мини- и микро- ЭВМ: Сб. науч. тр.: Обучающие и контролирующие системы на базе ЭВМ.— Свердловск, 1982. —С. 124-134.

108. Данилин А.Ф. Создание специализированных автоматизированных систем обучения на базе АСО общего назначения: Сб. науч. тр.: Обучающие и контролирующие системы на базе ЭВМ. — Свердловск, 1982. —С. 3-10.

109. Гультяев A.K. Macromedia AUTHORWARE 6.0 Разработка мультимедийных учебных курсов — С-Пб.: КОРОНА-принт, 2000, -399 С.

110. Dix A., Finlay J., Abowd G., Beale R. Human Comhuter Interaction -Prentice Hall, 1993.

111. Kieras D. Using the Keystroke-level Model to Estimate Execution Times -University of Michigan, 2001.

112. Раскин д. Интерфейс: новые направления в проектировании компьютерных систем: пер. с англ. С-Пб.: Символ - Плюс, 2003.

113. Card, Moran and Newell. «The Phychology of Human-Computer Interaction». — Elbraum, 1983.

114. Деннинг В., Эссиг Г., Маас С. Диалоговые системы «Человек-ЭВМ». Адаптация к требованиям пользователя: пер. с англ. М.: Мир, 1984.

115. Гультяев А.К., Машин В.А. Проектирование и дизайн пользовательского интерфейса —С-Пб.: КОРОНА-принт, 2000.

116. Довгялло A.M., Бороновицкий В.И., Вершинин К.П. и др. Диалоговые системы. Современное состояние и перспективы развития — Киев: Наука думка, 1987. — 248с.

117. Ш.Растина JI.A. Адаптивное обучение с моделью: концепция. Алгоритмы, программная реализация и опыт внедрения //Информатика и компьютерная грамотность. — М.: Наука, 1988.

118. Жуков Д.О. Программное обеспечение мультимедийных систем обучения и диагностики знаний: монография. — М.:«Радио и связь», 2003. —432с.

119. Компьютерная технология обучения. Словарь-справочник, т. 1,2. — Киев: Наукова думка, 1992.

120. Harrington R., Fancher В., Black P. IBM Link Way: Hypermedia for the PC // N.Y.: John Wiley and Sons, Inc., 1998.

121. Anita Lindbergh, Tomoyuki Yamamoto, Takashi Usuki. SAL, A Hypermedia Prototype System. Multimedia: Systems, Interaction and Applications // 1st Autographic Workshop, Stockholm, Sweden, April 18-19, 1997. — p. 129145.

122. Roger К. Took. Out of the Window: A Multi-Medium. Multimedia: Systems, Interaction and Applications /1st Autographic Workshop, Stockholm, Sweden, April 18-19,1997. —p. 70-82.

123. Тараскин Ю. Мультимедиа в Российском государственном гуманитарном университете //КомпьютерПресс. Специальный выпуск «Компьютеры в образовании», Вып.8,1998. — стр.32-37.

124. Веллинг JI., Томсон JI., Разработка Web-приложений с помощью РНР и MySQL. — 2-ое издание. М.: Издательский дом «Вильяме», 2003.

125. Codd E.F. Relational Database: A Practical Foundation for Productivity // Communications of the ACM, 1982.—Vol.25, N2. —P.140-155.

126. Codd E.F. A relational model of data for large stored data banks // Communications of the ACM, 1970. — Vol.13, N6. — P.377-387.

127. Atkinson M. et. al. The Object-Oriented Database System Manifesto // ALTAR Technical Report, No 30-89, GIP ALTAR, LeChesnay, France, 1989.

128. Beech, D. A Foundation for Evolution from Relational to Object Databases // Proc. Conference on Extending Database Technology, Venice, Italy, 1988.

129. Поделько A.A. Объектно-ориентированные системы управления базами данных // Сети. — Вып.6. —1997. — С. 108-114.

130. Системы управления базами данных и знаний: справочное изд. // А.Н.Наумов, А.М.Вендров, В.К.Иванов и др. /Под ред. А.Н.Наумова. — М.: Финансы и статистика, 1991. — 352с.

131. Бойко В.В., Савинков В.М. Проектирование баз данных информационных систем. — М.: Финансы и статистика, 1989. —351с.

132. Гилула М.М. Множественная модель данных в информационных системах. — М.: Наука, 1992. — 208с.148. www.cognitive.ru149. http://ito.edu.ru/2001/ito/VI/VI-0-19.html.

133. Шихова О.Ф. Об объективизации тестов // Всероссийская научно-методическая конференция «Развитие системы тестирования в России»: тез. докл. — Москва, 2002.—С.255-256.

134. Моисеев В.Б., Усманов В.В., Таранцева K.P., Пятирублевый Л.Г. Оценивание результатов тестирования на основе экспертно-аналитических методов // Открытое образование. — №3, 2001. — С.32-36.

135. Рудинский И.Д., Соловей Е.В. Автоматизированный контроль знаний по методике уточняющих вопросов //Сборник материалов конференции Калининградского государственного технического университета. — Калининград, 2001. —С. 186.

136. Жуков Д.О. Краевые задачи в теории информации //Научные труды VII Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права», Сочи, 1-5 октября 2004. — С.76-81.

137. Кошляков Н.С., Глинер Э.Б., Смирнов М.М. Уравнения в частных производных математической физики. — М.: Высшая школа, 1970. — 712с.

138. Жуков Д.О., Алешкин A.C., Арутюнов И.С. и др. Генератор заданий по курсу высшей математики // Сб. науч. тр. «Научная сессия МИФИ -2003». -Москва, 2003, — Т. 12.— С.202.

139. Переверзев В.Ю. Критериально-ориентированные педагогические тесты для итоговой аттестации студентов. — М.: Из-во НМЦ СПО Минобразования РФ, 1998. — 152 С.

140. Linacre J.M. Computer-Adaptive Testing: A Methodology Whose Time Has Come //MESA Memorandum No. 69. Published in Sunhee Chae, Unson Kang, Eunhwa Jeon, and J. M. Linacre, 2000

141. Chi-Keung Leung, Hua-Hua Chang, Kit-Tai Hau Computerized Adaptive Testing: A Comparison of Three Content Balancing Methods // The Journal of Technology, Learning, and Assessment, Volume 2, № 5 — December 2003

142. Соколов B.M. Вывод функции успеха из принципа максимальности информации о системе //Всероссийская научно-методическая конференция «Развитие системы тестирования в России»: тез. докл. — Москва, 2002. —С.250-251.

143. Герасимович А.И., Матвеева Я.И. Математическая статистика. -Минск.: Высшая школа, 1978. 200 с.

144. Гмурман В.Е. Теория вероятностей и математическая статистика. — М.: Высшая школа, 1997.— 480 с.

145. Рао С.Р. Линейные статистические методы и их применение /Под ред. Ю.В. Линника. — М.: Наука, 1968. — 547 с.

146. Wright B.D., Stone М.Н. Best test design, Chicago: Mesa Press, 1979. — 220 p.

147. Сигел Э. Практическая бизнес-статистика: Пер. с англ. М.: Издательский дом «Вильяме», 2002.

148. Гайдышев И. Анализ и обработка данных: специальный справочник. -СПб.: Питер, 2001.

149. Гмурман В.Е. Теория вероятностей и математическая статистика: Учебное пособие для вузов. Изд. 7-е, стер. М.: «Высшая школа», 2000.

150. Мартин Дж. Организация баз данных в вычислительных системах: Пер. с англ. — М.: Мир, 1980. — 662с.

151. Ульман Дж. Основы систем баз данных: Пер. с англ. — М.: Финансы и статистика, 1983. — 334 с.

152. Лаурсен А., Олкин Дж., Портер М. Oracle Media Server: предоставление потребителям интерактивного доступа к данным мультимедиа// Системы управления базами данных. — Вып. 1. — 1995. — С.99-116.

153. Калянов Г.Н. Современные CASE-технологии. — М.: ИПУ, 1992. — 132 с.176. http://mvsql.directnet.ru/doc/ru/ODBC.html. Основные возможности MySQL.

154. Oracle 7. MG Butler Associates Ltd, 1992.178. http://msdn.microsoft.com/librarv/periodic/periodOO/sql.htm.

155. Альянах И.Н. Моделирование вычислительных систем. Л.: Машиностроение, 1988. —223 с.

156. Майоров С.А., Новиков Г.И., Алиев Т.И., Махарев Э.И., Тимиченко Б.Д. Основы теории вычислительных систем. Учебное пособие для вузов. — М.: Высшая Школа, 1978. — 408 с.

157. Ш.Нардюжев В.И., Нардюжев И.В. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования. М.: Прометей.-2000.- 148 с.

158. Любимов А. Коммутируемая Ethernet// КомпьютерПресс. — 1995. — Вып.7,9.

159. Любимов А. Сетевые технологии и решаемые задачи// КомпьютерПресс. — 1995.—Вып. 10. — С.70-79.

160. Любимов А. Стратегия высокопроизводительных сетей// КомпьютерПресс. — 1995— Вып.5-7.

161. Fall К., Varadhan К. NS Notes and Documentation . The VINT Project, 1998.- 187 p.

162. Bagrodia R.L., Liao W. Maisie: a Language for Deign of Efficient Discrete Event Simulation// IEEE Transactions on Software Engineering, April 1994. — 27p.

163. Meyer R. PARSEC User Manual. Release 1.1. -Los Angeles, CA: UCLA Parallel Computing Laboratory, 1998. — 39p.

164. Little M.C. C++SIM User's Guide. Public Release 1.5. Newcastle upon Tyne: Computing Laboratory, The University of Newcastle upon Tyne. — 1994.— 3 lp.

165. Франк А. Мультимедийные локальные и глобальные сети// LAN Magazine. // Русское издание. — сентябрь 1996. — Т. 2. — № 5. — С.61-66.

166. Федотчев К. MediaNet — сеть для работы с файлами большого объема// КомпьютерПресс. — Вып.8. — С. 110-111.

167. Жуков Д.О., Кудряшов А.А. Автоматизированная среда разработки компьютерных обучающих программ «MetodiClass» //Сб. науч.тр. «Научная сессия МИФИ-2004». — Москва. — 2004. —Т. 10. — С.47-48.

168. Усачев Ю.Е. Проектирование интеллектуального учебника// Дистанционное образование. — 2000. — № 4. — С.24-27.

169. Искусственный интеллект. В 3-х кн. Кн.2 Модели и методы: Справочник/ Под ред. Д.А.Поспелова. — М.: Радио и связь, 1980. — 304 с.

170. Лорьер Ж.Л. Системы искусственного интеллекта. Пер. с французского.- М.: Мир, 1991. —216 с.

171. Жуков Д.О. Использование информационных технологий для создания систем дистанционного обучения и тестирования// Информационные ресурсы России. — 2004. — № 1 (77). — С.26-29.

172. Зотов Д.Д., Жуков Д.О., Петров О.М. Оптимизированная модель АСУ дистанционного образования в сети Internet //Сб. науч. тр. «Научная сессия МИФИ-2005». — Москва. — 2005. — Т.2. — С. 173-174.

173. Жуков Д.О., Зотов Д.Д., Першин М.Д. Реализация основных концепций мультимедийного обучения в электронных учебниках // Сб. науч. тр. «Научная сессия МИФИ-2003». — Москва. — 2003. — Т. 12. — С.206-207.

174. Беланов A.C., Еремин П.С., Жуков Д.О. и др. Электронный учебный комплекс по оптике и атомной физике для нефизических специальностей технических вузов// Физическое образование в вузах.2001. — Т.7, №3. — С.92-96.

175. Жуков Д.О. Сетевая мультимедийная система лабораторных работ по курсу физики// Информатика и образование. — 2003. — № 7. — С. 8183.

176. Александров H.A., Жуков Д.О., Зотов Д.Д. и др. Электронные лабораторные работы по курсу общей физики для студентов технических вузов// Физическое образование в вузах.— 2002. — Т.8, №1. —С.96-102.

177. Худсон Д. Статистика для физиков. Пер. с английского. — М.: Мир, 1970. —296 с.