автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Разработка интегрированной среды формирования индивидуальной образовательной траектории при подготовке персонала для предприятий транспортного комплекса

КОНТРОЛЬНЫЙ ЭКЗЕМПЛЯР

На правах рукописи

ИВАНОВА ЛИЛИЯ ВАСИЛЬЕВНА

РАЗРАБОТКА ИНТЕГРИРОВАННОЙ СРЕДЫ ФОРМИРОВАНИЯ ИНДИВИДУАЛЬНОЙ ОБРАЗОВАТЕЛЬНОЙ ТРАЕКТОРИИ ПРИ ПОДГОТОВКЕ ПЕРСОНАЛА ДЛЯ ПРЕДПРИЯТИЙ ТРАНСПОРТНОГО КОМПЛЕКСА

Специальность 05.13.06 -Автоматизация и управление технологическими процессами и производствами (промышленность)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва - 2004

Работа выполнена в Московском автомобильно-дорожном институте (государственном техническом университете)

Научный руководитель Доктор технических наук, профессор

Николаев Андрей Борисович

Официальные оппоненты Доктор технических наук, с.н.с.

Фоминых Игорь Борисович

Кандидат технических наук, доцент Балдин Александр Викторович

Ведущая организация: ФГУП ГНТЦ «ГИНТЕХ» (Государственный научно-технический центр гиперинформационных технологий), г. Москва.

Защита состоится 24 мая 2004г. в 1 000 часов на заседании диссертационного совета Д.212.126.05 при Московском автомобильно-дорожном институте (государственном техническом университете) по адресу:

1253829 ГСП А-47, Москва, Ленинградский пр., д.64.

С диссертацией можно ознакомиться в библиотеке МАДИ(ГТУ)

Автореферат разослан 22 апреля 2004г.

Отзыв на автореферат в одном экземпляре, заверенный печатью, просим направлять в адрес совета института

Ученый секретарь диссертационного совета, кандидат технических наук,

доцент Михайлова Н.В.

1. Общая характеристика работы

1.1. Актуальность проблемы

На современном этапе развития системы управления персоналом транспортных предприятий не вызывает сомнения необходимость широкомасштабного внедрения информационных технологий в процесс подготовки, повышения квалификации и аттестации кадров. В программе развития транспортных предприятий предусмотрено выделение средств на оборудование специализированных учебных помещений, формирование методической базы по ведущим профессиям и др. При этом использование новых информационных технологий в процессе обучения требует пересмотра взгляда на сам процесс подготовки за счет использования мощной аппаратной и программной базы. Не вызывает сомнения необходимость индивидуализации обучения, что естественным образом сокращает сроки и повышает качество подготовки специалистов.

Обновление подвижного состава, совершенствование технологических процессов обслуживания техники, внедрение новых методов управления персоналом диктуют необходимость динамичного изменения учебных планов и рабочих программ подготовки рабочих кадров и служащих, рассчитанных на различные возрастные категории и различный уровень начальной подготовки. В настоящее время отработаны методы формирования индивидуальных учебных планов и программ. Задачам автоматизации формирования учебных планов, процедур тестового контроля, мультимедийных обучающих программ посвящено значительное количество работ. Однако всей проблеме в целом от разработки обучающих программ по отдельным дисциплинам до моделирования всего процесса подготовки за счет автоматизации процедур формирования индивидуальной образовательной траектории, уделяется недостаточно внимания.

Основу организационно-методической системы подготовки учебных планов и программ составляет структурированное представление учебного материала, которое описывается с использованием математических методов и моделей. Основу процессов автоматизации формирования образовательной траектории и ее динамической корректировки составляют модели процедур тестового контроля.

В связи с этим становится актуальной задача по автоматизации процесса формирования индивидуальных учебных планов и программ за счет объединения моделей структуризации учебного материала и тестового контроля.

РОС НАЦИОНАЛЬНАЯ БИБЛИОТЕКА

Предметом исследования являются методы и модели формализованного описания процессов обучения и тестового контроля, а также принципы формирования индивидуальной образовательной траектории.

1.2. Цель и основные задачи исследования

Целью работы является автоматизация процесса формирования индивидуальной образовательной траектории по результатам входного и текущего контроля на базе формализованных методов и моделей структуризации учебного материала и тестового контроля с использованием необходимой программной поддержки.

Для достижения данной цели в работе решаются следующие задачи:

• системный анализ задач организации подготовки персонала транспортных предприятий, методов и моделей структуризации учебного плана, процедур компьютерного тестового контроля и принципов индивидуализации обучения;

• разработка методики корректировки сложности тестовых заданий по статистике ответов испытуемых с учетом семантической сети знаний и механизмов предъявления тестовых заданий для непрерывной оценочной шкалы;

• разработка методов и алгоритмов автоматизации процессов генерации индивидуальной траектории на базе формализованных моделей связности учебного материала и результатов входного и текущего тестового контроля;

• разработка структуры и макета интегрированного программно-технического комплекса системы подготовки, обеспечивающих модульность, гибкость и адаптивность обучения с учетом индивидуальных качеств обучаемых.

1.3. Методы исследования

При разработке формальных моделей компонентов системы подготовки, повышения квалификации и аттестации кадров в диссертации использовались методы общей теории систем, случайных процессов, стохастической аппроксимации, а также методы шкалирования, экспертного оценивания и др. Анализ эффективности разработанных методов и моделей выполнен с помощью методов корреляционного, факторного, дискриминантного, и других современных методов многомерного статистического анализа с привлечением математических пакетов Statistica и MathCad.

1.4. Научная новизна

Научную новизну работы составляют:

• интеграция методов и моделей структуризации учебного материала и процедур тестового контроля;

• метод переоценки сложности тестовых заданий на основе статистики результатов корпоративного обучения;

• алгоритм предъявления тестовых заданий на основе процедур стохастической аппроксимации;

• метод формирования индивидуального теста с учетом априорной информации на основе байесовской классификации;

• метод автоматической генерации образовательной траектории как подграфа учебных модулей на базе терм-анализа связности учебных модулей и тестовых заданий.

1.5. Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, согласованностью результатов аналитических и имитационных моделей процессов обучения и компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения работы в ряде крупных транспортных предприятий.

1.6. Практическая ценность и реализация результатов работы

Научные результаты, полученные в диссертации, доведены до практического использования в системе подготовки, повышения квалификации и аттестации кадров для транспортных предприятий. Они представляют непосредственный интерес в области комплексной автоматизации технологических процессов формирования индивидуальных учебных планов и рабочих программ для системы переподготовки.

Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в системе переподготовки на предприятиях «Мосгортранс», в ООО "НОВАЦИЯ ТД", 000 "РАСТРАН", а также используются при организации учебного процесса на кафедре АСУ МАДИ(ГТУ).

1.7. Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (19982004гг.);

• на заседании кафедры АСУ МАДИ(ТУ).

Совокупность научных положений, идей и практических результатов исследований в области автоматизации образовательного процесса составляет новое направление в области теоретических и практических методов принятия решений и выбора стратегий формирования индивидуальных учебных программ.

2. СОДЕРЖАНИЕ РАБОТЫ

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов, моделей и методик.

Во введении обосновывается актуальность работы. Отмечается необходимость решения задачи формализации учебных планов и разработки методов и моделей тестового контроля. Определены границы предметной области, рассматриваемой в диссертации. Сформулирована цель работы и основные задачи. Приведено краткое описание содержания глав диссертации.

В первой главе диссертации проводится системный анализ задач организации подготовки и переподготовки персонала транспортных предприятий. Рассмотрены проблемы информатизации и общие тенденции развития системы переподготовки. Проведен анализ основных методов и моделей процессов обучения и тестового контроля. Рассмотрены проблемы формирования индивидуальной образовательной траектории и возможности автоматизации этого процесса на базе формальных методов, моделей и программной поддержки.

Анализ показал, что для формализованного представления и структуризации учебных планов и рабочих программ может быть использован терм-анализ связности модулей учебных материалов. Модуль представляет структуру:

М={Ом, Ам, Нм, 0)

где Ом - наименование модуля; Ам - аннотация модуля; Нм - объем часов, выделенных на модуль; Ро - указатель дисциплины.

Терм-множество представляет структуру М^УТ'иУУ0, где УУ1 множество входных термов; \Л/° - множество выходных термов. Для идентификации терма используем символ \лл \Л/„е\Л/' - терм \л/ принадлежит множеству входных термов; \Л/же\Л/0 - терм w

принадлежит множеству выходных термов; индекс w один и тот же для термов входных или выходных.

Входные термы определены как:

\Л/'„={0,и,1 Ру,, tУ,w}. (2)

где О'уу - идентификатор терма; Рм - указатель принадлежности модулю; Яуу - ссылка на терм-источник (для организации синонимии); - коэффициент усиления (определяет увеличение активности использования и понимания области связанной с термом).

Выходные термы определены как:

(3)

где - идентификатор терма; - указатель принадлежности модулю; - ссылка на терм картытребований; - коэффициент забываемости.

Данный подход представляет основу для структуризации учебных материалов с целью анализа его связности и возможности автоматизации генерации индивидуальной образовательной траектории по результатам тестового контроля.

Проведенный в диссертации анализ показал, что в общем случае следует разделять механизм предъявления тестовых заданий и процедуры оценивания или классификации уровня знаний. Механизмы предъявления строятся на основе статических и динамических планов. В статическом механизме количество заданий различной степени сложности, включенных в тест, определено заранее. Вариации общим количеством заданий и их распределением по сложности дают различные результаты по точности оценивания уровня знаний. Адаптивный механизм предъявления тестовых заданий предполагает выбор каждого последующего задания из базы тестовых задания в зависимости от ответов на все предыдущие.

В общем случае механизм предъявления тестовых заданий различной сложности строится по схеме:

Р(п+1) = /*п)(р<1).....р(п)) + ^(п)(р(1).....р(п>), (4)

где - сложность задания на шаге процедуры;

некоторое функциональное преобразование результатов ответов;

^л)(р(1)..... р(п)) - случайная величина, моделирующая ответ на п-е

задание.

Приведенная схема описывает подход к построению множества алгоритмов, различающихся механизмами предъявления заданий и процедурами оценивания. Механизм предъявления дает лишь последовательность заданий различной сложности. Оценивание

уровня знаний тестируемого является следующей задачей. В данном случае имеет место два подхода: классификация, когда количество значений оценок тестируемого определено заранее, и оценивание, когда численное значение оценки может быть произвольным.

Проведенный в диссертации анализ показал, что в качестве критерия эффективности теста следует использовать критерии, основанные на построении матрицы ошибочной классификации уровня знаний. При этом, для построения оценки матрицы ошибочных . вероятностей, целесообразно использовать параметризуемую имитационную модель,' которая позволяет варьировать: составом группы по уровню знаний с заданными априорными распределениями; механизмами предъявления тестовых заданий; процедурами оценивания уровня знаний и методами классификации; структурой аналитических моделей !ЯТ-теории; количеством повторных реализаций по группе и каждому испытуемому для достижения заданной точности и др.

В диссертационной работе особое внимание уделено анализу методов общесистемного моделирования, связанных с принятием решений в условиях неопределенности. Особое место в данном случае занимает имитационный подход. Имитационное моделирование, в свою очередь, вызывает необходимость использования всего спектра прикладных статистических методов для анализа экспериментов.

В диссертационной работе проведен анализ современных информационных технологий в образовании и рассмотрены компоненты информационно-образовательной среды,

представляющие собой системно-организованную совокупность средств передачи данных, информационных ресурсов, протоколов взаимодействия, аппаратно-программного и организационно-методического обеспечения, ориентированную на удовлетворение образовательных потребностей.

Во второй главе диссертации приведена концепция построения программно-моделирующего комплекса формирования индивидуальной траектории и решены частные задачи, необходимые для повышения эффективности разработанной методики, а именно:

• переоценки сложностей тестовых заданий, что позволяет более точно оценить уровень знаний;

• разработки эффективных механизмов предъявления тестовых заданий в случае непрерывной шкалы сложности;

• задачи классификации уровня знаний для дискретной шкалы при наличии априорной информации, поскольку в информационной

системе поддержки процесса подготовки реализованы механизмы сбора и обработки всей информации о прохождении учебного процесса.

Адаптация образовательной траектории по результатам тестирования

Рис. 1

Учебный план представляет собой совокупность учебных модулей с учетом последовательности их предъявления обучаемым. За всеми учебными модулями закреплены тестовые задания, объединенные в тесты. По каждому обучаемому собирается статистика его ответов на каждое тестовое задание, регистрируемая в базе данных результатов. Эта статистика необходима для корректировки сложности заданий. Начальная оценка сложности представляет собой экспертную оценку методистов. Однако по мере накопления статистики каждого обучаемого можно считать экспертом по сложности заданий. С учетом привязки тестовых заданий к учебным модулям эта же статистика используется для динамического формирования учебного плана для каждого обучаемого с использованием его учебных достижений.

В диссертации показано, что практически все алгоритмы обработки данных системы подготовки должны быть включены в систему моделирования учебного процесса. Информационная система поддержки обучения для адаптации и реализации функций управления должна иметь модели соответствующих подсистем. Таким образом, система моделирования и информационная

система должны представлять единыи программно-моделирующии комплекс (рис.2.).

Рис. 2.

Основными компонентами являются модель обучаемого, модель тьютора, модель знаний предметной области и др. Иерархия математических моделей при формализации данной структуры идет по пути увеличения возможности моделирования неопределенностей.

Для корректировки уровня сложности тестовых заданий в диссертации предлагается отойти от классической теории тестового контроля, где сложность определяется как доля неверных ответов на выбранное задание. В работе предлагается оценивать сложность на основе бинарных отношений. В этом случае методист дает не численное значение оценки сложности, а предпочтение по сложности одного задания другому. Хотя это более трудоемкая процедура экспертного оценивания, она позволяет использовать результаты ответов обучаемых как экспертов, т.е. каждый тест каждого обучаемого представляет бинарное отношение, где каждое невыполненное задание сложнее выполненного. Таким образом, по

результатам анализа всех методистов и тестируемых составляется обобщенная матрица Р = А1, где А* - ранжировка ]-го методиста

либо тестируемого, Р=||Рч!|- матрица вероятностей предпочтения уровня сложностей ¡-го и ]-го задания.

Следующим этапом является переход от матрицы попарных сравнений к перестановке П=Еп Пэ по уровню сложности, которая определяется числовым значением. Числовая мера различия из вероятности предпочтения реализуется на основании поиска

(5)

где - определено в единицах стандартного отклонения.

Все попарные различия сводятся в матрицу и

вычисляется сумма каждой строки 2, = 2,/п. В

результате 2+ принимается за оценку сложности соответствующего тестового задания.

Проверка на непротиворечивость вычисленных сложностей основывается на сравнении исходных вероятностей предпочтения и вероятностей, полученных в результате вторичного вычисления, исходя _ из_ числовых оценок сложности каждого задания р^ = - Сумма разностей Дд =Рц- р, дает оценку согласия

исходного и вторичного предпочтения:

Далее, задаваясь порогом точности на основании сравнения вычисленной суммы разностей, решается задача о соответствии оценки сложности для групп тестируемых.

В силу того, что результат переоценки сложности тестовых заданий приводит к непрерывной шкале сложностей, в диссертации показана целесообразность использования алгоритмов стохастической аппроксимации.

Анализ сходимости алгоритмов стохастической аппроксимации в общем виде возможен лишь на основе имитационного моделирования, поэтому разработана имитационная модель оценки скорости сходимости оценки уровня знаний к истинному уровню. Рекуррентная схема пошагового изменения сложности предъявляемого тестового задания определялась выражением:

где !;(п) - результат ответа на п-ое задание, а - заданная вероятность правильного ответа. Для данной схемы получены аналитические соотношения оценки скорости сходимости. На рис 4 приведены графики математического ожидания с границами 85% доверительного интервала.

4,5

4,0 3,5 3,0 2,5 □ □ V □ О о пппопппппрппа □□□попел лПооооооо\ооооооооо< о ^^ N. м+ээ \ м

2,0 о

1,5 □ М-БО

1,0

0,5

0,0 ГШ . .

О 5 10 15 20 25 30

РИС. 4.

Из графиков видно, что уже после 15 предъявленных заданий средняя оценка находится в допустимых пределах, что существенно превосходит известные адаптивные алгоритмы тестового контроля.

Таким образом, разработанная схема адаптивного алгоритма позволяет существенно повысить эффективность процедур компьютерного тестового контроля, а разработанная имитационная модель позволяет оценить характеристики алгоритма с наперед заданной статистической значимостью.

Кроме того, имеющаяся статистика предыдущих учебных достижений обучаемых позволяет дать оценку априорных вероятностей его принадлежности к некоторой классификационной группе. Наличие информации об априорных вероятностях принадлежности каждой группе учитывается в байесовской процедуре классификации. Апостериорные вероятности Р(И/ЦХ) являются условными вероятностями соотнесения испытуемого с результатом X к группе \Л/У после проведения тестового контроля и получения статистики ответов.

В случае множественной классификации, как и в случае двух классов, используется дискриминантная функция. Для ^ой группы значение дискриминантной функции определяется на основании:

где /¡(X) - плотность распределения X в qí - априорная вероятность того, что вектор оценки X принадлежит популяции И/(, 1=1 ..к; С(1Ц) - стоимость ошибочной классификации, когда тестируемого из группы относят к группе ТЛ/» ¡,]=1..к, Таким образом, априорные вероятности позволяют оценить эффективность теста для каждого обучаемого на основе анализа всей предыстории обучения.

В третьей главе диссертации разработаны принципы генерации индивидуальной образовательной траектории. К пользователям системы подготовки относится администратор, методист, консультант (Р) и обучаемый (О). Все эти категории пользователей отличаются по их отношению к учебным материалам которые определяют совокупность неделимых единиц учебной информации, соответствующих структуре знаний специальности,- и тестовым заданиям (Т). В работе построена формальная модель организации взаимодействия консультанта с обучаемым с целью формирования и динамической корректировки образовательной траектории, которая использует формальные бинарные отношения

и другие. В программной реализации указанные отношения поддерживаются соответствующими таблицами реляционной базы данных.

Основная задача работы заключается в автоматизации формирования отношения (Охи), т.е. представления обучаемому определенных учебных материалов. Идея генерации состоит в следующем. Результаты тестового контроля (ОхТ), связность учебных материалов (11x1)) и связность тестовых заданий и учебного материала (Тх11) как бинарные отношения формально определяют операцию композиции (°), например:

- формирование теста по заданным

разделам;

(Ох11)=(ОхТ)0(Тхи) - формирование индивидуальной траектории обучения по результатам тестового контроля без учета связности учебного материала.

Больший теоретический интерес представляет композиция (0хи)=(0хТ)°(Тхи)о(ихи), которая учитывает связность учебных материалов (11x1)). Бинарное отношение (11x11) на основе моделей

(2) и (3) будем формировать в виде графа, вершины которого являются модулями учебного материала.

Итак, пусть множество модулей представляет собой граф в=(М, Е), где отношение порядка Б определяется на основании связности термов. означает, что выходной терм И^еИ^5

необходим для понимания входного терма И^еИЛ Отношение порядка между термами определяет отношение порядка на модулях, что задается отношением:

эи,л : (И^И^), щ. М, О)

которое должно обладать свойствами антирефлексивности; антисимметричности и транзитивности. Перечисленные свойства исключают возможность цикличности транзитивного замыкания.

Алгоритм автоматической генерации траектории обучения основан на первоначальной оценке необходимости включения модулей в траекторию обучения, что определяется результатами тестового контроля (ОхТ). Композиция (ОхТ)°(Тхи) дает оценку

нечеткого вектора 5М(0)=(5М1(0)..... ЗМм<0)), где вМ,'0' определяет

степень необходимости включения данного модуля в

учебную программу без учета связности. Отношение порядка Ее(их1)) на множестве модулей представляет нечеткое отношение. Е^ определяется количеством выходных термов ¡-го модуля ГГгСагсЩ0), количеством входных термов М',=Сагй(\/У/) и мощностью пересечения Нч=Сагд{у/°гМ1}), т.е. Е.рЫ^М0,-^). Нечеткое отношение более высокого порядка связности определяется композицией нечетких отношений. При этом:

Ё2)=Е°Е* Е<2> = тахтт{Е,к1Е^). (10)

Отношение определяет модули второго порядка, Е^Р'Е'2* - третьего и т.д. Нечеткая композиция БМ'0' и £ дает нечеткий вектор БМ'1', т.е. необходимость включения дополняющих модулей первого порядка. дает нечеткий вектор

необходимости включения модулей поддержки второго порядка и т.д. Нечеткая модель включения модулей в индивидуальную учебную траекторию определяется нечетким объединением

Таким образом, определяя детерминированное пороговое значение уровня значимости включения модуля в программу, алгоритм реализует автоматическую генерацию образовательной траектории без участия консультанта. Исходя из практических соображений, в работе предлагается включение консультанта в контур управления программой обучения. Автоматически

сгенерированная траектория является для тьютора исходной, которую он может редактировать (редактировать проще, чем формировать заново). В связи с этим разработана программная компонента инструментальной среды тьютора, включенная в систему подготовки персонала.

Предложена методика подготовки, повышения квалификации и аттестации персона предприятий «Мосгортранс», включающая этапы профориентации, входного контроля, непосредственно обучения и выходного контроля (Рис.3). Введены операции последовательной реализации учебных элементов «•», параллельной «®» и обратной связи «Р», что позволяет реализовать все приведенные этапы на основе единого универсального механизма.

Рис.3.

На первом этапе сотруднику предоставляется возможность просмотра краткого содержания, отражающего специфику специальности. В профессиограмме превалируют параллельные несвязные последовательности учебных модулей и тестов, объединенных в блоки ((и^Т^ФЩ^)®... ©(Ц,»7"п)). В результате сотрудник выбирает определенную специальность.

Входное тестирование осуществляется на основании предъявления тестовых заданий по всем модулям специальности. Во входном контроле основной задачей является выявление уровня знаний по всем модулям выбранной специальности, т.е. определение Использование разработанных

методов позволяет сформировать индивидуальную программу на основании результатов входного контроля.

Третий этап представляет непосредственно обучение, которое заканчивается после изучения всех модулей, закрепляющих теоретические знания и практические навыки выбранной специальности. Процесс обучения определяется жестким треком последовательного соединения модулей и тестов иут^и2»т2»и3»ил»... •7"п.

Выходной контроль является четвертым этапом, который представляет единый гетерогенный тест Я[Т). После его успешного завершения обучаемый получает документы, подтверждающие его профессиональную подготовку.

В четвертой главе диссертации рассматриваются вопросы построения программного комплекса автоматизации и моделирования процессов подготовки, переподготовки и аттестации сотрудников транспортных предприятий. Разработана структура базы данных, интегрирующая учебный план, тестовые задания, результаты выполнения и временные характеристики доступа к учебно-методическим материалам. Комплекс реализован в рамках единой оболочки с универсальным интерфейсом и возможностью интеграции со стандартными пакетами. Комплекс разработан по открытому принципу и позволяет наращивать функциональные возможности в процессе функционирования.

Разработанный программный комплекс, реализует среду консультанта, который наряду с другими функциями обеспечивает автоматическое построение образовательной траектории по результатам выполнения обучаемым тестовых заданий.

Проведен детальный анализ требований к минимуму содержания и уровню подготовки сотрудников «Мосгортранс» по различным направлениям в зависимости от уровня подготовки по результатам тестового контроля.

В заключении представлены основные результаты работы.

Приложение содержит документы об использовании результатов работы.

Публикации. По результатам выполненных исследований опубликовано 10 печатных работ, приведенных в списке публикаций.

Основные выводы и результаты работы

1. Проведен системный анализ задач организации системы подготовки, повышения квалификации и аттестации кадров, определены классы методов и моделей формализованного представления компонентов учебного плана и процедур компьютерного тестового контроля в рамках системы автоматизации и моделирования процессов обучения в целях автоматической генерации индивидуальной образовательной траектории.

2. Разработана методика формирования банка тестовых заданий с возможностью динамической корректировкой сложности заданий по статистике ответов тестируемых с учетом семантической сети знаний предметной области и экспертных оценок преподавателей, позволяющая реализовать более точную идентификацию сложности заданий и, следовательно, более точную оценку уровня знаний обучаемых.

3. Построена модель процедуры адаптивного тестового контроля в непрерывной оценочной шкале и разработаны механизмы предъявления тестовых заданий и процедуры оценивания «уровня знаний» на основе методов стохастической аппроксимации. Проведенные имитационные эксперименты подтвердили высокую эффективности разработанных адаптивных алгоритмов.

4. Разработаны методы и алгоритмы формирования индивидуальной образовательной траектории по результатам тестового контроля и структурной связности методических материалов. Их использование позволяет в автоматическом режиме генерировать совокупность учебных модулей индивидуального учебного плана.

5. Разработана программная среда консультанта, включающая функции автоматической генерации и последующего интерактивного редактирования образовательной траектории в системе подготовки, повышения квалификации и аттестации персонала транспортных предприятий, что позволяет повысить эффективность взаимодействия консультанта с обучаемым.

6. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в учебных центрах «Мосгортранс», в ООО "НОВАЦИЯ ТД", 000 "РАСТРАН", а также на кафедре АСУ МАДИ(ГТУ). Показано, что внедрение результатов работы позволяет повысить качество и эффективность процесса подготовки персонала для предприятий транспортного комплекса.

Публикации по теме диссертационной работы

1. Иванова Л.В. Инновационный менеджмент в формировании научно-технической политики предприятия. Тез. докл. Международной научно - практической конференции "Управление 98", Государственная академия управления, М., 1998.

2. Ivanova L. Human Resource Development in Russian Federation. Orator, University of Twente, The Netherlands, 2000.

3. Ivanova L. E-learning as a strategical policy within the corporate development. ICNEE 2001 Proceedings, Lugano, Switzerland, 2002.

4. Иванова Л.В. Электронное обучение, как стратегия корпоративного развития. Тез.докл. научно-практической конференции, София, Болгария, 2002.

5. Златин П.А., Иванова Л.В. Модели анализа риска инновационных проектов развития транспортных предприятий. М., 2003. 21с: 3 ил. -Рус. Деп. в ВИНИТИ 10.04.2003, № 671-В2003.

6. Иванова Л.В. Адаптивная модель выбора индивидуальной образовательной траектории. Информационные технологии в задачах управления и обучения. Сб. науч. тр. М., МАДИ (ГТУ), 2003.

7. Златин П.А., Иванова Л.В., Мельник В.Г. Проблемы создания системы мониторинга предприятий транспортного комплекса. Моделирование и оптимизация в управлении. Часть 1. Сб. науч. тр. М., МАДИ (ГТУ), 2003.

8. Николаев А.Б., Строганов В.Ю., Евстратова И.А., Иванова Л.В. Формализованное описание методической адаптивности с использованием аппарата цепей Маркова. Сб. науч. тр. М., МАДИ (ГТУ), 2003.

9. Алексахин СВ., Николаев А.Б., Строганов В.Ю., Остроух А.В., Иванова Л.В. Свидетельство об официальной регистрации программы для ЭВМ "Программная среда синтеза индивидуальной образовательной траектории и генерации индивидуального учебного плана с методическим наполнением " № 2003611003

10. Николаев А.Б., Строганов В.Ю., Златин П.А., Иванова Л.В. Адаптивные технологии переподготовки, повышения квалификации и аттестации работников предприятий с использованием системы "СОТА". М., 2004. 22с: 6 ил. -Рус. Деп. в ВИНИТИ 09.04.2004. №

592-В2004.

Подписано в печать 21.04.2004р. Формат 60x64/16

Печать офсетная Услпечл 1,0 Уч-иэдл 0*9

Тираж 100 экд_ Заказ 219_

Ротапринт МАДИ-ГТУ. 125319, Москва, Ленинградский лросп , 64

П - 7 О 4 5

ВВЕДЕНИЕ.

1. АНАЛИЗ МЕТОДОВ И МОДЕЛЕЙ СИСТЕМЫ ПОДГОТОВКИ И ПЕРЕПОДГОТОВКИ ПЕРСОНАЛА ТРАНСПОРТНЫХ ПРЕДПРИЯТИЙ.

1.1. Проблемы кадрового обеспечения транспортных предприятий транспортного комплекса.

1.2. Методы и формы управления обучением.

1.3. Тьютор и организация переподготовки в системе открытого обучения.

1.3.1. Место и роль тьютора в системе подготовки кадров.

1.3.2. Взаимодействие тьютора и обучаемого.

1.3.3. Организация методической работы в системе переподготовки.

1.4. Математические методы и модели обучения и тестового контроля.

1.4.1. Модели связности учебных материалов.

1.4.2. Методы и модели тестового контроля.

1.4.3. Модели оценки сложности учебной информации.

1.4.4. Моделирование совместного процесса обучения и тестирования.

1.5. Информационные технологии в системе подготовки.

Выводы по главе 1.

2. РАЗРАБОТКА ПРИНЦИПОВ СОЗДАНИЯ АДАПТИВНОЙ ОБУЧАЮЩЕЙ СРЕДЫ С ДИНАМИЧЕСКОЙ КОРРЕКТИРОВКОЙ СЛОЖНОСТИ ТЕСТОВЫХ ЗАДАНИЙ.

2.1. Разработка принципов организации адаптивной системы индивидуализации образовательной траектории.

2.1.1. Концепция создания программно-моделирующего комплекса.

2.1.2. Интеграция компонентов системы подготовки.

2.1.3. Взаимосвязь математических методов и моделей обучения и тестового контроля.

2.2. Разработка модели оценки и переоценки сложности учебных материалов.

2.3. Разработка алгоритмов предъявления тестовых заданий на базе стохастической аппроксимации.

2.3.1. Аналитические оценки скорости сходимости алгоритма оценивания.

2.3.2. Имитационные эксперименты по оценке скорости сходимости.

2.3.3. Использование критерия максимального правдоподобия.

2.4. Разработка метода классификации обучаемых с учетом априорной информации.

Выводы по главе 2.

3. РАЗРАБОТКА МЕТОДОВ И АЛГОРИТМОВ ГЕНЕРАЦИИ ИНДИВИДУАЛЬНОЙ ОБРАЗОВАТЕЛЬНОЙ ТРАЕКТОРИИ.

3.1. Формализованное представление учебного процесса.

3.2. Разработка моделей взаимодействия компонентов системы переподготовки.

3.2.1. Классификация пользователей.

3.2.2. Формирование системы приложений системы индивидуализации обучения.

3.2.3. Методы моделирования физиологических свойств обучаемого.

3.3. Алгоритм формирования учебной программы на основе композиции нечетких множеств.

3.3.1. Формирование нечеткого отношения связности модулей.

3.3.2. Отношение связности тестовых заданий и модулей.

3.3.3. Композиция нечеткого отношения связности модулей.

3.4. Методика организации системы подготовки и переподготовки.

Выводы по главе 3.

4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ ПОДДЕРЖКИ ФОРМИРОВАНИЯ ИНДИВИДУАЛЬНОЙ ТРАЕКТОРИИ.

4.1. Проектирование структуры программного комплекса.

4.2. Программная поддержка функциональных возможностей консультанта при организации учебного процесса.

4.2.1. Обратная связь с консультантом.

4.2.2. Просмотр результатов обучения.

4.2.3. Обмен информацией между пользователями системы.

4.2.4. Редактирование образовательной траектории.

4.3. Методика формирования учебных материалов и индивидуальной образовательной траектории в системе переподготовки.

Выводы по главе 4.

На современном этапе развития системы управления персоналом транспортных предприятий не вызывает сомнения необходимость широкомасштабного внедрения информационных технологий в процесс подготовки и переподготовки кадров. В программе развития транспортных предприятий определено выделение средств на оборудование специализированных учебных помещений, формирование методической базы по ведущим профессиям и др. При этом использование новых информационных технологий в процессе обучения требует пересмотра взгляда на сам процесс подготовки за счет использования мощной аппаратной и программной базы. Также, не вызывает сомнения принцип индивидуализации обучения, что естественным образом сокращает сроки и повышает качество подготовки специалистов.

Постоянное внедрение нового ремонтного оборудования, новых транспортных средств и новых методов управления персоналом диктует динамическое изменение учебных планов и рабочих программ подготовки как для рабочих кадров, так служащих управленческого звена, рассчитанных на различные возрастные категории и различный уровень начальной подготовки. В настоящее время отработаны формы и методы формирования индивидуальных учебных планов и программ. Однако их непосредственное формирование ведется практически вручную. Задачам автоматизации формирования учебных планов, процедур тестового контроля, мультимедийных обучающих программ посвящено значительное количество работ. Однако всей проблеме в целом от разработки обучающих программ по отдельным дисциплинам до моделирования всего процесса подготовки, за счет автоматизации формирования индивидуальной образовательной траектории уделяется недостаточно внимания.

Основу методической организации системы подготовки учебных планов и программ должно составлять структурированное представление учебного материала, которое может быть реализовано только на базе математических методов и моделей. Основу процессов автоматизации формирования образовательной траектории и ее динамической корректировки должны составлять модели процедур тестового контроля.

В связи с этим становится актуальной задача по автоматизации процесса формирования индивидуальных учебных планов и программ за счет объединения моделей структуризации учебного материала и тестового контроля.

Предметом исследования являются методы и модели формализованного описания процессов обучения и тестового контроля, а также принципы формирования индивидуальной образовательной траектории.

Целью работы является автоматизация процесса формирования индивидуальной образовательной траектории по результатам входного и текущего контроля на базе формализованных методов и моделей структуризации учебного материала и тестового контроля с использованием необходимой программной поддержки.

Для достижения данной цели в работе решаются следующие задачи:

• системный анализ задач организации подготовки персонала транспортных предприятий, методов и моделей структуризации учебного плана, процедур компьютерного тестового контроля и принципов индивидуализации обучения;

• разработка методики корректировки сложности тестовых заданий по статистике ответов испытуемых с учетом семантической сети знаний и механизмов предъявления тестовых заданий для непрерывной оценочной шкалы;

• разработка методов и алгоритмов автоматизации процессов генерации индивидуальной траектории на базе формализованных моделей связности учебного материала и результатов входного и текущего тестового контроля;

• разработка структуры и макета интегрированного программно-технического комплекса системы подготовки, обеспечивающие модульность, гибкость и адаптивность обучения с учетом индивидуальных качеств обучаемых.

При разработке формальных моделей компонентов системы переподготовки в диссертации использовались методы общей теории систем, случайных процессов, стохастической аппроксимации, а также методы шкалирования, экспертного оценивания и др. Анализ эффективности разработанных методов и моделей выполнен с помощью методов корреляционного, факторного, дискриминантного, и других современных методов многомерного статистического анализа с привлечением математических пакетов Statistica и MathCad.

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов, методик и алгоритмов.

В первой главе диссертации проводится системный анализ задач организации подготовки и переподготовки персонала транспортных предприятий. Рассмотрены проблемы информатизации и общие тенденции развития системы переподготовки. Проведен анализ основных методов и моделей процессов обучения и тестового контроля. Рассмотрены проблемы формирования индивидуальной образовательной траектории и его возможности автоматизации на базе формальных методов, моделей и программной поддержки.

Во второй главе диссертации приведена концепция построения программно-моделирующего комплекса формирования индивидуальной траектории и решены частные задачи, необходимые для повышения эффективности разработанной методики. Построена модель переоценки сложностей тестовых заданий, что позволяет более точно оценить уровень знаний. При переходе на непрерывную шкалу сложности разработан эффективный механизм предъявления тестовых заданий, который базируется на алгоритмах стохастической аппроксимации.

В третьей главе диссертации разрабатываются принципы генерации индивидуальной образовательной траектории, а также формальные модели организации взаимодействия консультанта с обучаемым с целью корректировки образовательной траектории. Решена задача классификации уровня знаний для дискретной шкалы при наличии априорной информации.

Предполагается возможность генерации образовательной траектории без участия консультанта. Однако полученная автоматической генерацией индивидуальная траектории обучения не всегда оптимальна, поэтому для консультанта разработана структура программной среды поддержки конструирования индивидуального плана на основании своих субъективных мнений.

В четвертой главе диссертации рассматриваются вопросы построения программного комплекса автоматизации и моделирования процессов подготовки, переподготовки и аттестации сотрудников транспортных предприятий. Разработана структура базы данных, интегрирующая учебный план, тестовые задания и результаты их выполнения. Разработан программный комплекс, реализующий среду консультанта, который наряду с другими функциями обеспечивает автоматическое построение образовательной траектории по результатам выполнения выбранных обучаемым тестовых заданий. Комплекс реализован в рамках единой оболочки с универсальным интерфейсом и возможностью интеграции со стандартными пакетами. Комплекс разработан по открытому принципу, что позволяет наращивать функциональные возможности в процессе функционирования системы.

В заключении представлены основные результаты работы.

В приложении приводятся акты внедрения результатов диссертационной работы.

Научную новизну работы составляют:

• интеграция методов и моделей структуризации учебного материала и процедур тестового контроля;

• метод переоценки сложности тестовых заданий на основе статистики результатов корпоративного обучения;

• алгоритм предъявления тестовых заданий на основе процедур стохастической аппроксимации;

• метод формирования индивидуального теста с учетом априорной информации на основе байесовской классификации;

• метод автоматической генерации образовательной траектории как подграфа учебных модулей на базе терм-анализа связности учебных модулей и тестовых заданий.

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, согласованностью результатов аналитических и имитационных моделей процессов обучения и компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в ряде крупных транспортных предприятий.

Научные результаты, полученные в диссертации, доведены до практического использования в системе переподготовки кадров транспортных предприятий. Они представляют непосредственный интерес в области комплексной автоматизации технологических процессов формирования индивидуальных учебных планов и рабочих программ для системы переподготовки.

Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в системе переподготовки на предприятиях «Мосгортранс», в ООО "НОВАЦИЯ ТД", ООО "РАСТРАН", а также используются при организации учебного процесса на кафедре АСУ МАДИ(ГТУ).

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (1998-2004гг.);

• на заседании кафедры АСУ МАДИ(ТУ).

Совокупность научных положений, идей и практических результатов исследований в области автоматизации образовательного процесса составляет новое направление в области теоретических и практических методов принятия решений и выбора стратегий формирования индивидуальных учебных программ.

По результатам выполненных исследований опубликовано около 10 печатных работ.

Диссертационная работа состоит из введения, четырех глав и заключения, опубликованных на 145 страницах машинописного текста, содержит 37 рисунков, 10 таблиц, список литературы из 88 наименований и приложения.

Основные выводы и результаты работы

1. Проведен системный анализ задач организации системы подготовки и переподготовки, определены классы методов и моделей формализованного представления компонентов учебного плана, процедур компьютерного тестового контроля и функционирования программно-технического комплекса в рамках системы автоматизации и моделирования процессов обучения и возможности автоматической генерации индивидуальной образовательной траектории.

2. Разработана методика формирования банка тестовых заданий с возможностью динамической корректировки сложности заданий по статистике ответов тестируемых с учетом семантической сети знаний предметной области и экспертных оценок преподавателей.

3. Построена формализованная модель процедуры адаптивного тестового контроля и разработаны механизмы предъявления тестовых заданий и процедуры оценивания «уровня знаний» на основе методов стохастической аппроксимации. Проведены экспериментальные исследования и получены количественные оценки эффективности разработанных адаптивных алгоритмов компьютерного тестового контроля.

4. Разработаны методы и алгоритмы формирования индивидуальной образовательной траектории по результатам тестового контроля и структурной связности методических материалов.

5. Разработана программная среда тьютора с функциями автоматической генерации и интерактивного редактирования образовательной траектории в адаптивной системе подготовки и переподготовки персонала транспортных предприятий.

6. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в учебных центрах «Мосгортранс», в ООО "НОВАЦИЯ ТД", ООО "РАСТРАН", а также на кафедре АСУ МАДИ(ГТУ). Показано, что внедрение результатов работы позволяет повысить качество и эффективность процесса подготовки персонала для предприятий транспортного комплекса.

1. Аванесов B.C. Научные проблемы тестового контроля знаний. Монография. - М.: Исследовательский центр, 1994.

2. Аванесов B.C. Теоретические основы разработки заданий в тестовой форме. М.: Исследовательский центр, 1995.

3. Агафонов В.Н. Спецификация программ: понятийные средства и их организация. Новосибирск, Наука, 1987, 238 с.

4. Васильев В.И. Наша концепция.// Вестник высшей школы. 1990. №10

5. Вороновский Г. К. и др. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. -Харьков, 1997.-111 с.

6. Выготский Л.С. Избранные психологические исследования. М., МГУ, 1956.

7. Гершунский Б.С Философия образования. М.: Флинта, 1998,

8. Государственный образовательный стандарт Российской Федерации. Высшее профессиональное образование. Общие требования. М., ГКВО РФ, 1993-9с.

9. Готлиб М.А. Компьютеру дидактическое обеспечение. // Информатика и образование - М., Педагогика, N 4, с.3-14.

10. Готлиб М.А. Структура АОС. //Информатика и образование -М-, Педагогика, N 3, 1987, с.11-20.

11. Желтое С., Лихачев Н., Степанов В. Виртуальная реальность новая информационная технология // Экология непознанного. - 1995. - № 1.- С.6-11.

12. Жуковская З.Д. Методологические основы разработки и функционирования комплексной системы контроля качества подготовки специалистов в вузе. Диссертация на соискание ученой степени доктора педагогических наук. -С.П.: ЛГУ, 1994.

13. Зимняя И.А. Проблемы самооценивания как интериоризированной внешней оценки в процессе обучения. "Квалиметрия человека и образования.

14. Методология и практика. 2-й симпозиум, кн.1, 4.1. М.: Исследовательский центр, 1993.

15. Казанович В.Г. Образовательная система как объект оценивания. Диссертация на соискание научной степени кандидата педагогических наук. -М.: Исследовательский центр, 1995.

16. Катыс Г.П., Катыс П.Г. Трехмерное отображение визуальной информации в виртуальном пространстве: Учебное пособие / МИРЭА. М., 1998.-78 с.

17. Кашицин В.П. и др. Состояние и развитие дистанционного образования в мире: Научно-аналитический доклад. М.: Изд-во «Магистр», 1997.-С. 44.

18. Коломиец Б.К. Инвариантные функции интеллектуальной деятельности. Техническое творчество: теория, методология, практика, энциклопедический словарь справочник./Под ред. А.И.Половинкина, В.В.Попова/. М.: НПО "Информсистема", 1994.

19. Коломиец Б.К. Комплексная оценка выпускников высших учебных заведений. Отчет по НИР за 1996 г. -М.: Исследовательский центр проблем качества подготовки специалистов. 1997, 136 с.

20. Коломиец Б.К. Образовательные стандарты и программы: инвариантные аспекты М.: Исследовательский центр проблем качества подготовки специалистов. 1999 - с. 144.

21. Лавров С.С. Представление и использование знаний в автоматизированных системах. //МП. 1986, N 3, с. 14-19.

22. Литвак Б.Г. Экспертная оценка и принятие решений. М.: Патент, 1996-271 с.

23. ЛитвинцеваЛ. В., Налитое С.Д. Графические средства для построения систем когнитивной графики и виртуальных миров // Программные продукты и системы. -1995. № 2.

24. Новое качество высшего образования в современной России. Труды Исследовательского центра. Род научной редакцией Селезневой Н.А. и Субетто А.И. М.: Исследовательский центр проблем качества подготовки специалистов. 1995. - 199 с.

25. Петин Б.Ф. Предложения по совершенствованию ГОСов по направлениям подготовки и специальностям. -М: Исследовательский центр проблем качества подготовки специалистов, 1996.

26. Подгорецкая Н.А. Изучение приемов логического мышления у взрослых. М., Педагогика, 1980.

27. Положение об итоговой государственной аттестации выпускников высших учебных заведений в Российской Федерации. М.Госкомвуз РФ, 25.05.94.

28. Положение об итоговой государственной аттестации студентов высших учебных заведений в РСФСР. Проект. М.: Научно - методический центр по подготовке, переподготовке и повышению квалификации специалистов. 1994.

29. Проходов А В., Рузин В.С О глубинной концепции образования.// Вестник высшей школы. 1990 № 5.

30. Растригин J1. С. Адаптивное обучение с моделью обучаемого. Рига: Знание, 1988.

31. Реформа и развитие высшего образования. Программный документ. ЮНЕСКО, 1995.

32. Роберте Ф.С. Дискретные математические модели с приложениями к социальным, биологическим и экологическим задачам. М., Наука, 1986.

33. Родионов Б.У.,Татур А.О. Стандарты и тесты в образовании.- М.: Исследовательский центр, 1995. 48с.

34. Сборник методических рекомендаций по разработке содержания обучения и дидактических систем. /Под ред. А.А.Золотарсва М., МИИГА, 1988,270 с.

35. Селезнева Н.А. Проблемы оценки качества образования в России: состояние и перспективные пути решения. Труды Исследовательского центра. Серия: Научные доклады. М. Исследовательский центр проблем качества подготовки специалистов 1994.

36. Селезнева Н.А., Коломиец Б.К. Проблемы итоговой государственной аттестации выпускников вузов, сб."Современные формы и методы контроля знаний студентов на различных этапах обучения и при аккредитации вузов" М.: Исследовательский центр. 1995.

37. Соколов В.М. Основы проектирования образовательных стандартов (методология, теория, практический опыт). М.: Исследовательский центр, 1996.-86с.

38. Степанов А.А; Бахтина Т.Е., Свердлова Т.А., Желтое С.Ю. Обзор технических и программных средств систем виртуальной реальности // В сб.: "Технология виртуальной реальности". М., 1996. - С. 15-56.

39. Столл P.P. Множества. Логика. Аксиоматические теории. М., Наука, 1988.

40. Субетто А.И. Системология образовательных систем. -М.: Исслед. центр проблем качества подготовки специалистов, 1995.

41. Технология виртуальной реальности: состояние и тенденции развития // Новости искусственного интеллекта. 1995. -№3.-С. 118-122.

42. Технология системного моделирования. /Под ред. С.В.Емельянова -М., Машиностроение; Берлин, Техник, 1988.

43. Титов А.В. Алгоритм агрегирования с использованием смешанной стратегии. Исследовательский центр. 1995.

44. Титтел Эд., Сандерс К., Скотт Ч., Вольф П. Создание VRML миров / Пер. с англ. Киев: Изд-во "Группа BHV", 1997. - 320 с.

45. Тихомиров В.П., Солдаткин В.И., Лобачев С.Л., Ковальчук О.Г. Дистанционное обучение: к виртуальным средам знаний. Дистанционное образование . №2. - 1999. - С.8-16.

46. Управление современным образованием: социальные и экономические аспекты / Под ред. А.Н.Тихонова. М., 1998,- С. 256.

47. Усков В.Л., Ускова М. Информационные технологии в образовании // Информационные технологии. 1999. -№1.-С. 31-37.

48. Фонды комплексных квалификационных заданий по специальностям высшего образования.: Методические разработки ( разработчики : Селезнева Н.А.,Беспалько В.П.,Соколов В.М. и др.) М. Гособразование СССР 1998 г. 89 с.

49. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Уч. пособие. М.: Исслед. центр проблем качества подготовки специалистов, 1995. 32 с

50. Begault D. 3D Sound for Virtual Reality and Multimedia // Academic Press. 1994.

51. Birnbaum A. Some Latent Trait Models and Their Use in Statistical Theories of Mental Test Scores. Reading, Mass.: Addison Wesly, 1968.

52. Candell Thomas P. The Application of Neural Networks to Virtual Reality // 1CNN Tutorial. 1994. № 13. WCCI (Orlando F.L.).

53. Casas L.A.A. et al. Virtual reality full immersion techniques for enhancing workers performance // Proc. Intern. Conf. On Integrated and Sustainable Industrial Production. (Lisbon, Portugal). 1997. P. 399-411.

54. Elane El-Khawas. External Scrutiny, US Style: multiple actors, overlapping roles. Governments and professional education / Edited by Tony Becher. UK. Published by SRHE and Open University Press. Bristol: HEFCE, 1993.

55. Enseignement a distance: realites, enjeux et perspectives: Rapport presente par 7-C1. Barbarante: Conseil economique et social. P., 1997.

56. Gibson W.A., Latent Structure and Positive Manifold, «British Journal of Statistical Psychology», 15, 1962, 149—160.

57. Gibson W.A. Nonlinear Factors in Two Dimensions, «Psychometrika», 25,1960,381—392.

58. Green B.F., A General Solution for the Latent Class Model of Latent Structure Analysis, «Psychometrika», 16,1951, 151— 166.

59. Jnternatronal Standard Classification of Education (JSCD), revised version 2. UNESCO, 1996.

60. Joraskog K-S. A General Programm for Analysis of Coverianee Structures .Including Generalized MANONA, Edication Testing Service, Princeton, N.S., 1971.

61. Kenneth Nemire. Evaluting an immersive virtual environment prototyping and simulation // SPIE. 1997. Vol. 3012. P. 408-416.

62. Lazarsfeld P.F. Latent Structure Analysis, в: S. Koch (ed), «Psychology: A Study of a Science», New York, McGraw-Hill, 1959.

63. Leary D.E. Artificial intelligence and virtual organizations // Commum ACM (USA). 1997. Vol. 40. № 1. P. 52-59.

64. Libermcm Henry. Intelligent graphics // Commun. ACM. 1996. Vol. 39. № 8. P. 38-48.

65. Lord F.M. Application of Item Response Theory to Practical Testing Problems. Hillsdale N J. Lawrence Eribaum Ass., Publ. 1980.

66. Lord F.M., Novick M. Statistical Theories of Mental Test Scores. Addison-Wesley Publ. Co. Reading, Mass., 1968.

67. Macedonia M.R. A transatlantic research and development environment (3D virtual graphics) // IEEE Comput. Graph. Appl. 1997. Vol. 17. № 2. P. 76-82.

68. Menousek В., Wolfe T. Virtual reality the modular way // Comput. Graph. (USA). Aug. 1997. Vol. 31. № 3. P. 66-68.

69. Mood A.M. Macro-Analysis of American Edution System, Operation Res, 17,770-780, 1969.

70. Padgett Mary Lou et al. Virtual Reality systems: from training simulators to . intelligent VR // Proc. SPffi. 1996. Vol. 2878. P. 409-450.

71. Pelletier F. The virtual and real environments: symbiosis // Proc. Internal Conf. On Virtual Systems and Multimedia. 1997. P. 246-247.

72. Pourzand A.R. and Callings N. Progress in the construction of multilayer optical neural network // Proc. SPffi. 1998. Vol. 3940. p. 439-442.

73. Rasch, G. Probabilistic Models for Some Intelligence and Afteword by B.D.Wright. The Univ. of Chicago Press. Chicago & London, 1980.

74. Simmonds В. Enhancing reality to make the ideal instruments // Control and lustrum. 1995. Vol. 27. № 12. P. 29, 30.

75. The European conventions on higher education. Council of Europe. -Strasbourg: Council of Europe Press, 1995.

76. Udo Jakob, Efi Douloumi. Let's move on the integration of motion Rendering in VR // SPffi. 1997. Vol. 3012. P. 454-460.

77. Umeki V., Doi M. Sensation of movement in virtual space // Electron. Commun. Jpn. Fundam. Electron. Sc. (USA). June, 1997. Vol. 80. № 6. P. 74-82.

78. Vacca J.R. VRML: bringing virtual reality to the internet: CD-ROM included. Boston, 1996. - 552 p.

79. Watars R.C; Barrus J.W. The rise of shared virtual environments // IEEE Spectr. (USA). March. 1997. Vol. 34. № 3. P. 20-25.

80. Watson B. Evaluation of the effects of frame variation on VR tosk performance // Proc. ШЕЕ. 1997. Virtual Reality Annual Internal Symposium. P. 38-44.

81. Wherry R.J., Gaylord R.H., Factor Pattern of Test Items and Tests as a Function of the Correlation Coefficient: Content, Difficulty, and Constant Error Factors, «Psychometrika», 9, 1944, 237-244.

82. Ying-Ying Fang et al. A pseudo-immersive virtual environment a shell for research // Int. J. Virtual Real. (USA) 1996. Vol. 2. № 3. P. 8-14.