автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Разработка методов и моделей адаптивного тестового контроля в системе подготовки и аттестации персонала транспортных предприятий

ВВЕДЕНИЕ.

1. СИСТЕМНЫЙ АНАЛИЗ ЗАДАЧ ОРГАНИЗАЦИИ И МОДЕЛИРОВАНИЯ АТТЕСТАЦИИ ПЕРСОНАЛА ТРАНСПОРТНЫХ ПРЕДПРИЯТИЙ.Ю

1.1. Проблемы кадрового обеспечения транспортных предприятий транспортного комплекса.

1.2. Педагогические принципы контроля и диагностики.

1.2.1. Функции контроля и методы контроля.

1.2.2. Классификация педагогических тестов.

1.3. Методики построения шкалы оценки уровня знаний.

1.3.1. Принципы построения шкал в задачах тестового контроля.

1.3.2. Формализованные модели классификации обученности.

1.3.3. Унифицированная дидактическая классификация.

1.4. Математическое моделирование процедур тестового контроля.

1.4.1. Основные принципы классической теории тестового контроля.

1.4.2. Формальные модели IRT-теории тестового контроля.

1.4.3. Факторный, латентно-структурный и кластерный анализ в системе моделирования процедур тестового контроля.

1.5. Информационные технологии в системе подготовки и переподготовки.

Выводы по главе 1.

2 РАЗРАБОТКА ПРИНЦИПОВ КОНСТРУИРОВАНИЯ ТЕСТОВЫХ ЗАДАНИЙ И ФОРМАЛИЗАЦИЯ КОМПОНЕТОВ СИСТЕМЫ ТЕСТОВОГО КОНТРОЛЯ:.

2.1. Построение формализованной модели тестового контроля.

2.2. Лингвистические модели компонентов тестового контроля.

2.2.1. Лингвистические переменные сложности тестового задания и уровня знаний!.

2.2.2! Аппроксимация нормального распределения логистической функцией.

2.2.3. Анализ функции принадлежности логистического преобразования нормального распределения.

2.3. Принципы разработки тестовых заданий и формирование требований к инструментальной среде их конструирования.

2.3.1. Разработка методических правил проектирования тестовых заданий

2.3.2. Формализованное описание механизмов формирования тестового задания.

2.3.3. Оценка содержательности и направленности тестового задания.

2.3. Дискриминантный анализ в задаче классификации уровня знаний с учетом влияния коррелированное™ ответов.

Выводы по главе 2.

3. РАЗРАБОТКА МОДЕЛЕЙ И АЛГОРИТМОВ АДАПТИВНОГО ТЕСТОВОГО КОНТРОЛЯ.

3.1. Принципы построения адаптивных алгоритмов тестового контроля.

3;2. Имитационная модель оценки эффективности теста.

3.3. Формализованная марковская модель поведения адаптивного алгоритма.

3.3.1. Построение марковской цепи процесса адаптивного тестового контроля.

3.3.2. Сходимость стационарных вероятностей при увеличении дискретизации шкалы уровня сложности.

3.3.3. Плотность распределения сложности тестовых заданий.

3.3.4. Анализ сходимости алгоритма поисковой оптимизации.

3.3.5. Плотность распределения для функций регрессии с постоянной дисперсией и постоянным коэффициентом вариации.

Выводы по главе 3.

4. ПРОГРАММНО-МОДЕЛИРУЮЩИЙ КОМПЛЕКС СИСТЕМЫ; АДАПТИВНОГО ТЕСТОВОГО КОНТРОЛЯ.

4.1. Проектирование структуры программного комплекса и интерфейса баз данных.

4.1.1. Функции пользователей системы тестового контроля.

4.1.2. Организация диалога в системе тестового контроля.

4.1.3. Структура базы данных системы тестового контроля.

4.2. Инструментальная среда конструирования тестовых заданий.

4.3 Оценка эффективности разработанных алгоритмов адаптивного тестового контроля.

Выводы по главе 4.

Эффективное управление персоналом, в том числе подготовка и переподготовка кадров транспортных предприятий в настоящее время невозможна без использования современных компьютерных технологий, которые интенсивно внедряются в сферу образовательной деятельности. Одной из основных задач системы подготовки и переподготовки является оценка соответствия кадрового состава должностям обязанностям, что требует постоянного определения уровня знаний и умений сотрудников для оценки качества выполнения работ.

Оперативный контроль уровня знаний и умений сотрудников может быть обеспечен лишь за счет всестороннего использования процедур компьютерного тестового контроля, обеспечивающих динамическую идентификацию уровня подготовленности персонала. Повышение эффективности компьютерного тестирования достигается за счет адаптивных алгоритмов, разработке которых последнее время уделяется достаточное внимание. Однако, в данном направлении отсутствуют работы по созданию комплексных методик, включающих методы, алгоритмы и программные компоненты формирования тестов вместе с процедурами анализа эффективности механизмов предъявления тестовых заданий, чему и посвящена диссертационная работа.

Предметом исследования являются система тестового контроля и аттестации персонала, включающая методы компьютерного тестового контроля, методы обработки результатов, а также компоненты математического, информационного и программного обеспечения системы поддержки и принятия решений при классификации уровня знаний сотрудников транспортных предприятий.

Целью работы является разработка методов, моделей, алгоритмов и программных средств поддержки компьютерного тестового контроля направленных на повышение эффективности системы подготовки и переподготовки персонала.

Для достижения данной цели в работе решаются следующие задачи:

• системный анализ методов и моделей организации процедур компьютерного тестового контроля в системе подготовки персонала транспортных предприятий;

• разработка формальных методов и моделей описания процессов тестового контроля в условиях лингвистических неопределенностей

• разработка требований к программной инструментальной среде формирования тестовых заданий;

• разработка и анализ эффективности методов и моделей адаптивного тестового контроля на основе создания интерактивной среды имитационного моделирования;

• разработка программного комплекса поддержки создания тестовых заданий и реализации адаптивных механизмов формирования тестов.

При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем и классический теоретико-множественный аппарат. Анализ эффективности методов проводился на базе сравнительного анализа характеристик аналитических и имитационных моделей. Обработка результатов эксперимента выполнена с использованием методов регрессионного, дискриминантного, факторного и других современных методов многомерного статистического анализа. Расчет вычислительных экспериментов выполнен в пакетах Statistica и MathCad. При разработке моделей функционирования компонентов системы тестового контроля и аттестации использовались, методы математического программирования, теория марковских цепей, теория случайных процессов, имитационное моделирование, нечеткие множества и др.

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов, методик и алгоритмов.

В первой главе диссертации проводится системный анализ предметной области. Рассмотрены проблемы кадрового обеспечения транспортных предприятий и общие тенденции развития системы непрерывного образования. Рассмотрены математические модели и методы моделирования процессов компьютерного тестового контроля. Проведен сравнительный анализ принципов конструирования тестовых заданий и построения тестов. Показано, что при обучении контроль рассматривается как важнейшее, относительно самостоятельное и заключительное звено в системе переподготовки кадров. От правильной организации контроля во многом зависит не только эффективность управления учебным процессом и качество подготовки специалистов, но и эффективность управления персоналом в целом.

Во второй главе диссертации разрабатываются математические методы моделирования процедур компьютерного тестового контроля. Строится формальная модель тестируемого на основе IRT-теории с целью учета лингвистических неопределенности высказываний экспертов по оценке «сложности» и «уровня знаний», которая дает основу вероятностной интерпретации процесса обучения.

Для раскрытия неопределенностей предлагается обобщение логистической функции IRT-теории для определения нечеткого отношения между «уровнем знаний» и «сложностью», при реализации которой определяются нечеткие понятия величин вероятностей ответов.

В работе предлагается формализованное описание методики конструирования тестовых заданий с использованием разработанного с участием автора конструктора тестовых заданий, который имеет возможности графического редактора для создания графического образа тестового задания.

Следующей задачей решенной в диссертации является формирование весовых коэффициентов для заданий различной сложности при классификации тестируемых на основе метода дискриминантного анализа.

В третьей главе диссертации разработаны критерии оценки эффективности процедур тестового контроля, основанные на построении матрицы ошибочной классификации уровня знаний. Построена параметризуемая имитационная модель построения матрицы ошибочной классификации, которая позволяет варьировать: составом группы по уровню знаний с заданными априорными распределения; механизмами предъявления тестовых заданий; процедурами оценивания уровня знаний и методами классификации; структурой аналитических моделей IRT-теории; количеством повторных реализации по группе и каждому испытуемому для достижения заданной точности и др.

Предложенная формализация позволила построить модели множества алгоритмов, различающихся механизмами предъявления заданий и процедурами оценивания. Построена формализованная модель адаптивного' алгоритма тестового контроля в виде марковской цепи,.в которой состояния определяют различные уровни сложности, а переходные вероятности соответствуют вероятностям ответов на задания различной сложности по IRT-модели. Проведен сравнительный анализ алгоритмов.

В четвертой главе диссертации рассматриваются вопросы построения программного комплекса автоматизации и моделирования процесса функционирования подсистемы аттестации для переподготовки кадров на предприятиях транспортного комплекса. Разработана структура базы данных, интегрирующая тестовые задания с привязкой к методическим материалам и результаты выполнения каждого задания каждым обучаемым. Система реализована в виде программного приложения в системе переподготовки. Программный комплекс разработан по открытому принципу, что позволяет наращивать функциональные возможности, добавляя новые механизмы предъявления тестовых заданий в процессе эксплуатации системы. Программный комплекс имеет возможности генерация отчетов и другие сервисные и системные функции.

В заключении представлены основные результаты работы.

В приложении приводятся акты внедрения результатов диссертационной работы.

Научную новизну работы составляют:

• модель логистического преобразования лингвистической переменной уровня знаний в лингвистическую переменную вероятности ответа;

• метод выбора весовых коэффициентов тестовых заданий различного уровня сложности и разделяющей константы на базе процедуры дискриминантного анализа;

• имитационная модель оценки вероятностей ошибочной классификации;

• формализованное описание процесса адаптивного тестового контроля марковской цепью и аналитические выражения стационарных характеристик.

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным статистическим анализом процессов обучения и тестового контроля ряда образовательных учреждений, согласованностью результатов аналитических и имитационных моделей процессов компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в учебных центрах предприятий транспортного комплекса.

Научные результаты, полученные в диссертации, доведены до практического использования на транспортных предприятиях. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений. Внедрение результатов работы позволяет повысить качество и эффективность процессов разработки учебных программ и процедур тестового контроля. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в учебном комбинате

Мосгортранс», ООО «РАСТРАН», ООО «НОВАЦИЯ ТД» и на кафедре АСУ МАДИ(ГТУ).

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (1997-2003гг.);

• на заседании кафедры АСУ МАДИ(ТУ).

Совокупность научных положений, идей и практических результатов исследований в области автоматизации образовательного процесса составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля и аттестаций сотрудников транспортных предприятий.

По результатам выполненных исследований опубликовано 7 печатных работ.

Диссертационная работа состоит из введения, четырех глав и заключения, опубликованных на 151 странице машинописного текста, содержит 58 рисунков, 25 таблиц, список литературы из 110 наименований и приложения.

Основные выводы и результаты работы

1. Проведен системный анализ задач организации процедур тестового контроля и аттестации сотрудников транспортных предприятий, определен круг методов и моделей формализованного представления компонент системы тестового контроля.

2. Разработана методика параметризации компонентов системы компьютерного тестового контроля и формализованная модель преобразования лингвистических переменных уровня знаний и сложности заданий.

3. Разработаны механизмы формирования тестовых заданий и требования к инструментальной среды формирования графических образов тестовых заданий с возможностью реализации интерактивных режимов выполнения.

4. Разработан метод вычисления весовых коэффициентов значимости заданий различной сложности, а также разделяющей константы при реализации процедур классификации уровня знаний тестируемых.

5. Сформированы критерии оптимальности теста на основе матрицы ошибочной классификации и разработана интерактивная имитационная модель вычисления матрицы ошибочных классификаций.

6. Построена формализованная модель процедуры адаптивного тестового контроля в виде марковской цепи и разработаны механизмы предъявления тестовых заданий. На основе имитационных экспериментов получены количественные оценки эффективности разработанных адаптивных алгоритмов тестового контроля и показана их эффективность.

7. Сформированы требования к реализации программно-моделирующего комплекса тестового контроля и аттестации персонала транспортных предприятий. Разработанный программный комплекс, методы и алгоритмы прошли апробацию и внедрены для практического применения в ООО «РАСТРАН», ООО «НОВАЦИЯ ТД» и на кафедре АСУ МАДИ(ГТУ).

Внедрение результатов работы позволило повысить эффективность процедур проведения тестового контроля и аттестации.

1. Аванесов B.C. Научные проблемы тестового контроля знаний. Монография. - М.: Исследовательский центр, 1994.

2. Аванесов B.C. Теоретические основы разработки заданий в тестовой форме. М.: Исследовательский центр, 1995.

3. Агафонов В.Н. Спецификация программ: понятийные средства и их организация. Новосибирск, Наука, 1987, 238 с.

4. Акчурин P.M. Задача автоматизации программирования имитационно диалоговых систем // Программирование. - 1982. - №3.

5. Афифи А. , Эйзен С. Статический анализ: Подход с использованием ЭВМ. Пер. с англ. -М.: Изд-во "Мир", 1982. 488 с.Васильев В.И. Наша концепция.// Вестник высшей шкояы. 1990. № 10

6. Байзель М.М., Тарасенко Г.С Исследование адаптивного алгоритма оптимизации в обстановке помех // Проблемы случайного поиска (Рига). -1981.-Вып. 9.-С. 106-124

7. Баранов В.В. Рекурентные методы оптимальных решений в стохастических системах. Харьков:- Вища школа, 1981. - 145 с

8. Брежинина И. А., Галицкая Б.И., Марек И.А. Технология имитационного моделирования с использованием диалога в процессе построения моделей // Теория сложных систем и методы их моделирования: Труды семинара ВНИИСИ. М., 1984. С. 38-42.

9. Брезгуйова Я.М. Риде К.К Структура диалога в процессе синтеза оптимального плана эксперимента // Проблемы случайного поиска (Рига). 1981. Вып. 9. С. 263-384.

10. Ю.Бусленко В.И. Автоматизация имитационного моделирования сложных систем. М.; Наука, 1977. 239 с

11. П.Вороновский Г. К. и др. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. -Харьков, 1997.-111 с.

12. Выготский JI.C. Избранные психологические исследования. М., МГУ, 1956.

13. Гершунский Б.С Философия образования. М.: Флинта, 1998,

14. М.Гордон Д. Вычислительные аспекты имитационного моделирования // Исследование операций методологические основы и математические методы. - М.; Мир, 1981. - С. 655-679.

15. Государственный образовательный стандарт Российской Федерации. Высшее профессиональное образование. Общие требования. М., ГКВО РФ, 1993 9с.

16. Готлиб М.А. Компьютеру дидактическое обеспечение. // Информатика и образование М., Педагогика, N 4, с.3-14.

17. Готлиб М.А. Структура АОС. //Информатика и образование -М-, Педагогика, N 3, 1987, с.11-20.

18. Желтое С., Лихачев Н., Степанов BI Виртуальная реальность новая информационная технология // Экология непознанного. - 1995. - № 1.- С.6-11.

19. Казанович В.Г. Образовательная система как объект оценивания. Диссертация на соискание научной степени кандидата педагогических наук. -М.: Исследовательский центр, 1995.

20. Калашников В.В. Организация моделирования сложных систем. -М.: Знание, 1982. 103 с

21. Катыс Г.П., Катыс П.Г. Трехмерное отображение визуальной информации в виртуальном пространстве: Учебное пособие / МИРЭА. М., 1998.-78 с.

22. Кашицин В.П. и др. Состояние и развитие дистанционного образования в мире: Научно-аналитический доклад. М.: Изд-во «Магистр», 1997.-С.44.

23. Клейнен Д. Статистические методы в имитационном моделировании. М.; Статистика, 1978. Вып. 1 221с, Вып. 2- 335с.

24. Коломиец Б.К. Инвариантные функции интеллектуальной деятельности. Техническое творчество: теория, методология, практика, энциклопедический словарь справочник./Под ред. А.И.Половинкина, В.В.Попова/. М.: НПО "Информсистема", 1994.

25. Коломиец Б.К. Комплексная оценка выпускников высших учебных заведений. Отчет по НИР за 1996 г. -М.: Исследовательский центр проблем качества подготовки специалистов. 1997, 136 с.

26. Коломиец Б.К. Образовательные стандарты и программы: инвариантные аспекты М.: Исследовательский центр проблем качества подготовки специалистов. 1999 - с. 144.

27. Лавров С.С. Представление и использование знаний в автоматизированных системах. //МП. 1986, N 3, с. 14-19.

28. Литвак Б.Г. Экспертная оценка и принятие решений. М.: Патент, 1996-271 с.

29. ЛитвинцеваЛ. В., Налитое С.Д. Графические средства для построения систем когнитивной графики и виртуальных миров // Программные продукты и системы. -1995. № 2.

30. Математическая теория планирования эксперимента Под ред. С.М. Ермакова. М.: Наука, 1983. - 392 с

31. Новое качество высшего образования в современной России. Труды Исследовательского центра. Род научной редакцией Селезневой Н.А. и Субетто А.И. М.: Исследовательский центр проблем качества подготовки специалистов. 1995. - 199 с.

32. Петин Б.Ф. Предложения по совершенствованию ГОСов по направлениям подготовки и специальностям. -М: Исследовательский центр проблем качества подготовки специалистов, 1996.

33. Подгорецкая Н.А. Изучение приемов логического мышления у взрослых. М., Педагогика, 1980.

34. Положение об итоговой государственной аттестации выпускников высших учебных заведений в Российской Федерации. М.Госкомвуз РФ, 25.05.94.

35. Положение об итоговой государственной аттестации студентов высших учебных заведений в РСФСР. Проект. М.: Научно - методический центр по подготовке, переподготовке и повышению квалификации специалистов. 1994.

36. Проходов А В., Рузин В.С О глубинной концепции образования.// Вестник высшей школы. 1990 № 5.

37. Растригин JI. С. Адаптивное обучение с моделью обучаемого. Рига: Знание, 1988.

38. Реформа и развитие высшего образования. Программный документ. ЮНЕСКО, 1995.

39. Рипа К.К. Алгоритм синтеза оптимальных планов эксперимента // Проблемы случайного поиска (Рига). 1981. - Вып. 9. С. 250-262.

40. Роберте Ф.С. Дискретные математические модели с приложениями к социальным, биологическим и экологическим задачам. М., Наука, 1986.

41. Родионов Б.У.,Татур А.О. Стандарты и тесты в образовании.- М.: Исследовательский центр, 1995. 48с.

42. Саркисова И.О. Автоматизация библиотечной деятельности высших учебных заведений. Электронный учебно-научно-производственный журнал "Автоматизация и управление в машиностроении", №3, 1998.

43. Саркисова И.О. Автоматизация поиска неиндексируемых ресурсов в распределенных компьютерных сетях. // Доклады международной конференции "Информационные средства и технологии", Т. 3, М.: Изд-во СТАНКИН, 1999, стр. 184-187.

44. Саркисова И.О. Квалиметрия знаний в системе открытого образования. // Доклады международной конференции "Информационные средства и технологии", Т. 3, М.: Изд-во СТАНКИН, 2001, стр.111-114.

45. Саркисова И.О. Место разработки информационных систем для Internet/Intranet сетей в курсе "Информатика и вычислительная техника". Электронный учебно-научно-производственный журнал "Автоматизация и управление в машиностроении", №14, 2000.

46. Саркисова И.О., Николаев А.Б., Строганов В.Ю. Организация адаптивного тестового контроля // Моделирование и оптимизация в управлении: Сб. науч. тр. М., 2004, МАДИ(ГТУ). с. 12-19.

47. Сборник методических рекомендаций по разработке содержания обучения и дидактических систем. /Под ред. А.А.Золотарева М., МИИГА, 1988,270 с.

48. Селезнева Н.А. Проблемы оценки качества образования в России: состояние и перспективные пути решения. Труды Исследовательского центра. Серия: Научные доклады. М. Исследовательский центр проблем качества подготовки специалистов 1994.

49. Селезнева Н.А., Коломиец Б.К. Проблемы итоговой государственной аттестации выпускников вузов, сб."Современные формы и методы контроля знаний студентов на различных этапах обучения и при аккредитации вузов" -М.: Исследовательский центр. 1995.

50. Соколов В.М. Основы проектирования образовательных стандартов (методология, теория, практический опыт). М.: Исследовательский центр, 1996. - 86с.

51. Срагович В.Г. Адаптивное управление. Наука» 1981. 384 с.

52. Степанов А.А; Бахтина Т.Е., Свердлова Т.А., Желтое С.Ю. Обзор технических и программных средств систем виртуальной реальности // В сб.: "Технология виртуальной реальности". М., 1996. - С. 15-56.

53. Столл P.P. Множества. Логика. Аксиоматические теории. М., Наука, 1988.

54. Субетто А.И. Системология образовательных систем. -М.: Исслед. центр проблем качества подготовки специалистов, 1995.

55. Технология виртуальной реальности: состояние и тенденции развития // Новости искусственного интеллекта. 1995. -№3.-С. 118-122.

56. Технология системного моделирования. /Под ред. С.В.Емельянова -М., Машиностроение; Берлин, Техник, 1988,

57. Титов А.В. Алгоритм агрегирования с использованием смешанной стратегии. Исследовательский центр. 1995.

58. Титтел Эд., Сандерс К., Скотт Ч., Вольф П. Создание VRML миров / Пер. с англ. Киев: Изд-во "Группа BHV", 1997. - 320 с.

59. Тихомиров В.П., Солдаткин В.И., Лобачев С.Л., Ковальчук О.Г. Дистанционное обучение: к виртуальным средам знаний. Дистанционное образование . №2. - 1999. - С.8-16.

60. Тихонов В.И., Миронов М.А. Марковские процессы. М.: Сов. Радио. 1977. - 488 с.

61. У правление современным. образованием: социальные и экономические аспекты / Под ред. А.Н.Тихонова. М., 1998.- С. 256.

62. Усков В.Л., Ускова М. Информационные технологии в образовании // Информационные технологии. 1999. -№1.-С. 31-37.

63. Феллер В, Введение в теорию вероятностей и ее приложения. : Мир, 1984. 528 с.

64. Фонды комплексных квалификационных заданий по специальностям высшего образования.: Методические разработки ( разработчики : Селезнева Н.А.,Беспалько В.П.,Соколов В.М. и др.) М. Гособразование СССР 1998 г. 89 с.

65. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Уч. пособие. М.: Исслед. центр проблем качества подготовки специалистов, 1995. 32 с

66. Шеннон Р. Имитационное моделирование систем искусство и наука. М.: Мир, 1978.-418 с.

67. Begault D. 3D Sound for Virtual Reality and Multimedia // Academic Press. 1994.

68. Birnbaum A. Some Latent Trait Models and Their Use in Statistical Theories of Mental Test Scores. Reading, Mass. : Addison Wesly, 1968.

69. Candell Thomas P. The Application of Neural Networks to Virtual Reality // 1CNN Tutorial. 1994. № 13. WCCI (Orlando F.L.).

70. Casas L.A.A. et al. Virtual reality full immersion techniques for enhancing workers performance // Proc. Intern. Conf. On Integrated and Sustainable Industrial Production. (Lisbon, Portugal). 1997. P. 399-411.

71. Elane El-Khawas. External Scrutiny, US Style: multiple actors, overlapping roles. Governments and professional education / Edited by Tony Becher. UK. Published by SRHE and Open University Press. Bristol: HEFCE, 1993.

72. Enseignement a distance: realites, enjeux et perspectives: Rapport presente par 7-C1. Barbarante: Conseil economique et social. P., 1997.

73. Gibson W.A., Latent Structure and Positive Manifold, «British Journal of Statistical Psychology», 15, 1962, 149—160.

74. Gibson W.A. Nonlinear Factors in Two Dimensions, «Psychometrika», 25,1960,381—392.

75. Green B.F., A General Solution for the Latent Class Model of Latent Structure Analysis, «Psychometrika», 16, 1951, 151— 166.

76. Jnternatronal Standard Classification of Education (JSCD), revised version 2. UNESCO, 1996.

77. Joraskog K-S. A General Programm for Analysis of Coveriance Structures .Including Generalized MANONA, Edication Testing Service, Princeton, N.S., 1971.

78. Kenneth Nemire. Evaluting an immersive virtual environment prototyping and simulation // SPIE. 1997. Vol. 3012. P. 408-416.

79. Lazarsfeld P.F. Latent Structure Analysis, в: S. Koch (ed), «Psychology: A Study of a Science», New York, McGraw-Hill, 1959.

80. Leary D.E. Artificial intelligence and virtual organizations // Commum ACM (USA). 1997. Vol. 40. № 1. P. 52-59.

81. Libermcm Henry. Intelligent graphics // Commun. ACM. 1996. Vol. 39. № 8. P. 38-48.

82. Lord F.M. Application of Item Response Theory to Practical Testing Problems. Hillsdale N J. Lawrence Eribaum Ass., Publ. 1980.

83. Lord F.M., Novick M. Statistical Theories of Mental Test Scores. Addison-Wesley Publ. Co. Reading, Mass., 1968.

84. Macedonia M.R. A transatlantic research and development environment (3D virtual graphics) // IEEE Comput. Graph. Appl. 1997. Vol. 17. № 2. P. 76-82.

85. Menousek В., Wolfe T. Virtual reality the modular way // Comput. Graph. (USA). Aug. 1997. Vol. 31. № 3. P. 66-68.

86. Mood A.M. Macro-Analysis of American Edution System, Operation Res, 17,770-780, 1969.

87. Padgett Mary Lou et al. Virtual Reality systems: from training simulators to . intelligent VR//Proc. SPffi. 1996. Vol. 2878. P. 409-450.

88. Pelletier F. The virtual and real environments: symbiosis // Proc. Internal Conf. On Virtual Systems and Multimedia. 1997. P. 246-247.

89. Pourzand A.R. and Callings N. Progress in the construction of multilayer optical neural network // Proc. SPffi. 1998. Vol. 3940. p. 439-442.

90. Rasch, G. Probabilistic Models for Some Intelligence and Afteword by B.D.Wright. The Univ. of Chicago Press. Chicago & London, 1980.

91. Simmonds B. Enhancing reality to make the ideal instruments // Control and lustrum. 1995. Vol. 27. № 12. P. 29, 30.

92. The European conventions on higher education. Council of Europe. -Strasbourg: Council of Europe Press, 1995.

93. Udo Jakob, Efi Douloumi. Let's move on the integration of motion Rendering in VR// SPffi. 1997. Vol. 3012. P. 454-460.

94. Umeki V., Doi M. Sensation of movement in virtual space // Electron. Commun. Jpn. Fundam. Electron. Sc. (USA). June, 1997. Vol. 80. № 6. P. 74-82.

95. Vacca J.R. VRML: bringing virtual reality to the internet: CD-ROM included. Boston, 1996. - 552 p.

96. Watars R.C; Barrus J.W. The rise of shared virtual environments // IEEE Spectr. (USA). March. 1997. Vol. 34. № 3. P. 20-25.

97. Watson B. Evaluation of the effects of frame variation on VR tosk performance // Proc. ШЕЕ. 1997. Virtual Reality Annual Internal Symposium. P. 38-44.

98. Wherry R.J., Gaylord R.H., Factor Pattern of Test Items and Tests as a Function of the Correlation Coefficient: Content, Difficulty, and Constant Error Factors, «Psychometrika», 9,1944, 237-244.

99. Ying-Ying Fang et al. A pseudo-immersive virtual environment a shell for research // Int. J. Virtual Real. (USA) 1996. Vol. 2. № 3. P. 8-14.