автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Исследование и разработка моделей, алгоритмов и программного обеспечения в компьютерных обучающих системах

Условные обозначения.

Введение.

1 Исследование и разработка интеллектуальной компьютерной обучающей системы.

1.1 Анализ видов компьютерных обучающих систем.

1.2 Исследование структуры разрабатываемой ИКОС.

1.3 Исследование методического обеспечения ИКОС.

1.4 Определение требований к математическому обеспечению ИКОС.

1.5 Анализ основных моделей семантических сетей.

Выводы по первой главе.

2 Разработка математической модели семантической сети для представления знаний, аксиоматики и системы операций.

2.1 Определение решаемых классов задач.

2.2 Разработка математической модели семантической сети.

2.3 Разработка системы операций.

2.4 Визуальное представление семантических моделей.

Выводы по второй главе.

3 Реализация подсистем ИКОС.

3.1 Подсистема формирования начальных условий.

3.2 Подсистема формирования управляющего воздействия.

3.3 Подсистема контроля ЗУН, обработки и представления результатов контроля. 114 Выводы по третьей главе.

4 Экспериментальное исследование результатов работы.

4.1 Общие сведения.

4.2 Модификация методики коррекции угадывания при проведении тестирования с закрытой формой задания.

4.3 Сравнительный анализ носителей знаний.

Выводы по четвертой главе.

Актуальность темы исследования. Вступление человечества в XXI век требует перехода к новой стратегии развития общества на основе знаний и высокоэффективных технологий. Широкое применение передовых информационно-коммуникационных технологий (ИКТ) становится одним из приоритетных направлений развития общества. Однако для полномасштабного использования предоставляемых ИКТ возможностей необходимо наличие квалифицированных кадров. Применение различных компьютерных систем, особенно интеллектуальных, позволяет эффективно реализовать профессиональную подготовку и переподготовку кадров, повышение их квалификации, аттестацию и обучение. В настоящее время активно развиваются средства представления, контроля и управления передачей знаний в компьютерных системах (например, Tactic Editor, Menager's Edge, Designer's Edge, IBM Learning space, SABA learning, Прометей, eLearning Server, ТестСтудио и др.). Об этом свидетельствует опыт ведущих зарубежных (IMS, ADL, LTSC, AICC, IBM Mindspan Solutions, Click21earn, Pathlore, Macromedia, Microsoft, Docent, Allen Communications и др.) и отечественных (ИСА РАН, ГНИИ «Информика», НИИВО, РМЦ, Гиперметод, НОУ «Институт виртуальных технологий в образовании», Websoft, Новый Диск, Cognitive Technologies, RedLab, ЦКО «Специалист» и др.) организаций, занимающихся исследованиями и разработками в области ИКТ, а также ведущих ВУЗов РФ (МГУ, МФТИ, МГТУ, МАИ, МЭИ, МИСиС, МЭСИ, МГИУ, МГИЭМ идр.).

Востребованность новых современных форм и методов обучения является практическим доказательством необходимости создания и внедрения интеллектуальных компьютерных обучающих систем. Следовательно, вопросы разработки и совершенствования их методического, математического, алгоритмического, программного обеспечения для реализации требуемых функциональных возможностей, адаптации к индивидуальным особенностям обучаемых приобретают первостепенную важность. Проблемами использования и развития технологий представления и управления передачей знаний, а также информационных образовательных технологий занимались отечественные и зарубежные ученые, в частности: Д.А.Поспелов, Г.С.Осипов, А.П.Афанасьев, А.Н.Тихонов, И.Н.Кузнецов, Н.А.Селезнева, А.И. Суббетто, Б.А. Сазонов, Г.А. Атанов, В.В. Попов, И.А. Башмаков, И.В. Макарова, В.П. Тихомиров, Б.В. Кириличев, И.Л. Надточий, М. Минский, Д.Гилфорд, Дж. Блум, Р. Аткинсон, В. Чапман и другие. Интерес к этим исследованиям в настоящее время только увеличивается, что определяет актуальность представленной работы.

Тематика исследования охватывает модели управления процессом обучения, алгоритмы построения целостного учебного процесса и реализацию полученных в диссертационной работе результатов с использованием соответствующего программного обеспечения. Таким образом, тема исследования является актуальной и определяет следующие цель и задачи настоящей работы.

Цель и задачи диссертационной работы. Целью настоящей диссертационной работы является исследование и разработка моделей, алгоритмов и программного обеспечения для представления и передачи знаний в интеллектуальной компьютерной обучающей системе (ИКОС), реализующей произвольный учебный процесс и ориентированной на учет индивидуальных особенностей обучаемого. Для достижения поставленной цели необходимо решить следующие задачи.

1. Разработать обобщенную модель ИКОС, позволяющую реализовывать произвольный учебный процесс с учетом индивидуальных особенностей обучаемого.

2. Разработать математическую модель для представления и передачи знаний в ИКОС.

3. Разработать алгоритмы функционирования подсистем ИКОС, в том числе алгоритм анализа семантического покрытия.

4. Разработать на основе предложенной математической модели и алгоритмов программное обеспечение для формирования базы знаний предметной области (ПО) и работы с ней, а также контроля знаний, умений и навыков (ЗУН).

Объект и предмет исследования. Объектом исследования настоящей диссертационной работы является ИКОС, а предметом исследования - методическое, математическое, алгоритмическое и программное обеспечения ИКОС.

Методы исследования. В проведенных исследованиях использованы: семантические сети, теория графов, исследование операций, математическая статистика, теория автоматического управления.

Научная новизна диссертационной работы состоит в следующем.

1. Предложена авторская обобщенная модель ИКОС, позволяющая реализовывать произвольный учебный процесс с учетом индивидуальных особенностей обучаемого. В модели комплексно представлены основные аспекты организации учебного процесса, а именно: информационный, методический, психолого-педагогический, организационный, технический. Из смежных областей знаний отобраны, адаптированы и формализованы механизмы учета индивидуальных особенностей обучаемого, а также методы и виды передачи знаний.

2. Разработана математическая модель семантической сети (СС) для представления знаний в ИКОС, решающая задачи произвольного учебного процесса. Разработаны аксиоматика модели СС и система операций с ней. Предложенная модель позволяет описать произвольные требования к результатам обучения, программы учебных курсов, индивидуальные программы обучения; обеспечивает возможность представления индивидуальных особенностей обучаемых и аспектов учебного процесса (изложение и закрепление материала, повторение пройденного, контроль и самоконтроль знаний и т.д.); предоставляет возможность многоуровневой организации операций с моделью, работы с локально неполной, локально избыточной и локально противоречивой информацией; обеспечивает высокую наглядность, что крайне важно для информатизации учебного процесса.

3. Разработаны алгоритмы функционирования ИКОС и ее отдельных компонентов, в частности, алгоритм семантического покрытия для анализа качества формируемых программ и содержания (контента) обучения.

4. Разработана программа «СемМастер», предназначенная для формирования базы знаний предметной области и работы с ней. «СемМастер» отличает интуитивно понятный интерфейс, наличие наиболее востребованных функций, а именно: формирование моделей знаний, проведение анализа семантического покрытия различных моделей, а также оптимизация моделей по заданным критериям.

Практическая ценность работы. Разработанная обобщенная модель ИКОС, реализация ее отдельных подсистем, применение предложенных математической модели СС, алгоритмов и программного средства способствует повышению уровня информатизации, качества, адаптивности и эффективности учебного процесса. Разработанная модель, алгоритмы и программа имеют универсальный характер и могут использоваться в различных сферах деятельности человека, в том числе и на производстве.

Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на международной научно-технической конференции «Теория и практика имитационного моделирования и создания тренажеров» (Пенза, 1999г.), семинаре «Особенности дидактики дистанционного образования» Центра обеспечения качества обучения государственных и муниципальных служащих РАГС при Президенте РФ (Москва, 2003г.), Международной научно-технической конференции и российской научной школе молодых ученых и специалистов «Системные проблемы качества, математического моделирования, информационных, электронных и лазерных технологий» (Сочи, 2004г.), V Международной конференции «Молодые ученые -промышленности, науке, технологиям и профессиональному образованию: проблемы и новые решения» (Москва, 2005), второй научной конференции «СИМ'2005» (Москва, МФТИ, 2005), семинарах ИСА РАН.

Публикации. По теме диссертационной работы опубликовано десять печатных работ [6, 7, 8, 9, 27, 28, 30, 31, 74, 89].

Внедрение результатов исследования. С помощью предложенных методик, алгоритмов и программных средств разрабатывались новые обучающие курсы, в том числе «Основы информационных технологий и вычислительной техники» (набор из шести специализированных курсов) [70], «Основы автоматизации делопроизводства» [71], «Введение в управление проектами на основе стандарта ANSI PMI РМВОК 2004». В соответствии с изложенными рекомендациями разработаны авторские учебно-методические пособия по основам компьютерной грамотности [73] и основам делопроизводства [72]. Обучение по разработанным курсам привело к повышению успешности обучения в среднем на 24% (обучение прошли 540 человек). Отдельные результаты работы внедрены в МГИУ (1996-2000г.г.), РУДН (2001-2002), РАТИ (1997г.), школах ЮАО Москвы №932 (1998-2000г.г.) и 861 (2005г.), ФТС (ГТК) РФ (2003г.), РАГС при Президенте РФ (2004г.), ФСГС (Госкомстат) РФ (2005г.), НОУ «ИПК «Постгрэдюэйт-РАУ» (2005г.).

На защиту выносятся следующие результаты:

- разработанная обобщенная модель ИКОС;

- разработанная математическая модель СС;

- методология реализации ИКОС, алгоритмы функционирования блоков подсистем, в частности, алгоритм семантического покрытия, а также его программная реализация.

Личный вклад автора. Следующие результаты получены автором самостоятельно: разработана обобщенная модель ИКОС, адаптированы и формализованы методическая платформа ИКОС, методика представления индивидуальных особенностей обучаемого, методы и виды обучения, разработаны методика реализации обобщенной модели ИКОС, алгоритмы функционирования подсистем ИКОС, экспериментально исследованы разработанные модели, алгоритмы и программы.

Разработка модели СС, ее аксиоматики, системы операций велась совместно с И. А. Башмаковым

Исследование и разработка подходов создания ИКОС, а также разработка программ «СемМастер» и «ТестСтудио» выполнены совместно с Б.В. Кириличевым.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованных источников из 97 наименований. Основной текст работы изложен на 146 страницах.

Основные результаты диссертационной работы отражены в следующих публикациях.

1. Кириличев Б.В., Широков Л.А., Рабинович П.Д. Системный анализ проблемы создания интеллектуальных компьютерных обучающих комплексов. Сборник научных трудов МГИУ. - М.: МГИУ. - 1996. - с. 166-171.

2. Кириличев Б.В., Рабинович П.Д., Рабинович А.Е. Структурно-факторная модель процесса обучения // Труды международной научно-технической конференции «Теория и практика имитационного моделирования и создания тренажеров». - Пенза, 1999. - с. 55-57.

3. Башмаков И.А., Рабинович П.Д. Анализ моделей семантических сетей как математического аппарата представления знаний об учебном материале // Справочник. Инженерный журнал. - 2002,- №7.- с.55-60.

4. Башмаков И.А., Рабинович П.Д. Модель семантической сети для представления учебного материала в компьютерных обучающих средствах // Справочник. Инженерный журнал. - 2002. - №8. - с.61-64.

5. Башмаков И.А., Рабинович П.Д. Обучение как «профилактика» чрезвычайных ситуаций, вызванных деятельностью человека // Проблемы безопасности при чрезвычайных ситуациях № 1-2003, М. ВИНИТИ.

6. Башмаков И.А., Рабинович П.Д. О концепции информатизации учебного процесса//Вестник МЭИ. 2003. - №4. - с. 105-110.

7. Широков Л.А., Кириличев Б.В, Рабинович П.Д. Отчет по НИР по ЕЗН по теме «Разработка иерархической системы моделей для интеллектуального компьютерного обучающего комплекса», М. 2001-2002 г.г. (на правах рукописи).

8. Кириличев Б.В., Рабинович П.Д., Ботряков Е.С. Модели и алгоритмы для работы с базами знаний в интеллектуальной компьютерной обучающей системе. Труды международной научно-технической конференции и Российской научной школы молодых ученых и специалистов «Системные проблемы качества, математического моделирования, информационных, электронных и лазерных технологий». - Сочи, 2004.

9. Кириличев Б.В., Рабинович П.Д., Ботряков Е.С. Программа для работы с базами знаний в интеллектуальной компьютерной системе проектирования и управления технологическими процессами. Сб. научных докладов V международной конференции «Молодые ученые - промышленности, науке, технологиям и профессиональному образованию: проблемы и новые решения». М.:РИЦ МГИУ, 2005.

10. Рабинович П.Д. Исследование и разработка математической модели, алгоритмов и программного средства для представления и передачи знаний в компьютерных обучающих системах. Труды второй научной конференции «СИМ'2005» - Москва, МФТИ, 2005.

Заключение

1. Аванесов B.C. Научные проблемы тестового контроля знаний. - М.,1994. —135с.

2. Александров Г.Н., Белогуров А.Ю. Математические методы в психологии и педагогике. Владикавказ, 1997. 302с.

3. Архангельский С.И., Мизинцев В.П., Кочергин А.В. Обученность главная переменная шкалы отметок, градации'контингента и функции оценивания учителя. - М.: Знание, 1985.

4. Атанов Г.А. Методологические основы деятельностного подхода в обучении // ПостМетодика, 2002, №2-3. с. 7-11.

5. Башмаков А.И. Исследование и разработка алгоритмов верификации и наследования в моделях знаний при автоматизированном формировании учебных планов. Дис. канд. техн. наук: 05.13.10, НИИ Высшего образования. М., 1996, 242 с.

6. Башмаков И.А., Рабинович П.Д. Анализ моделей семантических сетей как математического аппарата представления знаний об учебном материале // Справочник. Инженерный журнал, №7, 2002. М.: Машиностроение 2002, стр. 55-60.

7. Башмаков И.А., Рабинович П.Д. Модель семантической сети для представления учебного материала в компьютерных обучающих средствах// Справочник. Инженерный журнал, №8, 2002. М.: Машиностроение 2002, стр. 61-64.

8. Башмаков И.А., Рабинович П.Д. Обучение как «профилактика» чрезвычайных ситуаций, вызванных деятельностью человека//Проблемы безопасности при чрезвычайных ситуациях. Вып.1, М.гВИНИТИ, 2003, стр. 151-158

9. Башмаков И.А., Рабинович П.Д. О концепции информатизации учебного процесса//Вестник МЭИ. 2003. №4. - с. 105-110.

10. Ю.Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и компьютерных обучающих систем, М.: Филинъ, 2002, 616с.

11. Башмаков А.И., Старых В.А. Систематизация информационных ресурсов для сферы образования: классификация и метаданные. М.: Европейский центр по качеству, 2003, 384с.

12. Башмаков А.И., Башмаков И.А. Интеллектуальные информационные технологии. М.: Издательство Ml ГУ им. Н.Э. Баумана, 2005, 304с.

13. Битянова М.Р. Организация психологической работы в школе. М.: Совершенство, 1998. - 298с.

14. Васильев В.И., Ильясов Б.Г. Интеллектуальные системы управления с использованием нечеткой логики. Уфа, 1995. 99 с.

15. Гаврилова Т.А., Червинская К.Р. Извлечение и структурирование знаний для экспертных систем. М.: Радио и связь, 1992. - 199с.

16. Гаврилова Т.А.Хорошевский В.Ф. Базы знаний интеллектуальных сиситем -СПб: Питер, 2000-384с.

17. Гмурман В.Е. Теория вероятностей и математическая статистика. М.: Высшая школа, 1999. - 479с.

18. Гринберг Я.Р., Кривцов В.Е. SeLEn: проект распределенной среды школьного образования Проблемы вычислений в распределенной среде: Сборник трудов ИСА РАН / Под ред. Емельянова С.В., Афанасьева А.П. -М.: Эдигориал УРСС, 2004.

19. Декларация и рекомендации Второго Международного конгресса ЮНЕСКО по образованию и информатике. М., 1996.

20. Домрачев В.Г., Ретинская И.В. О классификации компьютерных образовательных информационных технологий // Информационные технологии. 1996, №2.

21. Емельянов В.В., Курейчик В.М., Курейчик В.В. Теория и практика эволюционного моделирования. М.: Физматлит, 2003. - 432 с.

22. Зимняя И.А. Педагогическая психология. М.: Логос, 1999. - 382 с.

23. Велихов Е. П., Чернавский А. В. Интеллектуальные процессы и их моделирование. М: Наука, 1987. - 396с.

24. Интернет порталы: содержание и технологии. Сборник научных статей. Выпуск 2. Под редакцией Тихонова А Н. М.: Просвещение, 2004,499с.

25. Кинелев В.Г., Миронов В.Б. Образование, воспитание, культура в истории цивилизации. М.: Владос, 1998. - 518с.

26. Кириличев Б.В., Широков JI.A., Рабинович П.Д. Системный анализ проблемы создания интеллектуальных компьютерных обучающих комплексов. Сборник научных трудов МГИУ. М.: МГИУ. 1996, стр. 166171.

27. Кириличев Б.В., Рабинович П.Д., Рабинович А.Е. Структурно-факторная модель процесса обучения//Труды международной научно-технической конференции «Теория и практика имитационного моделирования и создания тренажеров». Пенза, 1999, стр. 55-57.

28. Кириличев Б.В., Рабинович П.Д., Рабинович А.Е. К вопросу о коррекции угадывания// Труды международной научно-технической конференции «Теория и практика имитационного моделирования и создания тренажеров». Пенза, 1999, стр. 58-60.

29. Кириличев Б.В., Рабинович П.Д., Ботряков Е.С. Программа для работы с базами знаний в интеллектуальной компьютерной системе проектирования и управления технологическими процессами. Сб. научных докладов

30. V международной конференции «Молодые ученые промышленности, науке, технологиям и профессиональному образованию: проблемы и новые решения». М.:РИЦ МГИУ, 2005.

31. Кларин М.В. Инновационные методы обучения. М.: Высшая школа, 1995.

32. Клименко С.В., Крохин И.В., Куш В.М., Лагутин Ю.Л. Электронные документы в корпоративных сетях: второе пришествие Гуттенберга. М.: Анкей-Экотрендз, 1999. 271с.

33. Когаловский М.Р. Перспективные технологии информационных систем. -М.: ДМК Пресс; М. : Компаний АйТи, 2003. 288с.

34. Компьютерные технологии обучения //Кубанские научные беседы. Славянск-на-Кубани, 1998

35. Колин К.К. Опережающее образование и проблемы информатики //Международное сотрудничество. М., 1996, №2

36. Креативная педагогика: методология, теория, практика / Под редакцией Круглова Ю.Г. М.: МГОПУ им. М.А. Шолохова, изд.центр Альфа, 2002. -240с.

37. Кривошеев А.О. Разработка и использование компьютерных обучающих программ // Информационные технологии. 1996г., №2.

38. Кривцов В.Е. Об объектном моделировании геометрических построений. Проблемы вычислений в распределенной среде: Сборник трудов ИСА РАН/ Под ред. Емельянова С.В., Афанасьева А.П. М.: Эдиториал УРСС, 2004.

39. Кузнецов И.П. Механизмы обработки семантической информации. М.: Наука, 1978. - 175с.

40. Кузнецов И.П. Семантические представления. М.: Наука, 1986. - 290с.

41. Кузнецов И.П. Расширенные семантические сети представления и обработки структур знаний // Системы и средства информатики: Ежегод. Вып.4/РАН. Институт проблем информатики. М., 1993, стр. 70-83.

42. Кучинскас В.К. Эргономические основы интенсификации процесса обучения в высшей школе: теоретическое обоснование и пути реализации. -Тбилиси: ТГУ, 1987. 190с.

43. Лернер И.Я. Дидактические основы методовобучения. М.: Педагогика, 1981

44. Любарский Ю.А. Интеллектуальные информационные системы. М.: Наука, 1990. - 232с.

45. Манушкин Э.А., Колин К.К. и др. Аналитический обзор по проблеме «Образование и информатика» // М.: Международный центр системных исследований проблем высшего образования и науки, 1996. - 160с.

46. Маслак А.А. Основы планирования и анализа сравнительного эксперимента в педагогике и психологии. Курск, 1998. - 167с.

47. Мацковский М.С. Проблемы читабельности печатного материала. В кн.: Смысловое восприятие речевого сообщения. - М.: Наука, 1976. - 263с.

48. Ильин И. Н. Методы и средства кибернетики в управлении процессом обучения высшей школы. Рига, 1986. - 180с.

49. Микк Я.А. Оптимизация сложности учебного текста. М.: Просвещение, 1981. - 119с.

50. Минский М. Фреймы для представления знаний. М.: Энергия, 1979. - 151с.5 2. Моде ли и системы представления знаний//Сбор ник научных трудов. М.,1990.

51. Монахов В.М. Технологические основы проектирования и конструирования процесса обучения. Волгоград: Перемена, 1995. - 152с.

52. Перминов И.А. Нечеткая объектно-ориентированная семантическая сеть // Доклады Международной конференции «Информационные средства и технологии» Международного форума информатизации МФИ-99. Т.З. М.: Издательство «Станкин», 1999. - с.37-40.

53. Повышение эффективности учебно-воспитательного процесса на основе внедрения идей оптимизации. Методические рекомендации. М., 1982. -145с.

54. Подласый И.П. Педагогика. Кн.1. М.: Владос, 1999. 573с.

55. Поспелов Д.А. Моделирование рассуждений. М.: Радио и связь, 1989. -182с.

56. Практическая психодиагностика. Методики и тесты. Учебное пособие. -Самара: Издательский дом Бахрах, 1998. 669с.

57. Уэно X., Исидзука М., Окамото Т. Представление и использование знаний. -М.: Мир, 1989. 220с.

58. Присняков В.Ф., Приснякова JI.M. Математическое моделирование переработки информации оператором человеко-машинных систем. М.: Машиностроение, 1990. - 245с.

59. Рабинович П.Д., Рабинович А.Е. Курс «Автоматизация делопроизводства» и планирование (X-XI классы) // Планируем уроки информатики. Приложение к журналу «Информатика и образование». М: Информатика и образование, 1999, с. 105-111.

60. Рабинович П.Д., Рабинович А.Е., Гасанов Э.В. Основы автоматизации делопроизводства (теоретическая часть). Учебное пособие. М.: Август-принт, 1999. - 72 с.

61. Рабинович П.Д., Рабинович А.Е. Привет, компьютер! Учебное пособие. М: Август-принт, 1999. - 282 стр.

62. Рабинович П.Д. Исследование и разработка математической модели, алгоритмов и программного средства для представления и передачи знаний в компьютерных обучающих системах. Труды второй научной конференции «СИМ'2005»-Москва, МФТИ, 2005.

63. Сазонов Б.А. Концептуальные основы разработки новых информационных технологий формирования содержания подготовки по информатике. М. НИИ ВО, 1994. - 80с. (Новые информационные технологии в образовании: Обзор. Информ. /НИИ ВО; вып.6).

64. Селевко Г.К. Современные педагогические технологии. М.: Народное образование, 1998. - 255с.

65. Скаткин М.Н. Проблемы современной дидактики. М. Педагогика, 1984.

66. Скороходько Э.Ф. Семантические сети и автоматическая обработка текста. Киев: Наука Думка, 1983. - 218с.

67. Средства дистанционного обучения. Методика, технология, инструментарий / Агапонов С.В., Джалиашвили З.О., Кречман Д.Л., Никифоров И.С., Ченосова Е.С., Юрков А.В. СПб.: БХВ-Петербург, 2003, 366с.

68. Тейз А., Грибомон П., Луи Ж. и др. Логический подход к искусственному интеллекту. М : Мир, 1990. - 429с.

69. Тихонов А.Н., Кальнер В.Д., Гласко В.Б. Математическое моделирование технологических процессов и метод обратных задач в машиностроении. -М.: Машиностроение, 1990. 262с.

70. Тихонов А.Н., Иванников А Д. Информатизация российского образования и общества в целом //Международное сотрудничество. 1997, № 4.с. 1-3

71. Тулдава Ю.А. Об измерении трудности текста // Ученые записки Тартуского университета. 1975, вып. 345.

72. Шафрин Ю. А. Основы компьютерной технологии. Учебное пособие для 711 классов по курсу «Информатика и вычислительная техника». М.: АБФ, 1998.-655с.

73. Шевандрин Н.И. Психодиагностика, коррекция и развитие личности. М.: Владос, 1998. - 507с.

74. Шмелев А.Г. и др. Основы психодиагностики. Ростов н/Д : Феникс, 1996. -541с.

75. Широков Л. А., Кириличев Б.В. Интеллектуальные комплексы для повышения профессионального уровня специалистов. Межвузовский сборник научных трудов. М.: МАСИ, 1995.

76. Широков Л.А., Кириличев Б.В, Рабинович П.Д. Отчет по НИР по ЕЗН по теме «Разработка иерархической системы моделей для интеллектуальногокомпьютерного обучающего комплекса». М, 2001-2002 г.г. (на правах рукописи).

77. Anderson L.W., Block J.H. Mastery Learning Models //The International Encyclopedia of Teaching and Teacher Education. /Ed. by M.J. Dunkin. Oxford, Pergamon Press, 1987.

78. Bloom, B. S. (1977). Favorable learning conditions for all.

79. Current problems and challenges in distance teaching and learning. Alexander Afanasiev, David Crowe The 10th International Congress on Mathematical Education Copenhagen, Denmark. July 4-11, 2004

80. Carroll, J. (1963). A model of school learning. Teachers College Record, 64,123733.

81. Guilford J.P., Fruster B. Fundamental statistics in psychology and education. 5 ed. New Your. 1973.

82. Information technologies in teacher education: Issues and experiences for countries in transition // Ed. By B. Collis et al. P.: UNESCO 1995.

83. Stoddart Т., Niederhauser N. Tecnology and educational change // Computers and schools. 1992. Vol.9, №4.

84. The international encyclopedia of educational Evaluation. Edited by H. J. Walberg and G. D. Haertel. Pergamon Press, 1990.