автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Компьютерная технология адаптивного структурированного тестирования в образовании

Введение.

Глава Тестовый контроль в образовании.

1.1. Организация тестового контроля.

1.1.1. Проблемы тестового контроля.

1.1.2. Типы тестов и тестовых заданий.

1.1.3. Оценивание результатов тестирования.

1.1.4. Требования, предъявляемые к тестам.

1.2. Использование компьютерных технологий для тестирования.

1.2.1. Виды тестирующих компьютерных систем.

1.2.2. Алгоритмы проведения компьютерного тестирования.

1.2.3. Методы анализа ответов для разных типов заданий теста.

1.2.4. Оценивание и хранение результатов при компьютерном тестировании.

Актуальность. Важной составляющей компьютерной технологии обучения является автоматизированный контроль знаний. Компьютерный опрос позволяет разгрузить преподавателя от рутинной проверки контрольных заданий, позволяет проводить опрос оперативно и быстро, обеспечивая хорошую обратную связь преподавателя с обучаемыми [58, 147]. Кроме того, компьютерное тестирование можно проводить столь часто, как это необходимо преподавателю, каждый испытуемый выполняет задания теста с такой скоростью, с какой ему удобнее. В конце теста выставляется объективная оценка, независящая от настроения преподавателя, от его отношения к конкретному учащемуся, от впечатления ответов на предыдущие вопросы и т.д. Особенно важным становится использование компьютерного тестового контроля в связи с внедрением в процесс образования новых информационных технологий, новых форм обучения, таких как дистантное обучение, а также с расширением сферы его использования: введением единого государственного экзамена в школе, сертификационные тесты и т.п. [115, 154].

Компьютерные технологии процесса тестового контроля включают в себя автоматизацию таких процедур как:

- формирование теста,

- реализация опроса (тестирования),

- оценивание полученных результатов.

Анализ современного состояния в этой области показывает, что автоматизация этих процедур базируется на параметрическом подходе к тестированию. Задание экспертом таких параметров, как сложность задания, время выполнения задания, соответствие теме и целям тестирования и т.п., позволяет сформировать из банка заданий качественный тест и оптимальным образом реализовать процедуру тестирования и оценку уровня знаний. Но, как правило, итоговые тесты, охватывающие учебный материал конкретной предметной области, содержат большое количество заданий [47, 95, 135]. Проведение опроса по таким тестам является сильным стрессовым фактором для тестируемых, так как требует значительных временных затрат, приводит к повышению утомляемости тестируемых, снижению их внимательности при выполнении заданий, повышению раздражительности и, как следствие, может привести к некорректной оценке уровня знаний.

Одним из дальнейших путей повышения эффективности тестирования является использование адаптивных тестов, в которых порядок предъявления заданий и их величина вклада в результирующую оценку зависит от ответов испытуемого. Такой подход в полной мере соответствует (моделирует) процедуре оценки знаний, осуществляемой преподавателем при устном опросе. Адаптивное тестирование предполагает, что задания теста должны быть представлены в виде некоторой структуры, которая строится путем выявления значимых связей между заданиями. Задача построения такой структуры решается, как правило, экспертами, трудно формализуема, и, следовательно, плохо поддается автоматизации. Экспертное построение структуры в большей мере определяется структурой предметной области, а не целями контроля знаний. Кроме того, экспертный подход малоэффективен в случае контроля в описательных областях знаний [125, 68] (где эксперту трудно или невозможно выстроить логические связи), или при междисциплинарном тестовом контроле, который часто практикуется, например, в медицинском образовании. Отсутствие формализованных методов построения структуры теста приводит к тому, что адаптивные тесты мало используются в образовательном процессе таких областей знаний.

С другой стороны, в результатах непосредственного тестирования, как и в любых наборах экспериментальных данных неявно отражена вся структура связей тестовых заданий. Выявление этих связей можно осуществить с помощью статистических процедур без привлечения знаний эксперта, что может служить основой для разработки методов и алгоритмов, позволяющих автоматизировать процесс адаптивного структурированного тестирования и расширить сферу его применения.

Цель работы. Разработка технологии автоматизации адаптивного структурированного тестирования в образовании, включающая формализованный метод построения структуры теста на основе анализа результатов непосредственного тестирования и адаптивный алгоритм проведения опроса, и разработка программного комплекса, реализующего данную технологию.

Задачи:

1. Провести анализ технологий тестового контроля знаний и разработать метод формализованного построения структуры теста.

2. Предложить и реализовать адаптивный алгоритм опроса по структурированному тесту.

3. Методом статистического моделирования оценить эффективность предлагаемой технологии.

4. Разработать программный комплекс, реализующий основные элементы технологии адаптивного структурированного тестирования.

Научную новизну составляют следующие результаты:

- метод формализованного построения структуры теста, который может являться базовым для разработки и создания автоматизированных систем адаптивного структурированного тестирования; метод опирается на анализ результатов непосредственного тестирования и не требует привлечения экспертный оценок;

- установлено, что адекватной структурой адаптивного теста является несвязный ориентированный граф, построение которого основано на выявлении связей между заданиями теста, и дальнейшем упорядочивании их по степени сложности;

- алгоритм адаптивного тестирования на несвязных графах, основанный на динамическом изменении структуры в ходе проведения опроса, в зависимости от ответов испытуемого;

- разработанная технология предполагает включение испытуемого как управляющего элемента процессом тестирования.

Практическая ценность работы. Результаты работы использованы в разработках, осуществляемых в Сибирском государственном медицинском университете в рамках научно-технической программы Министерства образования РФ «Научные исследования высшей школы по приоритетным направлениям науки и техники» и по проекту «Разработка методологических принципов открытой образовательной среды, ее учебно - методологического и технологического обеспечения в системе дополнительного образования» научно-технической программы «Создание системы открытого образования», целью которых является разработка компьютерных технологий автоматизации процессов образования в системе профессиональной подготовки и переподготовки дипломированных специалистов.

Разработанная технология адаптивного структурированного тестирования позволяет автоматизировать процесс задания структуры теста и освобождает эксперта от рутинной работы по определению этой структуры.

Создан программный комплекс, который состоит из модулей, реализующих основные методы предлагаемой технологии: модуль задания структуры теста, модуль проведения адаптивного структурированного тестирования, а также модуль выявления структуры теста на основе анализа результатов непосредственного тестирования. Использование данного комплекса позволяет сократить количество предъявляемых при опросе заданий на 20 -40% без снижения качества получаемой оценки.

Апробация работы. Основные положения диссертации докладывались и обсуждались на научных семинарах кафедры медицинской и биологической кибернетики СГМУ; научных конференциях медико-биологического факультета СГМУ (1996-2001 г.г.); Межрегиональной научно-практической конференции «Современные технологии в медицине» (г. Томск, 1998 г.); на Международной научно-методической конференции (г. Новосибирск, 1998 -2001 г.г.); городских конференциях преподавателей средних и средних специальных учреждений «Использование новых информационных технологий в образовании» (г. Томск, 1999-2000 г.г.); Международной конференции «Научное и методическое обеспечение системы дистанционного образования» (г. Томск, 2000 г.); научно - практической конференции «Новый образовательный стандарт в образовании» (г. Томск, 2001 г.); Международном научно-практическом семинаре «Подготовка кадров для системы открытого и дистанционного образования» (г. Томск, 2001 г.).

Публикации. По результатам выполненных исследований было опубликовано 14 работ.

Диссертация состоит из введения, 4 глав и заключения. Объем диссертации составляет 128 страниц текста, 37 рисунков, список литературы из 167 наименований.

Основные результаты и выводы

1. Разработан метод формализованного построения структуры, основанный на анализе результатов непосредственного тестирования. Структура теста представляет собой иерархическую графовую структуру упорядоченных по степени сложности заданий.

2. Предложены и реализованы алгоритмы проведения опроса по структурированному тесту, адаптивность которых основана на учете информации, получаемой из анализа ответов на предъявленные задания теста. Выбор алгоритма определяется видом дополнительной информации о целях тестирования.

3. Методом статистического моделирования проведено тестирование эффективности разработанных алгоритмов. Показано, что количество предъявляемых заданий уменьшается в среднем на 20-40% без снижения качества оценивания.

4. Разработан программный комплекс, реализующий предлагаемую технологию адаптивного структурированного тестирования: начиная с этапа выявления связей тестовых заданий, построения структуры теста до проведения по ней опроса и получения результатов.

Заключение

Использование компьютерных технологий в образовательном процессе позволяет полностью автоматизировать такую его важную составляющую часть, как проведение тестирования с целью выявления уровня знаний обучаемых. Возможности современной вычислительной техники позволяют использовать различные виды представления заданий в тесте, проводить тестирование по разветвленным алгоритмам, проводить адаптивное тестирование.

Технологии адаптивного структурированного тестирования базируются на использовании тестов, задания которых организованы в некоторую структуру. Такая структура может быть построена экспертом - специалистом предметной области, по которой создается тест. Этот подход оправдан при создании структурированных тестов по предметным областям, имеющим четкую структуру. При создании структурированных тестов для слабоструктурированных предметных областей (это предметные области, как правило, гуманитарного направления) у экспертов возникают определенные трудности, поэтому в таких областях в настоящее время чаще всего используют неструктурированные тесты.

Предлагаемая технология адаптивного структурированного тестирования (глава 2) призвана помочь экспертам в выявлении структуры теста и проведении по ней опроса для любых предметных областей. Под структурой теста понимается ориентированный несвязный граф. В вершинах графа содержатся задания теста, а дуга между двумя заданиями существует тогда, когда верный ответ на одно (более сложное) задание предполагает и верный ответ на связанное с ним (более легкое) задание. Исходными данными для построения структуры теста являются результаты, полученные при непосредственном тестировании по всему исходному набору заданий теста.

Полученная таким образом структура не зависит ни от мнения преподавателя относительно связей между темами дисциплины, ни от последовательности их изложения, она отражает только результат усвоения предмета учащимися. Отсюда следует, что исходный набор заданий не обязательно должен соответствовать одной конкретной дисциплине. Он может отражать всю совокупность междисциплинарных знаний. Поэтому наибольшую эффективность разработанная технология должна показать при таких видах контроля, как итоговый контроль, сертификация специалистов и т.д.

Для организации тестирования по структурированному тесту технология содержит эффективные алгоритмы (глава 2), адаптивность которых заключаются в том, что при ответе испытуемого на предъявленное задание можно «спрогнозировать» ответ испытуемого на все задания, структурно связанные с ним, и их уже больше не задавать.

1. Аванесов B.C., Евгеньев В.А., Козлов М.П. Формы и принципы построения тестовых заданий // Методические рекомендации. - Караганда: КГУ, 1997.-31 с.

2. Агеев В.Н. Опыт применения гипертекстовой оболочки "ЭЛБИ" в учебном процессе // Нов. информ. технологии в универс. образовании : Сб. тр. -Новосибирск, 1995. С.173-175.

3. Аладьев В.З., Хунт Ю.Я., Шишаков М.Л. Основы информатики. М.: Информ.-издат. дом «Филинъ», 1998. - 496 с.

4. Александров Г.Н., Ратнер Г.Л. Программированное обучение и его место в медицинских вузах. М. Медицина, 1968. 183 с.

5. Анастази А. Психологическое тестирование: В 2 т. Т. 2. М.: Педагогика, 1982.

6. Афанасьев М.Ю. Компьютеризация обучения экономистов. Учебное пособие / Под ред. Б.П. Суворова. М.: Изд-во МГУ, 1993. - 182 с.

7. Бежанова М.М., Квашнин Г.А., Москвина Л.А. Среда поддержки разработки компьютеризованных обучающих курсов // Нов. информ. технологии в универс. образовании : Сб. тр. Новосиб.: Изд-во НИИ МИОО НГУ, 1995. - С.177-178.

8. Белкин А.Р., Шумов С.И. Анализ и оценка традиционных и нетрадиционных механизмов получения и обобщения новых знаний // Информатика и образование. М., - 1994. - №6. С. 7 - 15.

9. Березина Л.Ю. Графы и их применения. М.: Просвещение, 1979. -143 с.

10. Беспалько В.П. Объективный программированный контроль качества знаний учащихся в медицинском вузе: Методические указания. М.: 2 МОЛГМИ, 1973.-96 с.

11. Беспалько В.П. Опыт разработки критериев качества усвоения знаний учащимися) // Методы и критерии оценки знаний, умений и навыков учащихся при программированном обучении. 7-й симпозиум. / Под рук.

12. B.П. Беспалько. Москва, 1969. - С.10-15.

13. Беспалько В.П. Основы теории педагогических систем. Воронеж, 1978. -123 с.

14. Блинова Л.Л., Дмитриева М.М. Модель для конструирования контрольно-обучающих программ с использованием микроЭВМ "Электроника ДЗ-28" // Журн. микробиолог., эпидемиолог, и иммунол. 1989. - №8.1. C.111-114.

15. Бобков А.И., Тюрликова О.А. Построение стратегий классификации уровня знаний на основе графоаналитической модели // Кибернетика. -1988, №5.-С. 109-12.

16. Борк А. Компьютеры в обучении: чему учит история // Информатика и образование.-М., 1990. -№5.-С. 110-118.

17. Булгаков М.В., Пушкин А.Е., Фомин С.С. Технологические аспекты создания компьютерных обучающих программ // Компьютерные технологии в высшем образовании. / Редакц.колл.: А.Н.Тихонов, В.А.Садовничий и др. М.: Изд-во Моск. ун-та, 1994. - С. 147-152.

18. Булгаков М.В., Якивчук Е.Е. Инструментальные системы для разработки обучающих программ // Компьютерные технологии в высшем образовании. / Редакц.колл.: А.Н.Тихонов, В.А.Садовничий и др. М.: Изд-во Моск. ун-та. 1994. - С. 153-162.

19. Варенов А.В., Прищепа JI.C. Опыт разработки и применения обучающих систем // Нов. информ. технологии в универс. образовании : Сб. тр. Новосиб.: Изд-во НИИ МИОО НГУ, 1995. - С. 31 -32.

20. Власов В.Г., Власов А.В., Кузнецов А.А. Компьютерный рейтинг по высшей математике: первый опыт // Новые информационные технологии в университетском образовании. Материалы Междунар. научно-практ. конференции. Новосибирск: ИДМИ, 1999. - С.32.

21. Вознесенский Б.Б. Разработка и применение объективных методов оценки знаний и профессиональных умений в системе повышения квалификации врачей. Методические рекомендации. Москва, 1990. - 110 с.

22. Воробейчикова О.В. Алгоритмизация и структурирование вопросов для компьютерного опроса // Современные технологии в медицине: Материалы Межрегиональной научно-практической конференции. - Томск: Изд-во Томского университета, 1998. - С. 208 - 215.

23. Воробейчикова О.В. Исследование структуры теста // Вестник СГМУ. -2000.-№1.-С. 36-40.

24. Воробейчикова О.В. Структуризация тестов для оценки знаний в системе ДО // Научное и методическое обеспечение системы дистанционного образования. Материалы Международной конференции. Томск: Изд-во Томского университета, 2000. - С. 84-85.

25. Воробейчикова О.В. Структурированные тесты как средство контроля знаний // Информатика и образование. М., 2001. - №7. - С. 14-17.

26. Воробейчикова О.В., Карась С.И. Структурирование тестовых заданий для компьютерного контроля в медицинских вузах // Сб. трудов научн. конференции, поев. 35-л. ЦНИЛ. Томск, 1997. - С. 348 - 350.

27. Воробейчикова О.В., Карась С.И., Пеккер Я.С. Когнитологические подходы к созданию компьютерного методического обеспечения в медицине // Вестник СГМУ. Томск: полиграф, лаборатория СГМУ, 2000. - №1. -С. 40-46.

28. Воробейчикова О.В., Карась С.И., Пеккер Я.С. Проблемы создания автоматической системы тестирования и сертификации специалистов в медицине и здравоохранении // Сб. трудов междунар. Конференции. Томск, 1997.-С. 219-221.

29. Воробейчикова О.В., Пеккер Я.С. Оптимизация контроля знаний в медицинском вузе // Материалы междунар. научно-метод. Конференции. -Новосибирск, 1998.-С. 31-32.

30. Воронин А.Т., Чернышев Ю.А. AOSMICRO-W: Интеллектуальная инструментальная система для Windows // Нов. информ. технологии в уни-верс. образовании : Сб. тр. Новосиб.: Изд-во НИИ МИОО НГУ, 1995. -С. 34-35.

31. Врагов В.Н., Коммисарова Г.В. Новые информационные технологии в образовании и компьютеры Macintosh // Нов. информ. технологии в уни-верс. образовании : Сб. тр. Новосиб.: Изд-во НИИ МИОО НГУ, 1995. -С. 32-33.

32. Вудс Ш. Психиатрия в вопросах и ответах. СПб: Питер Ком, 1998. -320 с.

33. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. СПб: Питер, 2000. - 384 с.

34. Глазов Б.И., Ловцов Д.А., Михайлов С.Н., Сухов А.В. Компьютеризованный учебник // Информатика и образование. 1994. - №6.

35. Гласс Дж., Стенли Дж. Статистические методы в педагогике и психологии. М.: Изд.-во "Прогресс", 1976. - 495 с.

36. Голощапов М.В., Коняев Б.Я. Контролирующие программы с переменным числом правильных ответов // Проблемы программированного обучения. (В помощь учителям и студентам). Владимир, 1983.

37. Горелов И.Н. Разговор с компьютером: психолингвистические аспекты проблемы. С послесловием Д.А.Поспелова. -М.: Наука, 1987.

38. Громов Г.Р. Персональные вычисления новый этап информационных технологий // Микропроцесс, средства и системы. - М., 1984. - №1. - С. 37-50.

39. Дворцов С.А. Методические аспекты тестов контроля знаний студентов // Терап.архив. М., 1993. - №10. - С. 90-91.

40. Демушкин А.С., Кириллов А.И., Сливина Н.А., Чубров Е.В., Кривошеев А.О., Фомин С.С. Компьютерные обучающие программы // Информатика и образование. М., 1995. - №3. - С. 15-22.

41. Денек К. Новый подход к оценке знаний студентов // Современная высшая школа. -М, 1974.-№4(8).-С. 139- 153.

42. Джордж Ф. Основы кибернетики: пер. с анг. / Под ред. A.JI. Горелика. -М.: Радио и связь, 1984. 272 с.

43. Дидактика современной школы: Пособие для учителей. / Б.С. Кобзарь, Г.Ф. Кумарина, Ю.С. Кусый и др.; Под ред. В.А. Онищука. Киев: Рад. шк., 1987.-351 с.

44. Дэвид Х.Джонассен. Компьютеры как инструменты познания // Информатика и образование. М., 1996.-№4.-С. 117-131.

45. Дюк В.А. Компьютерная психодиагностика Санкт-Петербург: Изд-во «Братство», 1994. - 364 с.

46. Евстигнеев В.А., Касьянов В.Н. Теория графов: алгоритмы обработки деревьев. Новосибирск: ВО «Наука». Сибирская издательская фирма, 1994.-360 с.

47. Загорулько Ю.А., Попов И.Г., Тарасевич В.В. Применение интегрированной среды SEMP-TAO в преподавании курса «САПР» // Материалы междунар. научно-метод. Конференции. Новосибирск, 1998. - С. 35 - 36.

48. Зарецкий М.М., Бахтина Т.И. Деловые игры как форма проблемного обучения на кафедре внутренних болезней в период преддипломной подготовки // Тер.архив. М., 1990. - №1. - С. 126-128.

49. Злобина Т.М., Егоров А.Н., Шамис Ф.И. Тестовый контроль знаний среднего медицинского персонала // Фельдшер и акушерка. М. Медицина, 1989. -№5. - С.51 - 52.

50. Исаков Матричная модель представления знаний.

51. Карнаухов В.М. Система контроля знаний // Информатика и образование. -М., 1995.-№6.-С. 118-124.

52. Кастро К., Альфтан Т. Компьютеры в внешкольном образовании // Перспективы: вопросы образования. М.: Комиссия СССР по делам ЮНЕСКО, 1991. -№2. - С. 59-71.

53. Кириллов А.В., Дасалиашвили З.О. Концепция компьютерного учебника по истории для технических и естественно-научных вузов // Нов. информ. технологии в универс. образовании : Сб. тр. Новосиб.: Изд-во НИИ МИОО НГУ, 1995. - С.34-35.

54. Кирмайер М. Мультимедиа: Пер. с нем. СПБ.: BHV-Санкт-Петербург, 1994.- 192 с.

55. Клейман Г.М. Школы будущего: компьютеры в процессе обучения: Пер. с анг. М.: Радио и связь, 1987. - 175 с.

56. Кнут Д. Искусство программирования для ЭВМ. В 3-х томах. М.: Мир. 1976.

57. Кондрашина Е.Ю., Литвинцева JI.B., Поспелов Д.А. Представление знаний о времени и пространстве в интеллектуальных системах. М.: Наука, 1989.-328 с.

58. Крейнес М.Г., Удальцов Ю.А., Погромов А.П., Ершов В.И., Сумароков А.В. Активные компьютерные системы для медицинского образования: подход и реализация // Вестник РАМН. М., 1995. - №10. - С.68-71.

59. Кривошеев А.О., Фомин С.С. Конкурс "Электронный учебник" // Компьютерные технологии в высшем образовании. / Редакц.колл.:

60. A.Н.Тихонов, В.А.Садовничий и др. М.: Изд-во Моск. ун-та, 1994. - С. 264 - 268.

61. Кристофидес Н. Теория графов. Алгоритмический поход. М.: Мир, 1978.-511 с.

62. Кручинин В.В. Разработка компьютерных учебных программ. Томск: Изд-во Том.гос.университета, 1998. - 211 с.

63. Крэм Д. Программированное обучение и обучающие машины. М: Прогресс, 1965.-200 с.

64. Лавров С.С. Синтез программ // Кибернетика. М.,1982. - № 2. - С. 1116.

65. Лапчик М.П., Переверзева Л.Г. Организация технического контроля учебной деятельности студентов на микро-ЭВМ «Искра-226» // Автоматизация обучения и контроля на базе ЭВМ. Свердловск: Свердл. ГПИ, 1984.-С. 3-5.

66. Латышев А.А., Федосеев В.А. Контроль знаний в АОС // Вопросы применения технических средств обучения в учебном процессе. Сб. науч. тр. -Уфа: Изд-во УПИ, 1986. С. 11 - 20.

67. Либрович Л.В., Макаренко В.Н. Автоматизированная система обучения и контроля знаний на базе ЭВМ СМ-4 // Научно-методические основы применения ЭВМ в учебном процессе: Межвуз. сб. науч. тр. / Под ред.

68. B.И. Прохорова. Л.: ЛИАП, 1987. - Вып. 189. - С. 24 - 28.

69. Литвиненко П.М. Опыт программированного обучения студентов // Мед. журнал Узбекистана. Ташкент: "Медицина УзССР", 1974. - №3. - С.61 -64.

70. Лобанов Ю.И. Операционная среда преподавателей и студентов // Использование компьютерных технологий в обучении. Сб. научн. тр. / АН УССР. Институт кибернетики им. В.М. Глушкова, Науч. совет АН УССР по проблеме «Кибернетика», Киев, 1990. - С. 29 - 36.

71. Ловцов Д.А., Сухов А.В. Фрагмент компьютерного учебника для контроля знаний // Информатика и образование. М., 1995. №3. - С.33-37.

72. Логика и клиническая диагностика. Компьютерный практикум // Д.В. Дмитриев, А.Е.Новодворский, А.В. Смирнов, С.Г.Таганова М.: Наука, 1994.- 128 с.

73. Лозинский Л.Д. Математические пакеты в высшей школе // Мир ПК. -М.,1992.-№9.-С. 89-97.

74. Лорьер Ж.-Л. Системы искусственного интеллекта: Пер. с франц. М.: Мир, 1991.-568 с.

75. Макаров А.В., Бахтин Д.А. Инструментальные средства для разработки диалоговых интерфейсов в компьютерных медицинских системах // Мед.техника, М.,1995. - №2. - С. 16-19.

76. Малиев Ю.Н. Некоторые способы оценки знаний учащихся при программированном обучении // Методы и критерии оценки знаний, умений и навыков учащихся при программированном обучении. 7-й симпозиум. / Под рук. В.П. Беспалько. Москва, 1969.

77. Маргулис Е.Д. Психолого-педагогические проблемы разработки ЭОС // Использование компьютерных технологий в обучении. Сб. научн. тр. / АН УССР. Институт кибернетики им. В.М. Глушкова, Науч. совет АН УССР по проблеме «Кибернетика», Киев, 1990. С. 5 - 10.

78. Маркварде Ю.М., Маркварде М.М. Применение компьютерного контроля знаний в учебном процессе // Здравоохранение Беларуси. Минск, 1994. -№2.-С. 61-63.

79. Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения. М.: Педагогика, 1988. - 192 с.

80. Мохов А.И., Колпаков O.J1. Электронный допуск к лабораторным работам // Новые информационные технологии в университетском образовании. Материалы Междунар. научно-практ. конференции. Новосибирск: ИДМИ, 1999.-С.47-48.

81. Мультимедиа / Под ред. А.И.Петренко, Киев: Торгово-издатель. бюро BHV, 1994.-272 с.

82. Муравьев М.В. Рейтинг и его применение для оценки обучения // Научно-практические аспекты последипломного образования врачей: Сб. научн. Тр. М.: ЦОЛИУВ, 1983. - С.77-87.

83. Набор тестовых заданий по школьному курсу «Информатика» // Информатика. 1998. - № 41.

84. Низамов И.Г., Вахитов Ш.М. Использование ЭВМ в процессе преподавания на циклах усовершенствования руководителей здравоохранения // Советское здравоохранение. М., 1990. - №2. - С.62-63.

85. Новиков В.А., Селиванов А.Д., Токарева B.C. Учебно-методическое обеспечение автоматизированных обучающих систем в зарубежных странах. Средства обучения в высш. и сред. спец. школах: Обзор информации. -М.: НИИВШ, 1984. -Вып.5.

86. О сертификации качества педагогических тестовых материалов. Приказ Министерства образования Российской Федерации от 17.04.2000, №1122.

87. Обучающие машины и комплексы. Справочник // Под общей редакцией А .Я. Савельева. Киев.: Вища шк., 1986. - 303 с.

88. Объективная оценка уровня подготовленности учащихся в общеобразовательных и профессиональных образовательных учреждениях. Конкурс // Поиск. М., 2001. - №7.

89. Осин А.В. Мультимедиа технологии раскрывают возможность компьютера // Компьютерные технологии в высшем образовании. / Редакц.колл.: А.Н.Тихонов, В.А.Садовничий и др. М.: Изд-во Моск. ун-та. 1994.-С. 197-204.

90. Пак Н.И., Симонова А.Л. Методика составления тестовых заданий // Информатика и образование. М., 1998. №5. - С. 27 - 32.

91. Панфилов С.А. Контроль знаний на ЭВМ. Учебное пособие. Саранск: Морд.ун-т, 1989.-76 с.

92. Переверзев-Орлов B.C. Проблемы и концепция построения интеллектуальных партнерских систем // Компьютеры и познание. Сб. науч. тр. -М.: Наука, 1990. С. 52 - 67.

93. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа. Томск: Изд-во НТЛ, 1997.-396 с.

94. Подготовка кадров для системы открытого и дистанционного образования: Международный научно-практический семинар: Тезисы докладов / Под ред. проф. Г.В. Майера. Томск: Изд-во Том. ун-та, 2001. - 146 с.

95. Поспелов Г.С. Искусственный интеллект основа новой информационной технологии. - М.: Наука, 1988. - 230 с.

96. Проектирование пользовательского интерфейса на персональных компьютерах. Стандарт фирмы IBM // Под ред. М.И.Дадашева. М.: А/О "Лев", 1992.-153 с.

97. Разработка и применение объективных методов оценки знаний и профессиональных умений в системе повышения квалификации врачей. Методические рекомендации // Под ред. проф. Г.И. Сторожакова, М., 1990. -110с.

98. Растригин Л.А., Эренштейн М.Х. Адаптивное обучение с моделью обучаемого. Рига: Зинатне, 1988. - 160 с.

99. Ретинская И.В., Шугрина М.В. Отечественные системы для создания компьютерных учебных курсов // Мир ПК. -М.,1993. №7. - С. 55-60.

100. Ржецкий Н.Н. Формальная надежность стандартизированных ответов при контроле знаний // Методы и критерии оценки знаний, умений и навыков учащихся при программированном обучении. 7-й симпозиум. / Под рук. В.П. Беспалько. Москва, 1969. - С. 34-35.

101. Роберт Н.В. Виртуальная реальность // Информатика и образование. -М.,1993.-№5. -С. 53-56.

102. Савельев А.Я., Новиков В.А., Лобанов Ю.И. Подготовка информации для автоматизированных обучающих систем. М.: Высш. шк., 1986. -231 с.

103. Сборник методологических рекомендаций по разработке содержания обучения и дидактических систем // Под ред. А.А.Золотарева. М.: МИИГА, 1988.

104. Свечникова Н.О., Фомина Н.Н. Компьютерное тестирование в курсе культурологии // Материалы междунар. научно-метод. конференции. -Новосибирск, 1998. С. 85 - 87.

105. Свиридов А.П. Основы статистической теории обучения и контроля знаний. М.: Высш.шк., 1981. - 262 с.

106. Сенокосов А.И., Юнерман Н.А. О тестах российских замолвите слово // Информатика (Приложение к газете «1 сентября»). М., 1997. -№1.

107. Сергеев А.О., Сигалов А.В. Применение инструментальных систем для автоматизации контроля знаний // Компьютерные технологии в высшем образовании. / Редакц.колл.: А.Н.Тихонов, В.А.Садовничий и др. М.: Изд-во Моск. ун-та. 1994. - С. 234 - 248.

108. Системы автоматического проектирования и обучения: Межвуз. сборник научн. Трудов. Иваново: Ивановский ун-т, Ивановский энергет. инт, 1987.- 156 с.

109. Соловов А.В. Проектирование компьютерных систем учебного назначения: Учеб. пособие. Самара: СГАУ, 1993. - 104 с.

110. Сумароков А.В., Крейнес М.Г., Погромов А.П., Ершов В.И. Возможности и перспективы использования компьютерных систем в медицинском образовании // Терап.архив М.,1993. - №10. - С.86-89.

111. Талызина Н.Ф. Теоретические проблемы программированного обучения. М.: Изд-во Моск. ун-та. 1969. - 56 с.

112. Теория расписаний и вычислительные машины. / Под ред. Э.Г. Кофф-мана. М.: Наука, 1984. - 334 с.

113. Тесты по внутренним, профессиональным и инфекционным болезням. Под ред. проф. Р.С. Богачева и проф. А.И. Борохова. Смоленск: Русич, 1996.-496 с.

114. Тихонов И.И. Контроль усвоения, его организация и эффективность при программированном обучении. М.: Знание, 1967. - 231 с.

115. Тихонов И.И. Организация педагогических экспериментов по программированному обучению и обработка их результатов. М.: Знание, 1968.- 160 с.

116. Томас К. Перспективы программированного обучения. М.: Мир, 1966.-112 с.

117. Трапезников С.Н. УРОК универсальный редактор обучающих курсов // Компьютерные технологии в высшем образовании. / Редакц.колл.: А.Н.Тихонов, В.А.Садовничий и др. - М.: Изд-во Моск. ун-та. 1994. - С. 192- 196.

118. Федоров Е.В. Алгоритм покрытий в задачах автоматического контроля знаний // Автоматизация обучения и контроля знаний на базе ЭВМ. Сб. науч. тр. Свердловск, 1984. - С. 82 - 87.

119. Цевенков Ю.М., Семенова Е.Ю. Информатизация образования в США. (Новые информационные технологии в образовании: Обзор информации). М.:НИИВО, 1990. - Вып.8. - 20 с.

120. Шапиро Э.Л. Компоненты знаний и их соотношения в сферах интеллектуальной деятельности // Вестник Высшей школы М., 1990. - №1. -С. 26-31.

121. Шварц Ю.Г., Долинина О.Л., Каримов Р.Н. Проблемы разработки медицинских экспертных систем // Здравоохранение Рос.Федерации. М., 1994. -№1. - С.7-9.

122. Шляпников В.Н., Быкова Л.Ф., Борщев В.Ф. Об оптимизации усвоения и контроля знаний в медицинских вузах // Советское здравоохранение. -М. Медицина, 1984. №6 - С. 57 - 64.

123. Шушляпин О.И., Шелест А.Н. Методика составления контрольно-обучающих дифференциально-диагностических ситуационных задач // Тер.архив.-М., 1990.- №1.- С.130-134.

124. ЭВМ в учебном процессе вуза // Межвуз. сб. науч. тр. / Под ред. В.Н.Врагова. Новосибирск: НГУ, 1988. - 170 с.

125. Bennet J. S. A Knowledge-Based System for Acquiring Conceptual Structure of a Diagnostic Expert System // Journal of Automated Reasoning. No. 1, 1985.-P. 49-74.

126. Bentley J.L., Friedman J.H. Fast algorithms for constructing minimal spanning trees in coordinate spaces // IEEE Trans. Computers. 1978. - Vol.C-27. №2.-P. 97- 105.

127. Boose J.H., Personal construct theory and the transfer of human expertise // proc. 6-th Eur. Conf. Artif. Intell. Amsterdam, 1985. - P. 51 - 60.

128. Bork A. Computer and information technology as a learning aid // Education and Computing. 1985. - V.l. - P. 25-31.

129. Chambers J., Sprecher J. Computer-Assisted Instruction: Current Trends and Critical Issues // ACM Communications. 1980. - Vol/ 23. - №6. - P. 332342.

130. Computers in education//Proc. oflFIP TC. 1985. - V.3. - P. 181-186.

131. Distance Learning and New Technologies in Education: Proceeding of the first International Conference on Distance Education in Russia. Moscow: Association for International Education, 1994. - 438 p.

132. Doignon J., Falmagne J. Knowledge Spaced. New York: Springer, 1999. -317 p.

133. Efron B. The Jacknife, the Bootstrap and Other Resempling Plans // CBMS-NSF Regional Conference Series in Applied Mathematics, Monograph. SIAM. Philadelphia, 1982. - 38 p.

134. Gammack J.G., Young R.M. Psychological Techniques for Eliciting Expert Knowledge // Research and Development in Expert Systems. Cambridge: University Press. 1985. - C. 56-58.

135. Hart A. Knowledge Acquisition for expert systems. London, Kogan Page, 1986.- 102 p.

136. Hebenstreit J. Computers in education : The next step // Education and Computing. 1995. - V.l. - P. 37-43.

137. Hildebrandt D. Computer based education: Overview and handbook. -Rose-Hulmen Institute of Technology, Indiana, 1984. 50 p.

138. Intelligent tutoring systems. London: Acad, press, 1982. - 345 p.

139. Phomson P.W. Mathematical Microworlds and Intelligent Computer-assistend Instruction // Artificial Intellegence and Instruction. Ed. by Kearsly. -1987.-P. 83-109.

140. Ragsdale R.G. Effective computing in education : tools and training // Education and Computing. 1995. - V.7. - P. 157-166.

141. Scott D.S. Symbolic Computation and Teaching // Lecture Notes in Computer Science. 1996.-№1138.-P. 1-20.

142. Susuki M., Sasaki Т., Sato M., Fukuki Y. A Hibrid Algebraic-Numeric System ANS and Its Preliminary Implementation // LNCS. 1987 - № 378. - P. 163 - 174.128

143. Villano M. Probabilistic student models: Bayesian belief networks and knowledge space theory. Proceedings of the Second International Conference on Intelligent Tutoring Systems. New York: Springer-Verlag, 1992. - P. 491 -498.

144. Директор Учебно-методического центра Управления начального профессионального образованияпри администрации Томской области: ■1. Лазарева II. Ф.1. АКТвнедрения программного комплекса «ТеСТ», разработанного Воробейчиковой О.В. в процесс работы УМЦ УНПО