автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Метод и алгоритмы автоматизированного построения компьютерных тестов контроля знаний по техническим дисциплинам



у

На правах рукописи

□03053232

СЕРГУШИЧЕВА Анна Павловна

МЕТОД И АЛГОРИТМЫ АВТОМАТИЗИРОВАННОГО ПОСТРОЕНИЯ КОМПЬЮТЕРНЫХ ТЕСТОВ КОНТРОЛЯ ЗНАНИЙ ПО ТЕХНИЧЕСКИМ ДИСЦИПЛИНАМ

Специальность 05 13.01 - Системный анализ, управление и обработка информации (технические системы)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург 2007

003053232

Работа выполнена в Вологодском государственном техническом университете

Научный руководитель

- доктор технических наук, профессор Швецов Анатолий Николаевич

Официальные оппоненты

- доктор технических наук, профессор Воробьев Владимир Иванович

- доктор технических наук, профессор Чертовской Владимир Дмитриевич

Ведущая организация:

- Владимирский государственный университет

Защита диссертации состоится " 6 " марта 2007 г в 1530 часов на заседании Диссертационного совета Д 002 199 01 при Санкт-Петербургском институте информатики и автоматизации Российской академии наук по адресу. 199178, Санкт-Петербург, В О , 14 линия, 39

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского института информатики и автоматизации Российской академии наук

Автореферат разослан " 5 "_февраля_ 2007 г

Ученый секретарь

диссертационного совета Д 002 199 01 кандидат технических наук

АЛ Ронжин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации. В современных условиях научно-технического прогресса, развития новых технологий и информатизации общества наряду с задачей обучения актуальной является задача постоянного обновления знаний специалистов Важную роль в решении указанных задач играют компьютерные средства обучения Применение информационных технологий в образовании позволяет индивидуализировать процесс обучения, обеспечить самоконтроль и контроль обучаемого с диагностикой ошибок и обратной связью Демонстрация визуальной учебной информации, моделирование и имитация процессов и явлений существенно расширяют наглядность курса и повышают интерес к процессу обучения В системе образования накоплено несколько тысяч компьютерных программ учебного назначения Разрабатываются и используются как отдельные образовательные программные продукты, так и автоматизированные обучающие системы (АОС) по различным учебным дисциплинам Подобные системы достаточно широко известны Основным способом контроля знаний в обучающих системах по-прежнему остается тестирование Помимо измерительной задачи тестирование может выполнять целый ряд функций: обучение, тренинг, развитие когнитивных способностей, повышение мотивации обучения и некоторые другие Поэтому тестирующие системы (ТС) являются непременным атрибутом АОС.

Различные аспекты тестирования, создания и применения обучающих и тестирующих систем на базе современных информационных технологий, вопросы разработки баз данных и баз знаний программных систем рассмотрены в работах отечественных и зарубежных ученых Аванесова В С, Башмакова И А , Башмакова А И , Воробьева В И , Горбатова Д.С , Загвязинского В И , Клайна П., Курганской Г С , Минасова Ш М , Поспелова Д А , Третьякова П И , Хованова Н В , Чертовского В Д и др Многие авторы отмечают трудоемкость организации тестирующих систем, так как основное внимание разработчики ТС уделяют автоматизации процессов тестирования и обработки его результатов, а при создании инструментальных средств решаются вопросы применения методологий и технологий тестирования, оформления интерфейса, стыковки различного программного обеспечения (в том числе и форматов наполнения систем) Использование в компьютерных средствах обучения для контроля знаний весьма ограниченного числа тестовых заданий (наличие в ТС большого количества разнообразных тестовых заданий позволяет повысить качество тренинга и объективность тестирования, реализовать построение адаптивных тестирующих систем) объясняется, в основном, слабой автоматизацией процессов построения тестов Большинство существующих ТС отличаются узкой специализацией и сложностью внесения изменений в наборы тестовых заданий, что создает проблему адаптации обучающих систем к быстро меняющимся требованиям Ме>кду тем, в связи с возникновением и интенсивным развитием новых технологий достаточно часто требуется обновление тестов (множеств заданий), например, в области информационных технологий и программирования Поэтому проблема автоматизации построения компьютерных тестов контроля знаний по техническим дисциплинам представляется весьма актуальной.

Целью диссертационной работы является снижение трудоемкости построения компьютерных тестов, повышение обоснованности и глубины контроля знаний на основе автоматизации процесса формирования тестовых заданий, имеющих заданную структуру и содержание

Объектом диссертационных исследований являются компьютерные тестирующие системы, используемые в учебном процессе технических вузов.

Предметом исследования является модельно-алгоритмическое и программное обеспечение автоматизированного формирования тестовых заданий по техническим дисциплинам

Для достижения поставленной цели в диссертационной работе решаются следующие задачи

1 Исследование существующих автоматизированных тестирующих систем и анализ методов их построений,

2 Разработка модели компьютерной тестирующей системы (КТС), включающей механизм автоматического порождения тестовых заданий,

3 Разработка метода автоматической генерации тестовых заданий в структуре КТС,

4 Разработка алгоритмов реализации основных функций инструментального программного комплекса (ИПК), основанного на предложенном методе

5 Разработка и реализация инструментального программного комплекса для автоматизированного построения компьютерных тестирующих и обучающих систем на основе метода автоматической генерации тестовых заданий,

6. Проведение экспериментальных исследований прототипов КТС и оценка их эффективности и качества создаваемых тестов

Результаты выполненных в работе исследований и проектных работ базируются на использовании методов статистического анализа, информационного моделирования данных и знаний, модульном и объектно-ориентированном подходе к проектированию и программированию, теории формальных языков и грамматик, теории дедуктивных систем и исчислений

Основные положения, выносимые на защиту:

1 Модель компьютерной тестирующей системы, включающая механизм динамического формирования тестовых заданий для контроля знаний,

2 Продукционный метод автоматической генерации тестовых заданий, предназначенный для построения компьютерных тестов контроля знаний,

3 Алгоритмы реализации основных функций инструментального программного комплекса (ИПК), разработанного на основе метода автоматической генерации тестовых заданий и предназначенного для формирования тестов контроля знаний

Научная новизна работы заключается в следующем

1 Разработана модель компьютерной тестирующей системы, отличающаяся от существующих моделей наличием механизма оперативного формирования тестовых заданий и позволяющая обеспечить предъявление заданий в соответствии с заданной структурой теста в динамическом режиме,

2 Предложен продукционный метод автоматической генерации тестовых заданий, отличающийся возможностью быстрого изменения характеристик компьютерных тестов и позволяющий оперативно генерировать заданное количество тестов и управлять их содержанием в автоматическом режиме;

3 Разработаны алгоритмы реализации основных функций инструментального программного комплекса (ИПК), построенные на основе метода автоматической генерации тестовых заданий и отличающиеся от существующих алгоритмов тем, что предоставляют возможность на основе формальных грамматик генерировать тесты заданной структуры и содержания

Практическая ценность результатов работы заключается в том, что разработаны и доведены до практической реализации модель тестирующей системы, метод автоматической генерации тестовых заданий и алгоритмы реализации основных функций, предложенные для построения КТС, которые нашли применение в виде прикладного инструментального программного комплекса ИПК отличается способностью автоматического порождения прикладных тестирующих и обучающих систем и позволяет учесть

специфику предметной области и методики преподавания всех циклов дисциплин технического вуза, особенности методов построения учебных курсов, снизить затраты на разработку обучающих и (или) тестирующих систем Результаты экспериментов по автоматизированному созданию на базе ИПК тестирующих систем и их апробации показывают эффективность применения предлагаемого подхода. Качество генерируемых тестов достаточно высокое

Прикладные компьютерные тестирующие и обучающие системы, разработанные автором в ходе диссертационных исследований, успешно применяются в течение нескольких лет в учебном процессе ряда вузов как при использовании традиционных форм организации учебного процесса, так и при дистанционных формах обучения Результаты работы внедрены в Вологодском государственном техническом университете (в структуре АОС «Метрология», в мультимедийном электронном учебнике «Интеллектуальные системы управления», в комплексах лабораторных работ по дисциплинам «Системное программное обеспечение», «Информационное обеспечение систем управления», «Оборудование автоматизированных производств»), в Вологодском государственном педагогическом университете (для контроля знаний по дисциплине «Базы данных и экспертные системы»), в филиале (г Вологда) Северо-Западной академии госслужбы (в тестирующих системах по информатике и компьютерной подготовке), в ООО «Газст-ройпроект» г. Вологда и в ЗАО «КАМИ-СВЭП" г Вологда (в системе повышения квалификации и аттестации персонала)

Основные результаты диссертации получены в рамках выполнения госбюджетных научно-исследовательских работ "Исследование и разработка методов моделирования сложных систем" (Вологда, ВоПИ, 1996-98гг, тема Г79 2 Э5), "Исследование методов разработки экспертных и обучающих систем" (Вологда, ВоПИ, 1996-98гг., тема Г79.2 Э4), в гранте "Исследование и разработка математических методов и средств проектирования распределенных интеллектуальных информационных систем" (фант по фундаментальным исследованиям в области гуманитарных наук Г02-4 3-65 Минвуза РФ 2003-2004 г г.)

Апробация. Основные результаты диссертационной работы докладывались и обсуждались более, чем на 20 конференциях и симпозиуме: I и III Международные конференции «Информационные технологии в производственных, социальных и экономических процессах: ИнфоТех» (Череповец, ЧГУ, 1996, 2001); I и II Международные научно-технические конференции «Информатизация процессов формирования открытых систем на основе СУБД, САПР, АСНИ и искусственного интеллекта» (Вологда, ВоГТУ, 2001, 2003, 2005), IV и V Международные конференции «Интерактивные системы» (Ульяновск, УлГТУ, 2001, 2003), II, III, IV и VI Международные научные конференции «Информация -Коммуникация - Общество» (Санкт-Петербург, ЛЭТИ, 2001, 2002, 2003, 2005), VIII, IX, X, XI и XII Международные конференции «Современные технологии обучения» (Санкт-Петербург 2002, 2003, 2004,2005, 2006); I и II Научно-технические конференции «Тренажерные технологии и симуляторы» (Санкт-Петербург, СПбГПУ 2002, 2003); X и XII Международные конференции «Математика Компьютер Образование» (Пущино, 2003, 2005), XIV, XV и XVI Международные конференции «Применение новых технологий в образовании» (Троицк, 2003, 2004, 2005); II и III Всероссийские научно-технические конференции «Вузовская наука - региону» (Вологда, ВоГТУ, 2004, 2005), II Международная научно-техническая конференция «Моделирование, оптимизация и интенсификация производственных процессов и систем» (Вологда, ВоГТУ, 2004), Международная научная конференция «Informatics, Mathematical Modelling and Design in the Technics, Controlling and Education (IMMD'2004)» (Владимир, 2004), VI Международный симпозиум «Интеллектуальные системы» (Саратов, 2004)

Публикации. По теме диссертации опубликовано более 30 работ, в том числе: 1 статья в журнале из перечня ВАК («Системы управления и информационные техноло-

гии»), 7 статей, 25 докладов на международных и российских научных конференциях Публикации отражают все основные результаты диссертационной работы

Объем и структура работы. Работа содержит 201 страницу, в том числе 141 страница основного текста, иллюстрированного 42 рисунками и состоит из введения, трех глав, заключения, перечня литературы и приложений

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность работы и формулируется ее цель, приводятся основные положения и результаты, выносимые на защиту, отмечается их научная новизна и практическая значимость; приводится краткое содержание работы по главам и сведения о внедрении результатов, апробации работы и публикациях по теме диссертации

В первой главе диссертационной работы проанализировано современное состояние проблемы разработки тестирующих систем, исследованы традиционные подходы к задачам тестирования, установлены ограничения известных моделей и инструментальных средств для построения тестирующих систем и обоснованы задачи исследования На основе выполненного анализа проблемы построения КТС можно утверждать, что тестирующие системы широко используются для измерения достижений обучаемых Процесс тестирования предполагает большую подготовительную работу (составление теста), собственно тестирование и обработку его результатов Для организации тестирования используют три группы моделей, из которых самой продуктивной и самой сложной по реализации является адаптированное тестирование При обработке результатов тестирования прибегают к латентно-структурному анализу, основанному на модели Ра-ша, позволяющей описывать все семейство кривых испытуемых и все семейство кривых тестовых заданий В числе основных требований обеспечения эффективности теста, использование шкалы интервалов, надежность, валидность, дискриминативность, наличие нормативных данных или критериев, установленных экспертом

В настоящее время существует достаточно большое количество компьютерных тестирующих систем (Прометей, Гекадем, Аванта, Leraning Space, PLATO, ВУЗ, ComputerMentor и др) и ряд инструментальных средств для их наполнения (Private Tutor, LinkWay, Costoc, АДОНИС, УРОК, IDEA, Маэстро II и т.д.) Модель КТС, реализованная в указанных системах, включает структуру тестирующей системы Sfrs, множество сценариев тестирования {ScT}, реализованных в КТС, и множество данных {D}, необходимых для работы системы и генерируемых системой

MtsHSItsASc^ID}), (1)

Структура ТС представлена блоками регистрации Reg, редактирования (наполнения базы данных) Edt, формирования теста Frm, тестирования Tst и оценивания Est Sirs = (Reg, Edt, Frm, Tst, Est). Каждый сценарий Scm представляет собой последовательность элементарных действий (процедур), выполняемых КТС в соответствии с некоторыми, реализованными в ней моделью тестирования М(7), и моделью оценивания M(Esf),¡ и заданной структурой теста StTr ■ Sem = (М(Т), „ M{Est)lp SfTr)) Множество данных, с которыми работает система, включает множества заданий {Qsf} и ответов на них {/4ns}, а также множество информации о пользователях {N) и множество статистических данных (S) {D} = ({Qsf}, {Ans }, {Л/}, {S»

В ряде работ излагаются модели компьютерных средств обучения, включающие генерацию тестовых заданий (ТЗ), но механизмы генерации при этом не рассматриваются Отсутствие отработанной методологии построения КТС с возможностью генерации тестовых заданий приводит к тому, что встраивание функций генерации ТЗ требует

оригинальной реализации соответствующих механизмов Наиболее просто задача разработки тестирующих систем с достаточно большим количеством разнообразных тестовых вопросов и занимающих при этом сравнительно небольшой размер памяти компьютера решается в математических тестах, например, посредством изменения параметров задачи, что позволяет формировать задания в момент тестирования и хранить в памяти лишь шаблоны заданий и диапазоны параметров. Однако существующие программы не могут генерировать задания по любому предмету, а пополнение шаблонов производится программным способом

Таким образом, проведенный обзор публикаций по тематике разработки тестирующих и обучающих систем и анализ реализованных систем показал, что основное внимание разработчики уделяют вопросам сопровождения учебного процесса, автоматизации процесса тестирования и обработки его результатов Основными недостатками КТС являются' высокая трудоемкость их организации и узкая специализация, ограниченное число тестовых заданий и сложность внесения изменений в наборы ТЗ, что создает проблему адаптации тестирующих систем к быстро меняющимся требованиям Существующие инструментальные средства предназначены, в основном, для наполнения базы вопросов и ответов, оформления интерфейса, стыковки различного программного обеспечения, настройки режима тестирования При этом наиболее трудоемкие процессы - процессы построения тестов - практически не автоматизированы

Проблему снижения трудоемкости построения тестирующих систем с заданной структурой автор диссертационной работы предлагает решать путем автоматизации процесса порождения тестов

Технические дисциплины в большинстве своем представляют собой хорошо структурированные предметные области Обозначим знания по какой-либо отдельно взятой технической дисциплине - РА, структуру данной предметной области - БТрд Структура тестов, создаваемых для выбранной дисциплины ЭТтра, должна отражать структуру заданной предметной области и охватывать все сегменты изучаемого курса (Эд, ¥ - учебный блок, раздел, подраздел, тема, ..., предложение) упорядоченной последовательностью тестовых заданий Бд^ ЭТтрл^Зд^, Зд12, . ., Э1дк> Мощность КТС определяется количеством различных заданий которые могут быть предъявлены системой

МА7Г = ¿Л/ =¿1^,1 ,

I ! 1=1 1=1

где М = I Sg, I - мощность сегмента (число дуплетов в сегменте), к - количество сегментов в предметной области

Компьютерный тест КТ является упорядоченной последовательностью заданий-ответов- ^ I

где п - конечное целое, 0|=(0|,А|) - дуплет, обозначающий пару задание-ответ и представляющий собой конечной длины предложение ограниченного естественного языка

Таким образом, требуется получить правило преобразования П, позволяющее на основе знаний предметной области и заданной структуры теста создать множество тестов МТ = {КТФI ф , т }' п

(РА, БТРА^Ттра) Н МТ.

На искомое преобразование накладываются следующие ограничения

1) Множество МТ не должно оказаться пустым Мощность МТ должна быть не менее некоторого заданного целого Максимальное значение мощности МТ заранее не ограничено и может определяться на стадии технического решения

2) Преобразование должно обеспечить соответствие структуры теста и множест-

ва вариантов теста, генерируемых по данной структуре, т е внутри каждого теста Sgt¥ должен присутствовать образ множества вариантов тестового задания Vi ((Sgt, e STtpa )-> (3A(D,) & A(D,)*0)), где A(D,) - возможное множество дуплетов, соответствующих сегменту Sgt,

3) Повторение вопросов в сгенерированных тестах должно стремиться к нулю для всех вариантов тестов КТ„ К Ту

{KT,}n {КТ,}-» 0, те. ViVj ((ie NT)&(jeNT ) -> (КТ, n КТ,) = 0), где КТ, =(Q,b Qa,.■ , Q,f), КТ, =(QJb Qj2, • ■•, QjO, Q,k ,Q;k- тестовые задания, NT - множество номеров тестов

4) Время преобразования (время поиска решения) tiK должно быть ограничено некоторой приемлемой с практической точки зрения величиной imax:

Ajec ^max •

Программная реализация КТС должна поддерживать возможность генерации тестовых заданий по дисциплинам технического направления Формальное описание тестовых заданий должно позволять включать в тест следующие виды информации простые типы данных (целые и рациональные числа, символ, строка символов, рисунок, в заданном графическом формате), сложные типы данных (предложения, получаемые комбинированием простых данных), переменные (указывается тип данных и название переменной), функции, в том числе встраиваемые в КТС и подключаемые через библиотеку модулей, а также записываемые посредством переменных, для вычисления, например, правильного ответа для данного тестового задания, файлы, содержащие грамматики заданий, структуру тестов и информацию необходимую для генерации тестовых заданий (например, схемы)

Во второй главе построена модель КТС, включающей автоматическую генерацию тестовых заданий, описан метод, на основе которого она строится, разработаны алгоритм применения метода и его интерпретации для различных предметных областей.

Анализ, выполненный в первой главе, показывает, что модель тестирующей системы (1) может быть усовершенствована введением в нее следующих функций

- предоставление пользователю возможности создания и редактирования формальных грамматик (ФГ), каждая из которых описывает группу однотипных заданий,

- динамическое формирование на основе формальных грамматик дуплетов задание-ответ (формирование заданий в ходе тестирования исключает возможность предварительного просмотра теста испытуемыми);

- автоматическое построение теста по заданной структуре

Модель КТС, включающей механизмы генерации тестовых заданий (M/rs), принимает вид-

Л/m- = (Stus №,}, {Dm }), (2)

где St/Ts - структура КТС, {5с7-} - множество сценариев тестирования, реализованных в КТС, {D/ts } - множество данных, необходимых для работы КТС и генерируемых КТС Структура КТС представлена блоками регистрации Reg, редактирования (файлов с ФГ) EdtKSG. формирования тестов Frmns, тестирования Tst и оценивания Est Stns = {Reg, EdtKsc, ErmlTs, Gn, Tst, Est)

Блок регистрации Reg в структуре КТС отвечает за регистрацию и идентификацию пользователей, разграничение прав доступа Блок тестирования Tst позволяет

предъявлять испытуемому тестовые вопросы в соответствии с выбранным сценарием тестирования и проверять введенные ответы Блок оценивания Est реализует функции подведения итогов тестирования и отвечает за сбор информации об испытуемых, предъявляемых тестах, итогах тестирования. Редактор грамматик Ecííksg предназначен для ввода и редактирования ФГ, которые описывают порождаемые множества заданий Формирователь КТС Frm¡Ts обеспечивает формирование структуры теста, задания которого будут предъявляться в динамическом режиме Генератор тестовых заданий Gjt необходим для автоматической генерации тестовых заданий в соответствии с заданной структурой теста

Сценарии тестирования Scf„ задаются преподавателем или испытуемым указанием соответственно одной из реализованных в КТС модели тестирования М(Т), , модели оценивания M(Est)u и структуры теста StTr (темы, уровень сложности, количество заданий) Sen = Ш(Т),, M{Est),p Процесс задания структуры теста определяется, в основном, техническими решениями по реализации блока, выполняющего указанную функцию

{Djjs} = {{KSG}, {N}, {S}) - множество данных, с которыми работает система, где {KSG} - множество ФГ, на основе которых создаются тестовые задания, {./V} -множество информации о пользователях, {51} - множество статистических данных Множества заданий {Qst} и ответов на них {Ans} в КТС генерируются на базе имеющихся ФГ по каждой из тем, включаемых в тест:

TesíNj, Thmq, {KSGq¡ .. KSGqm ) {Qst,...Qstk},{Ansl. .Ansk}, Prn/Con/File, где' Testty - j-я часть N-го теста, генерируемого в соответствии с заданной структурой, Thmq - q-я тема (возможно одна из многих), включенная в тест; {KSGgi ...KSGqm } -набор грамматик, имеющихся по q-й теме, {Qst¡ Qstk},{Ans¡.. Ansk} - набор вопросов и ответов, соответственно, генерируемых по грамматикам {KSGq¡ ... KSGqm }; {KSGqi . .KSGqm } => {Qsti...Qstk),{Ansi...Ansk) - правило преобразования грамматик в тестовые задания и ответы на них, PrnjConjFile - направление вывода сгенерированных заданий и ответов на них- принтер Ргп, монитор Con или файл File

База данных, содержащая информацию о пользователях {N} и статистические данные {5} наполняется посредством блоков регистрации Reg и оценивания Est

В методе генерации тестовых заданий использован продукционный формализм, основы которого заложены Э Л. Постом (Post Е L) В нашей стране продукционные системы и исчисления развивались С.Ю. Масловым, Н А Шаниным, В Е. Кузнецовым, М И Кратко

В диссертационной работе рассмотрен вариант практического приложения канонических исчислений Поста к построению произвольного типа тестовых заданий, инвариантных к программному обеспечению и виду изучаемой технической дисциплины Общая структура генерируемых тестов может быть представлена формулой

1=1

где B,={b,i, Ь,2, Ьш,}- подмножество вопросов i-го вида, а, - количество вопросов 1-го

nt

вида в подмножестве В,\ а ' - N _ общее количество вопросов в данном тесте

Вопросы каждого типа необходимо распределить по подтипам так, чтобы один и тот же подтип, по возможности, не повторялся в данном тесте Поэтому строим исчисление вида

К = (А, Р, А0, п),

где А - алфавит исчисления, Р - алфавит переменных, А0 - аксиома исчисления, я -множество правил вывода

Алфавит исчисления А = {N u Z}, где N - алфавит нетерминальных символов, Z - алфавит вспомогательных символов В множество N включены нетерминалы V, -обозначающие структуру вопрос-ответ 1-го типа, П. - обозначающие множество правил вывода для 1-го типа и нетерминалы подтипов PV,^. iV, возможно с индексной последовательностью произвольной длины Алфавит Z = {|, (, ), [, ], #, i, j, ..., ц/} Алфавит переменных Р = {р, q, ф, а„ рч, рь, ре}. Символы алфавитов интерпретируются следующим образом | - элементарный конструктивный элемент, используемый для организации унарных счетчиков; (, ) - скобки, предназначенные для обозначения состояния счетчика, [, ] - скобки, предназначенные для обозначения элементов множества правил вывода, # - разделитель, предназначенный для формирования структуры посылок и следствий, i, j, ..., vjy — индексная последовательность, показывающая уровень и тип вложенности подтипа, р - левая часть последовательности подтипов, q - правая часть последовательности подтипов, <р - переменная, обозначающая текущее состояние счетчика подтипов, а, - переменная, обозначающая начальное состояние счетчика подтипов, ру - переменная , обозначающая исключаемое правило из множества П,; рь, ре - оставшиеся правая и левая (относительно p,j) части множества П, Аксиома исчисления А0 будет иметь вид'

А0 = ^,|(el)[ni]#F2|(e2)[n2]#...#Ft|(ei)[nt]1

где П, = {р,ь р,2, ••• , Pif,}, f. - количество правил вывода для типа i Структура V, | <т)[П,], расположенная между разделителями #...# обозначает, что в генерируемый тест будет включено а, заданий, генерируемых в соответствии со структурой вопрос-ответ 1-го типа, при этом а, может быть больше, меньше или равно f,

Множество правил вывода я построено с исключениями примененных правил из множеств П.. Начало раскрытия типа / моделируется правилами вида

...K(PV,JV\^[ctcj#... ' (3)

которых будет f, экземпляров для каждого типа i Далее используются правила вида ..ЛрУ, |^[ctcycj#...

которых также будет £ экземпляров для каждого типа ¡, причем переменная р хранит последовательность подтипов (...)(РК,Д...)

Процесс применения правил вида (4) должен продолжаться до тех пор, пока либо будет исчерпано либо будет исчерпано множество [П,], что означает, что/,< а, и количества правил в [П,] не хватает для введения подтипов без повторов Завершение процесса раскрытия типа V, в каждом случае регламентируется дополнительными правилами.

В результате применения подобных правил для всех типов в Ао (от 1 до к) получается слово вида.

р^рг#..Мрк (5)

Далее можно сформировать при необходимости подтипы следующего уровня, применяя правила вывода вида

где есть Ч'-й подтип подтипа РУи. Такое построение можно осуществить для лю-

бого уровня вложенности

Вывод же конкретного предложения из подтипа РУ^.у описывается формальной грамматикой (ФГ), записанной в традиционной нотации Бэкуса-Наура

<РУил1> ..= <постоянная_часть_подтипахпеременная_часть_подтипа> {<варианты_ответов>}<переменная_часть_ответа> <объясне-ние_ответа>

<постоянная_часть_подтипа> = (предложение естественного языка) <переменная_часть_подтипа> = (последовательность символов вопроса, порождаемых определенным алгоритмом)

<варианты_ответов> :.= (последовательность символов вариантов, порождаемая определенным алгоритмом) <переменная_часть_ответа> •= (последовательность символов ответов,

порождаемая определенным алгоритмом) <объяснение_ответа> . = (предложение естественного языка) Например, по теме "Алгебра логики" может использоваться следующая ФГ, позволяющая сгенерировать 54=625 различных параллельных заданий (это число легко увеличить, изменив количество возможных значений включенных в грамматику переменных)

{

<признак> =4-1-0-0-3

<постоянная_часть_подтипа> =Чему равно число логических функций от к переменных, если к=

<переменная_часть_подтипа> = <п1> <уапап1з> <варианты_ответа>. =<п2> «описание ответа> = п=2"(2"х) «описание грамматики> =

папаше» =(1 ) <п2>, (2) <пЗ>, (3) <п4>, (4 ) <п5>, (5) <п6>|(1) <пЗ>, (2 ) <п4>, (3 ) <п5>, (4 ) <п6>, (5 ) <п2>|(1 ) <п4>, (2 ) <п5>, (3 ) <п6>, (4 ) <п2>, (5 )

<n3>|(1 ) <n5>, (2 ) <п6>, (3 ) <п2>, (4 ) <пЗ>, (5) <п4>|(1 ) <пб>, (2 ) <п2>, (3 )

<пЗ>, (4.) <п4>, (5 ) <п5>

<п1> =1|2|3|4|5|

<п2> -2**(2" <п1>)

<пЗ> =2*<п1>

<п4> :=2**<п1>

<п5>'=3|9|27|811243

<п6>-=5|25|125|625|3125 }

Вариант сгенерированного задания'

Правильный ответ- 256

Чему равно число логических функций от к переменных, если к=3 1). 125 2).256 3) 6 4) 8 5) 243 Объяснение ответа п=2**(2**х)

В диссертационной работе рассмотрены интерпретации метода (создание грамматик и генерация тестовых заданий) по всем циклам дисциплин, изучаемых в техническом вузе естественно-научному (математика, физика), социально-гуманитарному (русский язык), общепрофессиональному («Метрология, стандартизация и сертификация») и специальному (по ряду дисциплин кафедры АВТ ВоГТУ «Оборудование автоматизированных производств», «Интеллектуальные системы в управлении», «Технология разработки программного обеспечения» и др ) Пример сгенерированного тестового задания по дисциплине «Метрология» приведен на рис. 1 Метод автоматической генерации тестовых заданий может применяться также в системах, проверяющих способности респондентов (логические, креативные и др), для формирования учебного материала в соответствии с заданным уровнем сложности в адаптивных обучающих системах

14. Определите значение параметров Ъ\ мостовой схемы, находящейся в равновесии, если известны значения плеч моста: ч-|_-Гу-у-Л_ 71 г2

Г4——' Ъ2\ -СЗ-11=3От ^ 23 (/О

ЪЪ\ -СШЪ 1^=3ООт & 1

Z Л

А

Z4: -Ч=Й- R=;

и

R=20 От, ОЮОпФ

Рис 1. Пример сгенерированного тестового задания по дисциплине «Метрология»

Обобщенный алгоритм реализации метода автоматической генерации тестовых заданий представлен на рис 2 Структура теста задается указанием имен файлов, содержащих грамматики заданий, включаемых в тест и количества заданий каждого типа (по каждому из файлов) Модуль генерации теста (аксиомы) создает промежуточный файл, в который в соответствии с заданной структурой подставляются по какому-либо алгоритму конкретные грамматики тестовых заданий Во избежание повторного использования номера примененных грамматик учитываются На основании промежуточного файла вызываются обработчики соответствующих грамматик, которые формируют задание в привычном виде, подставляя по какому либо алгоритму конкретные данные (текстовые, числовые, графические и т д.)

В третьей главе рассматриваются принципы построения на основе предложенного метода инструментального программного комплекса (ИПК), позволяющего автоматически генерировать различные тесты и программы их выполнения, и реализация указан-

ных принципов в исследовательском прототипе ИПК, производится оценка эффективности системы и применяемого метода и оценка качества генерируемых тестов

Начало

I

Распределение N ' вопросов по типам а,; Множество формальных грамматик

Задание желаемой структуры теста

База знаний предметной области описывается посредством формальных грамматик и должна быть структурирована П, - количество правил вывода заданий ¡-го типа

Тема, типы и количество заданий в тесте

У1|(,,>)-количество заданий 1-го

Слу-

... чайный

выбор

^лово вида р,#р2# #р •'где р,- конкретные правила включенные в шаблон теста

По каждому р, на последующем этапе будет сгенерировано одно задание с подстановкой конкретных данных (чисел, схем, словосочетаний и т.п)

Рис 2 Алгоритм реализации метода автоматической генерации тестовых заданий

Основными принципами построения ИПК являются автоматическая генерация произвольных множеств тестовых заданий в соответствии с заданной моделью обучения, точная формализация порождаемых множеств тестовых заданий путем описания их соответствующими формальными грамматиками, автоматическое предъявление в динамике сгенерированных заданий в соответствии с моделью тестирования Реализация

ИПК в виде самостоятельного модуля позволяет использовать его автономно и встраивать, как в тестирующие системы (в том числе сетевые и Интернет версии) так и в обучающие системы

В соответствии с указанными принципами обязательными элементами структуры ИПК являются формирователь структуры теста, блок генерации заданий по ФГ и генератор теста, редактор грамматик Разработаны алгоритмы функционирования ИПК и указанных модулей Структурная схема ИПК представлена в составе КТС на рис 3

Рис 3 Структурная схема КТС

Формирователь структуры теста предназначен для определения типов и количества заданий каждого типа, включаемых в конкретный тест. Структура теста определяется целью тестирования, а следовательно, объемом охватываемого материала и отражает структуру изучаемого курса дисциплины -» разделы -» подразделы -» темы -» параграфы-» .. Иерархия тестового материала существенно усложняется, если учитывать типы и класс сложности заданий (под типом будем понимать целевую нагруженность задания запоминание, понимание, применение и т п ). Канедое подмножество тестовых заданий (ТЗ), относящихся к 1-му тематическому классу, )-му типу, К-му классу сложности может быть описано группой ФГ, которые рекомендуется помещать в один файл Обращение к формирователю с целью задания структуры теста осуществляется как преподавателем (для организация различных видов контроля), так и обучаемым (для организации тренировки по какой-либо структурной единице курса) Количество вопросов по заданной теме может задаваться на любом уровне иерархии Если в дальнейшем не производится конкретизация, то файлы с ФГ выбираются случайным образом из соподчиненной группы файлов Информация о структуре теста, заданной обучаемым сразу же выводится в генератор теста и служит для создания тестовых заданий, а структура теста, заданная преподавателем, сохраняется в соответствующем файле и может использоваться обучаемым как для контрольного тестирования, так и для тренировки Тематика заданных структур отображается в специальном окне

Генератор теста отвечает за формирование файла аксиомы, содержащего набор конкретных ФГ, подставляя их из файла с ФГ в соответствии с заданной структурой теста Блок генерации преобразует каждую ФГ в конкретное тестовое задание Вывод информации с генератора теста возможен в двух направлениях в текстовый файл или в систему компьютерного тестирования Текстовый файл ТЗ может быть при необходимости отредактирован средствами текстового редактора и применен для бланкового тестирования Другие применения вывода в текстовый файл создание вариантов задач для курсового проектирования, создание экзаменационных билетов, создание вариантов контрольных работ, требующих развернутых ответов и т д Вывод информации в систему компьютерного тестирования предусматривает поочередные генерацию и предъявление тестовых заданий, что не позволяет испытуемому ознакомиться с тестовыми вопросами заранее Для удобства создания и изменения ФГ предназначен редактор грамматик В качестве средства программной реализации ИПК использовалась среда Delphi

На базе ИПК построена КТС (Рис 3) Входящие в состав КТС блоки тестирования и оценки результатов, позволяют предъявлять испытуемому тестовые задания в некотором порядке, проверять введенные ответы и подводить итоги тестирования (подсчет баллов, выставление оценки, построение графика и т п ) Количество и тематика тестовых заданий задается посредством блока выбора вида теста Блок статистики предназначен для сбора информации об испытуемых, предъявляемых тестах, итогах тестирования Помимо локальной КТС разработаны прототипы сетевой и Интернет-версий КТС Организация тестирующей системы по сетевому принципу предопределяет наличие в ее структуре серверной и клиентской частей В состав функций серверной части входит хранение информации общего пользования (исходные грамматики и готовые структуры, информация о пользователях и статистические данные), регистрация пользователей, формирование структур тестов, генерация и предъявление тестовых заданий, обработка результатов тестирования, обслуживание баз данных Клиентская часть предназначена для реализации интерфейса между пользователем и тестирующей системой

В ходе экспериментального исследования возможностей ИПК были созданы также тренирующая интеллектуальная система (зарегистрирована в институте промышленной собственности), адаптивная обучающая система и ряд электронных учебников, тестирующие компоненты которых реализованы на базе ИПК

Работоспособность ИПК проверялась на формировании тестов по общепрофессиональным и специальным дисциплинам кафедры АВТ ВоГТУ, тестов по дисциплинам единого государственного экзамена (математика, физика, русский язык) и некоторых других. Результаты апробации тестов на студенческой среде показали их достаточно высокую надежность и валидность Объем выборки испытуемых составлял от 28 до 300 человек. Расчеты показывают, что надежность тестов лежит в пределах 0,60-0,85, а валидными являются более половины тестовых заданий (табл 1)

Таблица 1

Качество дисциплинарных тестов

Название дисциплины № теста Количество испытуемых Количество вопросов Надежность

всего в тесте оставшихся без ответа валидных

Информационные технологии 1 92 25 - 19 0,83

2 41 20 - 12 0,69

Метрология 1 67 10 - 6 0,71

2 44 20 - 14 0,79

Методы и средства защиты комп инф 1 51 15 — 11 0,79

Ряд экспериментов был проведен для количественной оценки эффективности применения ИПК, использующего метод автоматической генерации тестовых заданий Полученные результаты показывают, что затраты на подготовку тестовых заданий и формирование вариантов теста превышает 90% от общей трудоемкости тестирования (уже при составлении всего двух параллельных форм) Эксперименты по созданию заданий с помощью ИПК (по дисциплинам «Интеллектуальные системы управления», «Метрология» и некоторым другим) подтвердили гарантированное снижение трудоемкости подготовительного этапа на 10-50 % уже при составлении 5 параллельных вариантов тестов на основе новых заданий (с пополнением базы заданий или грамматик) и в несколько раз при составлении вариантов заданий на основе готовой базы заданий или грамматик (рис 4)

1500

1000

500

Среднее время создания тестов, мин

Д Вручную (вновь) о Вручную (из базы заданий) о ИПК (вновь) ■Л ИПК (повторно)

30-

Затраты на создание тестов, час

о Вручную (из базы/

заданий) ■й ИПК (повторноЬ

10-

, Количество тре-1 ь бующихся вариантов теста

Количество заданий в

Рис 4 Затраты времени на создание тестов

Результаты проведенных исследований подтверждают, что продукционный метод автоматической генерации тестовых заданий позволяет снизить затраты времени эксперта на создание тестов, расширить вариативность прикладных тестовых систем, получить готовые компьютерные реализации Реализация теоретического метода в структуре ИПК, многочисленные эксперименты по генерации тестовых заданий на основе учебных материалов различных дисциплин и апробация сгенерированных тестов на множестве обучаемых в несколько сотен человек убедительно показывают состоятельность предложенного подхода

В заключении перечислены основные научные и практические результаты

ОСНОВНЫЕ НАУЧНЫЕ И ПРАКТИЧЕСКИЕ РЕЗУЛЬТАТЫ 1. Проведен анализ современного состояния проблемы разработки компьютерных тестирующих систем Основными недостатками существующих систем являются узкая специализация, высокая трудоемкость реализации, ограниченное число тестовых задании, сложность внесения изменений в наборы тестовых заданий Установлено, что распространенные инструментальные средства не позволяют автоматизировать процессы построения тестов, которые имеют максимальную трудоемкость по сравнению с другими стадиями тестирования, и снижению трудоемкости построения тестирующих систем будет способствовать создание инструментальной системы, предоставляющей КТС возможность генерации тестовых заданий

2 Разработана модель КТС, включающей механизм автоматического порождения

тестовых заданий в динамическом режиме в соответствии с заданной структурой теста

3 Разработан метод автоматической генерации тестовых заданий адаптированный к структуре КТС, основанный на канонических исчислениях, позволяющий автоматическим образом генерировать неограниченное количество тестов и управлять их содержанием Рассмотрена интерпретация метода ко всем циклам дисциплин технического вуза

4 Предложена и обоснована концепция ИПК для автоматизированного построения компьютерных тестирующих и обучающих систем на основе метода автоматической генерации тестовых заданий Разработаны алгоритмы реализации основных функций ИПК

5. Осуществлена программная реализация ИПК, который отличается способностью автоматического порождения прикладных тестирующих и обучающих систем и позволяет снизить трудоемкость создания тестов

6 На основе ИПК разработан ряд прикладных систем (инструментальная интеллектуальная программная среда, локальная, сетевая и Интернет-версии компьютерной тестирующей системы, система тестирования логических способностей, адаптивная обучающая система и др ), которые опробованы на дисциплинах различных циклов технического вуза Созданные компьютерные тестирующие и обучающие системы отличаются от существующих способностью автоматического формирования тестов и учебного материала Разработанные системы успешно используются в учебном процессе в Вологодском государственном техническом университете, в Вологодском государственном педагогическом университете, в филиале (г.Вологда) Северо-Западной Академии Госслужбы

7 Исследовано качество 38 сгенерированных тестов Полученные результаты показывают, что качество генерируемых автоматическим образом тестов достаточно высокое. все исследованные тесты валидны, показатель надежности тестовых заданий лежит в пределах 0,6-0,85

8 Проведенные исследования по экспериментальному определению эффективности применения ИПК показали, что зависимость затрат времени на создание тестов от количества заданий носит убывающий характер, что применение ИПК позволяет сократить время разработки тестовых систем, что доказывает целесообразность и эффективность построения тестирующих и обучающих систем с помощью ИПК

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1 Сергушичева, А.П Реализация тестирующих компонентов в структуре мультиа-гентной информационной системы поддержки деятельности выпускающей кафедры / А П Сергушичева // Системы управления и информационные технологии 2006, № 3 1(25) -С 190-194

2 Сергушичева, А П. Гибридный подход к синтезу тестовых заданий в тестирующих системах / А.П. Сергушичева, А Н Швецов // Математика, Компьютер, Образование Сборник научных трудов Выпуск 13. Том 1 / Под ред Г Ю Ризниченко - Москва-Ижевск, R&C Dynamics, 2006 - С 215-228

3 Сергушичева, А П Проблема построения интеллектуальных тестирующих систем / А П.Сергушичева, А Н Швецов II Методы и системы обработки информации Сборник научных статей в 2-х частях Часть 2 / Под ред С С Садыкова, Д Е Андрианова - М Горячая линия -Телеком, 2004 -С 82-94

4 Сергушичева, А П. Метод построения компьютерных тестирующих систем для обучения в техническом вузе / А П Сергушичева, А Н Швецов // Системы и методы обработки и анализа информации Сборник научных статей / Под ред С С Садыкова, Д Е Андрианова - М • Горячая линия-Телеком, 2005 - С 162-175

5. Сергушичева, А.П. Синтез интеллектуальных тестов средствами формальной продукционной системы / А П Сергушичева, А Н. Швецов II Математика, Компьютер, Образование Сборник научных трудов Выпуск 10. Часть1 / Под ред. Г.Ю.Ризниченко -Москва-Ижевск, R&C Dynamics, 2003 - С 310-320

6. Sergushicheva, А P. Construction of Adaptive Training System with the Help of Tool Intellectual Software. / A P Sergushitcheva, A N Schvetcov II Informatics, Mathematical Modelling and Design in the Technics, Controlling and Education (IMMD'2004): Proceedings of International Scientific Conference, Vladimir. 27-29 May 2004/ Vladimir State University -Vladimir, 2004 P.215-220.

7 Сергушичева, А.П Мультиагентная система «Виртуальный преподаватель» I А Н.Швецов, А П Сергушичева // Интеллектуальные системы Труды Шестого межд симпозиума Саратов 29 июня-2 июля 2004/ Под ред. К.А Пупкова - М РУСАКИ, 2004 С 263-266.

8 Sergushitcheva, А P. Integration A Multi-Agent Sistem "Virtual Teacher" And A Intellectual System Toolkit / A P.Sergushitcheva, A N Schvetcov // Interactive Systems: The Problems of Human - Computer Interaction - Proceedings of the International Conference, 23-27 September 2003. - Ulyanovsk. UISTU, 2003 - P. 113 - 114.

9 Сергушичева, А П Модель интеллектуальной тестирующей системы, использующей автоматическую генерацию тестовых заданий / А П.Сергушичева, А Н Швецов II Материалы XI международной конференции Современные технологии обучения «СТО-2005» 20 апреля 2005 г СПб ,2005. - Т.1, С 91-92

10 Сергушичева, А.П Методы и средства проектирования информационных технологий интеллектуального развития /АН Швецов, А П Сергушичева // Interactive Systems. The Problems of Human - Computer Interaction - Proceedings of the International Conference, 23-27 September 2001. - Ulyanovsk. UISTU, 2001 - C. 182 - 183.

11. Сергушичева, А П . Разработка экспертных систем для подготовки специалистов / А.А Суконщиков, А Н Швецов, А П Сергушичева // Информационные технологии в производственных, социальных и экономических процессах: Сборник трудов Первой межд конф «Инфотех-96» 10-11 декабря 1996 г..-Череповец, 1996 -С 55-58.

12. Суконщиков, А А. Разработка экспертных и обучающих систем на основе принципов искусственного интеллекта / А А Суконщиков, А Н Швецов, А П Сергушичева II Сборник научных трудов института в 2-х томах Т.1 Вологда ВоПИ, 1997. -С 32-35

13 Сергушичева, А П. Возможности применения инструментальной интеллектуальной программной системы для генерации заданий единого государственного экзамена / А П Сергушичева, А.Н. Швецов // Материалы XIV межд конф «Применение новых технологий в образовании», 26-27 июня 2003 Троицк - С. 239-242

14 Сергушичева, А.П Инструментальный программный комплекс для автоматического создания тестирующих систем / А П Сергушичева II Материалы XI межд. конф Современные технологии обучения «СТО-2005» 20 апреля 2005 г СПб.,2005-Т.1, С 92-94

15 Сергушичева, А.П. Экспериментальные результаты применения технологий интеллектуального развития / А Н.Швецов, А П Сергушичева //Мат-лы 2-й науч.-техн конф Тренажерные технологии и симуляторы - 2003 СПб Изд-во СПбГПУ, 2003 - С 7-10.

16 Сергушичева, А П Мониторинг интеллектуального состояния студенческой среды /АН. Швецов, А П Сергушичева // Информатизация процессов формирования открытых систем на основе СУБД, САПР, АСНИ и искусственного интеллекта Материалы межд науч-техн конф - Вологда ВоГТУ, 2001г.-С 135-139

17. Сергушичева, А П. Возможности применения адаптивной обучающей системы в условиях производства / А П Сергушичева // Моделирование, оптимизация и интенсификация производственных процессов и систем Материалы Межд науч -техн конф. - Вологда. ВоГТУ, 2004. - С 311-315.

ЛР № 020717 от 02 02.1998 г

Подписано в печать 30 01.2007. Формат 60x84/16 Бумага офисная Печать офсетная Усп печ л 1,0 Тираж 100 экз Заказ № 56

Отпечатано РИО ВоГТУ 160000, г Вологда, ул Ленина, 15

ВВЕДЕНИЕ

ГЛАВА 1. ПРОБЛЕМА ПОСТРОЕНИЯ КОМПЬЮТЕРНЫХ ТЕСТИРУЮЩИХ СИСТЕМ ДЛЯ КОНТРОЛЯ ЗНАНИЙ ПО ТЕХНИЧЕСКИМ ДИСЦИПЛИНАМ

1.1. Анализ современного состояния проблемы разработки компьютерных тестирующих систем

1.1.1. Компьютерные тестирующие системы (КТС): основные понятия и классификация тестов. Характеристики качества тестов

1.1.2. КТС - необходимый компонент компьютерных средств обучения, применяемых в учебном процессе технического вуза

1.2. Традиционные подходы к задачам компьютерного тестирования

1.2.1. Определение целей, содержания и структуры компьютерного теста

1.2.2. Модели компьютерного тестирования

1.2.3. Определение качества тестов. Разработка шкалы измерений и правил интерпретации результатов. Анализ результатов и составление отчета

1.3. Ограничения известных моделей и инструментальных средств для построения компьютерных тестирующих систем по техническим дисциплинам

1.4. Проблема автоматизации построения КТС и постановка задач, решаемых в диссертационной работе

1.5. Выводы

ГЛАВА 2. МОДЕЛЬ КТС И ПРОДУКЦИОННЫЙ МЕТОД ГЕНЕРАЦИИ ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ КТС

2.1. Модель КТС, включающей механизм автоматической генерации тестовых заданий

2.2. Продукционный формализм

2.3. Метод генерации тестовых заданий для КТС

2.4. Интерпретации метода генерации тестовых заданий для различных предметных областей

2.4.1. Интерпретации метода для генерации тестовых заданий по дисциплине «Математика»

2.4.2. Интерпретации метода для генерации тестовых заданий по физике

2.4.3. Интерпретации метода генерации тестовых заданий по дисциплинам социально-гуманитарного цикла

2.4.4. Интерпретации метода генерации тестовых заданий по дисциплине «Метрология, стандартизация, сертификация»

2.4.5. Интерпретации метода генерации тестовых заданий по специальным дисциплинами и другие направления применения предложенного метода

2.5. Выводы

ГЛАВА 3. ИНСТРУМЕНТАЛЬНЫЙ ПРОГРАММНЫЙ КОМПЛЕКС

ДЛЯ ПОСТРОЕНИЯ КОМПЬЮТЕРНЫХ ТЕСТИРУЮЩИХ СИСТЕМ И

ПРАКТИЧЕСКИЕ РЕЗУЛЬТАТЫ ЕГО ПРИМЕНЕНИЯ

3.1. Принципы построения и структура КТС

3.2. Инструментальный программный комплекс (ИПК) для построения компьютерных тестирующих систем

3.2.1. Структурные блоки ИПК

3.2.2. Формирователь структуры теста

3.2.3. Редактор грамматик

3.2.4. Блок генерации заданий по грамматикам

3.2.5. Блоки, реализующие другие способы автоматизированного формирования тестовых заданий 93 3.2.5. Генератор (синтезатор) теста 96 3.2.5. Программная реализация ИПК

3.3. Основные характеристики прикладных тестирующих систем, реализованных на базе предложенных модели и метода

3.3.1. Тренирующая интеллектуальная система

3.3.2. Инструментальная интеллектуальная программная среда

3.3.3. Интеллектуальная тестирующая система

3.3.4. Сетевая версия интеллектуальной тестирующей системы

3.3.5. Интернет-версия интеллектуальной тестирующей системы

3.4. Экспериментальная оценка качества генерируемых тестов

3.5. Результаты применения ИПК для прогнозирования успешности обучения

3.6. Оценка эффективности ИПК-КТС

3.7. Выводы

В современных условиях научно-технического прогресса, развития новых технологий и информатизации общества наряду с задачей обучения актуальной является задача постоянного обновления знаний специалистов. Важную роль в решении указанных задач играют компьютерные средства обучения. Применение информационных технологий в образовании позволяет индивидуализировать процесс обучения, обеспечить самоконтроль и контроль обучаемого с диагностикой ошибок и обратной связью. Демонстрация визуальной учебной информации, моделирование и имитация процессов и явлений существенно расширяют наглядность курса и повышают интерес к процессу обучения. В системе образования накоплено несколько тысяч компьютерных программ учебного назначения. Разрабатываются и используются как отдельные образовательные программные продукты, так и автоматизированные обучающие системы (АОС) по различным учебным дисциплинам. Подобные системы достаточно широко известны. Основным способом контроля знаний в обучающих системах по-прежнему остается тестирование. Помимо измерительной задачи тестирование может выполнять целый ряд функций: обучение, тренинг, развитие когнитивных способностей, повышение мотивации обучения и некоторые другие. Поэтому тестирующие системы (ТС) являются непременным атрибутом АОС.

Различные аспекты тестирования, создания и применения обучающих и тестирующих систем на базе современных информационных технологий, вопросы разработки баз данных и баз знаний программных систем рассмотрены в работах отечественных и зарубежных ученых Аванесова В.С, Башмакова И.А., Башмакова А.И., Воробьева В.И., Горбатова Д.С., Загвязинского В.И., Клайна П., Курганской Г.С., Минасова Ш.М., Поспелова Д.А., Третьякова П.И., Хованова Н.В., Чертовского В.Д. и др. Многие авторы отмечают трудоемкость организации тестирующих систем, так как основное внимание разработчики ТС уделяют автоматизации процессов тестирования и обработки его результатов, а при создании инструментальных средств решаются вопросы применения методологий и технологий тестирования, оформления интерфейса, стыковки различного программного обеспечения (в том числе и форматов наполнения систем). Использование в компьютерных средствах обучения для контроля знаний весьма ограниченного числа тестовых заданий (наличие в ТС большого количества разнообразных тестовых заданий позволяет повысить качество тренинга и объективность тестирования, реализовать построение адаптивных тестирующих систем) объясняется, в основном, слабой автоматизацией процессов построения тестов. Большинство существующих ТС отличаются узкой специализацией и сложностью внесения изменений в наборы тестовых заданий, что создает проблему адаптации обучающих систем к быстро меняющимся требованиям. Между тем, в связи с возникновением и интенсивным развитием новых технологий достаточно часто требуется обновление тестов (множеств заданий), например, в области информационных технологий и программирования. Поэтому проблема автоматизации построения компьютерных тестов контроля знаний по техническим дисциплинам представляется весьма актуальной.

Целью диссертационной работы является снижение трудоемкости построения компьютерных тестов, повышение обоснованности и глубины контроля знаний на основе автоматизации процесса формирования тестовых заданий, имеющих заданную структуру и содержание.

Объектом диссертационных исследований являются компьютерные тестирующие системы, используемые в учебном процессе технических вузов.

Предметом исследования является моделыю-алгоритмическое и программное обеспечение автоматизированного формирования тестовых заданий по техническим дисциплинам.

Для достижения поставленной цели в диссертационной работе решаются следующие задачи:

1. Исследование существующих автоматизированных тестирующих систем и анализ методов их построения;

2. Разработка модели компьютерной тестирующей системы (КТС), включающей механизм автоматического порождения тестовых заданий;

3. Разработка метода автоматической генерации тестовых заданий в структуре

КТС;

4. Разработка алгоритмов реализации основных функций инструментального программного комплекса (ИПК), основанного на предложенном методе;

5. Разработка и реализация инструментального программного комплекса для автоматизированного построения компьютерных тестирующих и обучающих систем на основе метода автоматической генерации тестовых заданий;

6. Проведение экспериментальных исследований прототипов КТС и оценка их эффективности и качества создаваемых тестов.

Результаты выполненных в работе исследований и проектных работ базируются на использовании методов статистического анализа, информационного моделирования данных и знаний, модульном и объектно-ориентированном подходе к проектированию и программированию, теории формальных языков и грамматик, теории дедуктивных систем и исчислений.

Основные положения, выносимые на защиту:

1. Модель компьютерной тестирующей системы, включающая механизм динамического формирования тестовых заданий для контроля знаний;

2. Продукционный метод автоматической генерации тестовых заданий, предназначенный для построения компьютерных тестов контроля знаний;

3. Алгоритмы реализации основных функций инструментального программного комплекса (ИПК), разработанного на основе метода автоматической генерации тестовых заданий и предназначенного для формирования тестов контроля знаний.

Научная новизна работы заключается в следующем:

1. Разработана модель компьютерной тестирующей системы, отличающаяся от существующих моделей наличием механизма оперативного формирования тестовых заданий и позволяющая обеспечить предъявление заданий в соответствии с заданной структурой теста в динамическом режиме;

2. Предложен продукционный метод автоматической генерации тестовых заданий, отличающийся возможностью быстрого изменения характеристик компьютерных тестов и позволяющий оперативно генерировать заданное количество тестов и управлять их содержанием в автоматическом режиме;

3. Разработаны алгоритмы реализации основных функций инструментального программного комплекса (ИПК), построенные на основе метода автоматической генерации тестовых заданий и отличающиеся от существующих алгоритмов тем, что предоставляют возможность на основе формальных грамматик генерировать тесты заданной структуры и содержания.

Практическая ценность результатов работы заключается в том, что разработаны и доведены до практической реализации модель тестирующей системы, метод автоматической генерации тестовых заданий и алгоритмы реализации основных функций, предложенные для построения КТС, которые нашли применение в виде прикладного инструментального программного комплекса. ИПК отличается способностью автоматического порождения прикладных тестирующих и обучающих систем и позволяет учесть специфику предметной области и методики преподавания всех циклов дисциплин технического вуза, особенности методов построения учебных курсов; снизить затраты на разработку обучающих и (или) тестирующих систем. Результаты экспериментов по автоматизированному созданию на базе ИПК тестирующих систем и их апробации показывают эффективность применения предлагаемого подхода. Качество генерируемых тестов достаточно высокое.

Прикладные компьютерные тестирующие и обучающие системы, разработанные автором в ходе диссертационных исследований, успешно применяются в течение ряда лет в учебном процессе нескольких вузов как при использовании традиционных форм организации учебного процесса, так и при дистанционных формах обучения. Результаты работы внедрены в Вологодском государственном техническом университете (в структуре АОС «Метрология», в мультимедийном электронном учебнике «Интеллектуальные системы управления», в комплексах лабораторных работ по дисциплинам «Системное программное обеспечение», «Информационное обеспечение систем управления», «Оборудование автоматизированных производств»), в Вологодском государственном педагогическом университете (для контроля знаний по дисциплине «Базы данных и экспертные системы»), в филиале (г.Вологда) СевероЗападной академии госслужбы (в тестирующих системах по информатике и компьютерной подготовке), в ООО «Газстройпроект» г. Вологда и в ЗАО «КАМИ-СВЭП" г. Вологда (в системе повышения квалификации и аттестации персонала).

Основные результаты диссертации получены в рамках выполнения госбюджетных научно-исследовательских работ: "Исследование и разработка методов моделирования сложных систем" (Вологда, ВоПИ, 1996-98г.г., тема Г79.2.Э5), "Исследование методов разработки экспертных и обучающих систем"

Вологда, ВоПИ, 1996-98г.г., тема Г79.2.Э4), в гранте "Исследование и разработка математических методов и средств проектирования распределенных интеллектуальных информационных систем" (грант по фундаментальным исследованиям в области гуманитарных наук Г02-4.3-65 Минвуза РФ 2003-2004 г.г.)

Апробация. Основные результаты диссертационной работы докладывались и обсуждались более, чем на 20 конференциях и симпозиуме: I и III Международные конференции «Информационные технологии в производственных, социальных и экономических процессах: ИнфоТех» (Череповец, ЧГУ, 1996, 2001); I и II Международные научно-технические конференции «Информатизация процессов формирования открытых систем на основе СУБД, САПР, АСНИ и искусственного интеллекта» (Вологда, ВоГТУ, 2001, 2003, 2005); IV и V Международные конференции «Интерактивные системы» (Ульяновск, УлГТУ, 2001, 2003); II, III, IV и VI Международные научные конференции «Информация -Коммуникация - Общество» (Санкт-Петербург, ЛЭТИ, 2001, 2002, 2003, 2005); VIII, IX, X, XI и XII Международные конференции «Современные технологии обучения» (Санкт-Петербург 2002, 2003, 2004,2005, 2006); I и II Научно-технические конференции «Тренажерные технологии и симуляторы» (Санкт-Петербург, СПбГПУ 2002, 2003); X и XII Международные конференции «Математика. Компьютер. Образование» (Пущино, 2003, 2005); XIV, XV и XVI Международные конференции «Применение новых технологий в образовании» (Троицк, 2003, 2004, 2005); II и III Всероссийские научно-технические конференции «Вузовская наука - региону» (Вологда, ВоГТУ, 2004, 2005); II Международная научно-техническая конференция «Моделирование, оптимизация и интенсификация производственных процессов и систем» (Вологда, ВоГТУ, 2004); Международная научная конференция «Informatics, Mathematical Modelling and Design in the Technics, Controlling and Education (IMMD'2004)» (Владимир, 2004); VI Международный симпозиум «Интеллектуальные системы» (Саратов, 2004).

Публикации. По теме диссертации опубликовано более 30 работ, в том числе: 1 статья в журнале из перечня ВАК («Системы управления и информационные технологии»), 7 статей, 25 докладов на международных и российских научных конференциях. Публикации отражают все основные результаты диссертационной работы.

Объем и структура работы.

Работа содержит 201 страницу, в том числе J4icTpaiiHua основного текста, иллюстрированного 42 рисунками и состоит из введения, трех глав, заключения, перечня литературы и приложений.

Краткое содержание диссертации

В первой главе «Проблема построения компьютерных тестирующих систем для контроля знаний по техническим дисциплинам» рассматриваются современное состояние процесса создания компьютерных тестирующих систем, традиционные подходы к задачам их разработки и проблемы построения КТС. Формулируются основные подходы к решению указанных проблем.

Во второй главе «Модель КТС и продукционный метод генерации тестовых заданий для КТС» предлагается модель компьютерной тестирующей системы, отличающаяся от традиционных наличием механизмов динамического формирования тестовых заданий и предполагающая предъявление заданий в динамическом режиме в соответствии с заданной структурой теста. Разработан продукционный метод автоматической генерации тестовых заданий, применение которого позволяет быстро изменять свойства системы, учитывать динамику процесса обучения и создавать структуры обучающих и тестирующих систем генерирующих неограниченное количество тестов и управлять их содержанием автоматическим образом.

В третьей главе «Инструментальный программный комплекс для построения компьютерных тестирующих систем и практические результаты его применения» рассматриваются принципы построения, структура, и программная реализация инструментального программного комплекса (ИПК), основанного на методе автоматической генерации тестовых заданий, описываются результаты экспериментов по автоматизированному созданию наборов тестов и их апробации на основании которых доказана эффективность применения предлагаемого подхода.

В «Заключении» приводятся основные общие выводы по работе и формулируются предложения о возможных направлениях дальнейших научных исследований.

3.7. Выводы

1. Разработана структура ИПК, основными принципами построения которого являются: автоматическая генерация произвольных множеств тестовых заданий в соответствии с заданной преподавателем моделью обучения; точная формализация

Затраты на создание одного варианта тестов, мин

200.

100

Вручную

ИПК (40 типов заданий) ИПК (10 типов заданий) Повторно, посредством ИПК

Количество заданий в тесте

Среднее время создания тестов, мин

1500 1000500.

А Вручную (вновь) о Вручную (из базы заданий)

О ИПК (вновь) -й- ИПК (повторно) ип не Количество требующихся вариантов теста

30

20

10

Затраты на создание тестов, час

1000

Вручную (из базы заданий) ИПК (повторно)

Количество заданий в тестах

Рис. 3.31 Затраты времени на создание тестов порождаемых множеств вопросов путем описания их соответствующими формальными грамматиками; автоматическое предъявление в динамике сгенерированных заданий в соответствии с моделью тестирования.

2. Разработаны алгоритмы реализации основных функций ИПК, построенного на основе предложенных принципов и метода автоматической генерации тестовых заданий.

3. Осуществлена программная реализация ИПК, который отличается способностью автоматического порождения прикладных тестирующих и обучающих систем и позволяет снизить трудоемкость создания тестовых заданий

4. Разработаны и внедрены в эксплуатацию более десяти реализаций программных продуктов основанных на принципах построения ИПК или использующих ИПК как элемент их структуры. В числе программных систем, на которых разработанный метод и созданные на его основе инструментальные средства были апробированы: тренирующая интеллектуальная система; пять версий инструментальной интеллектуальной программной среды; локальная, сетевая и Интернет-версии интеллектуальной тестирующей системы; система тестирования уровня логических способностей; адаптивная обучающая система; электронные учебники по дисциплинам «Метрология» и «Оборудование автоматизированных производств» и некоторые другие. Разработанные системы успешно используются в учебном процессе. Реализация указанных проектов позволила добиться повышения успешности обучения, повысить оперативность изменения тестового материала, освободить преподавателей от ряда трудоемких операций.

5. Проведен анализ качества генерируемых автоматическим образом тестов. Исследовалось 38 сгенерированных тестов. Установлено, что их качество достаточно высокое: все исследованные тесты валидны, показатель надежности тестовых заданий лежит в пределах 0,6-0,85.

6. Проведен анализ экспериментальных данных по определению эффективности применения ИПК. На основе анализа выявлено, что зависимость затрат времени на создание тестов от количества заданий носит убывающий характер, что применение ИПК позволяет сократить время разработки тестовых систем и убедительно доказывают целесообразность и эффективность интеллектуализации тестирующих и обучающих систем.

ЗАКЛЮЧЕНИЕ

В диссертационной работе рассмотрен метод построения компьютерных тестирующих систем. Предложенный метод позволяет в рамках продукционного формализма описать функционирование тестирующей системы и автоматическим образом перейти от формального описания структуры теста и типов тестовых заданий к конкретным вариантам тестов. Применение разработанного метода и построенных на его основе программных средств позволило добиться нового качества компьютерных средств тестирования и обучения, существенно повысить оперативность обновления информации, снизить трудоемкость построения тестов и увеличить их вариативность.

Основные научные и практические результаты состоят в следующем:

1. Проведен анализ современного состояния проблемы разработки компьютерных тестирующих систем. Основными недостатками существующих систем являются: высокая трудоемкость их реализации и узкая специализация, ограниченное число тестовых задании и сложность внесения изменений в наборы тестовых заданий, что создает проблему адаптации тестирующих и обучающих систем к быстроменяющимся требованиям технического вуза. Установлено, что распространенные инструментальные средства позволяют решать вопросы применения методологий и технологий тестирования, оформления интерфейса, стыковки различного программного обеспечения, наполнения базы вопросов и ответов, но не позволяют автоматизировать процессы построения тестов, которые имеют максимальную трудоемкость по сравнению с другими стадиями процесса тестирования. Определено, что снижению трудоемкости построения тестов контроля знаний будет способствовать создание инструментальной системы, предоставляющей КТС возможность генерации тестовых заданий.

2. Разработана модель компьютерной тестирующей системы, которая отличается от традиционных моделей наличием механизмов динамического формирования тестовых заданий и возможностью предъявления заданий в динамическом режиме в соответствии с заданной структурой теста.

3. Разработан и формализован на основе продукционного аппарата метод автоматической генерации тестовых заданий, пригодный для построения компьютерных тестов контроля знаний, отличающийся возможностью быстрого изменения свойств системы, учетом динамики процесса обучения и позволяющий формировать структуру и содержание прикладной тестовой системы, определяя лингвистическое содержание конкретных тестов с помощью формальных грамматик. Данный метод предоставляет разработчику возможности автоматизированного создания практически неограниченного спектра прикладных программно-информационных тестирующих систем для всех циклов дисциплин технического вуза и формирования множества индивидуальных, не пересекающихся между собой вариантов. Рассмотрена интерпретация метода ко всем циклам дисциплин технического вуза.

4. Предложена и обоснована концепция инструментального программного комплекса (ИПК) для автоматизированного построения компьютерных тестирующих и обучающих систем на основе метода автоматической генерации тестовых заданий. Разработаны алгоритмы реализации основных функций ИПК.

5. Осуществлена программная реализация ИПК, который отличается способностью автоматического порождения прикладных тестов по техническим дисциплинам на основе базы знаний, представленной формальными грамматиками, и позволяет снизить трудоемкость создания тестов.

6. На основе ИПК разработан ряд прикладных систем (инструментальная интеллектуальная программная среда; локальная, сетевая и Интернет-версии компьютерной тестирующей системы; система тестирования логических способностей, адаптивная обучающая система и др.), которые опробованы на дисциплинах различных циклов технического вуза. Созданные компьютерные тестирующие и обучающие системы отличаются от существующих способностью автоматического формирования тестов и учебного материала. Разработанные системы успешно используются в учебном процессе в Вологодском государственном техническом университете, в Вологодском государственном педагогическом университете, в филиале (г.Вологда) Северо-Западной Академии Госслужбы. Реализация указанных проектов позволила добиться повышения успешности обучения, повысить оперативность изменения тестового материала, освободить преподавателей от ряда трудоемких операций. Результаты работы внедрены также в ООО «Газстройпроект» г. Вологда и в ЗАО «КАМИ-СВЭП" г. Вологда, где успешно используются в системе повышения квалификации и аттестации персонала.

7. Экспериментальные исследования качества создаваемых автоматическим образом тестов и сравнение их с однотипными авторскими тестами показывают, что качество генерируемых автоматическим образом тестов достаточно высокое: Исследовалось 38 сгенерированных тестов. Все исследованные тесты валидны, показатель надежности тестовых заданий лежит в пределах 0,6-0,85.

8. Проведенные исследования по экспериментальному определению эффективности применения ИПК показали, что зависимость затрат времени на создание тестов от количества заданий носит убывающий характер, что применение ИПК позволяет сократить время разработки тестовых систем, что доказывает целесообразность и эффективность построения тестирующих и обучающих систем с помощью ИПК.

Таким образом, сформулированные цели исследования достигнуты и научно-техническая задача построения КТС, обладающих заявленными выше свойствами, в основном решена.

Дальнейшее исследования целесообразно вести в следующих направлениях:

- развитие модели КТС в направлении оптимизация сценариев тестирования;

- разработка интерпретаций метода генерации тестовых заданий для различных предметных областей;

- совершенствование алгоритмов реализации метода генерации тестовых заданий с учетом особенностей распределенной вычислительной среды;

- совершенствование ИПК и разработанных программных средств, основанных на методе генерации тестовых заданий в направлении расширения функциональных возможностей и улучшения интерфейса;

- исследование и разработка методик применения КТС, построенных на основе предложенных в работе модели и метода.

1. Аванесов, B.C. Теория и методика педагогических измерений- Режим доступа: http:\testolog.narod.ru

2. Аванесов, B.C. Тесты в социологическом исследовании. М.: Наука, 1982—199с.

3. Загвязинский, В.И. Теория обучения: Современная интерпретация: Учеб. Пособие для студ. высш. пед. учеб. заведений. М.: Издательский центр «Академия», 2001. - 192 с.

4. Горбатов, Д.С. Практикум по психологическому исследованию: Учеб. Пособие. Самара: Издательский дом «БАХРАХ-М», 2000. - 248 с.

5. Дуплик, С.В. К вопросу о терминологии в области компьютерных средств обучения-Режим доступа: http:// www.dupliksv.hut.ru.

6. Субетго, А.И. Квалитология образования (основания и синтез). СПб., Москва.: Исследовательский центр проблем качества подготовки специалистов, 2000.-220 с.

7. Кпайн, П. Справочное руководство по конструированию тестов Киев: Ника-Центр Лтд, 1994,283с.

8. Бочкин, А.И. Об оценке доли знаний с помощью компьютерных тестов / А.И.Бочкин, Н.С.Вислобокова Информатика и образование. - 2004 - №11, С.66-74.

9. Дылда, Г. Эффективность профессионального обучения Режим доступа: http://www.pmuc.ru/jornal -2004

10. Анастази, А. Психологическое тестирование / Пер. с англ. М.К.Акимовой. -М.: Педагогика, 1982-687с.

11. Афанасьева А.В. Опыт применения современных информационных технологий в обучении студентов в Воронежской государственной технологической академии. Режим доступа: http://ito.edu.ru

12. Борк А. Компьютеры в обучении: чему учит история // Информатика и образование. 1990 - №5. - С. 110-118.

13. Брусиловский, П. Web-тестирование в дистанционном обучении доклад / П.Брусиловский, Ф. Миллер / Технологический Университет Д. Карнеги, 4615 Forbes Avenue, Pittsburgh, PA 15213, США 2000- Режим доступа: http://www.citforum.ru/science.

14. Джон П Кателл Информационные и коммуникационные технологии для активного обучения // Информатика и образование» 2004 - №3.- С.77-86.

15. Инкелес В. e-Learning: опыт западных компаний // Learning World 2004 -№3- С.70-73

16. Kabassi, К., & Virvou, М. Using Web Services for Personalised Web-based Learning. Educational Technology & Society 2003- Режим доступа: http://ifets.ieee.org .

17. Лызлов, A.B. Информационные технологии в организации учебного процесса школы / А.ВЛызлов, О.Н.Найденова 2002 - Режим доступа: http://teacher.fio.ru.

18. Мануйлов, В. Открытое образование: перспективы, рациональность, проблемы./ В.Мануйлов, В.Галкин, И.Федоров. Высшее образование в России -2004-№1,.С.93-104.

19. Масюкевич С. В. Концепция электронного обучения в Корпоративном университете «Северсталь». E-learning корпоративная система электронного обучения. — Режим доступа: http//www.universtal.ru

20. Матушанский Г.У. Подготовка, переподготовка и повышение квалификации научно-педагогических и инженерных кадров России // Educational Technology & Society. 2000. - № 3. - С. 535 - 537.

21. Мел Мучник. E-Leraning в университетах США- 2004- Режим доступа: http://e-learnworld.ru

22. Путилов, Г.П. Интернет — технологии в повышении квалификации и переподготовке кадров / Г.П.Путилов, Л.Н. Кечиев, С.Р. Тумковский Наука и технологии в промышленности - 2001 -№ 3.— С. 76-77.

23. Александров В.В. Развивающие системы в науке, технике, обществе и культуре. Часть 1.Теория систем и системное моделирование. Учебное пособие. -СПб.: СПбГТУ. 2000.-241с.

24. События в мире электронного обучения // Learning World 2004 - №3.1. С.4-7

25. Соловов А.В. Информационные технологии обучения в профессиональной подготовке // Высшее образование в России -1995 №2.- С.31-36

26. Третьяков, П.И Адаптивпое управление педагогическими системами: Учебное пособие для вузов./ П.И Третьяков, С.Н.Митин, Н.Н.Боярцева М: Academia, 2003.-350 с.

27. Ричмонд, У.К. Учителя и машины. Введение в теорию и практику программированного обучения. / У.К Ричмонд, Пер. с англ.- М.:Мир, 1968. 277с.

28. Кербель, Б. М. Методическое обеспечение образовательного процесса при дистанционном обучении в корпоративном ядерном университете / Б.М.Кербель, И.Г.Попова -2003-Режим доступа: http://ito.edu.ru

29. Крицкий С. П., Хадзиев Р. А Дистанционный лабораторный практикум по HTML 2002- Режим доступа: http://conf.sssu.ru/ito

30. Башмаков, А.И. Разработка компьютерных учебников и обучающих систем. / А. И.Башмаков, И.А.Башмаков-М.: Информационно-издательский дом "Филин", 2003.-616 с.

31. Черныш Д. Обзор рынка обучающего контента // Learning World 2004 -№3, С.8

32. А.Г.Абросимов Технологии дистанционного обучения в дополнительном образовании // Информатика и образование-2004 №7.- С.77-82.

33. Е.Варламова Электронные курсы любимой компании // Learning World -2004, -№3. С.66-68

34. Зубкова, Т.А. Построение компьютерных программ в инструментальной системе «Урок» / Т.А.Зубкова, А.А.Карнова Информатика и образование- 1999 -№4.

35. Капустин Н.П. Педагогические технологии адаптивной школы. М.: Академия, 1999.-216 с.

36. Корбут, A.M. Перспективы использования отдельных видов новых информационных технологий в высшем образовании- Режим доступа: www.charko.narod.ru

37. Машбиц Е.Н. Психолого-педагогические проблемы компьютеризации обучения. М.: Педагогика, 1988.191с.

38. Thomas Bruckner Ein WWW-basiertes Lernsystem zum Thema "Internet" -1998 Режим доступа: http://zemm.ira.uka.de

39. Чернявский, А.Ф.Автоматизированные обучающие системы на базе ЭВМ / А.Ф. Чернявский, A.M. Мухтарский; под ред.А.Ф.Чернявского . Минск: изд-во БГУ, 1980.-175 с.

40. Воллосович С.А. Цели и пути создания интеллектуальных обучающих Интернет-систем. Режим доступа: http://ist.ims.ru.

41. Строгалов, А. С. Интеллектуальные системы. Исследования. Компьютерные обучающие системы Режим доступа: www.intsys.msu.ru

42. Тейз А. Логический подход к искусственному интеллекту: От модальной логики к логике баз данных / Пер. с франц. М.: Мир, 1998. - 494 с.

43. Янковская, А.Е. Когнитивные средства в интеллектуальных обучающих системах Режим доступа: http://www.nsu.ru

44. Смирнов, А.В. Многоагентный подход к построению систем интеграции знаний./ А.В.Смирнов, Т.ВЛевашова, М.П.Пашкин, Н.Г.Шилов //Известия вузов. Приборостроение. 2003. Т.46, № 5, С. 13-19.

45. Галлеев, И.Х. О систематизации учебных компьютерных средств. Режим доступа: http://ifets.ieee.org/russian

46. Классификация программно-аппаратных комплексов в образовании. -Режим доступа: http://www.admin.Smolensk.ru

47. Никифоров, В.В. Использование шкал различий в задачах классификации объектов. В.В.Никифоров // Обработка информации, системы и методы: Сб. науч. статей / Под ред. С.С.Садыкова, Д.Е. Андрианова М.: Горячая линия - Телеком, 2003.-С.93-104.

48. Средства и методы компьютерного обучения- Режим доступа: http://keldysh.ru.

49. Роберт, И.В. Толкование слов и словосочетаний понятийного аппарата информатизации образования // «Информатика и образование», 2004, №5. С.22-30, №6. С.63-70.

50. Алессандро д'Атри. Boun giorno, e-Learning! Взгляд из Италии // Learning World-2004-№3-С.74-75

51. Христочевский С.А. Электронные мультимедийные учебники и энциклопедии. // Информатика и образование- 2000 №2, С. 70-77

52. Автоматизированные практикумы Электронный ресурс.: 1 CD-диск -Систем, требования: IBM PC (Pentium I), Windows З.хх/95.

53. Райгородская, A.M. ИВЦ сектор АОС 1995. - 1 CD-диск.

54. SunRav TestOfficePro.WEB: описание программы. Режим доступа: http://www.sunrav.ru/product.html.

55. Тесты on-line: описание программы. Режим доступа: http://www.study.ru/Tests.

56. Булгаков, М. Образовательный портал: анализ требований и платформ / М.Булгаков, В.Герасимов, Н.Курмышев и др. // Learning World 2004 - №3. - С.38-55

57. Галыгин, А.Н. Тестирование через Интернет. / А.Н.Галыгин, Л.Н.Кечиев, И.А.Тарасов, С.Р.Тумковский // Внешкольник -2002, №4. — С. 28.

58. Загузов, Н.И. Основные направления диссертационных исследований по проблемам информатизации образования в 2002-2003/ Н.И.Загузов, Е.Н.Загузова // «Информатика и образование» 2004 - №3. - С. 101-108.

59. Киселев, К. Новые возможности Тренинго-тестирующей системы.// КонсультантПлюс Ежемесячный информационный бюллетень общероссийской сети распространения правовой информации. 2004 №12 - С. 5-6.

60. Скорина, Б.С. Разработка принципов построения и использования программного обеспечения автоматизированных обучающих систем. 2003— http:/nit.itsoft.ru

61. Система "Прометей" -Режим доступа: http://www:jffometeus.ru/)64. "Прометей"-Режим доступа: http://www.prometeus.ru/65. "Аванта"-Режим доступа: http://avanta.wsu.ru

62. Интегрированная обучающая среда "Аванта" 2004 - http://cit.vvsu.ru

63. Обучающее программное средство "АВАНТА"- 2004 Режим доступа: http://db.informika.ru/do/prog

64. Интегрированная система дистанционного обучения LEARNING SPACE: мультимедийное учебное пособие М.: МГУ, 1997- 1 CD-диск.

65. А.В.Комаров. Интегрированная система дистанционного обучения LEARNING SPACE для образовательных учреждений на базе LOTUS DOMINO -2003 Режим доступа: http:/nit.itsoft.ru/; http://conf.mitme.ru

66. Система дистанционного обучения IBM Learning Space Режим доступа: -http://www.teacher.fio.ru 2003

67. И. Цыбаненко, Lotus Notes все же реальность. -2002 / http://kinnet.ru

68. Leraning Space фирмы LOTUS Режим доступа: www.lotus.com.

69. Learning Space 5.0 (Lotus/IBM)- Режим доступа: http://kinnet.ru

70. Адаптивная диалоговая информационная система АДОНИС. Руководство пользователя. Версия 1.3. М: НПК Файл, 1991. 140 с.

71. АДОНИС. Режим flocryna:http://alex.krsk.ru

72. Саканян, Е.И. Использование системы АДОНИС для организации входного контроля знаний студентов при проведении практических занятий по технологии лекарственных форм / Е.И.Саканян, В.В.Клепиков- Режим доступа: http://ito.bitpro.ru

73. Инструментальная система автоматизированного обучения РАКУРС. Том 1. Руководство пользователя.

74. В.Г. Исаков, С.В. Тарабукин инструментальное средство "APOLLO" для разработки компьютерных обучающих систем Режим доступа: http://www.nsu.ru

75. ИнфоЛидер: Каталог решений и услуг// Спб,М.:2005. 8с.

76. Кечиев, Л.Н. Информационно-образовательная среда технического вуза. Л. Н.Кечиев, Г. П.Путилов, С.Р.Тумковский Режим доступа: http://www.www.snews.ru.

77. Комличенко, В.Н. Авторская система проектирования автоматизированных учебных курсов для АОС-ВУЗ/ В.Н.Комличенко, С.В.Новиков // Киев: УСиМ. -1990. №1. С.107 -114.

78. А.К.Кувакин Инструментальное средство для создания дидактических компьютерных материалов. Режим доступа: http://chernozem.vspu.ru

79. Программа для создания учебных курсов «ПАУК»- Режим доступа: http://www.dupliksv.hut.ru/pauk/dict/index.html

80. Система МАГИСТР Режим доступа: http://www.karazbal.ru

81. Система тестирования СИТО Режим доступа: - http:// reg.wsu.ru. - 2004

82. СТ КУРС: Система дистанционного обучения Режим доступа: www.stkers.ru

83. Усенко, С.В. Автоматизированная система обучения и контроля знаний СИТО- Десногорск: Смоленский УТЦ, 2000. Режим доступа: http://www.smutc.ru/science/publish.

84. Учебный модуль "Технология разработки мультимедиа проектов" 2002 -Режим доступа: http://textbook.keldysh.ru.

85. Компьютерные обучающие программы. Научно-техническая фирма "Ростел" Режим доступа: http://ulm.uni.udm.ru

86. Ebbing Chemistry Tutorial Режим доступа: http://www.eclsys.com

87. Expert Sistems and CLIPS -Режим доступа: http://www.ghgcorp.com.

88. Intro to Artificial Intelligence Режим доступа: http://www.ghgcorp.com.

89. N. Person, A. Graesser, R. Kreuz, Victoria Pomeroy "Модель диалога человека-преподавателя контролирует деятельность в AutoTutor" International Journal of Artificial Intelligence in Education 2001- №12 - С 23-39.

90. Король Д.Ю. Использование современных информационных технологий в образовании. Режим доступа: http://charko.narod.ru

91. Инструкция по использованию курсов WebSoft- Режим доступа: http://webtutor.websoft.ni

92. Аудитория. Служба подготовки оперативного персонала Режим доступа: www.admin.Smolensc.ru.

93. Test Maestro testing software for teachers. Test Maestro II Details. Russ & Ryan EdWare, 2003- Режим доступа: http://www.rredware.com

94. Пушкова, M.H, Использование тестов на уроках математики в младших классах / М.Н.Пушкова, М.В.Мащенко Информатика и образование - 2004 -№11.-С.75-79.

95. Курганская, Г.С. Модели, методы и технология дифференцированного обучения на базе Интернет: Авореферат.- М: 2001 22 е.- Режим доступа: http://www.keldysh.ru

96. Минасов, Ш.М. Модели и алгоритмы программных инструментальных средств обработки информации и генерации учебных курсов в сетевой информационно-обучающей системе: Авореферат.- Уфа: 2003 22 с.

97. Бенедиктов, Б.А. Психология обучения и воспитания в высшей школе./ Б.А.Бенедиктов, С.Б.Бенедиктов Мн.: Выш. шк., 1983.-224 с.

98. Аванесов, В. С. Формы тестовых заданий. М.: МИСиС , 1991. - 122с

99. Александров, И.О. Комплексное исследование структуры индивидуального знания / И.О. Александров, Н.Е. Максимова, А.Г. Горкин, и др. // Психологический журнал 1999 - том 20, № 1 - С. 49-69.

100. Баранов, В.Ю. Формы ответов при автоматизации контроля знаний // Информатика и образование 2004 - №8.- С. 17-22.

101. Селезнева Н.А. Качество высшего образования как объект системного исследования. Лекция-доклад. Изд. 3-е М.: Исследовательский центр проблем качества подготовки специалистов, 2003. - 95 с.

102. Афанасьева Т.В. О проектировании систем управления качеством образования -2002- Режим доступа: http://conf.sssu.ru/ito

103. Брусиловский П.Л. Модели обучаемого в интеллектуальных обучающих системах // УсиМ. 1992. -№ 7/8. - С. 109-118.

104. Дуплик С.В. Модель адаптивного тестирования па нечеткой математике. // Информатика и образование- 2004 -№11.- С.57-65.

105. Рубина, Н. Расширение OSI-подобных моделей с целью преодоления логического разрыва между проектами реальной жизни и информационными технологиями / Н.Рубина, Ю.Кирчин. Режим доступа: http://risbank.spb.ru.

106. Rich, Е. Users are individuals: individualizing user models. International Journal of Human-Computer Studies. Режим flocTyna:http://charko.narod.ru.

107. Тихомирова, E. Очень простая оценка качества http://e-learnworld.ru

108. Хованов, Н.В. Математические основы теории шкал измерения качества./ Н.В.Хованов, Л.: ЛГУ, 1982, 185 с.

109. ComputerMentor. О программе, об авторах. Отзывы о программе "Компьютер-наставник"/ А.В.Гуртовой, С.ВНелюби., М.ВКремнев и др. М: НПП "Компьютер-наставник" АНПО "Наука", 2000 - Режим доступа: http://www.c-mentor.ru.

110. ComputerMentor. Режим доступа: http://www.ComputerMentor.da.ru, http://www.softsearh.ru/programs.

111. Чертовской В.Д. Базы данных: современный подход СПб: изд-во Петербургский институт печати, 2000, -212 с.

112. Б.Я.Советов, В.В.Цехановский, Чертовской В.Д. Базы данных: теория и практика М. Высш.шк.,2005 -463 с.

113. Тарасов, В.А. Генерация тестов с выборочными ответами на языке JavaScript / В.А.Тарасов, А.С.Кюршонов //Информатика и образование 2004 - №7. -С.113-115.

114. Кратко, М.И. Формальные исчисления Поста // Проблемы кибернетики. -1966 Вып. 17 - С.41-65

115. Кратко, М.И. Быстрый алгоритм распознавания следствий для монадических логических программ М.И.Кратко, Г.С.Плесневич // Автоматика и телемеханика. 2001.- № 10.- С.91-102.

116. Кузнецов В.Е. Представление в ЭВМ неформальнх процедур: продукционные системы. -М.Наука, 1989. -160с.

117. Маслов С.Ю. Некоторые свойства аппарата канонических исчислений Э.Л.Поста. // Тр. матем. ин-та АН СССР. 1964 - Т.72 - С.5 - 56.

118. Маслов С.Ю. Теория дедуктивных систем и ее применения. М. :Радио и связь, 1986. - 136 с.

119. Поспелов Д.А. Ситуационное управление: Теория и практика М.:Наука, 1986.-288с.

120. Швецов, А.Н. Канонические исчисления Поста как средство моделирования сложных дискретных систем / А.Н.Швецов, А.А.Суконщиков // Автоматизация процессов управления и обработки информации: Сб. статей. -Вологда:ВоПИ, 1998.-С. 128-135.

121. Post E.L. Formal reductions of the general combinatorial problem // Amer J.Math. 1943. - Vol.65.№2 - P. 197-215.

122. Гладкий А.В. Формальные грамматики и языки. М.: Наука, 1973. - 368с.

123. Маккиман У., Хорнг Дж., Уортман Д. Генератор компиляторов/ Пер. с англ. С.М.Круговой Под ред. В.М.Савинкова. М.6 Статистика, 1980. - 527с.

124. Хантер Р.: Проектирование и конструирование компиляторов. М.: Финансы и статистика., 1984.-232 с.

125. А.Хохлов Простой компилятор// Мир ПК 2005, №5, С.68-72

126. Математика. Тесты 11 класс. Варианты и ответы централизованного тестирования. -М.: Центр тестирования МО РФ, 2001,2002.

127. Физика. Тесты 11 класс. Варианты и ответы централизованного тестирования. -М.: Центр тестирования МО РФ, 2002.

128. Русский язык. Тесты 11 класс. Варианты и ответы централизованного тестирования. -М.: Центр тестирования МО РФ, 2002

129. Русское правописание в таблицах: Правила, исключения, примеры, комментарии. В.М.Шевелев, Л.А.Шевелева. Под редакцией проф. Л.А.Быковой -М.: ООО «Издат-Школа, 1997. 66с.

130. Чешко, Л.А. Русский язык: Для подготовительных отделений вузов: Учеб.пособие.-М.: Высш.шк., 1990.-333 с.

131. Дворяшин, Б.В. Основы метрологии и радиоизмерения: Учебное пособие для вузов / Б.В. Дворяшин. -М.: Радио и связь, 1993. 320 с.

132. Клаассен К.Б. Основы измерений. Электронные методы и приборы в измерительной технике / К.Б. Клаассен. М.: Постмаркет, 2000. - 352 с.

133. Куликовский, К.Л. Методы и средства измерений: Учебное пособие для вузов / К.Л. Куликовский, В.Я. Купер М.: Энергоатомиздат, 1986. - 448 с.

134. Нефедов, В.И. Метрология и электрорадиоизмерения в телекоммуникационных системах: Учебник для вузов / В.И. Нефедов, В.И. Хахин, Е.В. Федорова и др.; Под ред. В.И. Нефедова. -М.:Высш.шк., 2001. -383с.:

135. Основы метрологии и электрические измерения: Учебник для вузов / Б.Я. Авдеев, Е.М. Антонюк, Е.М. Душин и др.; Под ред. Е.М.Душина. JL: Энергоатомиздат, 1987. - 480 с.

136. Сергеев А.Г., Крохин В.В. Метрология: Учеб. пособие для вузов / А.Г. Сергеев, В.В. Крохин -М.: Логос, 2000. -408

137. Электрические измерения: Учебник для вузов / Л.И. Байда, Н.С. Добротворский, Е.М. Душин и др.; Под ред. А.В. Фремке и Е.М. Душина. Л.: Энергия, 1980.-392 с.

138. Баранов, С.Н. Процесс разработки программных изделий./ С.Н.Баранов,

139. A.Н.Домарацкий, Н.К.Ласточкин, В.П.Морозов. М.: Наука, "Физматлит",2000.-176с.

140. Иванищев, В.В. Введение в теорию алгоритмических сетей. /

141. B.В.Иванищев, В.Е.Марлей СПб.: СПбГТУ, 2000.-180с.

142. Гладилин, А.Н. Программные средства для тестирования студентов / А.Н.Гладилин, И.М.Мальцев, И.Д Михайлова 2002- Режим доступа: http://conf.sssu.ru/ito

143. Коджаспирова, Г.М. Технические средства обучения и методика их использования: Учебное пособие./ Г.М.Коджаспирова, К.В.Петров М.: Academia, 2002.-256 с.

144. Китаевская, Т.Ю. Автоматизированная система проектирования содержания обучения в вузе / Т.Ю.Китаевская, А.А.Арзамасцев, Д.В.Слетков // Информатика и образование- 2004-№12- С.100-105.

145. Просвиркин, В.Н. Изменение процесса обучения информационным технологиям в связи с изменением образовательной среды в центре образования №1679. //. Информатика и образование- 2004-№12- С.108-111.

146. Соловов А.В. Проектирование компьютерных систем учебного назначения: Учебное пособие. Самара: СГАУ, 1995. 140 с.

147. В.Городецкий, В.Самойлов, А.Малов. Технология обработки данных для извлечения знаний: Обзор состояния исследований. Новости искусственного интеллекта, №№ 3-4,2002.

148. Юсупов P.M., Заболотский В.П. Научно-методологические основы информатизации. СПб.: Наука, 2000,-455с.

149. Методы и модели оценивания качества программного обеспечения. Воробьев В. И., Копыльцов А. В., Пальчун Б. П., Юсупов Р. М. С-Пб.:СПИИРАН.1992.-ЗЗс

150. И.А.Мельчук Автоматический анализ текста- М: Энергоатомиздат, 1964.- 245с.

151. Головин, Ю.А. Информационные сети и телекоммуникации. Часть1: Учебное пособие / Ю.А.Головин, А.А.Сукошциков Вологда: ВоГТУ, 2003.-151с.

152. Джиоев, A.JI. История отечества: Справочное пособие // АЛ.Джиоев, -М.: Менеджер, 1998. 384 с.

153. Баженова, И. Ю. Delphi 6. Самоучитель программиста. / И.Ю.Баженова -М.: КУДИЦ-ОБРАЗ, 2002. 432с.: ил.

154. Кэнту, М. Delphi 7: Для профессионалов. / М.Кэнту СПб.: Питер, 2004.

155. Фаронов, В.В. Delphi. Программирование на языке высокого уровня: учебник для ВУЗов/ В.В. Фаронов.- СПб.:Питер, 2004.-640 е.: илл.

156. Архангельский А.Я. Программирование в Delphi 6. / А.Я. Архангельский -М.: ЗАО «Издательство БИНОМ», 2001 г.

157. Свистунов С.В. Справочник. Стандартные функции и процедуры Delphi 4, Delphi 5. / С.В. Свистунов М.: J1XA «Альманах», 2001. - 318 с.

158. Тюкачев Н. Delphi 5. Создание мультимедийных приложений. Учебный курс. / Н. Тюкачев, Ю.Свиридов СПб.: Питер, 2001. - 400 с.

159. Швецов, А.Н. Автоматизированные системы тестирования интеллекта/ А.Н.Швецов А.А.Сукошциков // Матер, всерос. конф. "Математическое и компьютерное моделирование в науках о человеке и обществе". 28 июня- 2 июля 1999 г. Москва-Вологда.

160. Швецов, А.Н. Автоматизация тестирования интеллекта в компьютерных системах / А.Н.Швецов А.А.Сукошциков // Перспективные технологии автоматизации: Тезисы докл. межд. электрон, науч.-техн. конф. Вологда: ВоГТУ, 1999.-С. 132.

161. Швецов, А.Н. Тренирующая интеллектуальная система/ А.Н.Швецов, М.Б. Киракозов, Д.В.Зайцев // Межвузовская научная конференция "Проблема развития в гуманитарном и социально-экономическом знании" 16-17 ноября 1999г С.-Пб. 1999 С. 112-115.

162. Швецов А.Н. http://www.smit-vstu.narod.ru

163. Анастази А. Психологическое тестирование / А. Анастази, С. Урбина ; Пер. с англ. и общ. ред. А.А.Алексеевой. СПб. и др.: Питер, 2002 - 687с.

164. Белова О.В. Общая психодиагностика // http://www.nsu.ru/psych/internet/

165. Большаков, В.Ю. Психотренинг: Соционика, игры, упражнения. С.-Пб.: Служба доверия., 1994.-323 с.

166. Зинверт Хорст. Ваш коэффициент интеллекта: Тесты. М.: АО «Интерэксперт», 1997,- 143 с.:ил.

167. Практическая психология в тестах, или как научится понимать себя и других. М:АСТ-ПРЕСС, 1998. 376 - е.: ил.

168. Туник Е.Е. Психодиагностика творческого мышления. Креативные тесты. СПб.: Изд-во «Дидактика Плюс», 2002. -с.48

169. Айзенк Г.Дж. Узнай свой собственный коэффициент интеллекта. М.: «Ай Кью», 1993.- 178 с.

170. Айзенк Г.Дж. Проверь свои способности. С.-Пб.: «Лань», 1995. - 160 с.

171. Eysenck H.J. Know your own IQ. Harmondsworth: Penguin Books. 1962. -192 p -CA Pelican Books

172. Соколов Б.В. Методы обработки экспертной информации: Уч.пособие. -СПб.:СПбГУАП, 2005. -33 с.

173. Пять факторов, определяющих эффективность дистанционного обучения Режим доступа: www.distance-learning.ru

174. А.В.Соловов. Об эффективности информационных технологий обучения //. Высшее образование в России 1997 -№ 3, С. 100-107 - Режим доступа: http://cnit.ssau.ru

175. Эффективность дистанционного обучения Режим доступа: http://www.websoft.ru,

176. Дугина, О.А. Как повысить эффективность проведения обучения. -Режим доступа: http://www.hrm.ru

177. Кухарев, Н.В. Эффективность обучения и воспитания: Наблюдение, опыт, размышления / Н. В. Кухарев Минск Изд-во БГУ, 1980. 215 с.

178. Посадский, А.П. Основы консалтинга. Государственный университет / А.П.Посадский. М.: Высшая школа экономики. 1999 - 115 с.

179. Котенко И.В., Юсупов P.M. Перспективные направления исследований в области компьютерной безопасности // Защита информации. Инсайд, № 2, 2006. С.46-57.

180. ПУБЛИКАЦИИ АВТОРА ПО ТЕМЕ ДИССЕРТАЦИИ

181. Суконщиков, А.А. Разработка экспертных и обучающих систем на основе принципов искусственного интеллекта / А.А. Суконщиков, А.Н. Швецов, А.П. Сергушичева // Сб. науч. трудов института в 2-х томах: Т.1. Вологда: ВоПИ, 1997. С. 32-35.

182. Сергушичева, А.П. Основы метрологии: Учебное пособие. Часть 1/ А.П.Сергушичева // Вологда: ВоГТУ, 2001г. 108с.:ил.

183. Швецов, А.Н. Концепция построения мультиагентной системы «Виртуальный преподаватель» / А.Н. Швецов, А.П. Сергушичева // Материалы VIII межд. конф.

184. Современные технологии обучения «СТО-2002» 24 апреля 2002 г. СПб.:СПбГЭТУ «ЛЭТИ», 2002. Т.2, С37-39

185. Ю.Швецов, А.Н. Информационное обеспечение технологий интеллектуального развития / А.Н. Швецов, А.П. Сергушичева // Тренажерные технологии и симуляторы: Материалы науч.-техн. конф. 5,6 июня 2002 г. Санкт-Петербург, СПбГПУ 2002 С. 166169

186. Сергушичева, А.П. Метрология, стандартизация и сертификация. Часть 1: Учебное пособие / А.П.Сергушичева // Вологда: ВоГТУ, 2004г. 188с.

187. Швецов, А.Н. Мультиагентная система «Виртуальный преподаватель» / А.Н.Швецов, А.П.Сергушичева // Интеллектуальные системы: Труды Шестого межд. симпозиума. Саратов 29 июня-2 июля 2004/ Под ред. К.А.Пупкова. М.:РУСАКИ, 2004. С.263-266.

188. Сергушичева, А.П. Использование инструментальных интеллектуальных программных средств для построения адаптивной обучающей системы /

189. А.П.Сергушичева, А.Н.Швецов // Материалы XV Межд. коиф. «Применение новых технологий в образовании», 29-30 июня 2004. Троицк. С. 151-153.

190. Сергушичева А.П., Швецов А.Н. Развитие способов синтеза тестовых вопросов в тестирующих системах.// Двенадцатая Международная конференция Математика. Компьютер. Образование: Тезисы, г. Пущино 17-22 января 2005r.R&C Dynamics. Москва-Ижевск 2005. С. 58.

191. А.П.Сергушичева Методика применения ИТС для обучения и аттестации работников предприятия/ Вузовская наука региону: Материалы третьей всерос. науч.-техн. конф. В 3-х т. - Вологда: ВоГТУ, 2005. - Т.1 .-С.255-258.

192. Сергушичева, А.П. Инструментальный программный комплекс для автоматического создания тестирующих систем / А.П.Сергушичева // Матер. XI межд. конф. Современные технологии обучения «СТО-2005» 20 апреля 2005 г. СПб.,2005. Т.1, С.92-94

193. А.В.Диваков, А.П.Сергушичева, Разработка сетевой версии интеллектуальной тестирующей системы // Молодые исследователи регионам: Матер. Всерос. науч. конф. студентов и аспирантов. В 2-х т. - Вологда: ВоГТУ, 2005. -Т1, С 384-386

194. Метрология: Рабочая программа и методические указания к выполнению расчетно-графического задания. / Сост. А.П.Сергушичева.- Вологда: ВоПИ, 1997- 30 с.

195. Сергушичева А.П., Основы метрологии: Учебное пособие. Часть 2 Вологда: ВоГТУ, 2005г.-112с.:ил.

196. Сергушичева А.П. Интернет-версия компьютерной тестирующей системы / А.П.Сергушичева, А.Н.Швецов // Информация-Коммуникация-Общество (ИКО-2005): MaTep.VI Межд. науч. конф. СПб, ноябрь 2005 г. СПб.: СП6ГЭТУ«ЛЭТИ», 2005.-С.161-163.

197. Метрология, стандартизация и сертификация: Рабочая программа и методические указания к выполнению контрольной работы. / Сост. А.П.Сергушичева. Вологда: ВоГТУ, 2006 - 32 с.

198. Сергушичева, А.П. Мультиагентная информационная система поддержки деятельности выпускающей кафедры / А.П.Сергушичева, А.Н.Швецов // Информационные технологии моделирования и управления 2006, № 6(31). -С.692-696.

199. Сергушичева, А.П. Реализация тестирующих компонентов в структуре мультиагентной информационной системы поддержки деятельности выпускающей кафедры / А.П.Сергушичева // Системы управления и информационные технологии 2006, № 3.1(25). -С.190-194.

200. Сергушичева А.П., Швецов А.Н. Гибридный подход к синтезу тестовых заданий в тестирующих системах/ Математика, Компьютер, Образование: Сборник научных трудов. Выпуск 13. Том 1 / Под ред. Г.Ю.Ризниченко. Москва-Ижевск, R&C Dynamics, 2006. - С.215-228.