автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Программно-инструментальный комплекс для автоматизированного контроля знаний

На правах рукописи УДК 004.415.2

Стась Андрей Николаевич

ПРОГРАММНО-ИНСТРУМЕНТАЛЬНЫЙ КОМПЛЕКС ДЛЯ АВТОМАТИЗИРОВАННОГО КОНТРОЛЯ ЗНАНИЙ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Томск - 2004

Работа выполнена в Томском государственном педагогическом университете

Научный руководитель: доктор физико-математических наук,

профессор Горчаков Леонид Всеволодович

Официальные оппоненты: доктор технических наук,

профессор Костюк Юрий Леонидович

кандидат технических наук,

доцент Кручинин Владимир Викторович

Ведущая организация: Томский политехнический университет.

Защита состоится 23 сентября 2004 года в 14:30 в ауд. 102 второго учебного корпуса на заседании диссертационно! о совета Д212.267.08 в Томском государственном университете по адресу: 634050, пр. Ленина, 36.

С диссертацией можно ознакомиться в библиотеке Томского государственного университета.

Автореферат разослан 20 августа 2004 года.

Ученый секретарь диссертационного совета

доктор техн. наук, доцент

Скворцов А. В.

Актуальность темы исследования

Одной из фундаментальных проблем как в сфере общего, так и профессионального образования является необходимость объективного контроля знаний студентов. В России поставлена задача создания в кратчайшие сроки национальной системы оценки учебных достижений, на основе которой будет идти модернизация и дальнейшее развитие всех ступеней образования. Решение этой задачи стало ещё более необходимым после присоединения России к Болонскому соглашению. В связи с этим встает вопрос об использовании тестов как научно-обоснованного метода контроля знаний. Основные исследования в этом направлении проводятся в нашей стране B.C. Аванесовым, М.Б. Челышковой, А.Н. Майоровым, В.А. Хлебниковым, О.А. Татуром и др. Многие положения тестологии заимствованы из теории программированного обучения и контроля (В.П. Бес-палько, П.Я. Гальперин, Б.Ф. Скиннер, Н.Ф. Талызина, А.И. Берг, М.А. Константиновский и др.).

Тестовая форма предоставляет ряд возможностей для автоматизации наиболее трудоёмких и не творческих этапов контроля. Автоматизированный контроль знаний находит всё более широкое применение как в рамках традиционного, так и дистанционного образования. Он является также неотъемлемой составной частью обучающих систем и комплексов. В процессе реформирования системы образования постоянный контроль знаний становится частью системы обучения, он должен взаимодействовать с ней и с задачами обучения.

Существует множество параметров, по которым можно оценить качество того или иного метода контроля или характеристики той или иной тестовой системы. Задача контроля знаний может существовать в нескольких различных вариациях. Поэтому следует, в частности, различать оперативный и итоговый контроль.

Оперативный контроль предполагает быстрый способ оценивания знаний по ходу учебного процесса с целью выявления пробелов в знаниях отдельных обучаемых и групп в целом, что позволит вовремя и в нужном направлении скорректировать траекторию обучения. Существует достаточно много тестовых оболочек, пригодных для оперативного контроля знаний, но они пока ещё не удовлетворяют всем педагогическим требованиям и требованиям программной эффективности.

Итоговый контроль знаний предполагает более жесткие требования к качеству оценки тестового балла, при этом требования, обусловленные необходимостью высокой скорости разработки тестовых материалов, несколько снижаются. Для достижения высокого качества диагностики знаний здесь необходима поддержка как можно большего числа разновидностей тестовых заданий. В тоже время желательно, чтобы метод оценки

РОС НАЦИОНАЛЬНАЯ БИБЛИОТЕКА

знаний, в целях обеспечения целостности тестов, вписывался в рамки какой-то одной педагогической технологии.

Отдельно следует рассмотреть задачу определения уровня знаний абитуриентов или, иначе говоря, приема вступительных испытаний в ВУЗы. Эта задача имеет несколько особенностей. Здесь сохраняются все требования, предъявляемые к итоговому контролю знаний. Но цена ошибки здесь еще выше, так как, с одной стороны, в ходе вступительных испытаний во многом определяется дальнейшая судьба человека, а с другой стороны, обеспечение бесплатным высшим образованием действительно самых достойных - задача государственной важности. К сожалению, в настоящее время актуальна проблема коррупции в ходе приема вступительных испытаний, поэтому в системе автоматизированной диагностики знаний на вступительных экзаменах необходимо обеспечение безопасности данных как от операторов этой системы, так и от иных лиц.

В настоящее время в рамках образовательной реформы продолжается эксперимент по введению единого государственного экзамена (ЕГЭ). В 2002 г. в эксперименте было задействовано 16 регионов России, в том числе и Томская область, а 2003 году уже 47 регионов. В связи с этим проявляются еще ряд требований к автоматизированной системе, например, совместимость измерительных шкал, возможность ее использования в системе ЕГЭ и т.д. Следует учесть и то, что прием вступительных экзаменов -это только один из этапов в работе приемной комиссии. Отсюда вытекает требование открытости системы, т.е. возможности совместимости с системами, автоматизирующими другие этапы работы приемной комиссии.

В отличие от двух предыдущих задач, здесь непригоден метод электронного тестирования, поскольку образовательные учреждения РФ часто не располагают необходимыми вычислительными ресурсами для проведения электронного тестирования достаточно большого потока абитуриентов за достаточно короткое время. Кроме того, не смотря на то, что технически и юридически решены проблемы генерации электронной документации, необходимой при апелляциях и при комплексных проверках деятельности приемных комиссий, на данный момент, традиционная документация пользуется большей степенью доверия со стороны абитуриентов и их родителей.

Поэтому здесь необходимо использовать бланочную форму тестирования, что порождает еще одну нетривиальную техническую задачу - распознавание ответов абитуриента после сканирования бланков билетов в автоматическом режиме.

Таким образом, актуальность исследования определяется потребностью разработки автоматизированных систем, обеспечивающих эффективное использование тестовых технологий контроля знаний для решения различных задач в процессе обучения.

Работа выполнялась по плану целевой федеральной программы «Создание Федерального ресурсного центра научного, научно-методического, кадрового и материально-технического обеспечения развития единой образовательной информационной среды в Сибирском федеральном округе». Результаты включены в отчет по выполнению работ по договору № 708 от 15 ноября 2002г.

Проблема исследования определяется противоречием между общественной потребностью перехода к объективным методам контроля знаний в процессе обучения в высшей и средней школе и использующимися в настоящее время методами контроля.

Объектом исследования является процесс контроля знаний абитуриентов, поступающих в ВУЗ, а также процесс оперативного и итогового контроля знаний в ходе обучения в школе и ВУЗе.

Предметом исследования являются вопросы автоматизации тестового контроля знаний различных типов.

Целью исследования является разработка программно-инструментального комплекса и методического обеспечения для автоматизации оперативного и итогового контроля знания и проведения вступительных испытаний в ВУЗах, включающего:

• тестовую оболочку, предназначенную для создания автоматизированных средств оперативного контроля знаний;

• комплект тестов по курсам «Теоретические основы информатики»; «Программное обеспечение», «Архитектура компьютера», как пример средств оперативного контроля знаний;

• систему итогового контроля знаний, основанную на использовании авторской педагогической технологии В. М. Монахова;

• набор тестовых заданий для итогового контроля знаний по курсу «Теоретические основы информатики»;

• систему автоматизированного приема вступительных испытаний, включающую себя набор заготовок тестовых заданий по иностранным языкам (немецкому, английскому, французскому), русскому языку, истории, литературе, подсистему формирования банка данных тестовых заданий, подсистему подготовки индивидуальных экзаменационных билетов по всем дисциплинам, подсистему подготовки базы данных абитуриентов, подсистему автоматической проверки экзаменационных работ, а также подсистему удаленного тестирования через Интернет, предназначенную для подготовки к вступительным испытаниям.

Задачи исследования

1. Выявить общий подход, принципы и методы создания автоматизированных систем контроля знаний, ориентированных на контроль различных типов.

2. Разработать автоматизированные системы, предназначенные для различных типов контроля знаний.

3. Разработать методику применения автоматизированных средств оперативного и итогового контроля знаний (на примере курса «Теоретические основы информатики»).

4. Экспериментально проверить эффективность применения разработанных систем оперативного и итогового контроля знаний в процессе обучения курсу «Теоретические основы информатики».

5. Экспериментально проверить автоматизированную систему приема вступительных испытаний в процессе работы приемной комиссии.

Методы исследования

Реализация сформулированных целей и задач осуществлялась с использованием основных теоретических положений объектно-ориентированного проектирования и программирования, математической статистики, теории реляционных баз данных, основных положений тесто-логии и педагогической квалиметрии.

Научная новизна и теоретическая значимость

• Разработана и реализована в программном комплексе технология, обеспечивающая полную автоматизацию всех этапов проведения вступительных испытаний по комплексу дисциплин.

• Разработаны удобные форматы определения тестовых заданий в системе «Экзамены», исходя из предметных особенностей каждой дисциплины.

Практическая значимость и внедрение результатов работы

• Разработано программно-инструментальное обеспечение для автоматизации и объективизации различных видов контроля знаний.

• Создана методика применения систем Express и СИКЗ в процессе обучения (на примере курса «Теоретические основы информатики»), которая способствует объективизации контроля знаний, активизации учебно-познавательной деятельности студентов и повышению эффективности образовательного процесса в целом.

• Системы Express и СИКЗ внедрены и используются в средних школах № 15 и № 51 г. Томска, а также на кафедре информационных технологий ТГПУ. СИКЗ применяется в процессе итогового контроля знаний, система Express используется для оперативного контроля знаний на ауди-

торных занятиях и для самоконтроля в процессе самостоятельной работы обучаемых.

• Разработанная система «Экзамены» внедрена в приемной комиссии ТГПУ и апробирована в 2002 и 2003 годах.

Основные защищаемые положения

1. Технология проведения вступительных экзаменов, следствием которой явилась полная автоматизация всех этапов проведения вступительных испытаний по комплексу дисциплин.

2. Структуры баз тестовых заданий, используемых при проведении вступительных испытаний.

3. Система тренинга и самоконтроля в процессе подготовки к вступительным экзаменам с помощью удаленного доступа к базе тестов.

Апробация работы

Результаты диссертационной работы докладывались на следующих конференциях:

1) II Сибирской школе молодого ученого, Томск, ТГПУ, 1999 г.

2) IV конференции студентов, аспирантов и молодых ученых «Наука, образование и общество», Томск, ТГПУ, 2000 г.

3) Всероссийской конференции «Открытое и дистанционное образование», Томск, ТГУ, 2001 г.

4) XI Международной конференции по вычислительной механике и прикладным программным средствам, Москва-Истра, МАИ, 2001 г.

5) Всероссийской научно-практической конференции - выставке «Единая образовательная информационная среда: проблемы и пути развития», Томск, ТГУ, 2002 г.

6) ХП Международной конференции по вычислительной механике и прикладным программным средствам, Москва-Владимир, МАИ, 2003 г.

7) Региональной научно-практическая конференции «Информационные недра Кузбасса», Кемерово, 2003 г.

8) П Всероссийской научно-практической конференции — выставке «Единая образовательная информационная среда: проблемы и пути развития», Томск, ТГУ, 2003 г.

9) X Международной научно-методической конференции «Новые информационные технологии в университетском образовании», Новосибирск, СибГУТИ, 2003 г.

Структура диссертации

Диссертация состоит из введения, трех глав и заключения. Основная часть содержит 129 страниц текста, 7 таблиц, 45 рисунков, 14 формул и 122 литературных источника. В диссертации имеется 4 приложения на 71

странице (техническое описание систем Express и СИКЗ, образцы экзаменационных билетов, результаты работы приемной комиссии в ТГПУ в 2002 году, акты о внедрении разработок и свидетельства о регистрации программных средств).

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обоснована актуальность темы исследования, определены проблема, цель и задачи исследования, выделены объект и предмет исследования. Обоснованы методы исследования, приведены положения, выносимые на защиту, раскрыта научная новизна, теоретическая и практическая значимость исследования.

В первой главе в рамках анализа литературы по теме исследования определены понятия педагогического теста и тестовых заданий, проведена их классификация. Перечислены и проанализированы основные требования к тестам и тестовым заданиям. Рассмотрены основные статистические параметры педагогических тестов, позволяющие оценивать качество отдельных тестовых заданий и тестов в целом и, таким образом, позволяющие рассматривать тестирование как научно-обоснованный метод контроля знаний. В частности, дано определение таким понятиям, как сложность (трудность) тестового задания и теста, коэффициент дискриминации, надежность, валидность, описан метод определения оптимальной длины теста. Перечислены требования, обычно предъявляемые к средствам тестирования, указано на некоторые противоречия в них. Отмечено, что многие из этих противоречий можно снять с помощью раздельного решения проблемы автоматизации разных типов контроля.

Проведен анализ существующих средств тестирования, выявлены их основные недостатки.

Во второй главе рассмотрены задачи оперативного и итогового контроля знаний и описаны авторские разработки по данной тематике.

Сформулирована основная концепция разработанной оболочки Express. Система предназначена, прежде всего, для оперативного контроля знаний в процессе обучения, в связи с этим она, во-первых, должна быть компактной, легко переносимой с одного компьютера на другой с помощью дискеты, а во-вторых, удобной для преподавателя, поскольку для оперативного контроля, как правило, требуется тесты, составленные самим преподавателем. Под удобством подразумевается, прежде всего, достаточно простой интерфейс пользователя, а также возможность использования преподавателем его методических наработок, которые зачастую существуют в электронном виде в популярных форматах (например, Microsoft Word). Описано решение проблемы совместимости оболочки Express с широко используемыми на практике программными продуктами, такими как приложения Microsoft Office, Visio, различные графические системы.

Приведены результаты педагогического эксперимента по применению системы в процессе изучения курса «Теоретические основы информатики» студентами ТГПУ. С помощью системы был проведен оперативный контроль знаний по теме «Теория графов», с помощью теста из 28 заданий. На основе объективных показателей выработаны рекомендации по необходимости совершенствования отдельных тестовых заданий. Сделаны выводы об основных преимуществах разработанной системы перед уже существующими программными продуктами.

Второй параграф главы посвящен проблемам итогового контроля знаний. Кратко изложены основные принципы авторской педагогической технологии В. М. Монахова, используемые при разработке системы итогового контроля знаний (СИКЗ). Приведено описание формата тестового задания и структуры банка тестовых заданий. Идея тестирования состоит в том, что тест должен был составлен таким образом, чтобы его можно было применить на нескольких образовательных уровнях, например, как в обычной школе, так и в специализированной гимназии, как для студентов факультетов информатики, так и непрофильных факультетов. В данной системе выработано следующее соглашение о формате тестового задания. Тестовое задание содержит четыре подзадания, каждый из которых требует конкретного ответа (закрытая форма). При этом каждое подзадание соответствует одному из четырех уровней контроля.

Пример тестового задания. Дано изображение графа.

2 13 3

5 2 6

1) Укажите число вершин в нем

2) Укажите число ребер в нем

3) Вычислите цикломатическое число графа

4) Вычислите суммарный вес ребер в минимальном остове этого графа.

На первом уровне контроля при выставлении оценки учитываются только решения первых подзаданий, на втором - первых и вторых, на третьем - первых, вторых и третьих, на четвертом - всех. Банк тестовых заданий имеет трехуровневую структуру. Все задания банка прежде всего распределены по принципу принадлежности к тому или иному предмету (области знаний), например информатика, математика, химия и т.д. Каждый предмет состоит из обособленных разделов, а каждый раздел состоит из отдельных тем. Предполагается, что если разделы представляют собой

темы не является столь жестким. Для каждой темы создается свой набор тестовых заданий. СИКЗ состоит из нескольких компонентов, отвечающих соответственно за поддержание банка тестовых заданий, компоновку тестов и проведение тестирования, статистический анализ результатов тестирования. Проведены испытания системы на примере итогового контроля знаний по курсу (разделу) «Теоретические основы информатики». Наблюдается высокая степень соответствия между результатами тестирования и итоговым экзаменационным баллом.

В третьей главе рассмотрена задача контроля знаний абитуриентов на вступительных испытаниях и автоматизации этого процесса.

Рассмотрены основные аспекты проблемы организации работы приемных комиссий ВУЗов и проведения вступительных испытаний, выявлены основные недостатки приема вступительных испытаний в традиционной форме. Основной задачей приемных комиссий государственных ВУЗов РФ является обеспечение соблюдения прав граждан на образование, установленных Конституцией Российской Федерации, законодательством Российской Федерации, гласности и открытости всех процедур приема, а также организация честного конкурса с равными возможностями для всех. Работа приемной комиссии состоит из следующих этапов: 1) прием документов и регистрация абитуриентов; 2) формирование оптимального графика вступительных испытаний исходя из количества абитуриентов, сдающих тот или иной предмет и вместимости аудиторий; 3) вступительные испытания; 4) подведение итогов и зачисление. Слабым местом в работе приемных комиссий является процедура приема вступительных испытаний, так как в этом случае очень многое зависит от одного-двух экзаменаторов. Таким образом, представляется целесообразной автоматизация приема вступительных испытаний. Сформулированы и обоснованы основные требования к автоматизированной системе:

• соблюдение всех требований, предъявляемых к итоговому контролю знаний;

• обеспечение безопасности данных как от операторов автоматизированной системы, так и от иных лиц;

• совместимость оценочной шкалы со 100-бальной шкалой, принятой для системы ЕГЭ;

• возможность применения метода оценки знаний в рамках ЕГЭ;

• возможность развития автоматизированной системы в сторону автоматизированной системы проведения ЕГЭ;

• открытость системы, т.е. возможность интеграции системы в автоматизированную систему приемной комиссии;

• необходимость поддержки бланочной формы тестирования.

Описан процесс работы приемной комиссии при использовании разработанной автоматизированной системы, представленный на рис. 1.

Рис. 1. Схема работы приемной комиссии

Проведен обзор разработок, направленных на автоматизацию процесса приема вступительных испытаний. Рассмотрены подходы к автоматизации основных этапов проведения вступительных испытаний: подготовки базы данных абитуриентов, подготовки базы экзаменационных тестов, генерация и печать индивидуальных экзаменационных билетов, приведены их образцы по всем предметам. В качестве примера приведем лицевую сторону билета по русскому языку (рис. 2).

►'аде 1

1. Найдите № пропущенной буквы в алфавит» и »пишите в ответ этот № (смотрите образец написания цифр):

1.1. Пр чооня. вид мин, г_нтети, сост_зание.

Ответ 111 №вет11 2 01ВОТ1 1.30твег1 ЛА

1.2.Ш пот.то сеть.ко_>ба,размсш ииый.

ОмиЮплШ ОлатШОплШ

Штрих код фамилии

□гШНБЙГШЯ

Образец неписания цифр

2. Найдите в таблице № пропущенного знака препинания и запишите в ответ этот № (смотрите образец написания цифр):

Вв буке« Кв Бутвв Ив буке«

01 ■ 11 К 23 к

щ б 13 Л 24 Ц

03 В 14 м 26 ч

Ш г 15 н за ш

05 д 1В о и щ

СБ « 1Г П 2В ъ

07 * 18 р 29 ы

ОВ ж 19 с 30 ь

се в 20 т 31 э

Ш и 21 У 32 ю

11 й 23 ♦ 33 и

№ Знак препинания:

3* (запятая) - '

35 - (тире)

35 (двоеточие)

37 знак не нужен)

2Мы обошли кругом усадьбьй прохода нигде не было. СердцеО преглубокий колодезьО долго не * дощулаешься дна. Глаза у барыни светилисьО как светит шлифованный камень.

Они сошлисьП волна и камень^ стихи и лрозаО лед и пламень не столь различны меж собой Невдалеке от самолета бесшумно вспухали маленькие белые облачкгО разрывы зенитных снарядов.

Отвпт 2Л 1 Ответ 3.1.2 Опат 2.13 Ответ 21 4 Ответ 23-1 Ответ 2ЭД Ответ 2.2.3 Ответ 23 4

3. Определите, какой частью речи является каждое подчеркнутое слово, в ответ запишите его № из таблицы {по образцу).

3 1. Уважение среди рабочих гаража Вайс приобрел благодаря своему умению спокойно, без лишних разговоров выполнять сложную техническую рабо1у по ремонту машин.

3.2 Гаммы звуков были необычные, ни на что

Ответ311 Ответ3.1.2 Ответ3.1.3Ответ3,1 * Ответ32.1 ОгаггШ Ответ3.2.3Ответ3.24

№ Часть речи:

за глагол

39 деепричастие

га междометие

41 местоимение

42 наречие

43 предлог

44 прилагательное

45 причастие

46 союз

47 существительное

43 частица

49 числительное

Рис. 2. Лицевая сторона билета по русскому языку

Обратим внимание, что каждый билет генерируется случайным образом и является уникальным. С другой стороны, в момент подготовки он является анонимным и идентифицируется только штрих кодом номера билета.

Рассмотрен этап подготовки наклеек штрих кодов и решение проблемы безопасности. При подготовке штрих кодов используется ключ, хранящийся только на одной ЭВМ, где происходит подготовка штрих кодов и дешифровка, осуществляемая после анонимной проверки работ. Штрих коды печатаются на специальной липкой бумаге Raflacut формата А4 (рис. 3).

Наклейка с личным штрих кодом помещается на билет работниками технической комиссии непосредственно во время проведения вступительного экзамена или перед его началом.

Рассмотрено решение проблемы автоматической проверки работ. Обращено внимание на анонимность проверки. Действительно, в ходе проверки сканируются только номера билетов и ответы абитуриентов, и начисленный тестовый балл привязан только к номеру билета. Отдельно рассмотрен алгоритм распознавания ответов абитуриента, вводимых в виде почтовых индексов. Дешифровка работ осуществляется путем сканирования штрих кодов номеров билетов и штрих кодов абитуриентов. После дешифровки печатаются экзаменационные ведомости.

Далее рассмотрена подсистема удаленного тестирования через Интернет, облегчающая абитуриентам процесс подготовки к вступительным экзаменам. Подсистема состоит из тест-сервера и нескольких удаленных клиентов для тестирования по различным предметам, а также система контроля остаточных знаний через Интернет на основе развития идей, положенных в основу системы «Экзамены».

В заключение главы, приведены результаты испытаний системы «Экзамены» в процессе работы приемной комиссии ТГПУ в 2002 году. Для примера на рис. 4 приведем итоговое распределение баллов по истории. Диаграмма имеет ярко-выраженную склонность к нормальному распределению.

Рис. 3. Печать наклеек со штрих кодами абитуриентов

В заключении приведены основные результаты диссертационного исследования и обобщены выводы, а также определены возможные направления дальнейшей научной работы.

Рис. 4. Результаты экзаменов по истории

В диссертации решена актуальная для системы общего и профессионального образования задача по созданию программно-инструментального комплекса для автоматизированного контроля знаний учащихся и студентов. Актуальность исследования определяется потребностью внедрения тестовых технологий контроля знаний для решения различных задач в процессе обучения и разработки автоматизированных систем контроля знаний.

Основные результаты работы заключаются в следующем.

1. Разработано программно-инструментальное обеспечение, обеспечивающее полную автоматизацию приема вступительных испытаний (система «Экзамены»). Автоматизация этого процесса позволила решить проблемы:

• обеспечения анонимности при проведении вступительных испытаний за счет надежного метода шифрования данных абитуриентов и генерации индивидуальных экзаменационных билетов непосредственно перед экзаменом;

• улучшения качества отбора абитуриентов за счет применения тестов, как научно-обоснованного метода контроля знаний;

• снижение нагрузки на работников приемных и предметных комиссий при проведении вступительных экзаменов;

• помощи абитуриентам в процессе подготовки к вступительным испытаниям путем удаленного тестирования через Интернет.

2. Разработано программно-инструментальное обеспечение (тестовая оболочка) для оперативного контроля знаний Express. Применение автоматизированной системы при оперативном контроле знаний позволяет выявить пробелы в знаниях обучаемых по ходу учебного процесса и обеспечить преподавателя необходимой информацией для корректирования учебного процесса.

3. Разработано программно-инструментальное обеспечение системы итогового контроля знаний (СИКЗ). Его использование позволяет обеспечить более объективные показатели учебных достижений.

4. Разработана методика применения систем Express и СИКЗ в процессе обучения (на примере курса «Теоретические основы информатики»), которая способствует объективизации контроля знаний, активизации учебно-познавательной деятельности студентов и повышению эффективности образовательного процесса в целом.

5. Теоретическим результатом работы является новая технология решения задачи объективного контроля знаний при проведении вступительных испытаний в ВУЗах, на этапах текущего и итогового контроля при изучении различных дисциплин учебного плана.

Список публикаций по теме диссертации

1. Клишин А.П., Стась А.Н. Оболочка для создания и использования компьютерных тестов // Математическое моделирование, 2002, № 9, с. 24— 26.

2. Клишин А.П., Стась А.Н., Чуков А.Н. Тестирующая система Express-2 // Открытое и дистанционное образование, 2001, № 1(3), с. 44-45.

3. Стась А.Н., Стахин Н.А., Чуков А.Н., Горчаков Л.В. Автоматизированная система приема вступительных экзаменов // Открытое и дистанционное образование, 2002, № 4(8), с. 132-133.

4. Стась Н. Ф., Стась А. Н. Авторский пакет обучающих программ по химии // Открытое и дистанционное образование, 2002, № 4(8), с. 86-88.

5. Горчаков Л.В., Стахин Н.А., Стась А.Н., Горюнов В.А. Подсистема удаленного тестирования на основе системы «Экзамены» // Информационные недра Кузбасса: Труды региональной научно-практической конференции. - Кемерово: изд-во Кем. гос. ун-та, 2003, с. 138-139.

6. Стась А.Н., Парфенов А.Г., Стахин Н.А., Горюнов В.А. Подсистема удаленного тестирования на основе системы «Экзамены» //Единая об-

#15 4 7 2

разовательная информационная среда: Материалы второй Всероссийской научно-практической конференции-выставки. - Томск: изд. Том. ун-та, 2003, с. 97-98.

7. Клишин А.П., Стась А.Н. Оболочка для создания и использования компьютерных тестов // Тезисы докладов XI международной конференции по вычислительной механике и современным прикладным программным средствам - ВМСППС2001. - М.-Истра, 2001, с . 218-220.

8. Стась А. Н., Стахин Н. А., Горюнов В. А., Бачурин М. В. Автоматизированная система приема вступительных испытаний // Тезисы докладов ХП международной конференции по вычислительной механике и современным прикладным программным средствам - ВМСППС'2003. - М.Владимир, 2003, с. 582-583.

9. Стась А.Н. Основные принципы проектирования СУБД для управления учебным процессом на основе модели данных "сущность-связь" // П Сибирская школа молодого ученого. - Томск: изд-во Том. гос. пед. ун-та, 2000, с. 61-64.

10. Стась А.Н. Механизмы хранения структуры и данных в ER-модели // Материалы IV межвузовской конференции студентов, аспирантов и молодых ученых. Т. 1. - Томск: изд-во Том. гос. пед. ун-та, 2000, с. 117-119.

11. Стахин Н.А., Стась А.Н., Чуков А.Н., Бачурин М.В., Соколовский А.Н. Автоматизированная система приема вступительных испытаний «Экзамены» // Зарегистрирована в Отраслевом фонде алгоритмов и программ Государственного координационного центра информационных технологий. Свидетельство о регистрации № 2472 от 28 марта 2003 года.

12. Клишин АЛ, Стась А.Н. Тестовая оболочка Express 2.0 // Зарегистрирована в Отраслевом фонде алгоритмов и программ Государственного координационного центра информационных технологий. Свидетельство о регистрации № 2474 от 28 марта 2003 года.

Подписано в печать: 18.08.2004 г. Бумага: офсетная Тираж: 100 экз. Заказ: № 612

Печать: трафаретная Формат: 60x84/16

Издательство ООО «Дельтаплан» 634064, г. Томск, ул. Пирогова, 10. Тел.(3822)56-45-51,20-47-80

Введение

Глава 1. О проблемах объективного контроля знаний

1.1. Понятие педагогического теста

1.2. Виды тестовых заданий 18 т 1.3. Основные статистические параметры педагогических тестов

1.3.1. Матрица тестовых заданий

1.3.2. Сложность или трудность тестового задания

1.3.3. Различительная способность и коэффициент дискриминации

1.3.4. Надежность теста

1.3.5. Значимость (валидность)

1.3.6. Оптимальная длина теста

1.4. Требования к средствам тестирования

1.5. Классификация и состояние работ по автоматизированным средствам контроля знаний

1.5.1. Общий обзор автоматизированных средств контроля знаний

1.5.2. Обзор средств оперативного контроля знаний

1.5.3. Обзор средств итогового контроля знаний

• 1.5.4. Основные проблемы проведения вступительных экзаменов

1.5.5. Основные принципы организации работы приемной комиссии при использовании системы «Экзамены»

Выводы к главе

Глава 2. Системы оперативного и итогового контроля знаний

2.1. Система оперативного контроля знаний t 2.1.1. Основная концепция системы

2.1.2. Формат тестовых файлов (*.tst)

2.1.3. Совместимость

2.1.4. Безопасность

2.1.5. Область применения

2.1.6. Использование системы

2.1.7. Требования, предъявляемые к разработке тестовых заданий

2.1.8. Расчет статистических параметров

2.1.9. Испытание оболочки на примере курса «Теоретические основы информатики», как пример использования системы

2.1.10. Основные преимущества системы «Express» 63 2.2. Система итогового контроля знаний (СИКЗ)

2.2.1. Основные принципы педагогической технологии

В. М. Монахова

2.2.2. Формат тестового задания и структура банка тестовых заданий

2.2.3. Структура оболочки

2.2.4. Использование системы

2.2.5. Расчет статистических параметров

2.2.6. Испытание СИКЗ на примере курса «Теоретические основы информатики», как пример использования системы

2.2.7. Основные преимущества СИКЗ 75 Выводы к главе

Глава 3. Разработка автоматизированной системы проведения вступительных экзаменов

3.1. Разработки, направленные на решение проблемы автоматизированного проведения вступительных экзаменов

3.2. Проведение вступительных испытаний с помощью системы «Экзамены»

3.2.1. Заполнение баз данных тестов

3.2.2. Печать экзаменационных билетов

3.2.3. Подготовка средств кодирования работ 80 3.2.3. Сканирование билетов

3.2.5. Ручной ввод ответов

3.2.6. Подготовка списка экзаменуемых лиц

3.2.7. Кодирование работ

3.2.8. Проверка работ

3.2.9. Распознавание ответов абитуриента

3.2.10. Декодирование работ

3.2.11. Печать экзаменационных ведомостей

3.3. Обеспечение безопасности данных в процессе функционирования системы

3.4. Решение технической проблемы распознавания штрих кодов и ответов абитуриентов

3.4.1. Постановка задачи

3.4.2. Основные подходы к решению задачи

3.4.3. Основные этапы решения задачи

3.4.4. Поиск блока индексов 95 « 3.4.5. Обработка блока индексов с последующей сегментацией

3.4.6. Методы распознавания индексов внутри блока

3.4.7. Используемый подход к распознаванию индексов

3.5. Подсистема удаленного тестирования

3.5.1. Общее назначение подсистемы

3.5.2. Тест-сервер 100 « 3.5.3. Клиентская часть

3.5.4. Веб-сайт подсистемы

3.6. Система контроля остаточных знаний через Интернет

3.7. Основные результаты апробирования системы в процессе работы приемной комиссии ТГПУ

3.8. Основные преимущества системы «Экзамены» 111 Выводы к главе

Актуальность исследования

Одной из фундаментальных проблем как в сфере общего, так и профессионального образования является необходимость объективного контроля знаний студентов [1, 2]. В связи с этим встает вопрос об использовании тестов как научно-обоснованного метода контроля знаний [2, 65, 80, 109].

В свою очередь, тестовая форма контроля предоставляет ряд возможностей для автоматизации некоторых этапов контроля [69]. Автоматизированный контроль знаний находит широкое применение как в рамках традиционного, так и дистанционного образования. Он является также неотъемлемой составной частью обучающих систем и комплексов [57, 95]. Постоянный контроль знаний должен стать частью системы обучения, он должен взаимодействовать с ней и с задачами обучения [85, 97].

Существует множество параметров, по которым можно оценить качество того или иного метода контроля или характеристики той или иной тестовой системы. Задача контроля знаний может существовать в нескольких различных вариациях. Поэтому следует, в частности, различать оперативный и итоговый контроль.

Оперативный контроль знаний предполагает быстрый способ оценивания знаний по ходу учебного процесса с целью выявления пробелов знаний отдельных обучаемых и групп в целом, что позволит вовремя в нужном направлении скорректировать траекторию обучения. В этом случае на первое место при оценке качества автоматизированного средства выходят:

• минимизация времени, затрачиваемого на тестирование,

• простой и удобный интерфейс пользователя для преподавателя — разработчика тестов,

• возможность быстрого редактирования тестов (на случай внесения изменения в рабочую программу или государственный образовательный стандарт).

В тоже время сохраняет актуальность задача получения объективной оценки знаний, поэтому средство должно содержать блок расчета статистических параметров тестов и отдельных тестовых заданий, на основе которых можно сделать вывод о пригодности тестового задания или теста в целом.

Кроме того, непростая ситуация, сложившееся в данное время в сфере образования в Российской Федерации, в частности, выражается в том, что образовательные учреждения оснащены далеко не самой новой и лучшей вычислительной техникой. В тоже время сама идея оперативного контроля имеет педагогическую значимость только в случае, если тестирование проводить регулярно. Таким образом, можно выделить еще одно существенное требование - эффективность системы, как программного средства, т. е. как можно более скромные требования:

• к объему дискового пространства,

• к объему памяти, требуемому для нормальной работы системы,

• к техническим параметрам ЭВМ.

Существует достаточно много тестовых оболочек, удовлетворяющих первой группе требований, но они, как правило, не совсем удовлетворяют требованиям программной эффективности.

Итоговый контроль знаний предполагает более жесткие требования к качеству оценивания тестового балла, при этом требования, обусловленные необходимостью высокой скорости разработки тестовых материалов, несколько снижаются. Для достижения высокого качества диагностики знаний необходимо поддержка как можно большего числа разновидностей тестовых заданий [2]:

• заданий с однозначным выбором,

• заданий с множественным выбором,

• заданий с открытой формой ответа (ответ формулируется тестируемым),

• заданий на установление порядка следования,

• заданий на установление соответствия.

Отдельно следует рассмотреть задачу определения уровня знаний абитуриентов или, иначе говоря, приема вступительных испытаний в ВУЗы. Эта задача имеет несколько особенностей.

Во-первых, сохраняются все требования, предъявляемые к итоговому контролю знаний. Действительно, цена ошибки здесь еще выше, так как, с одной стороны, в ходе вступительных испытаний во многом определяется дальнейшая судьба человека, а с другой стороны, обеспечение бесплатным высшим образованием действительно самых достойных — задача государственной важности.

Во-вторых, в настоящий момент актуальна проблема коррупции в ходе приема вступительных испытаний. В случае автоматизированной диагностики знаний необходимо обеспечение безопасности данных как от операторов автоматизированной системы, так и от иных лиц.

В третьих, в настоящее время в рамках образовательной реформы продолжается эксперимент по введению единого государственного экзамена (ЕГЭ) [84]. В 2002 г. в эксперименте было задействовано 16 регионов России, в том числе и Томская область [84], а в 2003 году уже 45 регионов. Так проявляется еще ряд требований к автоматизированной системе:

• совместимость оценочной шкалы со 100-бальной шкалой, принятой для системы ЕГЭ [84],

• возможность применения метода оценки знаний в рамках ЕГЭ,

• возможность развития автоматизированной системы в сторону автоматизированной системы проведения ЕГЭ.

В четвертых, следует учесть, что прием вступительных экзаменов -это только один из этапов в работе приемной комиссии. Отсюда вытекает требование открытости системы, т. е. возможности совместимости с системами, автоматизирующими иные этапы работы приемной комиссии.

В пятых, в отличие от двух предыдущих задач, здесь непригоден метод электронного тестирования, поскольку:

• образовательные учреждения РФ часто не располагают необходимыми вычислительными ресурсами для проведения электронного тестирования достаточно большого потока абитуриентов за достаточно короткое время;

• несмотря на то, что технически и юридически решены проблемы генерации электронной документации, необходимой при апелляциях и при комплексных проверках деятельности приемных комиссий, на данный момент, традиционная документация пользуется большей степенью доверия со стороны абитуриентов и их родителей.

Поэтому здесь необходимо использовать бланочную форму тестирования, что порождает еще одну нетривиальную техническую задачу - распознавание ответов абитуриента после сканирования бланков билетов в автоматическом режиме. Такая задача относится к области искусственного интеллекта (распознавание образов) [36, 104]. Затрудняют решение этой задачи высокие требования, предъявляемые к точности ее решения.

В настоящее время не существует автоматизированных систем, соответствующих всем вышеперечисленным требованиям.

Таким образом, актуальность исследования определяется потребностью разработки автоматизированных систем, обеспечивающих эффективное использование тестовых технологий контроля знаний для решения различных задач в процессе обучения.

Проблема исследования определяется противоречием между общественной потребностью перехода к объективным методам контроля знаний в процессе обучения в высшей и средней школе и использующимися в настоящее время методами контроля.

Объектом исследования является процесс контроля знаний абитуриентов, поступающих в ВУЗ, а также процесс оперативного и итогового контроля знаний в ходе обучения в школе и ВУЗе.

Предметом исследования являются вопросы автоматизации тестового контроля знаний различных типов.

Целью исследования является разработка программно-инструментального комплекса и методического обеспечения для автоматизации оперативного и итогового контроля знания и проведения вступительных испытаний в ВУЗах, включающего:

• тестовую оболочку, предназначенную для создания автоматизированных средств оперативного контроля знаний;

• комплект тестов по курсу «Теоретические основы информатики»; как пример использования системы;

• систему итогового контроля знаний, основанную на использовании авторской педагогической технологии В. М. Монахова;

• набор тестовых заданий для итогового контроля знаний по курсу «Теоретические основы информатики»;

• систему автоматизированного приема вступительных испытаний, включающую себя набор заготовок тестовых заданий по иностранным языкам (немецкому, английскому, французскому), русскому языку, истории, литературе, подсистему формирования банка данных тестовых заданий, подсистему подготовки индивидуальных экзаменационных билетов по всем дисциплинам, подсистему подготовки базы данных абитуриентов, подсистему автоматической проверки экзаменационных работ, а также подсистему удаленного тестирования через Интернет, предназначенную для подготовки к вступительным испытаниям.

Задачи исследования

1. Выявить общий подход, принципы и методы создания автоматизированных систем контроля знаний, ориентированных на контроль различных типов.

2. Разработать автоматизированные системы, предназначенные для различных типов контроля знаний.

3. Разработать методику применения автоматизированных средств оперативного и итогового контроля знаний (на примере курса «Теоретические основы информатики»).

4. Экспериментально проверить эффективность применения разработанных систем оперативного и итогового контроля знаний в процессе обучения курсу «Теоретические основы информатики».

5. Экспериментально проверить автоматизированную систему приема вступительных испытаний в процессе работы приемной комиссии.

Методы исследования

Реализация сформулированных целей и задач осуществлялась с использованием основных теоретических положений объектно-ориентированного проектирования и программирования, математической статистики, основных положений тестологии и педагогической квалиметрии.

Научная новизна и теоретическая значимость

• Разработана и реализована в программном комплексе технология, обеспечивающая полную автоматизацию всех этапов проведения вступительных испытаний по комплексу дисциплин.

• Разработаны удобные форматы определения тестовых заданий в системе «Экзамены», исходя из предметных особенностей каждой дисциплины.

Практическая значимость и внедрение результатов работы

• Разработано программно-инструментальное обеспечение для автоматизации и объективизации различных видов контроля знаний.

• Создана методика применения систем Express и СИКЗ в процессе обучения (на примере курса «Теоретические основы информатики»), которая способствует объективизации контроля знаний, активизации учебно-познавательной деятельности студентов и повышению эффективности образовательного процесса в целом.

• Системы Express и СИКЗ внедрены и используются в средних школах № 15 и № 51 г. Томска, а также на кафедре информационных технологий

ТГПУ. СИКЗ применяется в процессе итогового контроля знаний, система Express используется для оперативного контроля знаний на аудиторных занятиях и для самоконтроля в процессе самостоятельной работы обучаемых.

• Разработанная система «Экзамены» внедрена в приемной комиссии ТГПУ и апробирована в 2002 и 2003 годах.

Основные защищаемые положения

1. Технология проведения вступительных экзаменов, следствием которой явилась полная автоматизация всех этапов проведения вступительных испытаний по комплексу дисциплин.

2. Структуры баз тестовых заданий, используемых при проведении вступительных испытаний.

3. Система тренинга и самоконтроля в процессе подготовки к вступительным экзаменам с помощью удаленного доступа к базе тестов.

Апробация работы

Результаты диссертационной работы докладывались на следующих конференциях:

1) II Сибирской школе молодого ученого, Томск, ТГПУ, 1999 г.

2) IV конференции студентов, аспирантов и молодых ученых «Наука, образование и общество», Томск, ТГПУ, 2000 г.

3) Всероссийской конференции «Открытое и дистанционное образование», Томск, ТГУ, 2001 г.

4) XI Международной конференции по вычислительной механике и прикладным программным средствам, Москва-Истра, МАИ, 2001 г.

5) Всероссийской научно-практической конференции - выставке «Единая образовательная информационная среда: проблемы и пути развития», Томск, ТГУ, 2002 г.

6) XII Международной конференции по вычислительной механике и прикладным программным средствам, Москва-Владимир, МАИ, 2003 г.

7) Региональной научно-практическая конференции «Информационные недра Кузбасса», Кемерово, 2003 г.

8) II Всероссийской научно-практической конференции - выставке «Единая образовательная информационная среда: проблемы и пути развития», Томск, ТГУ, 2003 г.

9) X Международной научно-методической конференции «Новые информационные технологии в университетском образовании», Новосибирск, СибГУТИ, 2003 г.

Основные результаты диссертационной работы отражены в следующих публикациях:

Статьи

1. Клишин А.П., Стась А.Н. Оболочка для создания и использования компьютерных тестов // Математическое моделирование, 2002, № 9, с. 24-26.

2. Клишин А.П., Стась А.Н., Чуков А.Н. Тестирующая система Express-2 // Открытое и дистанционное образование, 2001, № 1(3), с. 44-45.

3. Стась А.Н., Стахин Н.А., Чуков А.Н., Горчаков JI.B. Автоматизированная система приема вступительных экзаменов // Открытое и дистанционное образование, 2002, № 4(8), с. 132-133.

4. Стась Н. Ф., Стась А. Н. Авторский пакет обучающих программ по химии // Открытое и дистанционное образование, 2002, № 4(8), с. 86-88.

Материалы конференций и тезисы докладов

5. Горчаков JI.B., Стахин Н.А., Стась А.Н., Горюнов В.А. Подсистема удаленного тестирования на основе системы «Экзамены» // Информационные недра Кузбасса: Труды региональной научно-практической конференции. - Кемерово: изд-во Кем. гос. ун-та, 2003, с. 138-139.

6. Стась А.Н., Парфенов А.Г., Стахин Н.А., Горюнов В.А. Подсистема удаленного тестирования на основе системы «Экзамены» //Единая образовательная информационная среда: Материалы второй Всероссийской научнопрактической конференции-выставки. - Томск: изд. Том. ун-та, 2003, с. 9798.

7. Клишин А.П., Стась А.Н. Оболочка для создания и использования компьютерных тестов // Тезисы докладов XI международной конференции по вычислительной механике и современным прикладным программным средствам - ВМСППС'2001. - М.-Истра, 2001, с . 218-220.

8. Стась А. Н., Стахин Н. А., Горюнов В. А., Бачурин М. В. Автоматизированная система приема вступительных испытаний // Тезисы докладов XII международной конференции по вычислительной механике и современным прикладным программным средствам - ВМСППС'2003. - М.-Владимир, 2003, с. 582-583.

9. Стась А.Н. Основные принципы проектирования СУБД для управления учебным процессом на основе модели данных "сущность-связь" // II Сибирская школа молодого ученого. - Томск: изд-во Том. гос. пед. ун-та, 2000, с. 61-64.

10. Стась А.Н. Механизмы хранения структуры и данных в ER-модели // Материалы IV межвузовской конференции студентов, аспирантов и молодых ученых. Т. 1. - Томск: изд-во Том. гос. пед. ун-та, 2000, с. 117-119.

Свидетельства о регистрации, приравненные к опубликованным работам

11. Стахин Н.А., Стась А.Н., Чуков А.Н., Бачурин М.В., Соколовский А.Н. Автоматизированная система приема вступительных испытаний «Экзамены» // Зарегистрирована в Отраслевом фонде алгоритмов и программ Государственного координационного центра информационных технологий. Свидетельство о регистрации № 2472 от 28 марта 2003 года.

12. Клишин А.П, Стась А.Н. Тестовая оболочка Express 2.0 // Зарегистрирована в Отраслевом фонде алгоритмов и программ Государственного координационного центра информационных технологий. Свидетельство о регистрации № 2474 от 28 марта 2003 года.

Диссертация состоит из введения, трех глав и заключения. Основная часть содержит 129 страниц текста, 7 таблиц, 45 рисунков, 14 формул, 122 литературных источника, 4 приложения.

Выводы к главе 2

В соответствии с ранее сформулированными требованиями разработаны оболочка Express и система итогового контроля знаний (СИКЗ). Отдельный анализ и решение данных проблем позволило снять многие противоречия, выявленные в первой главе. Описаны результаты педагогических экспериментов по применению этих средств в курсе «Теоретические основы информатики». Применение автоматизированной системы при оперативном контроле знаний позволяет выявить пробелы в знаниях обучаемых по ходу учебного процесса и обеспечить преподавателя необходимой информацией для корректирования учебного процесса. Использование СИКЗ позволяет получать объективную оценку учебных достижений обучаемых, подтвержденную путем сравнения с традиционными методами контроля.

Глава 3. РАЗРАБОТКА АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ПРОВЕДЕНИЯ ВСТУПИТЕЛЬНЫХ ЭКЗАМЕНОВ

3.1. Основные принципы организации работы приемной комиссии при использовании системы «Экзамены»

С целью решения задачи автоматизации проведения вступительных экзаменов необходимо прежде всего построить формальную модель этого процесса на основе требований, предъявляемых к информационной системе. Для построения формальной модели требований к информационной системе был использован пакет Rational Rose. Этапы процесса можно представить в виде последовательности следующих прецедентов: прием заявлений от абитуриентов, занесение информации в БД абитуриентов, составление списков на экзамен, распределение абитуриентов по аудиториям, печать наклеек со штрих-кодами, подготовка тестовых заданий, заполнение БД тестов, генерация уникальных экзаменационных билетов, проведение экзамена, сканирование работ абитуриентов, распознавание ответов, анонимная проверка работ, дешифровка работ, генерация экзаменационных ведомостей.

Диаграммы вариантов использования и диаграмма действий системы «Экзамены» приведены на рис. 3.1. (а и б)

О <3 о> о-£ им win Bflww IVw*b Смите* Пм»мпм Пвдгегач» mimwi тд«|* Cecrmta, о-я а) б)

Рис. 3.1. Диаграмма вариантов использования (а) и диаграмма действий (б) системы «Экзамены»

На основе модели вариантов использования можно построить объектно-ориентированную модель системы.

Приведем краткое описание применяемой технологии. Процесс приема вступительных экзаменов в данной технологии организован следующим образом. Используя базу данных тестовых заданий, случайным образом генерируется нужное количество уникальных экзаменационных билетов и база правильных ответов к билетам. На каждом билете обозначен его номер с помощью штрих-кода. В целях обеспечения безопасности штрих-код, идентифицирующий абитуриента, наклеивается работниками технической комиссии непосредственно перед экзаменом или во время экзамена. Тесты составлены таким образом, что ответ на него представляет собой последовательность цифр, и абитуриент вводит эту последовательность в трафарет согласно правилам заполнения почтовых индексов. Проверка осуществляется в автоматическом режиме путем сканирования штрих-кодов номеров билетов и ответов абитуриентов. Затем путем сравнения правильных ответов и ответов абитуриентов выставляется оценка, привязываемая к каждому билету. И на последнем этапе, на отдельном компьютере производится расшифровка путем сканирования уже штрих-кодов абитуриентов, и печатаются экзаменационные ведомости, по которым производится зачисление.

Упрощенно процесс схематически можно изобразить следующим образом (рис 3.2.)

Рис. 3.2. Схема работы приемной комиссии

3.2. Проведение вступительных испытаний с помощью системы «Экзамены»

3.2.1. Заполнение баз данных тестов

Преподаватели - предметники предоставляют задания в файлах формата *.rtf, так как в этот формат легко экспортировать документы, изготовленные с помощью текстового процессора Microsoft Word.

Подробно требования к форматам материалов, предоставляемых предметниками, приведены в приложении 4.1. С целью обеспечения лучшего качества тестовых материалов, данные требования разработаны совместно с предметниками с учетом особенностей той или иной дисциплины. В результате фактически созданы форматы тестовых заданий для каждой дисциплины. Данные форматы могут быть описаны с помощью контекстно-свободных грамматик.

Затем, подготовленные тестовые задания, разработанные специалистами-предметниками, вносятся в базу данных тестовых зданий специального формата. Подробная инструкция, описывающая данный процесс, в приложении 4.2.

3.2.2. Печать экзаменационных билетов

Непосредственно перед экзаменом происходит печать экзаменационных билетов с помощью специальной программы. Внешний вид главного окна программы приведен на рисунке 3.3. Окно номера Окно установки текущего билета / требуемого кол-ва Кнопка "Бланк" у/ билетов

6>/яета8 Крп-80 бипетое:

3 Р 5 Бланк [

Рис. 3.3. Внешний вид верхней части формы

Подробно процесс работы с подсистемой описан в приложении 4.3.

Экзаменационные билеты, как правило, готовятся непосредственно перед экзаменом в количестве, незначительно превышающем количество сдающих данный экзамен. Особое внимание следует обратить на анонимность билетов, то есть на то, что при печати не известно, кто именно получит тот или иной билет, и то, что билет помечен только штрих-кодом номера варианта. Наглядная информация, позволяющая идентифицировать билет, отсутствует.

3.2.3. Подготовка средств кодирования работ

С целью повышения защищенности, работы абитуриентов кодируются, а после проверки декодируются.

Для кодирования работ генерируются личные штрих-коды, которые печатаются на специальной липкой бумаге Raflacut формата А4. На одном листе могут быть напечатаны 16 строк по 4 наклейки в одной строке. Штрих-коды для кодирования генерируются в модуле Базы экзаменуемых лиц. Вид одной строки наклеек приведен на рисунке 3.4.

При кодировании на работу наклеивается или вторая, или третья па-клейка со штрих-кодом, а две крайние наклейки используются при декодировании. Штрих-коды правильно считываются ручным сканером, даже если их наклеить «наоборот». Однако:

• в любом случае штрих-код не должен быть размазан;

• при работе ручным сканером допустим любой перекос при наклеивании штрих-кодов. Однако, при использовании автоматического сканирования желательно соблюдать ряд требований.

Л Microsoft Access - (Студенты) |

Ц Файл Правке 0иц Сервис £кно 1

К • ё Р О Ш Ш . Закрыть р • о Я • 9

1 - - ■ wd-|H'lQ'[

Жэмойтук Ольга Кг шипит о iiiiiiiiiii 24 07.02Ay*. 229.9 аде Ж а мой тук Ольга Г Витальевна История 24.07.02 Ауд. 229.9 чк

Рис. 3.4. Подготовка наклеек

3.2.4. Сканирование билетов

Если работы будут подвергаться автоматическому сканированию, то: а) штрих-код не должен выступать за край листа, иначе он будет цеплять другие листы, это приведет к перекосу и замятию листа; выступающую часть наклейки нужно отрезать; б) одновременная загрузка в сканер не должна превышать 10 листов, так как автоподача страниц в сканер осуществляется сверху, а за счет наклеивания штрих-кодов в одной и той же части страницы плоскость верхнего листа нарушается, что в итоге приводит к перекосу листа при его втягивании, замятию и потере данных; в) для обеспечения правильного считывания наклеивать штрих-код нужно весьма точно, чтобы его линии были параллельны линиям штрих кода варианта билета, напечатанного на билете, иначе один из штрих-кодов не прочитается; г) не следует штрих-код варианта билета заклеивать штрих-кодом фамилии, или закрывать им хотя бы одну из линий штрих-кода варианта билета.

Экзаменуемого перед выполнением работы необходимо инструктировать. Краткая инструкция должна содержать следующее.

1. Никаких посторонних пометок на заданиях оставлять нельзя.

2. Ваши ответы будут проверяться объективно, анонимно, компьютером.

3. И Ваши ответы, и Ваша фамилия кодируются.

4. Компьютер понимает только коды ответов, которые записываются специальным образом (также как почтовые индексы на конверте).

5. Если, например, Вы прочитали в задании «С бака лаяла на про-хожш», решили, что пропущена буква о, и увидели рядом с заданием (см. рисунок 3.5), что буква в алфавите расположена на 16-ом месте, то в ответ Вам нужно написать 16 стилизованными цифрами. Зачеркивания и исправления не допускаются. В местах написания ответов отпечатки пальцев не оставлять (они мешают сканированию ответов).

Н* Буква I Не Буква I Н* Буква

01 а | 12 К 23 X

02 б 13 Л 24 Ц

03 в 14 М 25 ч

04 г 15 н 26 ш

05 д 16 о 27 Щ

06 е 17 п 23 ъ

07 ё 18 р 29 ы

0В ж 19 С | 30 ь

09 3 ' 20 Т I 31 э

10 и 21 У 32 ю

11 й 22 Ф I 33 я

Рис. 3.5. Таблица ответов для первого задания по русскому языку

3.2.5. Ручной ввод ответов

При ручном вводе ответы вводятся операторами в файлы формата *.xls (рис. 3.6), которые затем объединяются в один файл *.xls. Последний импортируется в Access как таблица «Ответы».

Операторы учитывают имеющиеся исправления, не обращая внимание на нечёткое или ненадлежащее написание цифр. В столбец «Вариант» оператор вводит порядковый номер обрабатываемой работы и следит, чтобы работы после обработки лежали в указанном порядке.

X Microsoft Excel - ISI21 XLS

J Файл Правка Дна Вставка Формат Сервис Ценные фкно Т а в а & у jt ъ % <? «- t * г г. и si ■ а в ^ w* - ® liiicyr. 10 .ixx з Eii| 9 % , fl ! $ £ ■ А - А • уц -' О

А Б С D Е F lG Н I J К L М N 0 | Р 0 Р Sit и V W 1 Экзамен Вариант 01 02 03 04 05 06 07 08 09 010 011015 013014015 016 017 018 019 020 021

2 История 1 1 4 3 2 4 1 2 3 3 4 2 1 14 2 3 3026 988 5071 5024 5065 г Историй 2 2 1 4 3 2 4 1 3 4 1 3 2 I 2 3 4 3053 345 4076 3091 4109

4 История з з 2 4 1 1 2 3 4 2 3 4 1 3 4 2 1 907 5075 5028 4132 3036

5 История 4 з 2 1 4 1 4 2 3 3 4 2 1 3 4 2 1 4132 965 972 4128 4101

Рис. 3.6. Ручной ввод ответов оператором

Кроме того, оператор постоянно контролирует себя тем, что вводит ответы не поодиночке, а группами. С этой целью в файл с ответами он заранее между столбцами устанавливает границы в виде сплошных чётких линий так, чтобы каждая группа цифр между двумя соседними линиями соответствовала строке ответов вводимой формы.

При объединении файлов, подготовленных разными операторами, в один файл, папки с работами нумеруются по мере наращивания файла с ответами в соответствии с порядком добавления.

Численные значения номера варианта в столбец «Вариант» таблицы «Ответы» будут вводиться ручным сканером. Для этого папки с работами последовательно, начиная с первой, снова вскрываются и сканером считыва-ется штрих-код варианта, напечатанный на каждой работе. Оператору, осуществляющему ввод номера варианта работы, нужно тщательно следить за тем, чтобы номер варианта работы не ввёлся дважды, и чтобы он соответствовал тем ответам, которые даны далее в последующих столбцах.

3.2.6. Подготовка списка экзаменуемых лиц

Список сдающих экзамен может быть подготовлен в Word'e, программой Excel или непосредственно при работе с базой данных в Access'e.

При вводе данных в Access'e для изменения, уточнения и исправления данных предусмотрена форма (рис. 3.7), которая позволяет исправить неточности, удалить или внести запись в базу данных.

Г V Microsoft Access

ФРЙЛ Правка Вид Вставка Формат Записи Сервис QKHO ? м - в аау <г *й) **

1 ЁЗ С гумен г ы l-lnlxl

Ф (УМИЛИЛ (Жлмойтук Ольга Витальевна 1

Э|СЭ4М«Н [История 1

Д«т«Эк>амина 2Й07 ГГ2 щ\ ^ |

Запись: И | < | | 1333 >■ | М и> 133Э ^

Рис. 3.7. Редактирование базы данных экзаменуемых лиц

Подготовка данных на Word'e и в программе Excel может производиться независимо несколькими операторами. Необходимо лишь соблюдать единую форму и непосредственно перед началом работы объединить списки в один файл с расширением .xls, который надлежит импортировать в базу данных в таблицу «Студенты» (табл. 3.1, рис. 3.8).

1. Рис. 3.10. Формат файла «answershistcls»

2. ЦИстория 734 3 4 2 1 41 233421 3421 3025 1113 5010 4084 41'

3. История 735 1 4 3 2 3 1 4 2 4 3 1 2 3 1 4 2 12 4121 6011 4166 30:

4. История 736 2 1 4 3 4 2 1 3 3 4 2 1 1 3 4 2 4058 4061 94Б 6011 14:

5. История 737 4123241 334213142 5010 6028 3090 901 14.

6. История 738 2 1 4 3 2 3 4 1 3 4 2 1 4 2 1 3 5024 3144 3026 1147 30

7. История 739 3 4 2 1 2 4 3 1 3 4 1 2 2 4 3 1 4067 3111 862 6040 31

8. История 740 3241314234213421 3111 862 5040 4057 12

9. Рис. 3.11. Таблица «Правильные» в базе данных.

10. Подготовку файла с ответами сдавших экзамен можно проводить либо автоматически, либо вручную.32.9. Распознавание ответов абитуриента

11. Рис. 3.12. Таблица «Ответы» в базе данных

12. Если программа распознавания по какой-либо причине не сможет прочитать один из ответов полностью, она в качестве ответа записывает нуль, ставит точку с запятой и переходит к распознаванию очередного ответа.

13. Если в подготовленном файле ответов какие-либо из ответов оказались нулевыми, то соответствующие строки могут подвергаться дополнительной ручной правке.

14. В базе данных создан отчет «Баллы для конкретного студента», позволяющий напечатать оценки за каждый ответ непосредственно на работе (см. рис. 3.13).

15. М 747 1 2 3 4 S t 7 I » II 11 12 1Э И 15 1< 17 II 1» 20 21 22 23 24 Ошпе 2431143223414123 3090 882 5052 5070 4068 4081 4051 1382 Бшы: 15 0 0 1,5 0 15 1,5 □ 15 15 15 15 15 0 □ 15 25 25 □ 0 25 25 25 0

16. Рис. 3.13. Отчет «Баллы для конкретного студента»

17. Рис. 3.14. Отчет «Баллы» 3.2.10. Декодирование работ

18. При больших потоках сдающих экзамен эту работу можно распараллелить и проводить на нескольких компьютерах. В декодировании участвуют одновременно два оператора: один из них открывает форму «Опознание

19. Абитуриентов по штрих кодам» и сканером считывает штрих-код фамилии, наклеенный на работе .

20. Опознание Абитуриентов по штрихкоаом : фпрмя1 I 1иИ|и»1 /А

21. Рис. 3.15. Опознание абитуриентов по штрих-кодам

22. Второй экземпляр наклейки с фамилией можно использовать по-другому. Его можно наклеивать на лист, чтобы формировать списочный состав, явившихся на экзамен.

23. Форма, приведенная на рисунке 3.15, содержит также поле «Оценка», которое используется в тех случаях, когда работы проверяются вручную, необходимо лишь распознать авторов, внести оценки и напечатать ведомость.

24. Система печатает ведомости двух видов, для этого используются отчеты: «Экзаменационная ведомость» и «Ведомостьбаллы».

25. При открытии отчетов программа попросит ввести дату экзамена, экзамен и аудиторию, это же самое предусмотрено формой «Ведомости» (см. рис. 3.16).1. Ведомости форма1. ГШ*!1. Догеэкзамен124 0? .021. Йс торне1. Класс1. Нйклейьпг?9 з1. Ведомость^ баллы

26. Э кэаме нлшон нач ведомости!1. Злгисъ И |1 > I И 11.

27. После просмотра ведомости и наклейки могут быть распечатаны на принтере.

28. Обеспечение безопасности данныхв процессе функционирования системы

29. В этом случае обеспечивается безопасность обработки в целом, поскольку для несанкционированного вмешательства в систему требуется участие всех операторов системы, что практически невозможно.

30. Решение технической проблемы распознавания штрих-кодов и ответов абитуриентов34.1. Постановка задачи

31. Рис. 3.24. Пример блока индексов

32. На предыдущем шаге мы выделяем блок, т. е. область графического изображения, содержащую индекс. Уточним некоторые требования к блоку, которые будет использоваться в процессе распознавания.

33. Внутри блока у каждой из сторон прямоугольника есть хотя бы один черный пиксель.

34. Блок не содержит черных пикселей, соседствующих с черными пикселями, не принадлежащими данной области.

35. Блок нельзя разбить на меньшие непересекающиеся блоки.

36. Область может не являться блоком только тогда, когда не удовлетворено второе требование блока или она пересекается с другой областью. В таком случае объединяем две области в одну, и так до тех пор, пока все области не станут блоками.

37. Стоящая перед нами задача распознавание почтовых индексов — более проста для решения, нежели такие общие задачи, как задача распознавания рукописного текста (37.) или общая задача распознавания образов. Здесь выработано несколько подходов.

38. Рис. 3.25. Сетчатка 9x7 Рис. 3.26. Сетчатка 5x3

39. Рис. 3.27. Два типа считывающих головок

40. Головка движется вдоль знакоместа слева направо. В результате получаем некоторую функцию зависимости интенсивности от положения голоски, заданную определенным шагом (рис 3.28).

41. Рис. 3.28. Функция интенсивности для стилизованной цифры «1»

42. Таким образом, проблему распознавания в данной системе можно считать успешно решенной.w

43. Рис. 3.29. Точки пересечения

44. Подсистема удаленного тестирования35.1. Общее назначение подсистемы

45. Подсистема состоит из тест-сервера и нескольких клиентов, предназначенных для удаленного тестирования по русскому языку и истории, в дальнейшем планируется поддержка и других предметов.

46. Общая схема подсистемы представлена на рисунке 3.17.

47. Рис. 3.17. Общая схема подсистемы35.2. Тест-сервер

48. Тест-сервер предназначен для организации удаленного тестирования с использованием специальных клиентов. Обмен данными между тест-сервером и клиентами осуществляется по протоколу TCP/IP.

49. Рис. 3.18. Главное окно тест-сервера

50. Таким образом, на тест-сервере необходима поддержка базы данных тестируемых лиц и базы данных, содержащей результаты тестирования. Во второй базе данных возможна статистическая обработка результатов тестирования.

51. Тестирование по истории происходит аналогичным образом.- ШИШ" ^ISJ "I•Т Русский я тык

52. Найдите № пропущенной буквы в алфавите и запишите ответ этот № .lp сквсрный, он поёр<т. It ИКЛЛИПК. бсч iik;i

53. Переход к предыдущему заданию1. Вы*од из системы

54. Переход н спадующаму заданию

55. Рис. 3.19. Внешний вид клиента по русскому языку3.5-4. Веб-сайт подсистемы

56. Система контроля остаточных знаний через Интернет

57. На основе системы «Экзамены» в настоящее время в ТГ11У создается система контроля остаточных знаний по всем предметным направлениям.

58. В связи с тем, что конечные цели диагностики знаний абитуриентов и контроля остаточных знаний несколько расходятся, было принято решение о некотором упрощении технологии путем отказа от шифрования работ.

59. Объем банка данных тестовых заданий по каждому предметному направлению 400 или 200 в зависимости от объема курсов, входящих в это направление.

60. Структура банка тестовых заданий представлена на рис. 3.20.

61. Группа (Тип) 1 Группа (Тип) 2 Группа (Тип) 3 Группа (Тип) 4 Группа (Тип) 5

62. Блок 1 Уровень (сложность) 1 Задание 1 Задание 1 Задание 1 Задание 1 Задание 1

63. Задание 2 Задание 2 Задание 2 Задание 2 Задание 2

64. Задание 3 Задание 3 Задание 3 Задание 3 Задание 3

65. Задание 4 Задание 4 Задание 4 Задание 4 Задание 4

66. Блок 1 Уровень (сложность) 2 Задание 1 Задание 1 Задание 1 Задание 1 Задание 1

67. Задание 2 Задание 2 Задание 2 Задание 2 Задание 2

68. Задание 3 Задание 3 Задание 3 Задание 3 Задание 3

69. Задание 4 Задание 4 Задание 4 Задание 4 Задание 41. Блок 2

70. Рис. 3.20. Структура банка тестовых заданий

71. Таким образом, правильный ответ к каждому заданию выполняет роль дистрактора для соседних 7 (3) заданий в ячейке.

72. В настоящее время реализована и апробирована на 58 предметных направлениях система бланочного тестирования, а также на 9 предметах подсистема компьютерного тестирования.

73. Подсистема компьютерного тестирования рассматривается, как неотъемлемый компонент создаваемого в настоящее время образовательного сервера ТГ11У. Внешний вид системы представлен на рис. 3.21, 3.22, 3.23.

74. Q бразд мтльмыи cppmfp ТГПУ Micrnsnfl Intermit txptorirf BUM

75. Eto E* фт Ffiyoloote ЦвЬ trj Z\ , у S«rth Favor Ah Meda ty ■ a1 V ^ Go Ч л 141. ОБРАЗОВАТЕЛЬНЫЙ СЕРВЕР

76. Томского Государств*?много Педагогическою Университета

77. Honor тн || Мныю II Мсшо~|| Мент | МенмГ.| Миши Ц Memo ||1. Тег гировашге

78. Чшхальноя воэмоодаггь тег тир и виши? OttLtm»1. Фору« II Гостевая I1. Блок генерации билетов

79. Кы^ерш* н> ы*т предмет Отклмчш*'ненужный Блик1. Исторг *12345 €739 100000000000j Генерация4JDone

80. Siripts by Gorunov V,A. Biuakov A^N,ф lr*e«r№t

81. Рис. 3.21. Выбор тестового задания.г 'Л Oftpjiowt н.'1ин<<й ceptup ТТПУ Microsoft Internet Explorer ran

82. Не ЕЛ ** M f 4V><« Tools Help 914 ф s- -i о и a1 1. Вопросы по тесту № 2."Окчсишсшшй nt!ip:tn. киф.ичсч. ucsopiEi н кулы.: В^йкмвскы М.Л, 01 вн. 146, 5Л7М.

83. Политика шоковой терапии О Политика разрядки1. У**ф Irternet

84. Рис. 3.22. Ответы на вопросы теста.

85. Э ООракныюлиыы'и.'ерп! Я ТТЛ У Mir.rusglr liiltrnwl ГярЬгег

86. File EJ* Virrt fjvoritei Tools Help

87. QlW ■ Vj г. I у 5««Л fMlB ^Medi