автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Система компьютерного тестирования знаний

На правах рукописи

□03053235

ВЕРГАЗОВ Ринат Ильдусович

СИСТЕМА КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ ЗНАНИЙ

Специальность 05.13.10 - Управление в социальных и экономических системах (технические науки)

/1 улье^Ф

Автореферат диссертации на соискание ученой степени кандидата технических наук

ПЕНЗА 2007

003053235

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Пензенский государственный университет».

Научный руководитель - заслуженный деятель науки,

доктор технических наук, профессор Бершадский А. М.

Официальные оппоненты: доктор технических наук,

профессор Наводнов В. Г.; доктор технических наук, профессор Юрков Н. К.

Ведущая организация - Исследовательский центр проблем качества подготовки специалистов, г. Москва.

Защита диссертации состоится 2 марта 2007 г., в (кчасов, на заседании диссертационного совета Д 212.186.04 в государственном образовательном учреждении высшего профессионального образования «Пензенский государственный университет» по адресу: 440026, г. Пенза, ул. Красная, 40.

С диссертацией можно ознакомиться в библиотеке государственного образовательного учреждения высшего профессионального образования «Пензенский государственный университет», автореферат размещен на сайте www.pnzgu.ru

Автореферат разослан / февраля 2007 г.

Ученый секретарь

диссертационного совета

доктор технических наук,

профессор Смогунов В. В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. На современном этапе развития образования в России все больше внимания уделяется внедрению эффективных форм контроля знаний. Одной из таких форм является проведение тестирования. Это наиболее стандартизованный и объективный метод контроля и оценивания знаний, умений и навыков испытуемого, который лишен таких традиционных недостатков других методов контроля знаний, как неоднородность требований, субъективность экзаменаторов, неопределенность системы оценок и т. п. Наиболее эффективным является проведение тестирования с помощью компьютерных систем тестирования (КСТ). Основными преимуществами КСТ являются:

1) применение современных методов оценки знаний;

2) оперативность обработки результатов тестирования;

3) возможность реализации обучающей функции;

4) индивидуализация процесса усвоения знаний учащимися;

5) освобождение преподавателя от выполнения рутинных работ.

Проведенный анализ существующих КСТ показал, что они в

большинстве случаев ориентированы на проведение тестов, а не на их разработку. При реализации тестирования ни одна из рассмотренных КСТ не поддерживает адаптивные методы проведения тестов, слабо развита политомическая оценка выполнения тестовых заданий.

Актуальность темы диссертационной работы определяется необходимостью разработки КСТ, устраняющей недостатки рассмотренных систем, обеспечивающей реализацию адаптивных методов тестирования, опирающейся при разработке тестов на теоретические основы как классической, так и современной теории тестирования.

Целью диссертационной работы является повышение эффективности контроля знаний с помощью КСТ, что позволяет своевременно получать информацию о качестве учебного процесса, необходимую для принятия управленческих решений. Для достижения цели необходимо решить следующие задачи:

1) анализ существующих КСТ и выявление их достоинств и недостатков;

2) анализ существующих моделей и алгоритмов проведения тестирования;

Ч_л

\

3) поиск путей повышения качества тестирования с помощью использования КСТ;

4) разработка моделей и алгоритмов, повышающих эффективность использования КСТ;

5) разработка КСТ. Определение её структуры и функционального назначения её модулей. Выбор процесса разработки и технологий реализации;

6) апробация разработанной системы в конкретной предметной области.

Методы исследования. При решении поставленных задач использовались методы тестологии, статистики, теории графов, объектно-ориентированного анализа и проектирования, теории баз данных.

Научная новизна. К наиболее существенным научным результатам, отличным от ранее известных, относятся:

1) фреймовая модель тестового задания, расширяющая классическое и современное ее представление за счет включения метаин-формации о семантике задания;

2) модель хранилища тестовых заданий, позволяющая учитывать отношения включения и пересечения между тестовыми заданиями;

3) гетерогенный адаптивный алгоритм тестирования, позволяющий повысить эффективность тестирования путем минимизации количества тестовых заданий;

4) метод политомической оценки, использующий новую формулу для учета в КСТ частично правильных ответов, что дает возможность повысить точность измерения знаний при тестировании;

5) предложен новый тип тестового задания (ТЗ) - задание на программирование, - позволяющий в тестовой форме проверить знания языков программирования и реализацию алгоритмов.

Практическая ценность. Разработанные в диссертации модели и алгоритм проведения тестирования позволяют повысить его эффективность, перевести его на качественно более высокий уровень, когда появляется возможность индивидуализировать подход к каждому учащемуся на основании выявленной структуры знаний, организо-

вать контроль и повысить точность измерений уровня знаний за счет политомической оценки тестовых заданий. Предложенный новый тип тестового задания значительно расширяет возможность применения тестов при определении уровня знаний по предметам, связанным с алгоритмическими языками.

Разработана программная реализация компьютерной системы тестирования, имеющая в своем составе подсистему формирования тестовых материалов, подсистему тестирования, подсистему анализа результатов тестирования и подсистему администрирования пользователей. Программное обеспечение (ПО) серверной части написано на языке Java, что обеспечивает развертывание системы практически на всех распространенных операционных системах, имеющих виртуальную Java-машину. ПО, обеспечивающее автономную поддержку подготовки тестов и тестирования, функционирует на платформе Win32 (Windows 95/98/Me/NT/2000/XP/2003).

На основании исследований доказана эффективность применения КСТ в учебном процессе. Данная система внедрена в Пензенском государственном университете (г. Пенза), Российском государственном университете инновационных технологий и предпринимательства (г. Москва), Всемирном технологическом университете (г. Москва).

Основные положения, выносимые на защиту:

1) модель тестового задания, расширяющая классическое и современное ее представление;

2) модель хранилища тестовых заданий, учитывающая связи между ними, что позволяет повысить эффективность тестирования;

3) гетерогенный адаптивный алгоритм для контроля знаний, основанный на предложенной модели хранилища тестовых заданий;

4) метод политомической оценки ответов на тестовые задания, позволяющий повысить точность измерения уровня знаний;

5) новый тип тестового задания - задание на программирование, - расширяющий область применения тестовых заданий.

Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на следующих конференциях и семинарах: I Всероссийская научная конференция молодых ученых и аспирантов «Новые информационные технологии:

разработка и аспекты применения» (Таганрог, 1998), VII Международная конференция «Дистанционное образование: открытые и виртуальные среды» (Москва, 1999), VIII Международная студенческая школа-семинар «Новые информационные технологии» (Москва, 1999), ИДИ международные научно-технические конференции «Информационные технологии и системы в образовании, науке, бизнесе» (Пенза, 2000, 2002), V Международная научно-техническая конференция «Комплексное обеспечение показателей качества транспортных и технологических машин» (Пенза, 2001), VI,VII,IX международные научно-методические конференции «Университетское образование» (Пенза, 2002, 2003, 2005), X симпозиум «Квалиметрия в образовании: методология и практика» (Москва, 2002), Международная конференция «Новые технологии в образовании - 2» (Черногория, 2002), 11,111 научно-методические конференции профессорско-преподавательского состава, сотрудников и студентов «Инновации в науке, образовании и бизнесе» (Пенза, 2004, 2005), XIV Всероссийская научно-методическая конференция «Проблемы качества образования в свете болонских соглашений» (Уфа-Москва, 2004), конференция Proceedings of К2 summit «К2 knowledge sharing and looking at the future event» (Amsterdam, 2004), Всероссийская научно-методическая конференция «Открытое образование и информационные технологии» (Пенза, 2005), Международная научно-практическая конференция «Интеллектуальные технологии в образовании, экономике и управлении» (Воронеж, 2005), III Международная научно-методическая конференция «Новые образовательные технологии в вузе» (Екатеринбург, 2005), научно-технические конференции профессорско-преподавательского состава Пензенского государственного университета (2000-2006).

Публикации. По материалам диссертации опубликовано 27 печатных работ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, включающего 118 наименований, приложения, содержащего акты внедрения и примеры работы системы. Основная часть работы изложена на 132 машинописных страницах, содержит 25 рисунков и 8 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, сформулированы цели и задачи исследования, отражена научная новизна и приведены основные практические результаты работы.

В первой главе рассматриваются виды и функции контроля. Отмечается, что в современных условиях одной из наиболее эффективных форм контроля знаний является тестирование, что обусловлено его преимуществами, такими, как объективность результатов и высокая скорость контроля. Тестирование наиболее эффективно реализуется в виде программных систем, позволяющих освободить педагогический персонал от рутинной работы, а также автоматизировать подготовку тестов, проводить массовое тестирование с использованием передовых методологий, требующих существенных вычислительных затрат. Формулируются и группируются критерии, необходимые при сравнительном анализе различных КСТ, выборе их для использования в учебном процессе, а также для анализа разработчиками направлений совершенствования КСТ. В связи с проведенным анализом одной из задач видится разработка КСТ, устраняющей выявленные недостатки рассмотренных систем (отсутствие средств поддержки адаптивного тестирования, отсутствие средств анализа качества тестовых материалов и т. д.), обеспечивающей реализацию адаптивных методов тестирования, поддержку гетерогенных тестов, опирающейся при разработке тестов на теоретические основы тестирования.

Во второй главе анализируются существующие модели и алгоритмы проведения тестирования. Особый интерес представляет использование таких алгоритмов при проведении гетерогенных тестов. Анализ показал, что для проведения гетерогенного теста традиционные алгоритмы проведения тестирования малопригодны, так как качество получаемых результатов слишком низкое, а временные затраты слишком велики. Определяется набор ограничений и требований, предъявляемый к алгоритму тестирования при проведении гетерогенного теста. Предлагается фреймовая модель ТЗ и модель банка ТЗ в виде графа для проведения гетерогенного тестирования. В основе предлагаемой модели ТЗ лежат модели как классической, так и современной теории тестирования, дополненные метаинформацией о

семантике задания. Под метаинформацией здесь понимаются ключевые слова, введенные автором данного тестового задания для его описания, а также слова, содержащиеся в формулировке и ответах. Таким образом, фрейм предлагаемой модели ТЗ состоит из следующих слотов:

1) сложность ТЗ (согласно классической или современной теории тестирования);

2) ключевые слова (вводятся автором ТЗ);

3) текст ТЗ и предлагаемых ответов на него;

4) дата создания;

5) дата модификации;

6) версия.

На основе данной модели ТЗ строится модель хранилища тестовых материалов, представляющая собой ориентированный взвешенный граф С = (V, Е), где V - множество вершин, представляющих ТЗ; Е - множество ребер, представляющих собой степень связи между заданиями. Вес ребра Р указывает степень связи между ТЗ и может принимать значение в интервале от (0...1]. Степень связи между ТЗ определяют эксперты в проверяемых междисциплинарным тестом предметных областях. Под степенью связи понимается сходство проверяемых в ТЗ знаний. Если вес ребра равен единице, будем считать, что ТЗ, к которому направлена связь, проверяет все знания и умения, требуемые для правильного выполнения ТЗ, от которого направлена связь, и имеет место отношение включения. Если вес ребра меньше единицы, имеет место отношение пересечения. Графическое изображение модели хранилища тестовых материалов представлено на рис. 1.

В случае гетерогенного теста вершинам графа с наибольшей локальной степенью будут соответствовать ТЗ, требующие для правильного ответа знаний нескольких дисциплин. На основе предлагаемой модели хранилища тестовых заданий строится адаптивный алгоритм для проведения тестирования, отличающийся от традиционных алгоритмов более высокой точностью при меньших временных затратах на проведение тестирования. С помощью такой модели алгоритм гетерогенного адаптивного тестирования позволяет не только осуществлять подбор сложности следующего тестового зада-

ния, но и учитывать семантическую составляющую теста, что способствует повышению эффективности за счет сокращения количества тестовых заданий при итоговой оценке знаний по нескольким дисциплинам.

Рис. 1. Графическое изображение модели хранилища тестовых материалов

Рассмотрим алгоритм по шагам:

Шаг 1. Ввод множества всех ТЗ -А.

Шаг 2. Ввод взвешенной матрицы смежности семантических связей между ТЗ - М.

Шаг 3. Проверка критерия остановки тестирования. Тестирование заканчивается - к шагу 18. Тестирование продолжается - к шагу 4.

Шаг 4. Выбор дисциплины.

Шаг 5. Выбор уровня сложности первого ТЗ по дисциплине.

Шаг 6. Формирование множества ТЗ по выбранной дисциплине из А-е.

Шаг 7. Оценка критерия остановки выдачи заданий по дисциплине. Тестирование заканчивается - к шагу 3. Тестирование продолжается - к шагу 8.

- Шаг 8. Задание тестируемому ТЗ из множества <2 с выбранным уровнем сложности.

Шаг 9. Задание выполнено верно? Да - к шагу 10. Нет - 16.

Шаг 10. Формирование по М множества путей Ь к вершине V, определяющей заданное ТЗ.

Шаг 11. Формирование множества путей К из ¿, имеющих вес каждого ребра, входящего в путь, равным единице.

Шаг 12. Формирование множества вершин, входящих во множество путей К—Л.

Шаг 13. Обновление множества А. А— А\ Я.

Шаг 14. Обновление множества Л. А = А \ V.

Шаг 15. Обновление множества (?. 0 = б

Шаг 16. Обновление множества (3. = 0, \ V.

Шаг 17. Подбор следующего задания на основании ответа на заданное ТЗ. К шагу 7.

Шаг 18. Конец.

На первом шаге вводится множество всех доступных ТЗ по всем дисциплинам, на втором - взвешенная матрица связности, отражающая семантические связи между ТЗ. На третьем шаге проверяется критерий, останавливающий тестирование. В качестве критерия может использоваться ограничение времени тестирования или набранного балла. Выбор дисциплины, по которой происходит тестирование, осуществляется на четвертом шаге. Она может выбираться случайным образом либо из заданной создателем теста последовательности. Пятый шаг определяет сложность первого ТЗ по выбранной дисциплине:

1) на основе результата предыдущего тестирования испытуемого по данной дисциплине;

2) на основе выбора самого тестируемого;

3) на основе расчета средней сложности.

На шестом шаге формируется множество всех ТЗ, входящих в выбранную дисциплину.

Седьмой шаг проверяет критерий остановки выдачи заданий по выбранной дисциплине на основании потраченного времени или на-

бранного балла. Шаги с 10 по 14 направлены па минимизацию количества заданий за счет удаления в случае правильного ответа на текущее ТЗ связанных с ним ТЗ, имеющих вес связи 1. Для выбора следующего ТЗ предлагается анализировать соотношение верно и неверно выполненных 13 этого уровня сложности. Такая стратегия позволяет минимизировать количество тестовых заданий.

Для повышения точности тестовых измерений предлагается оценить результат по формуле, которая учитывает количество выбранных правильных и неправильных ответов по отношению к количеству правильных вариантов. На рис. 2 показано сравнение экспертных оценок знаний тестируемых с оценками, полученными при выполнении теста с дихотомической и полигамической обработкой результатов выполнения ТЗ. По сравнению с оценками экспертов среднеквадратичное отклонение в случае дихотомической опенки больше, чем в случае с полигамической, что позволяет сделать вывод об увеличении точности измерения знаний при использовании последней.

|

■ Тестовый балл - дихотомическая оь^гнка

п Тестовый балл - попмтомическвя оценка

№ Оценка эксперте»

1 2 3 4 5 6 7 8 9 10 11 12 13 141516 1718102021 22 НомСрт«т,фус«<ж>

У5ис. 2. Сравните экспертных оценок знаний тестируемых с оценками, получениями цри выполнении геста с дихотомической и полигамической обработкой результатов выполнения ТЗ

Для расширения области применения тестов предлагается новый тип ТЗ открытой формы, позволяющий осуществлять проверку знаний по дисциплинам, изучающим императивные и функциональные языки, за счет автоматизируемой проверки созданных тестируемым программ. В качестве примера можно привести следующее задание:

«Реализовать на языке С++ функцию, меняющую местами значения своих аргументов. Использовать следующий прототип функции: void changelt(int& vail, int& val2).»

Проверка подобных заданий на текущий момент всегда требует участия преподавателя. Попытки автоматизировать ее с помощью существующих типов ТЗ не увенчались успехом, так как не существует типа ТЗ, способного автоматически определить правильность выполнения задания. Первой проблемой является наличие нескольких вариантов решения одной и той же задачи. Второй проблемой становится то, что тестируемый может называть имена вводимых им переменных как угодно. Таким образом, проверка полученного решения с помощью заранее заданного шаблона (одного или нескольких) не может применяться при оценке данного задания.

Для автоматизации проверки подобных заданий предлагается ввести и реализовать в КСТ новый тип ТЗ - ТЗ на программирование, - представляющий собой ТЗ открытой формы, в котором тестируемому предлагается на заданном языке программирования реализовать какой-либо алгоритм. После формирования ответа происходят его компиляция и выполнение КСТ тестов для проверки правильности функционирования и реализации созданной программы. Тесты для проверки правильности функционирования программы предлагается встраивать на этапе подготовки ТЗ. В целом, использование ТЗ на программирование позволяет облегчить труд преподавателя, переложив оценку заданий, ориентированных на проверку умений и навыков на КСТ.

Третья глава посвящена разработке структуры компьютерной системы тестирования, выявлению функциональных и нефункциональных требований к системе. В качестве процесса разработки был выбран Unified Process. Для описания требований к разрабатываемой системе использовалась спецификация FURPS+. Исходя из сформированных функциональных требований, разрабатываемую КСТ можно разделить на четыре подсистемы:

1) подсистема подготовки тестов (ППТ);

2) подсистема тестирования (ПТ);

3) подсистема статистики и анализа результатов тестирования (ПСАТ);

4) подсистема администрирования тестирования (ПАТ).

В свою очередь, на основе сформированных нефункциональных требований полученные подсистемы ППТ и ПТ будут состоять из следующих программ:

1) ППТ из программы, обеспечивающей создание тестов через Internet/Intranet, программы клиента подготовки тестов и программы, обеспечивающей создание тестов без подключения к Internet/Intranet;

2) ПТ из программы, реализующей тестирование через Internet/Intranet, программы клиента тестирования и программы, обеспечивающей проведение тестирования без подключения к Internet/Intranet;

3) ПСАТ из программы, обеспечивающей статистическую обработку и анализ результатов тестирования, и программы клиента, позволяющей эти данные просмотреть;

4) ПАТ из программы, реализующей функции администрирования системы, и программы клиента, позволяющей выполнить эти функции.

Описывается выбор программных средств реализации системы. Для создания программы автономной подготовки тестов и программы автономного тестирования была выбрана платформа Win32, операционные системы которой Windows NT/98/2000/XP/2003 занимают доминирующее место на рынке и наиболее распространены. Для реализации данных программ была выбрана библиотека классов Microsoft Foundation Classes (MFC). Для создания серверной части системы предлагается использовать Struts - фреймворк для построения веб-приложений с открытыми исходными кодами, разработанный в рамках проекта Apache.

Для хранения тестовых материалов спроектирована инфологи-ческая модель хранения тестовых материалов, представленная на рис. 3. В качестве СУБД для хранения тестовых материалов предлагается использовать СУБД MySQL.

Общая структура разрабатываемой КСТ представлена на рис. 4.

Обрииощий цзгерузл ^Идентификатором

Тестсюе задачу®

Материал (HTML)

Ответь:

■ОМ L

а=Г

14дечтифишор стаете

Форыулирэзка в формате ЯТг Формулировка в фермата HTML Идентификатор TZ tFKj

Ксц&мацяисретов

Идзгпфиягор отвага (FK) Номер комбинации |

Балл»

Идентификатор ТЗ (FK) Номер комбииадав CFK)

Позиция ответ ТЗ № сопосгаалебие

Цаеятефикггар ntssra (FK) Позиция Ntp столбца)

Идентификатор ТЗ

" Дата содаиия Дата модификации Веревт

КшкечтарккСО) Цепь Заготовок Тип

— Формулировка 8 RTF форм«» ♦ojwyjwpossa а HTM. фор»лате Псаавзя{0! Ограиичелю аренеяа {О} Пересе штаать отзаты . Сгахность

< Материал ответной реакции (О) ■ Идентификатор автора !0)(Я<3 i ТИПОЦВЧКИЙИХ./ГШЖТ) i Идентификатор раздела (FKJ ! Идектифугатор ОМ (О) (FK)

Раздел

Описание теста

Идетифиипор раздета

ггта создания (О) а модификации (О) . яв(0) ЬммеитариЦО)

аяие (О) рзничение по времени [О) ь пропуска ТЗ (О) шогностьснпадывания ТЗ (О) Права »а изменение парахетроз (О) >атус(0)

rcpmi тестирозании (С) йентифяатор «втора (О) [FK) ..............1-------------

[^деитификаюр теста

ßrra создания Дата кодификации Версия

Каммеятерии(О)

Цель

Название

Офаятейие по времени Воемсяиость пропуска ТЗ Возможность откладывания ТЗ Праеа »а параметров

Cratys

Алгоритм тестирования -йеяпфтатор asropa (PK) ^еттфасзтор шкалы (FK)

Рис. 3. Инфологическая модель тестовых материалов (IDF1X)

Сервер приложении Тошса1

Клиент программы

сетевого тестирования (браузер)

Программа сетевого теееирояания (31т1з приложение)

Про! рамма анализа результатов

и СЕЙТИСТИКИ приложение)

Клиент программы

анализа результатов (браузер)

Программа сетевой подготовки тестов приложение)

Программа администрировании тестирования приложение)

Клиент программы сетевой подготовки тестов (браузер)

СУБД ¡\lySQI

Клиент программы администрирования (браузер)

Конвертер МуЯС^Мссезз

Программа автономного тестирования

(МРС)

! 1рограмма алголомной подготовки тестов (МГС)

Рис. 4. Структурная схема системы тесгиропаиия

В четвертой главе описывается программная реализация подсистем.

Одним из важных отличий данной системы тестирования от всех остальных является возможность использования механизма подключаемых модулей (ПМ). Предлагаются несколько способов для повышения гибкости и функциональности с помощью ПМ.

1. ПМ как средство введения в систему нового типа ТЗ.

Введение поддержки данного вида ПМ позволяет добавлять в

подсистему подготовки тестов и подсистему тестирования новые типы ТЗ. Интерфейс данного ПМ должен предоставлять функции создания ТЗ нового типа, отображения его на экран, а также обеспечивать обработку ответа пользователя.

2. ПМ как средство введения в подсистему нового типа тестирования.

Данный вид ПМ полезен для проверки различных видов педагогических методик, применяемых в тестировании. Иными словами, основным предназначением ПМ данного типа является исследовательская работа в области построения траекторий тестов.

3. ПМ как средство введения в систему новой методики обработки результатов тестирования.

4. ПМ Как шаблон ТЗ.

При проведении обучающего и контрольного тестирования необходимо, чтобы ТЗ не были одинаковыми по содержанию, иначе может иметь место простое запоминание правильного ответа при тестировании с обучением.

Для примера рассмотрим ТЗ из. области САПР. Тестируемому предлагается ввести цикломатическое число представленного на экране графа. Для обеспечения надежности и валидности теста ТЗ такого типа должно быть много. Их создание является долгим и рутинным процессом, так как нужно создавать множество изображений графов, содержащих различное количество циклов.

Вместо этого предлагается создать. ПМ - шаблон ТЗ, в котором за построение изображения отвечает сам ПМ. Такой подход гарантирует повышение валидности всего теста и избавляет от рутинной работы по его созданию. Интерфейсы ПМ, поддерживаемые системой, открыты для сторонних разработчиков, что позволяет стимулировать

развитие и расширение системы новыми функциями. Техническая реализация интерфейса подключаемых модулей (ПМ) на платформе \vin32 представляет собой <Ш файл с определенным набором функций. В серверной части стороннему разработчику необходимо реализовать 1ауа-интерфейс.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Сформулированы и сгруппированы критерии, необходимые при сравнительном анализе различных КСТ, выборе КСТ для использования в учебном процессе, а также для анализа разработчиками направлений совершенствования КСТ.

2. Проведенный анализ КСТ показал, что они в большинстве случаев ориентированы на проведение тестов, а не на их разработку. При реализации тестирования ни одна из рассмотренных КСТ не поддерживает адаптивные методы проведения тестов.

3. Разработана фреймовая модель тестового задания, расширяющая классическое и современное ее представление за счет включения метаинформации о семантике.

4. Предложена модель хранилища тестовых заданий, отличающаяся от известных тем, что позволяет учитывать отношения включения и пересечения между тестовыми заданиями.

5. Разработан адаптивный гетерогенный алгоритм для проведения гетерогенных тестов. Его применение позволяет точнее измерить уровень знаний тестируемого и в зависимости от уровня его подготовки сократить количество задаваемых ему тестовых заданий.

6. Разработан новый тип тестового задания - задание на программирование, - позволяющий в тестовой форме проверить знания синтаксиса языка программирования и реализацию на нем алгоритмов.

7. Предложен метод полигамической оценки ответа на тестовые задания, позволяющий повысить точность измерения знаний за счет учета ТЗ, на которые был дан частично правильный ответ.

8. Разработан механизм подключаемых модулей для расширения функций КСТ на этапах подготовки, проведения теста и анализа его результатов, позволяющий легко модернизировать систему.

9. Создана компьютерная система контроля знаний, которая реализует описанные выше модели и алгоритмы. Отличительной характеристикой системы является то, что пользователь не имеет ограничений по платформе, т. е. возможна организация подготовки тестов, тестирования и анализа как в среде Internet/Intranet, так и автономно.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Публикации в изданиях, рекомендованных ВАК России

1. Вергазов, Р. И. Направления развития компьютерной системы тестирования "Ellekta" / А. М. Бершадский, Р. И. Вергазов, И. Г. Кревс-кий // Журнал «Открытое образование». - 2006. - № 6. - С. 22-25.

Публикации в других изданиях

2. Вергазов, Р. И. Критерии оценки компьютерных систем тестирования / Р. И. Вергазов // Приложение к журналу «Открытое образование» ; материалы Всероссийской научно-методической конференции «Открытое образование и информационные технологии», Пенза, 17-20 октября 2005 г. - Пенза: ИИЦ ПТУ, 2005. - С. 56-58.

3. Vergazov, R. I. Tools for the computer testing / A. M. Bershadsky, A. A. Belov, R. I. Vergazov, I. G. Krevsky // Proceedings of K2 summit «Researching Technologies for Tomorrow's Learning : K2 knowledge sharing and looking at the future event», 20-21 September 2004. -Amsterdam : K2 Press, 2004. - P. 22-27.

4. Вергазов, P. И. Технические критерии оценки систем тестирования / Р. И. Вергазов // Информационные технологии и системы в образовании, науке, бизнесе : материалы III Междунар. науч.-техн. конф„ Пенза, 22-23 октября 2002 г. - Пенза : ПДЗ, 2002. - С. 56-58.

5. Вергазов, Р. И. Защита данных в системе тестирования / Р. И. Вергазов, М. В. Чуваев // Университетское образование : IX Междунар. науч.-метод. конф., Пенза, 14-15 апреля 2005 г. - Пенза : ИИЦ ПГУ, 2005.-С. 97-98.

6. Вергазов, Р. И. Интероперабельность тестовых материалов / Р. И. Вергазов // Университетское образование : сб. материалов VII Междунар. науч.-метод. конф., Пенза, 10-11 апреля 2003 г. -Пенза : ПДЗ, 2003. - С. 495-497.

7. Вергазов, Р. И. Использование компьютерных средств контроля знаний для анализа качества подготовки специалистов / Р. И. Вер-газов, И. Г. Кревский // Мониторинг и контроль качества образования : развитие методологии и опыт : материалы X симп. «Квалимет-рия в образовании: методология и практика». - М. : Исследовательский центр проблем качества подготовки специалистов, 2002. -С. 257-262.

8. Вергазов, Р. И. Использование компьютерных средств контроля знаний для проведения междисциплинарного экзамена / А. М. Бер-шадский, Р. И. Вергазов, И. Г. Кревский // Университетское образование : сб. материалов VII Междунар. науч.-метод. конф., Пенза, 10-11 апреля 2003 г. - Пенза : ПДЗ, 2003. - С. 492-^94.

9. Вергазов, Р. И. Компьютерные средства контроля знаний студентов различных форм обучения / А. М. Бершадский, Р. И. Вергазов, И. Г. Кревский // Новые технологии в образовании : тр. II Междунар. симп., Черногория, июнь 2002. - М.: ВТУ, 2002. - С. 41-44.

10. Вергазов, Р. И. Компьютерный контроль знаний как важный элемент обеспечения качества образования / А. М. Бершадский, А. А. Белов, Р. И. Вергазов, И. Г. Кревский // Проблемы качества образования в свете болонских соглашений : материалы XIV Всерос. науч.-метод. конф., Уфа, 27 мая - 3 июня 2004 г. - М. ; Уфа, 2004. -С. 68-71.

11. Вергазов, Р. И. Методы генерации адаптивных тестов / Р. И. Вергазов // Инновации в науке, образовании и бизнесе : материалы II науч.-метод. конф. профессорско-преподавательского состава, сотрудников и студентов, Пенза, 11-12 мая 2004 г. - Пенза : Изд-во РГУ, 2004.-С. 28-30.

12. Вергазов, Р. И. Система удаленного тестирования / Р. И. Вер-газов // Новые информационные технологии : разработка и аспекты применения : материалы I Всерос. науч. конф. молодых ученых и аспирантов, Таганрог, 12-13 ноября 1998 г. - Таганрог : Изд-во Таганрог, ин-та, 1998.- С. 113-114.

13. Вергазов, Р. И. Удаленное тестирование в ДО / А. М. Бершадский, Р. И. Вергазов, И. Г. Кревский // Дистанционное образование: открытые и виртуальные среды : тез. докл. VII Междунар. конф. по дистанционному образованию, не вошедшие в официальный

сборник конференции, Москва, 17-18 июня 1999 г. - М. : МЭСИ, 1999.-С. 2-4.

14. Вергазов, Р. И. Актуальные проблемы компьютерного контроля знаний / А. М. Бершадский, А. А. Белов, Р. И. Вергазов, И. Г. Кревский // Вестник компьютерных и информационных технологий. - 2005. - № 1. - С. 40-48.

15. Вергазов, Р. И. Тестовое задание для проверки знаний по алгоритмическим языкам / Р. И. Вергазов // Новые образовательные технологии в вузе : тез. докл. III Междунар. науч.-метод. конф., Екатеринбург, 13-15 декабря 2005 г. - Екатеринбург : Изд-во УМЦ УПИ, 2005. -С. 310-314.

16. Вергазов, Р. И. Автоматизация проверки качества тестовых заданий / Р. И. Вергазов, И. Г. Кревский, А. Ю. Жильцов // Инновации в образовании : материалы I науч.-метод. конф., Пенза, 26-27 апреля 2003 г. - Пенза: ИИЦ ПТУ, 2003. - С. 32-35.

17. Вергазов, Р. И. Плагины как средство расширения функциональных возможностей системы тестирования / Р. И. Вергазов // Университетское образование : материалы VII Междунар. науч.-метод. конф., Пенза, 15-16 апреля 2004 г. - Пенза : ПДЗ, 2004. -С. 102-103.

18. Вергазов, Р. И. Применение системы компьютерного тестирования для медицинских специальностей вузов / Р. И. Вергазов, О. В. Калмин // Университетское образование : сб. материалов VI Междунар. науч.-метод. конф., Пенза, 10-11 апреля 2002 г. - Пенза : ПДЗ, 2002. - С. 93-96.

19. Вергазов, Р. И. Компьютерная система тестирования Ellekta / А. М. Бершадский, Р. И. Вергазов, И. Г. Кревский // Современные диагностические оценочные средства для аттестации качества образования и применение компьютерных информационных технологий : материалы XI симп. «Квалиметрия в образовании: методология и практика». - М. : Исследовательский центр проблем качества подготовки специалистов, 2006. - С. 5-22.

Вергазов Ринат Ильдусович

Система компьютерного тестирования знаний

Специальность 05.13.10 - Управление в социальных и экономических системах (технические науки)

Редактор Е П. Мухина Технический редактор Н. А. Вьялкова

Корректор Н. А. Сидельникова Компьютерная верстка С. П. Черновой

ИД № 06494 от 26.12.01 Сдано в производство 30.01.07. Формат 60х84*/16. Бумага писчая. Печать офсетная. Усл. печ. л. 1,16. Заказ № 43 Тираж 100.

Издательство Пензенского государственного университета. 440026, Пенза, Красная, 40.

Введение.

1. Обзор и анализ средств контроля знаний.

1.1. Виды и функции контроля знаний.

1.2. Тестирование как форма контроля знаний.

1.3. Теоретические основы тестирования.

1.4. Критерии оценки компьютерных систем тестирования.

1.5. Обзор компьютерных систем тестирования.

Выводы.

2. Модели и алгоритмы проведения тестирования.

2.1 Модели в тестировании.

2.2 Алгоритмы проведения тестирования.

2.3 Применение алгоритмов тестирования при проведении междисциплинарного экзамена.

2.4 ТЗ на программирование для алгоритмических языков.

Выводы.

3. Разработка состава и структуры программного обеспечения компьютерной системы тестирования.

3.1 Формирования требований к КСТ.

3.2 Разработка структуры и выбор средств реализации КСТ.

3.3 Разработка семантической модели БД тестовых материалов.

Выводы:.

4. Описание разработанного ПО КСТ.

4.1 Реализация подсистемы подготовки тестов.

4.2 Реализация подсистемы тестирования.

4.3 Реализация подсистемы анализа результатов тестирования.

Выводы.

Актуальность темы. На современном этапе развития образования в России все больше внимания уделяется внедрению эффективных форм контроля знаний. Одной из таких форм является проведение тестирования. Это наиболее стандартизованный и объективный метод контроля и оценивания знаний, умений и навыков испытуемого, который лишен таких традиционных недостатков других методов контроля знаний, как неоднородность требований, субъективность экзаменаторов, неопределенность системы оценок и т. п. Наиболее эффективным является проведение тестирования с помощью компьютерных систем тестирования (КСТ). Основными преимуществами КСТ являются:

1) применение современных методов оценки знаний;

2) оперативность обработки результатов тестирования;

3) возможность реализации обучающей функции;

4) индивидуализация процесса усвоения знаний учащимися;

5) освобождение преподавателя от выполнения рутинных работ.

Проведенный анализ существующих КСТ показал, что они в большинстве случаев ориентированы на проведение тестов, а не на их разработку. При реализации тестирования ни одна из рассмотренных КСТ не поддерживает адаптивные методы проведения тестов, слабо развита политомическая оценка выполнения тестовых заданий.

Актуальность темы диссертационной работы определяется необходимостью разработки КСТ, устраняющей недостатки рассмотренных систем, обеспечивающей реализацию адаптивных методов тестирования, опирающейся при разработке тестов на теоретические основы как классической, так и современной теории тестирования.

Целью диссертационной работы является повышение эффективности контроля знаний с помощью КСТ, что позволяет своевременно получать информацию о качестве учебного процесса, необходимую для принятия управленческих решений. Для достижения цели необходимо решить следующие задачи:

1. анализ существующих КСТ и выявление их достоинств и недостатков;

2. анализ существующих моделей и алгоритмов проведения тестирования;

3. поиск путей повышения качества тестирования с помощью использования КСТ;

4. разработка моделей и алгоритмов, повышающих эффективность использования КСТ;

5. разработка КСТ. Определение её структуры и функционального назначения её модулей. Выбор процесса разработки и технологий реализации;

6. апробация разработанной системы в конкретной предметной области.

Методы исследования. При решении поставленных задач использовались методы тестологии, математической статистики, теории графов, объектно-ориентированного анализа и проектирования, теории баз данных.

Научная новизна. К наиболее существенным научным результатам, отличным от ранее известных, относятся:

1) фреймовая модель тестового задания, расширяющая классическое и современное ее представление за счет включения метаинформации о семантике задания;

2) модель хранилища тестовых заданий, позволяющая учитывать отношения включения и пересечения между тестовыми заданиями;

3) гетерогенный адаптивный алгоритм тестирования, позволяющий повысить эффективность тестирования путем минимизации количества тестовых заданий;

4) метод политомической оценки, использующий новую формулу для учета в КСТ частично правильных ответов, что дает возможность повысить точность измерения знаний при тестировании;

5) предложен новый тип тестового задания (ТЗ) - задание на программирование, позволяющий в тестовой форме проверить знания языков программирования и реализацию алгоритмов.

Практическая ценность. Разработанные в диссертации модели и алгоритм проведения тестирования позволяют повысить его эффективность, перевести его на качественно более высокий уровень, когда появляется возможность индивидуализировать подход к каждому учащемуся на основании выявленной структуры знаний, организовать контроль и повысить точность измерений уровня знаний за счет политомической оценки тестовых заданий. Предложенный новый тип тестового задания значительно расширяет возможность применения тестов при определении уровня знаний по предметам, связанным с алгоритмическими языками.

Разработана программная реализация компьютерной системы тестирования, имеющая в своем составе подсистему формирования тестовых материалов, подсистему тестирования, подсистему анализа результатов тестирования и подсистему администрирования пользователей. Программное обеспечение (ПО) серверной части написано на языке Java, что обеспечивает развертывание системы практически на всех распространенных операционных системах, имеющих виртуальную Java-машину. ПО, обеспечивающее автономную поддержку подготовки тестов и тестирования, функционирует на платформе Win32 (Windows 95/98/Me/NT/2000/XP/2003).

На основании исследований доказана эффективность применения КСТ в учебном процессе. Данная система внедрена в Пензенском государственном университете (г. Пенза), Российском государственном университете инновационных технологий и предпринимательства г. Москва), Всемирном технологическом университете (г. Москва).

Основные положения, выносимые на защиту:

1) модель тестового задания, расширяющая классическое и современное ее представление;

2) модель хранилища тестовых заданий, учитывающая связи между ними, что позволяет повысить эффективность тестирования;

3) гетерогенный адаптивный алгоритм для контроля знаний, основанный на предложенной модели хранилища тестовых заданий;

4) метод политомической оценки ответов на тестовые задания, позволяющий повысить точность измерения уровня знаний;

5) новый тип тестового задания - задание на программирование, расширяющее область применения тестовых заданий.

Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на следующих конференциях и семинарах: I Всероссийская научная конференция молодых ученых и аспирантов «Новые информационные технологии: разработка и аспекты применения» (Таганрог, 1998), VII Международная конференция «Дистанционное образование: открытые и виртуальные среды» (Москва, 1999), VIII Международная студенческая школа-семинар «Новые информационные технологии» (Москва, 1999), ИДИ международные научно-технические конференции «Информационные технологии и системы в образовании, науке, бизнесе» (Пенза, 2000, 2002), V Международная научно-техническая конференция «Комплексное обеспечение показателей качества транспортных и технологических машин» (Пенза, 2001), VI, VII,IX Международные научно-методические конференции «Университетское образование» (Пенза, 2002, 2003, 2005), X Симпозиум «Квалиметрия в образовании: методология и практика» (Москва, 2002), Международная конференция «Новые технологии в образовании - 2» (Черногория, 2002), ИДИ научно-методические конференции профессорско-преподавательского состава, сотрудников и студентов «Инновации в науке, образовании и бизнесе» (Пенза, 2004, 2005), XIV Всероссийская научно-методическая конференция «Проблемы качества образования в свете болонских соглашений» (Уфа-Москва, 2004), конференция Proceedings of К2 summit «К2 knowledge sharing and looking at the future event» (Amsterdam, 2004), Всероссийская научно-методическая конференция «Открытое образование и информационные технологии» (Пенза, 2005), Международная научно-практическая конференция «Интеллектуальные технологии в образовании, экономике и управлении» (Воронеж, 2005), III Международная научно-методическая конференция «Новые образовательные технологии в вузе» (Екатеринбург, 2005), научно-технические конференции профессорско-преподавательского состава Пензенского государственного университета (2000-2006).

Публикации. По материалам диссертации опубликовано 27 печатных работ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, включающего 118 наименований, приложения, содержащего акты внедрения и примеры работы системы. Основная часть работы изложена на 132 машинописных страницах, содержит 25 рисунков и 8 таблиц.

Выводы

1. Разработана подсистема подготовки тестовых материалов, позволяющая автоматизировано формировать тесты для междисциплинарного экзамена.

2. Разработана подсистема сетевого тестирования, реализующая адаптивный гетерогенный алгоритм и поддерживающая новый тип тестового задания на программирование.

3. Разработана подсистема анализа результатов тестирования, позволяющая применить политомическую оценку ТЗ и сформировать по результатам тестирования карту знаний тестируемого на основе предложенной модели ТЗ и модели банка тестовых заданий.

4. Разработан механизм подключаемых модулей (plug-in), что дает возможность гибкого и эффективного расширениям функциональных возможностей разработанного ПО путем добавления новых модулей, которые могут быть написаны сторонними разработчиками ПО.

5. Впервые предложено использование механизма подключаемых модулей для динамического формирования тестового задания с заданными характеристиками, что позволяет повысить эффективность теста за счет генерации новой формулировки ТЗ.

Заключение

1. Сформулированы и сгруппированы критерии, необходимые при сравнительном анализе различных КСТ, выборе КСТ для использования в учебном процессе, а также для анализа разработчиками направлений совершенствования КСТ.

2. Проведенный анализ КСТ показал, что они в большинстве случаев ориентированы на проведение тестов, а не на их разработку. При реализации тестирования ни одна из рассмотренных КСТ не поддерживает адаптивные методы проведения тестов.

3. Разработана фреймовая модель тестового задания, расширяющая классическое и современное ее представление за счет включения метаинформации о семантике.

4. Предложена модель хранилища тестовых заданий, отличающаяся от известных тем, что позволяет учитывать отношения включения и пересечения между тестовыми заданиями.

5. Разработан адаптивный гетерогенный алгоритм для проведения гетерогенных тестов. Его применение позволяет точнее измерить уровень знаний тестируемого и в зависимости от уровня его подготовки сократить количество задаваемых ему тестовых заданий.

6. Разработан новый тип тестового задания - задание на программирование, - позволяющий в тестовой форме проверить знания синтаксиса языка программирования и реализацию на нем алгоритмов.

7. Предложен метод политомической оценки ответа на тестовые задания, позволяющий повысить точность измерения знаний за счет учета ТЗ, на которые был дан частично правильный ответ.

8. Разработан механизм подключаемых модулей для расширения функций КСТ на этапах подготовки, проведения теста и анализа его результатов, позволяющий легко модернизировать систему.

9. Создана компьютерная система контроля знаний, которая реализует описанные выше модели и алгоритмы. Отличительной характеристикой системы является то, что пользователь не имеет ограничений по платформе, т. е. возможна организация подготовки тестов, тестирования и анализа как в среде Internet/Intranet, так и автономно.

1. Аванесов, В. С. Композиция тестовых заданий. / B.C. Аванесов-М.: Ассоциация инженеров-педагогов, 1996.- 191 с.

2. Аванесов, В. С. Научные проблемы тестового контроля знаний. / B.C. Аванесов М.: Учебный центр при исследовательском центре проблем качества подготовки специалистов, 1994. - 135 с.

3. Аванесов, B.C. Научные проблемы тестового контроля знаний./B.C. Аванесов-М.: Учебный центр при исследовательском центре проблем качества подготовки специалистов, 1994. 136 с.

4. Александреску, А. Современное проектирование на С++ / А. Александреску М.: Вильяме, 2002. - 336 с.

5. Анастази, А. Психологическое тестирование / А. Анастази, С. Урбина 7-е изд. - СПб.: Питер, 2003. - 668 с.

6. Андронов, A.M. Теория вероятностей и математическая статистика / A.M. Андронов, Е. А. Копытов, Л. Я. Гринглаз Спб.: Питер, 2004. - 464 с.

7. Башмаков, А.И. Разработка компьютерных учебников и обучающих систем. / А.И. Башмаков, И.А. Башмаков М.: Изд-во «Филинъ», 2002. - 616 с.

8. Белов, А.А Комплекс программных средств тестирования / А.А Белов, Р.И. Вергазов // Университетское образование: Сборник материалов VII Междунар. науч.-методич. конф. Пенза, 10-11 апреля 2003 г. Пенза : ПДЗ, 2003. - с. 490-492.

9. Белов, А.А. Система анализа результатов тестирования / А.А Белов // Университетское образование: Сборник материалов VIII Междунар. науч.-методич. конф. Пенза, 15-16 апреля Пенза : ПДЗ,2004. С.497-498.

10. Белов, А.А. Система тестирования ELLEKTA / А.А. Белов, Р.И. Вергазов, С.И. Овчинников // Материалы VI Междунар. науч.-методич. конф. Пенза, 10-11 апреля 2002 г. Пенза: ПДЗ, 2002. - С. 96-98.

11. Бершадский, A.M. Актуальные проблемы компьютерного контроля знаний / A.M. Бершадский, А.А. Белов, Р.И. Вергазов, И.Г. Кревский // Вестник компьютерных и информационных технологий.2005.-№ 1.-С. 40-48.

12. Бершадский, A.M. Компьютерные средства контроля знаний студентов различных форм обучения / A.M. Бершадский, Р.И. Вергазов, И.Г. Кревский // Новые технологии в образовании 2. Черногория, 1-8 июня 2002 г, Черногория С. 41-44.

13. Беспалько, В.П. Составляющие педагогической технологии./ В.П. Беспалько М.: Педагогика, 1989. - 191 с.

14. Вайк, A. JavaScript: Полное руководство / А. Вайк, Д. Джиллиам К.: Вильяме, 2004. - 720 с.

15. Ван Хейк, Б. JDBC: Java и базы данных / Б. Ван Хейк М.: Лори 1999.-320 с.

16. Васильев, В.И. Методологические правила конструирования компьютерных тестов / В.И. Васильев, А.Н. Демидов, Н.Г. Малышев, Т.Н. Тягунова М: Всемирный технологический университет, 2000. - 64 с.

17. Васильев, В.И. Программно-педагогические тесты / В.И. Васильев, Н.Г. Малышев, Т.Н. Тягунова М.: МГТУ ГА, 1999. - 52 с.

18. Вергазов, Р.И. Автоматизация проверки качества тестовых заданий / Р.И. Вергазов, И.Г. Кревский, А.Ю. Жильцов // Инновации в образовании: Материалы I науч.-методич. конф. Пенза, 26-27 апреля 2003 г. Пенза : Изд-во ПТУ, 2003. - С. 32-35.

19. Вергазов, Р.И. Защита данных в системе тестирования / Р.И. Вергазов, М.В. Чуваев // IX Международная научно-методическая конференция Университетское образование. Пенза, 14-15 апреля 2005 г. Пенза : Изд-во ПТУ, 2005. - С 97-98.

20. Вергазов, Р.И. Интероперабельность тестовых материалов / Р.И. Вергазов // Университетское образование: Сборник материалов VII Междунар. науч.-методич. конф. Пенза, 10-11 апреля 2003 г. Пенза: ПДЗ, 2003.-с. 495-497.

21. Гамильтон, Б. ADO .NET. Сборник рецептов / Б. Гамильтон СПб.: Питер, 2003. - 576 с.

22. Гамма, Э. Приемы объектно-ориентированного проектирования / Э. Гамма, Р. Хелм, Р. Джонсон, Дж. Влиссидес -СПб.: Питер, 2001.-368 с.

23. Гмурман, В. Е. Теория вероятностей и математическая статистика. / В. Е. Гмурман М.: Высш.шк. 1972. - 368 с.

24. Гомер, A. ASP 3.0 для профессионалов / А. Гомер, Д. Суссман, Б. Френсис М.: Лори, 2005. - 1164 с.

25. Дунаев, В.В. Базы данных. Язык SQL / В.В. Дунаев СПб. : BHV-Петербург, 2006. - 288 с.

26. Дюбуа, П. MySQL / П. Дюбуа М.: Вильяме, 2001. - 816 с.

27. Информационный сайт корпорации Microsoft Электронный ресурс. Режим доступа: http://www.microsoft.com

28. Информационный сайт КСТ "ACT" http://www.ast-centre.ru

29. Информационный сайт КСТ "Aframe" Электронный ресурс. Режим доступа: http://www.aframe.com.au/

30. Информационный сайт КСТ "Ellekta" Электронный ресурс. Режим доступа: http://do.stup.ac.ru

31. Информационный сайт КСТ "Perception" Электронный ресурс. Режим доступа: http://www.qestionmark.com

32. Информационный сайт КСТ "SunRav TestOfficePro" Электронный ресурс. Режим доступа: http://www.sunrav.ru

33. Информационный сайт КСТ "Usatic 2000" Электронный ресурс. Режим доступа: http://usatic.narod.ru

34. Информационный сайт КСТ "WebQuiz ХР" Электронный ресурс. Режим доступа: http://www.smartlite.it

35. Информационный сайт КСТ UniTest. Электронный ресурс. Режим доступа: http://sight2k.com/

36. Информационный сайт спецификации IMS QTI Электронный ресурс. Режим доступа: http://www.imsglobal.org

37. Информационный сайт фирмы IBM Электронный ресурс. РежимflOCTyna:http://wwwl 28.ibm.com/developerworks/rational/library/4706 .html

38. Информационный сайт IDF 1X Электронный ресурс. -Режим доступа: http://www.idef.com/

39. Информационный сайт Web-сервера IIS Электронный ресурс. Режим доступа: http://www.microsoft.com/WindowsServer2003/iis

40. Информационный сайт алгоритмов нечеткого поиска Электронный ресурс. Режим доступа: http://algolist.manual.ru/search/fsearch/

41. Информационный сайт В. С. Аванесова Электронный ресурс. Режим доступа: http://testolog.narod.ru

42. Информационный сайт КСТ "Socrat XXI" Электронный ресурс. Режим доступа: http://www.xxisoft.com

43. Информационный сайт КСТ "xDLS" Электронный ресурс.- Режим доступа: http://www.xdlsoft.com

44. Информационный сайт КСТ "Прометей" Электронный ресурс. Режим доступа: http://www.prometeus.ru

45. Информационный сайт модели Раша Электронный ресурс.- Режим доступа: http://www.rash.org

46. Информационный сайт поддержки разработчиков открытых систем Электронный ресурс. Режим доступа: http://www.apache.org/apache/

47. Информационный сайт поддержки разработчиков систем на основе Apache Struts Электронный ресурс. Режим доступа: http://www.apache.org/struts/

48. Информационный сайт поддержки разработчиков систем на основе Apache Tomcat Электронный ресурс. Режим доступа: http://www.apache.org/tomcat/

49. Информационный сайт поддержки разработчиков систем на основе JSP Электронный ресурс. Режим доступа: http://java.sun.com/products/jsp

50. Информационный сайт поддержки разработчиков систем на основе Web сервера Apache Электронный ресурс. Режим доступа: http://www.apache.org/apache/.

51. Информационный сайт поддержки разработчиков систем на основе продукции фирмы Microsoft Электронный ресурс. Режим доступа: http://www.microsoft.com/

52. Информационный сайт поддержки разработчиков систем на основе сервлетов Электронный ресурс. Режим доступа: http://java.sun.com/products/servlet

53. Информационный сайт поддержки разработчиков систем на основе СУБД MySQL Электронный ресурс. Режим доступа: http://www.mysql.org.

54. Информационный сайт проекта Mono Электронный ресурс. Режим доступа: http://www.mono-project.com/

55. Ирвин, М. Access 2002. Библия пользователя / М. Ирвин, К. Праг-К.: Диалектика, 2003 1216 с.

56. Карданова, Е. Ю. Основные модели современной теории тестирования / Е. Ю. Карданова, Ю.М. Нейман // Вопросы тестирования в образовании 2003. - № 9 - С. 12-37.

57. Коберниченко, A. Visual Studio 6. Искусство программирования. / А. Коберниченко М.: Нолидж, 1999. - 256 с.

58. Корнз, О. Основы ASP.NET и VB.NET / О. Корнз, К. Гуд -М.: Лори, 2003. 592 с.

59. Куклин, В.Ж. КАМЕРТОН. Технология проведения тестирования и анализа результатов. / В.Ж. Куклин, В.Г. Наводнов, М.В. Петропавловский // Йошкар-Ола, МарГТУ: 1995.

60. Курняван, Б. Создание WEB-приложений на языке Java с помощью сервлетов, JSP и EJB / Б. Курняван М.: Лори, 2005. - 720 с.

61. Лиссуар, A. WMI: программирование на JavaScript и VBScript / А. Лиссуар М.: КУДИЦ-Образ, 2005. - 544 с.

62. Мешков, А. Программирование для Windows NT и Windows 95: В трех томах. Том 2. / А. Мешков, Ю. Тихомиров СПб.: BHV, 1997.-464с.

63. Мешков, А. Программирование для Windows NT и Windows 95: В трех томах. Том 2. / А. Мешков, Ю. Тихомиров СПб.: BHV - Санкт-Петербург, 1997. - 464 с.

64. Наводнов, В. Г. Математические модели САПР ПИМ. / В. Г. Наводнов — Йошкар-Ола: Научно-информационный центр государственной аккредитации, 1997. — 72 с.

65. Наводнов, В. Интернет-экзамен в сфере профессионального образования / Наводнов, В., А. Масленников // Журнал "Высшее образование в России. Научно-педагогический журнал МОН РФ." 2006. - N4. - с. 15-19.

66. Нейман, Ю.М. Введение в теорию моделирования и параметризации педагогических тестов / Ю.М. Нейман, В.А. Хлебников М.: Прометей, 2000. - 168 с.

67. Нейман, Ю.М. Педагогическое тестирование как измерение / Ю.М. Нейман, В.А. Хлебников М.: Центр тестирования МО РФ, 2002. - 67 с.

68. Овчинников, В .В. Оценивание учебных достижений учащихся при проведении централизованного тестирования / В.В. Овчинников М.: Центр тестирования МО РФ, 2001. - 27 с.

69. Описание поведения firewall программ Электронный ресурс. Режим доступа: http://rfc.net/rfc2979.html

70. Описание протокола HTTP Электронный ресурс. Режим доступа: http://www.w3 .org/Protocols/rfc2616/

71. Пауэлл, Т.А. Полное руководство по HTML / Т.А. Пауэлл -Мн.: ООО "Попурри", 2001. 912 с.

72. Пауэре, Ш. ASP компоненты. Для профессионалов / Ш. Пауэре // СПб: Питер, 2002 832 с.

73. Полис, Г. Разработка программных проектов на основе Rational Unified Process (RUP) / Г. Полис М.: Бином-Пресс, 2005. -256 стр.

74. Понамарев, В. Программирование на С++/С# в Visual Studio .NET 2003 / В. Понамарев СПб.: BHV, 2003. - 352 с.

75. Проект отраслевого терминологического стандарта Центра тестирования. "Педагогические тесты. Термины и определения" Электронный ресурс. Режим доступа: http://www.ege.ru/dict/dictl.htm

76. Пьюполо, Д. OLE: создание элементов управления / Д. Пьюполо К.: BHV, 1997. - 432 с.

77. Рофэйд, Э. СОМ и СОМ+ / Э. Рофэйд, Я. Шохауд К.: ВЕК+, К.: НТИ, М.: Энтроа, 2000. - 560 с.

78. Сайт центра тестирования министерства образования и науки Российской Федерации Электронный ресурс. Режим доступа: http://www.rustest.ru/

79. Соммервилл, И. Инженерия программного обеспечения. / И. Соммервилл М.: Вильяме, 2002. - 624 с.

80. Страуструп, Б. Язык программирование С++ Специальное издание / Б. Страуструп М.:, СПб.: Издательство Бином - Невский Диалект, 2002.- 1099 с.

81. Трельсен, Э., Модель СОМ и применение ATL 3.0 / Э., Трельсен СПб.: BHV, 2001. - 928 с.

82. Челышкова, М. Б. Математические модели современной теории тестов. / М. Б. Челышкова // Тез. докл. школа-семинар "Научные проблемы тестового контроля знаний" М.: Исследовательский, центр проблем качества подготовки специалистов,1994.-С. 32-36.

83. Челышкова, М.Б. Адаптивное тестирование в образовании / М.Б. Челышкова-М.: Исследовательский центр проблем качества подготовки специалистов, 2001. 165 с.

84. Челышкова, М.Б. Разработка педагогических тестов на основе современных математических моделей. / М.Б. Челышкова М.

85. Исследовательский центр проблем качества подготовки специалистов,1995.-27 с.

86. Челышкова, М.Б. Теория и практика конструирования педагогических тестов / М.Б. Челышкова. М.: Логос, 2002. - 432 с.

87. Чен, П.П. Модель "сущность-связь" шаг к единому представлению данных. / П.П. Чен // Журнал СУБД - 1995 - №3 - с. 137-158.

88. Шлосснейгл, Д. Профессиональное программирование на РНР / Д. Шлосснейгл К.: Вильяме, 2006. - 624 с.

89. Элджер, Д. С++ / Д. Элджер СПб: Питер, 2001. - 320 с.

90. Birnbaum, A. Some Latent Trait Models and Their Use in Inferring an Examinee's Ability / A. Birnbaum, F.M. Lord, M.R. Novick, Statistical Theories of Mental Test Scores. Mass.: Addison-Wesley, 1968. - 568 p.

91. Box, D. Essential COM. / D. Box Boston : Addison-Wesley Professional, 1997.-464 p.

92. Crocker, L. Introduction to classical & modern test theory / L. Crocker, J. Algina. Orlando : Harcourt Brace College Publishers, 1986. -512 p.

93. Eckel, B. Thinking in Java / B. Eckel NJ.: Prentice Hall Ptr, 1998.- 1098 p.

94. Embretson, S.E. Item Response Theory for Psychologists / S. E. Embretson, S. P. Reise N.Y.: LEA, 2000. - 376 p.

95. Hambelton, R.K. Fundamentals of Item Response Theory / R.K. Hambelton, H. Swaminathan, H.J. Rogers London : SAGE Publication Inc., 1991. - 184 p.

96. Hambelton, R.K. Item Response Theory: Principles and Applications / R.K. Hambelton, H. Swaminathan N-Y.: Springer, 1983. -356 p.

97. Keeves, J. P. Educational research. Methodology and Measurement: An International Handbook. / J. P. Keeves Oxford.: Pergamon Press, 1988. - 211 p.

98. Linn, L. Educational Measurement / L. Linn. N-Y. : American Council on Education/Oryx Press, 1988. - 624 p.

99. Lord, F.M. Statistical theories of mental test scores / F.M. Lord N-Y.: McGraw Hill Text - 1967. - 568 p.

100. Rasch, G. On Specific Objectivity: An Attempt of Formalizing the Request for Generality and Validity of Scientific Statements. Danish Yearbook of Philosophy. / G. Rash Munksgaard, Copenhagen : SAGE, 1977.-216 p.

101. Rasch, G. Probabilistic Models for Some Intelligence and Attainment Tests. With a Foreword and Afteword by B.D. Wright. / G. Rash Chicago & London : The Univ. of Chicago Press, 1980. - 199 p.

102. Schneier, В. Applied Cryptography / В. Schneier- N-Y.: John Wiley & Sons, 1996.-784 p.

103. Weiss, D.J. New Horizons in Testing: Latent Trait Test Theory and Computerised Adaptive Testing. / D.J. Weiss N-Y.: Academic Press, 1983.-345 p.

104. Wim, J.L. Handbook of Modern Item Response Theory / J.L. Wim, R.K. Hambelton. N-Y.: Springer-Verlag, 1997. - 510 p.