автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка метода и алгоритмов тестирования знаний на основе интеллектуальной обработки ответов испытуемого на естественном языке

Введение

Глава 1. Анализ подходов к моделированию и параметризации процесса оценки знаний методом тестирования

1.1. Введение в проблематику тестового контроля знаний

1.1.1. Определение, свойства теста, формы тестирования

1.1.2. Математические модели интерпретации результатов тестирования

1.2. Классификация и обзор современных систем компьютерного тестирования

1.2.1. Обзор средств крупномасштабного тестирования

1.2.2. Обзор систем оперативного контроля знаний

1.2.3. Обзор систем итогового контроля знаний

1.2.4. Обзор систем контроля знаний с поддержкой ответов открытой формы

Выводы по главе. Постановка задачи диссертационной работы

1.3.

Глава 2.

2.1. 2.2.

2.4.

Глава 3.

Постановка и анализ задачи построения автоматизированной тестирующей системы с анализом ответов испытуемого на естественном языке

Обоснование выбора и анализ объекта исследования Разработка обобщенного алгоритма системы-объекта исследования

Разработка общих принципов математического моделирования автоматизированной тестирующей системы Выводы по главе

Построение математических моделей средств автоматизации процессов оценки знаний методом тестирования с интеллектуальной обработкой ответов испытуемого на естественном языке

Анализ принципов и построение обобщенной модели системы-объекта исследования

Разработка и исследование методов расширения современной теории моделирования и параметризации тестирования на основе использования тестовых заданий открытой формы Построение модели лингвистического ресурса тезауруса предметной области для целей семантического расширения деревьев поверхностно-синтаксического анализа Разработка математической модели задачи сравнения деревьев поверхностно-синтаксического анализа

3.5. Разработка общих принципов математического ¥ моделирования этапов интерпретации результатов тестирования

3.6. Выводы по главе

Глава 4. Разработка программного комплекса автоматизирующего ф оценку знаний методом тестирования с использованием заданий открытой формы с интеллектуальной обработкой ответов испытуемого на естественном языке

4.1. Этапы разработки

4.2. Проектирование программного комплекса

4.3. Выбор и обоснование средств разработки

4.4. Описание структуры и принципов функционирования программного комплекса и входящих в него подсистем и модулей

4.5. Конструирование пользовательского интерфейса

4.6. Функциональная схема аппаратных средств 135 £ 4.7. Выводы по главе

Глава 5. Применение разработанных моделей, алгоритмов и программного обеспечения для решения практических задач

5.1. Применение программного комплекса при тестировании знаний студентов технического ВУЗа

5.2. Применение программного комплекса в задачах проведения аттестации и сертификации высококвалифицированных специалистов

5.3. Применение программного комплекса в системах дистанционного образования

5.4. Сравнительный анализ функциональных характеристик разработанного программного комплекса с существующими аналогами

5.5. Выводы по главе

Оценка знаний в традиционном (узком) понимании рассматривается как определение итогового уровня подготовки обучаемого в рамках некой

• предметной области после прохождения курса обучения. Ключевым моментом данного утверждения является неразрывность процесса контроля и процесса обучения. Это утверждение справедливо для традиционных очных форм обучения, альтернативных заочных и для новых, развивающихся форм, таких как дистанционное образование с применением информационных технологий. Существуют задачи контроля знаний и вне учебного процесса, которые используются в производственной среде. Основными из таких задач являются: аттестация персонала, проведение сертификационных экзаменов, отбор ® кандидатов на конкретные вакансии и т.п. Результатом оценки знаний, как правило, является определение некоторой величины в рамках шкалы оценивания. Последствия оценивания могут иметь самые различные результаты - от чисто морального эффекта, до определения критических выводов и принятия судьбоносного решения.

В связи с чрезвычайной важностью точности оценивания знаний необходимо подходить к этому явлению как к процессу объективного измерения и результаты такого измерения обрабатывать стандартными математическими методами и сопровождать стандартными характеристиками точности [62]. Весь процесс оценки знаний должен выполняться в рамках научно-обоснованной методологии, с практической апробацией, подтверждающей работоспособность теории.

Задачи исследования проблемы оценки знаний ставят несколько целей:

- максимизация объективности оценивания;

- увеличение эффективности процесса оценки;

- внедрение новых форм и способов оценки в современных нетрадиционных) способах обучения, аттестации, сертификации специалистов, и других сферах деятельности человека.

Тестирование, как форма оценки знаний, является одним из перспективнейших направлений увеличения качества решения поставленных задач. Использование тестирования в реальной деятельности позволит повысить детальность и точность оценивания и, кроме того, может являться единственно возможной формой процесса проверки знаний в ряде ситуаций, таких как:

- проверка знаний высококвалифицированных специалистов, вследствие дефицита квалифицированных контролирующих кадров, сложности организации экзаменационной комиссии, трудоемкости процесса контроля;

- оценка знаний в системах дистанционного образования с использованием сетевых технологий Интернет;

- проведение массовой аттестации, сертификации специалистов, обучаемых.

Использование ответов, вводимых в свободной текстовой форме, является самой естественной и наиболее сложной задачей при организации системы контроля знаний. Использование подобных заданий имеет следующие преимущества перед «традиционными» заданиями закрытого типа:

- увеличивает точность и детальность оценивания;

- позволяют определять правильность ответа на поставленный вопрос с определенной точностью;

- исключает фактор случайного выбора;

- минимизирует возможность рассекречивания;

Научным направлением, лежащим в основе моделирования и параметризации процесса тестирования, являются две теории: так называемая «классическая теория тестирования» и «современная теория тестирования» получившая название в иностранной литературе название Item Response Theory (IRT). В основе теории IRT лежит множество математических методов, основные из которых: теория вероятности, математическая статистика, дисперсионный и регрессионный анализ. При построении тестирующих систем с открытой формой ответа в виде текста на естественном языке (ЕЯ) используются: методы искусственного интеллекта, методы лингвистической обработки текстов на ЕЯ.

Можно сделать вывод об актуальности работ, направленных на построение, исследование и поддержку математических моделей тестирующей системы основанной на интеллектуальной обработке ответов испытуемого на ЕЯ, для исследования всего комплекса проблем автоматизации оценки знаний.

Целью диссертационной работы является разработка математических моделей, методов и средств автоматизации процессов оценки знаний методом тестирования с интеллектуальной обработкой ответов испытуемого на естественном языке.

Задачи исследования. В диссертационной работе решаются следующие задачи:

1. Анализ существующих подходов к оценке знаний методом тестирования и средств их автоматизации.

2. Разработка обобщенного алгоритма и информационной модели системы оценки знаний методом тестирования на основе интеллектуальной обработки ответов испытуемого на ЕЯ.

3. Разработка и исследование методов расширения современной теории моделирования и параметризации тестирования на основе использования тестовых заданий открытой формы.

4. Построение модели лингвистического ресурса тезауруса предметной области для целей семантического расширения деревьев поверхностно-синтаксического анализа.

5. Разработка принципов компьютерной системы оценки знаний методом тестирования, основанной на использовании заданий открытой формы с интеллектуальной обработкой ответов испытуемого на ЕЯ, и разработка модулей программного комплекса.

6. Создание методики применения тестирующей системы для проведения аттестации и сертификации высококвалифицированных специалистов и оценки знаний в системах дистанционного образования.

Методы исследования основаны на использовании научных положений системного анализа, теории моделирования и параметризации тестирования, методов математической статистики, теории вероятности, комбинаторики, методов искусственного интеллекта, лингвистического анализа. При разработке программных модулей использовалась технология объектно-ориентированного проектирования, СОМ-технологии, реляционная СУБД, стандарт RDF моделирования и обмена семантических моделей.

Научная новизна работы состоит в следующем:

1. Предложена модель тестирующей системы на основе использования тестовых заданий открытой формы с ответом на ЕЯ.

2. Разработано расширение методов современной теории моделирования и параметризации тестирования на основе использования тестовых заданий открытой формы.

3. Предложена модель лингвистического ресурса тезауруса предметной области для целей семантического расширения деревьев поверхностно-синтаксического анализа.

4. Разработаны методы автоматизации процесса проверки гипотезы тестирования на основе интеллектуальной обработки ответов испытуемого на ЕЯ.

5. Предложена методика применения тестирующей системы для проведения аттестации и сертификации высококвалифицированных специалистов и оценки знаний в системах дистанционного образования.

Практическую ценность работы составляют:

1. Созданный тестирующий программный комплекс оценки знаний методом тестирования, применение которого позволяет получать объективные оценки знаний испытуемых, отражающиеся на единой нормированной шкале и сопровождающиеся качественной характеристикой точности.

2. Разработанный тезаурус предметной области информационных технологий, используемый в работе тестирующей системы для тестов данной тематики.

Цель и поставленные задачи определили структуру работы: В первой главе рассмотрены типичные задачи оценки знаний методом тестирования, дано их формализованное описание и классификация. На основании работ Дж. Раша, А. Бирнбаума, B.C. Аванесова, Т.С. Анисимова, В.П. Беспалько, А.Н. Майорова, А.А. Маслак, Е.А. Михайлычева, Ю.М. Неймана, А.И. Самыловского, А.О. Татур, М.Б. Челышковой, В.А. Хлебникова и других ученых рассмотрены методы и модели теории тестирования, сделан вывод, о том, что научно обоснованное компьютерное тестирование имеет ряд весомых преимуществ перед традиционными формами оценки знаний. Работы А.А. Андреева, Я.А. Ваграменко, М.П. Карпенко, Е.С. Полат, В.И. Солдаткина, А.А. Полякова, А.В. Хуторского и других ученых, посвященны вопросам развития дистанционного образования. Опыт проведения сертификационных экзаменов компаниями Microsoft, Novell, Cisco, Intel, IBM, HP, Siemens и других показал эффективность использования тестового контроля знаний. Проанализированы недостатки классической теории тестирования, описаны достоинства и рассмотрены модели современной теории тестирования (IRT), в частности однопараметрическая модель Раша, двух и трехпараметрические модели Бирнбаума. Рассмотрены пути повышения точности и надежности тестового измерения за счет использования заданий открытого типа, использования адаптивных алгоритмов управления гипотезой тестирования. Предложена классификация и проведен анализ современных систем тестирования знаний. Выявлен ряд функциональных требований к разработываемой в рамках диссертационной работы автоматизированной тестирующей системы, а также определено ее место среди рассмотренных.

Сделаны выводы: задания открытой формы, основанные на использовании свободно конструируемых ответов на ЕЯ представляют большой интерес с точки зрения повышения детальности оценивания отдельных заданий с выражением тестового балла в политомической шкале. Большую актуальность имеет задача создания тестирующей системы с ответами испытуемого на естественном языке, с применением моделей современной теории тестирования для анализа и интерпретации результатов тестирования.

Во второй главе производится постановка задачи автоматизации процесса тестирования знаний с использованием ответов испытуемых на ЕЯ -как объекта исследования. Приводится обоснование выбора и анализ свойств объекта исследования. На основе применения системного подхода, с учетом свойств объекта исследования, разработан обобщенный алгоритм анализа и решения задачи, выбранной в качестве объекта исследования и разработана общая структура автоматизированной системы объекта исследования. Описано назначение, принципы построения и работы основных модулей системы, определены принципы взаимодействия описанных модулей, лежащие в основе функционирования данной автоматизированной тестирующей системы. По результатам построения обобщенного алгоритма и информационных моделей определен набор математических моделей, разработка и исследование которых необходимы для обеспечения автоматизированной поддержки тестирования с ответами испытуемого на ЕЯ.

В третьей главе производится исследование математических моделей средств автоматизации процессов оценки знаний методом тестирования с интеллектуальной обработкой ответов испытуемого на ЕЯ. Построена математическая модель системы-объекта исследования, основанная на использовании теории лингвистического анализа, современной теории моделирования и параметризации тестирования, методов представления знаний в виде семантических сетей, математической статистики. Разработаны и исследованы методы расширения современной теории моделирования и параметризации тестирования на основе использования тестовых заданий открытой формы. Разработана математическая модель задачи сравнения деревьев поверхностно-синтаксического анализа, основанная на использовании синтаксического шаблона эталонного и анализируемого ответов. Описаны разработанные модели интерпретации результатов тестирования с получением интегральной оценки испытуемого, информации о слабых и сильных местах в знаниях испытуемого, а также методы определения надежности и валидности, калибровки тестовых заданий, определения погрешности тестовых измерений.

В четвертой главе рассматриваются вопросы разработки программного комплекса (ПК) автоматизированной тестирующей системы. Требования к ПК формируются с учетом разработанных моделей и принципов визуального проектирования. Определены структурные и функциональные требования к ПК. Приводятся архитектура и функциональная схема разработанного ПК FlexTest, реализующего автоматизированную проверку знаний методом тестирования с поддержкой ответов испытуемого на ЕЯ. Описана структура и принципы функционирования ПК и входящих в него подсистем и модулей. Приводится пользовательский интерфейс системы с примерами использования данной системы. В завершении главы приводится функциональная схема аппаратных средств, необходимых для функционирования разработанной системы. Анализируются возможные направления развития и пути применения ПК FlexTest.

В пятой главе освещаются вопросы, связанные с применением разработанного ПК автоматизированной тестирующей системы. Рассматривается практическое применение разработанной системы при проведении итогового контроля знаний у студентов технического ВУЗа по специальным дисциплинам специализации «Программное обеспечение вычислительной техники и автоматизированных систем». Описана методология применения разработанного ПК в задачах аттестации и сертификации высококвалифицированных специалистов и в системах дистанционного образования.

Положения, выносимые на защиту. На защиту выносятся:

1. Обобщенный алгоритм и информационная модель системы оценки знаний методом тестирования на основе интеллектуальной обработки ответов испытуемого на естественном языке.

2. Расширение методов современной теории моделирования и параметризации тестирования (Item Response Theory).

3. Модель лингвистического ресурса тезауруса предметной области для целей семантического расширения деревьев поверхностно-синтаксического анализа.

4. Методы сравнения и сопоставления деревьев поверхностно-синтаксического анализа.

5. Архитектура тестирующего программного комплекса основанного на заданиях открытой формы с генерацией ответа испытуемого на естественном языке и порядок взаимодействия его компонентов.

6. Методики применения тестирующей системы для проведения аттестации и сертификации высококвалифицированных специалистов и оценки знаний в системах дистанционного образования.

5.5. Выводы ПО ГЛАВЕ

1. Разработанный ПК FlexTest инвариантен в том смысле, что подходы, используемые в нем, не зависят от конкретной предметной области. Система может быть использована в различных отраслях деятельности, что подтверждается апробацией системы в образовательном процессе, рассмотрено ее промышленное применение.

2. Разработаны методики применения ПК FlexTest для проведения аттестации и сертификации высококвалифицированных специалистов и оценки знаний в системах дистанционного образования.

3. Проведено сравнение разработанного ПК с конкурирующими программными продуктами, показавшее превосходство разработанного ПК по составу и эффективности функциональных характеристик.

ЗАКЛЮЧЕНИЕ

Диссертациоиная работа «Разработка метода и алгоритмов тестирования знаний на основе интеллектуальной обработки ответов испытуемого на естественном языке» выполнена в Брянском государственном техническом университете.

В результате проведенных научных исследований, связанных с темой диссертационной работы, и решении поставленных в работе задач, были получены следующие основные выводы результаты:

1. Проведен анализ существующих средств автоматизации оценки знаний методом тестирования, а также технологий и подходов, лежащих в основе функционирования подобных систем, который показал, что ни одна из рассмотренных систем не реализует всех необходимых функций по определению оценки знаний.

2. Предложена модель тестирующей системы на основе использования тестовых заданий открытой формы с ответами испытуемого на ЕЯ, позволяющая увеличить качество и детальность тестового оценивания.

3. Разработаны математические модели и алгоритмы тестирования с поддержкой политомической оценки ответов испытуемого на ЕЯ.

4. Спроектирована функциональная схема программного комплекса, отображающая процесс взаимодействия компонентов системы, а также ряд алгоритмов, реализующих теорию, приведенную в рамках диссертационного исследования.

5. Разработан программный комплекс, реализующий автоматизацию оценки знаний методом тестирования с поддержкой ответов испытуемых на ЕЯ, в том числе через сеть Интернет.

6. Предложена методика применения тестирующей системы для проведения аттестации и сертификации высококвалифицированных специалистов и оценки знаний в системах дистанционного образования.

7. Система, созданная в рамках диссертационной работы, инвариантна относительно предметных областей. Её применение позволяет получать объективные оценки знаний испытуемых, отражающиеся на единой нормированной шкале и сопровождающиеся качественной характеристикой точности.

Практические результаты выполненных исследований были внедрены в учебный процесс и использованы в задачах тестирования знаний студентов БГТУ по дисциплинам: «Разработка и администрирование Web-узлов», «Программирование приложений Windows». Проявлен большой интерес к перспективе внедрения АТС преподавателями кафедры «Информатика и программное обеспечение» преподающих дисциплины: «Базы данных», «Алгоритмы и структуры данных», «Дискретная математика». Внедрение разработанной АТС показало значительное сокращение временных затрат при проведении оценки знаний студентов, а также позволяет достичь большей эффективности, точности в оценке знаний по сравнению с применением конкурентных систем. Увеличивается мотивация студентов, снимается психологическая напряженности связанная с опасениями по поводу возможной субъективности, предвзятости экзаменатора.

Внедрение разработанной АТС в промышленных целях: аттестации и сертификации высококвалифицированных специалистов позволяет принимать обоснованные кадровые решения, увеличивая тем самым конкурентоспособность организации на рынке.

1. Аванесов, B.C. Композиция тестовых заданий / B.C. Аванесов М.: АДЕПТ, 1998.-217с.

2. Аванесов, B.C. Методологические и теоретические основы тестового педагогического контроля: автореф. дис.: д-ра пед. наук: 13.00.01 / B.C. Аванесов; С.-Петербургский гос. Ун-т-СПб., 1994.

3. Аванесов, B.C. Научные основы тестового контроля знаний / B.C. Аванесов М.: Иссл. центр, 1994. - 135 с.

4. Аванесов, B.C. Научные проблемы тестового контроля знаний / B.C. Аванесов М.: Учебный центр при ИЦПКПС, 1994.- 136 с.

5. Аванесов, B.C. Основы научной организации педагогического контроля в высшей школе/B.C. Аванесов. М.: МИСИС, 1989,- 167 с.

6. Аванесов, B.C. Теория и методика педагогических измерений / B.C. Аванесов // Управление школой. 1999г. - № 34.

7. Аверченков, В.И. Система тестирования знаний с поддержкой ответов открытого типа на естественном языке / В.И. Аверченков, Е.А. Белов // Сборник научных трудов. Известия ОрелГТУ. Сер. Информационные системы и технологии. 2006. - № 1 (5). - С. 4-8.

8. Автоматический перевод семантической сети WORDNET на русский язык / И.Г. Гельфейнбейн и др. // Тр. Международного семинара Диалог-2003 по компьютерной лингвистике и её приложениям. М.: Наука, 2003.

9. Андреев, А. А. Введение в Интернет-образование / А.А. Андреев. М.: Логос, 2003.-73с.

10. Андреев, А.А. Дидактические основы дистанционного обучения / А.А. Андреев. М.: РАО,1999. - 126с.

11. Анфилатов, B.C. Системный анализ в управлении: учеб. пособие / B.C. Анфилатов, А.А. Емельянов, А.А. Кукушкин. М.: Финансы и статистика, 2002.-368 с.

12. АОТ проект Электронный ресурс. Режим доступа: - http://www.aot.ru.

13. Апресян, Ю.Д. Избранные труды. / Ю.Д. Апресян / Т.1. Лексическая семантика: 2-е изд., испр. и доп. М.: Языки Русской Культуры, «Восточная литература» РАН, 1995.

14. Беспалько, В.П. Системо-методическое обеспечение учебно-вычислительного процесса подготовки специалистов / В.П. Беспалько, Ю.Г. Татур М.: Высшая школа, 1989. - 143 с.

15. Беспалько, В.П. Слагаемые педагогической тестологии / В.П. Беспалько -М.: Педагогика, 1989.

16. Беспалько, В.П. Элементы теории управления процессом обучения. 4.1 / В.П. Беспалько М., 1970.

17. Брундасов, С. М. Автоматизация принятия решений на основе семантического анализа иерархических и сетевых моделей: дис. канд. техн. наук: 05.13.18 / Брундасов Сергей Михайлович. Брянск, 2003. - 206 с.

18. Булыгин, В.Г. Основы автоматизации процесса обучения/ В.Г. Булыгин. -Йошкар-Ола, 2003. 190 с. - Библиогр.: с. 180-187.

19. Ваграменко, Я.А. Развитие образовательных телекоммуникаций в России / Я.А. Ваграменко, С.Д. Каракозов // Международная конференция по программе ЮНЕСКО: Социально-экономические проблемы образования в Западно-Сибирском регионе России. Барнаул, 1995.

20. Владимиров, В.Н. О возможностях компьютеризованного тестового контроля / В.Н. Владимиров, Н.А. Урусов //Компьютер и историческое знание. 1994. - с.177-183.

21. Гаскаров, Д.В. Интеллектуальные информационные системы / Д.В. Гаскаров // Учеб. для вузов- М.: Высш. шк., 2003. 431 с.

22. Глас, Дж. Статистические методы в педагогике и психологии: пер. с англ. / Дж. Глас, Дж. Стэндли М.: Прогресс, 1976. - 495 с.

23. Глобал Персонал рекрутинговое агентство Электронный ресурс. -Режим доступа: - http://www.recruitinent.com.ua.

24. Гмурман, В.Е. Руководство к решению задач по теории вероятности и математической статистике: учебное пособие / В.Е. Гмурман М: Высшая школа, 2003.-405 с.

25. ГОСТ 7.24-90 Система стандартов по информации, библиотечному и издательскому делу. Тезаурус информационно-поисковый многоязычный. Состав, структура и основные требования к построению.

26. ГОСТ 7.25-80 Система стандартов по информации, библиотечному и издательскому делу. Тезаурус информационно-поисковый одноязычный. Правила разработки, структура, состав и форма представления.

27. Дейтел, X. М. Как программировать на XML / Х.М. Дейтел, П.Д. Дейтел. -М.: Бином, 2001.-944 с.

28. Деревнина, АЛО. Системы тестирования в электронных учебниках / АЛО. Деревнина, В.А. Семикин // Информационные технологии. 2002. - №5. -с. 39-44.

29. Дистанционное обучение: к виртуальным средам знаний / В.П. Тихомиров и др. // ДО. № 2, 1999. - С. 8-16.

30. Зализняк, А.А. Грамматический словарь русского языка: Словоизменение / А.А. Зализняк М: Русский Язык, 1987.

31. Интернет в гуманитарном образовании/ под ред. Е.С. Полат// Учеб. пособие для вузов М.: Владос, 2001. - 271 с.

32. Карпенко, Д.С. Автоматизированная система мониторинга эффективности усвоения знаний и качества тестовых заданий / Д.С. Карпенко, О.М. Карпенко, Е.Н. Шлиху нова // Инновации в образовании 2001. - №2 - С.69-86.

33. Карпенко, М.П. Дистанционные технологии ключ к массовому образованию 21 века / М.П. Карпенко // Высшее образование сегодня. -2002. - N 7-8. - С. 4-13.

34. Карпенко, М.П. Опыт создания и внедрения информационно-спутниковой образовательной технологии Современного гуманитарного университета / М.П. Карпенко // Телекоммуникации и информатизация образования . -2002.-N 4.

35. Карпова, И.П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах: автореф. дис. канд. техн. наук: 05.13.13 / Карпова Ирина Петровна. Москва, 2002.

36. Кацнельсои, С.Д. Заметки о падежной теории Филлмора / С.Д. Кацнельсои // ВЯ, № 1 , 1 988.

37. Комаров, И. И. Методы автоматического поиска релевантной информации в тексте на естественном языке: дис. канд. физ.-мат. наук: 05.13.01 / Комаров Игорь Иванович. Санкт-Петербург, 2003 - 115 с.

38. Кривцов, А.Н. Проблемы формализации русского языка в процессах управления поисковых, обучающих и естественно-языковых систем: дис. кан. физ.-мат наук / А.Н. Кривцов СПб.: СпбГУ, 1998.

39. Леонтьева, Н.Н. К теории автоматического понимания естественных текстов. 2-х частях / Н.Н. Леонтьева М.: Изд-во МГУ, 2000.

40. Лукашевич, Н.В. Тезаурус русского языка для автоматической обработки больших текстовых коллекций / Н.В. Лукашевич, Б.В. Добров // Тр.

41. Международного семинара Диалог'2002 по компьютерной лингвистике и ее приложениям. М.: Наука, 2002. - Т.2.

42. Лурье, С.В. Психологическая антропология: история, современное состояние, перспективы: Учеб. пособие для вузов / С. В. Лурье. М. ; Екатеринбург: Академический Проект : Деловая книга, 2003. - 624 с.

43. Майоров, А.Н. Теория и практика создания тестов для системы образования / А.Н. Майоров. М.: Народное образование, 2000. - 352с.

44. Маслак, А.А. Измерение уровня развития сферы образования в регионах России / А.А. Маслак, Т.С. Анисимова, С.И. Седых // Педагогические измерения, 2004. №1 - сс.97 - 128.

45. Маслак, А.А. Исследование дифференцирующей способности модели Раша на основе имитационного эксперимента / А.А. Маслак // Педагогическая диагностика, 2003. №1 - сс.103 - 117.

46. Маслак, А.А. Разработка измирителыюго инструмента для оценки отношения преподавателей к Единому госэкзамену / А.А. Маслак, Т.С. Анисимова // Педагогическая диагностика, № 4, 2003. сс.85 - 108.,

47. Матвеенко, Р. Что такое SSL? Электронный ресурс. Режим доступа: -http://www.unixoid.spb.ru/Security/ssl2.html.

48. Материалы к компьютерному тезаурусу лексики русского языка / сост.: И. В. Азарова, О. А. Митрофанова. СПб., 2002. - 232 с.

49. Михайлычев, Е.А. Дидактическая тестология / Е.А. Михалычева М.: Народное образование, 2001.-432 с.

50. Моисеев, В.Б. Статистический подход к принятию решений по результатам тестирования для тестов открытой формы / В.Б. Моисеев и др. // Открытое образование 2001. - №1. - С. 51-57.

51. Моисеев, В.Б. Статистический подход к принятию решений по результатам тестирования для тестов открытой формы / В.Б. Моисеев и др. // Открытое образование, 2001. №1. [Электронный ресурс]. - Режим доступа: - http://www.mesi .ru/joe/N 1 01 /mo.html

52. Нардюжев, В.И. Модели и алгоритмы информационно-вычислительных систем компьютерного тестирования / В.И. Нардюжев, И.В. Нардюжев -М.: Прометей, 2000. 148 с.

53. Нейман, Ю.М. Введение в теорию моделирования и параметризации педагогических тестов / Ю.М. Нейман, В.А. Хлебников. М., 2000. - 168 с. с табл. и илл. - стр 6.

54. Нейман, Ю.М. Вопросы точностных расчетов в теории моделирования параметризации педагогических тестов / Ю.М. Нейман // Труды Центра тестирования. М.: Прометей, 1999. Вып.2. - 49-54 с.

55. Нейман, Ю.М. Как измерить учебные достижения? / Ю.М. Нейман // Вопросы тестирования в образовании, 2001, № 1.-е. 40-56.

56. Нейман, Ю.М. Основные модели современной теории тестирования / Ю.М.Нейман, ЕЛО. Карданова // Вопросы тестирования в образовании, 2003г. №7.

57. Овчинников, В.В. Оценивание учебных достижений учащихся при проведении централизованного тестирования / В.В. Овчинников Центр тестирования МО РФ, 2001. - 27 с.

58. Основы открытого образования. Т. 1. /отв. ред. В.И. Солдаткин. -Российский государственный институт открытого образования. - М., 2002.-676 с.

59. Основы открытого образования. Т. 2. /отв. ред. В.И. Солдаткин. -Российский государственный институт открытого образования. - М., 2002.-680 с.

60. Основы педагогического тестирования. Тематические публикации, ссылки на другие ресурсы Электронный ресурс. Режим доступа: -http://kolsarat.chat.ru.

61. Пекар, В.И. Автоматическое пополнение специализированного тезауруса. // Тр. Международного семинара Диалог-2002 по компьютерной лингвистике и её приложениям в двух томах/ под ред. А. С. Нариньяни. -М.: Наука, 2002.-Т.2.

62. Перегудов, Ф.И. Введение в системный анализ / Ф.И. Перегудов, В.П. Тарасенко. М.: Высшая школа, 1989. - 367 е.

63. Подласый, И.П. Педагогика: Новый курс: В 2 кн.: Кн. 1: Общие основы; Процесс обучения / И.П. Подласый Учебник для студентов педагогических вузов. - М.: "Владос", 1999, 574 стр.

64. Полат, Е.С. Теория и практика дистанционного обучения / Е.С. Полат // Информатика и образование. 2001. -№5. - С.37-42.

65. Попов, Д.И. Способ оценки знаний в дистанционном обучении на основе нечетких отношений / Д.И. Попов //Дистанционное и виртуальное обучение. 2001. - № 4. - С. 34-37.

66. Попов, Э.В. Общение с ЭВМ на естественном языке / Э.В.Попов. М.: Наука, 1982.-360 с.

67. Поспелов, Д.А. Уровни понимания / Д.А. Поспелов // В сб. Искусственный интеллект. В 3-х кн.- М.: Рис, 1990.

68. Прометей система дистанционного обучения Электронный ресурс. -Режим доступа: - http://www.prometeus.ru.

69. ПРОФОРИЕНТАТОР компьютеризированный комплекс тестирования Электронный ресурс. - Режим доступа: -http://www.ht.ru/prof/cons/ann prof.html.

70. Российский портал открытого образования: обучение, опыт, организация /отв. ред. В.И. Солдаткин. М., 2003. - 508 с.

71. РОССИЯ поисковая система Электронный ресурс. - Режим доступа: -http://www.cir.ru.

72. Рощин, С. М. Автоматизация мониторинга и системного анализа распределенной проблемно-ориентированной информации в среде Интернет: дис. канд. техн. наук: 05.13.01 / Рощин Серегй Михайлович. -Брянск, 2005.- 197 с.

73. Рыбина, Г. В. НЕ-факторы: лингвистические аспекты извлечения / Г. В. Рыбина, Р. В. Душкин // Тр. Международного семинара Диалог-2002 по компьютерной лингвистике и её приложениям в двух томах / под ред. А.С. Нариньяни. М.: Наука, 2002. - Т. 2.

74. Самыловский, А.И. Государственныеобразовательные стандарты высшего профессионального образования как тестологическая основа внедрения образовательного тестирования / А.И. Самыловский // Вопросы тестирования в образовании, 2003, № 5.

75. Семенов, Ю.А. Протокол SSL. Безопасный уровень соединителей Электронный ресурс. Режим доступа: - http://book.itep.ru/6/ssl 65.htm.

76. Система образования и подготовка преподавателей: в 2 томах / под ред. Н.А. Белякова, А.П. Щербо. С.Петербург, 2002,- Т. 1 - 475 С.

77. Современная гуманитарная академия (СГА). ВИРТУАЛЬНАЯ ЭКСКУРСИЯ ПТ-2 Электронный ресурс. Режим доступа: -http://www.rnuh.ru.

78. Сокирко, А.В. Семантические словари в автоматической обработке текстапо материалам системы ДИАЛИНГ): дис. канд. техн. наук / А.В. Сокирко Электронный ресурс. Режим доступа: - http://www.aot.ru/technology.html.

79. Сокирко, А.В. Сравнение эффективности двух методик снятия лексической и морфологической неоднозначностей для русского языкаф (скрытая модель Маркова и синтаксический анализатор именных групп) /

80. А.В. Сокирко, С.Ю. Толдова Элеткронный ресурс. Режим доступа: -http://company.yandex.ru/grant/2005/01 Sokirko 92802.pdf.

81. Соловейчик, А.С. Система тестирования в России / А.С. Соловейчик //Первое сентября .- 2001. 29 сент.

82. СпбГУ, кафедра математической лингвистики Электронный ресурс. -Режим доступа: http://www.phil.pu.ru.

83. Стась, А. Н. Программно-инструментальный комплекс для автоматизированного контроля знаний: дис. на соискание ученой степени канд. техн. наук / А.Н. Стась Томск, ТГПУ, - 2004.

84. Тайц, О.Г. Интеллектуальные алгоритмы математического решения научно-технических задач и применение языка БРЯН / О.Г. Тайц // Информационные процессы и системы. 2003. - №1. - с. 16-21.

85. Тайц, О.Г. Язык БРЯН и системные исследования: Интеллектуальные инструменты научного творчества / О. Г. Тайц. Брянск: Придесенье, 1994. - 142 с.

86. Талызина, Н.Ф. Теоретические основы контроля в учебном процессе / Н.Ф.

87. Талызина. М.: Знание, 1983. -96 с.

88. Тузов, В.А. Компьютерная лингвистика. Опыт построения компьютерных словарей / В.А. Тузов. СПб.: СПбГУ, 2002, 650 с.

89. Тузов, В.А. Семантический анализ текстов на русском языке / В.А. Тузов // Вестник СПбГУ. Сер. 1, 1998, вып. 1 (№21).

90. Тузов, В.А. Семантический анализатор текстов на русском языке / В.А. Тузов // Информационные технологии в гуманитарных и общественных науках. Вып. 9: Семантико-синтаксический анализ текстов. СПб.: СПб Экон.-матем. Институт РАН, 2000

91. Усатик программный комплекс тестирования Электронный ресурс. -Режим доступа: — http://usatic.narod.ru.

92. Флойда алгоритм решения сетевых задач Электронный ресурс. Режим доступа: - http://a1go1ist.rnanual.ru/maths/graphs/shortpath/floyd.php.

93. Хлебников, В.А. Технология масштабных процедур тестирования / В.А. Хлебников // Развитие тестовых технологий в России. V Всероссийская научно-методическая конференция 19-20 ноября 2003г. М.: Центр тестирования МО РФ (доклад при открытии конференции)

94. Хомский, Н. Конечные модели использования языка / Н. Хомский, Дж.А. Миллер // Кибернетический сборник, новая серия, № 4. — М.: Мир, 1967.

95. Хоштарина, М.Г. Об одной семантической модели некоторой предикатной группы слов естественного языка / М.Г. Хоштарина // СИИ, вып. 12, М.: ВНИИТИ, 1979.

96. Юб.Хуторский, А.В. Дистанционные технологии обучения // 12-летняя школа. Проблемы и перспективы развития общего среднего образования / под ред. B.C. Леднева, Ю.И. Дика, А.В. Хуторского. М.: ИОСО РАО, 1999.

97. Челышкова, М.Б. Адаптивное тестирование в образовании (теория, методология, технология) / М.Б. Челышкова М.: Исследовательский центр проблем качества подготовки специалистов, 2001. - 165 с.

98. Челышкова, М.Б. Разработка педагогических тестов на основе современных математических моделей / М.Б. Челышкова // Учеб. Пособие. -М.:ИЦ, 1995.

99. Челышкова, М.Б. Теория и практика конструирования педагогических тестов / М.Б. Челышкова. М.: Логос, 2002. - 432 с.

100. Шухардина, В.А. Квалиметрическая технология конструирование адаптированных тестовых измерителей / В.А. Шухардина // Педагогические измерения. 2004. - № 1.

101. Экзаменатор система автоматизированного контроля знаний Электронный ресурс. - Режим доступа: - http://examiner.smutc.ru.

102. Allen, J. Natural Language Understanding. 2nd ed. The Benjamin / J. Allen // Cummings Publ. Сотр., Inc., 1994. 654 p.

103. American College Testing Program (АТС) Электронный ресурс. Режим доступа: - http://www.act.org.

104. ANSI/NISO Z39.19 ANSI/NISO Z39.19 2005 Guidelines for the Construction, Format, and Management of Monolingual Controlled Vocabularies, 2005. (172 P.)

105. Birnbaum, A. Some Latent Trait Models and Their Use in Inferring an Examinee's Ability. In F.M.Lord and M.R.Novick. Statistical Theories of Mental Test scores / A. Birnbaum Reading, Mass.: Addison - Wesly. 1968. Cyr. 17-20.

106. Bloom, B.S. Taxonomy of Educational Objectives: The Classification of educational Goals/ Handbook 1/ Cognitive Domain / B.S. Bloom at al.- N.-Y., David Mckay Co/ 1956.

107. Brainbench employment testing Электронный ресурс. Режим доступа: -http://www.brainbench.com.

108. Caraballo, S.A. Automatic construction of a hypernym-labeled noun hierarchy from text / S.A. Caraballo // Proceedings of the 37th Annual Meeting of the ACL, 1999. pp. 120-126.

109. CONTROL система компьютерного тестирования Электронный ресурс. -Режим доступа: - http://control.hotmail.ru.

110. Educational Testing Service Электронный ресурс. Режим доступа: -http://www.ets.org.

111. Fellbaum, С. WordNet: An Electronic Lexical Database / С. Fellbaum. -Cambridge, 1998.

112. Global WordNet Association Электронный ресурс. Режим доступа: -http://www.globalwordnet.org.

113. Greffenstette, G. Evaluation techniques for automatic semantic extraction: comparing syntactic and window based approaches / G. Greffenstette // Proceedings of the SIGLEX Workshop on Acquisition of Lexical Knowledge from Text. Columbus Ohio, 1993.

114. Hakulinen, A. Keskustelun luonnehtimisesta konteksti- ja funktionaalisten tekijoiden nojalla / A. Hakulinen // Kieli, No 4. Suomalaisen keskustelun keinoja 1. Ed. by Auli Hakulinen. Helsinkin yliopiston suomen kielen laitos. Helsinki, 1989, p. 41-72.

115. Hambleton, R.K. Fundamentals of Item Response Theory / R.K. Hambleton, H. Swaminathan, H.J. Rogers // N-Y.: SAGE Publications, 1991. 174 p.

116. Hearst M. and Schutze H. Customizing a lexicon to better suit a computational task // Proceedings of the SIGLEX Workshop on Acquisition of Lexical Knowledge from Text. Columbus Ohio, 1993. pp. 55-69.

117. ISO 2788:1986 Documentation Guidelines for the establishment and development of monolingual thesauri 2nd ed., 1986. (32 p.).

118. ISO 5963:1985 Documentation Methods for examining documents, determining their subjects, and selecting indexing terms 1985 (5 p.)

119. ISO 5964:1985 Documentation Guidelines for the establishment and development of multilingual thesauri 1985. (61 p.)

120. ISO 639:1988 Code for the representation of names of languages, 1988 (17 p.)

121. Jokinen, K. Cooperative response planning in CDM: Reasoning about communicative strategies / K. Jokinen // Proceedings of the 10th COLING-96, Stanford, 1984, p. 444-447.

122. Lord, F.M. Applications of item response theory to practical testing problems / F.M. Lord // Hillsdale, N. J.: Lawrence Erlbaum, 1980. 274 p.

123. Miller, G. Five Papers on WordNet. CSL-Report, vol. 43 / G. Miller, et al. Princeton University, 1990.

124. Moore, J.D. Participating in Explanatory Dialogues. Interpreting and Responding to Questions in Context / J.D. Moore // MIT Press, Cambridge, Mass., 1995.

125. Pavelek, T. VisDic A New Tool for WordNet Editing / T. Pavelek, K. Pala // First International WordNet Conference. Mysore, 2002. P. 192-195

126. Rasch, G. On General Laws and the Meaning of Measurement in Psychology / In Proceedings of the Fourth Berkley Symposium on Mathematical Statistics and Probability // G. Rasch Berkley: Univ. of California Press, 1961.

127. Rasch, G. On Specific Objectivity: An Attempt of Formalizing the Request for Generality and Validity of Scientific Statements / G. Rasch Danish Yearbook of Philosophy. 1977, v. 14, p. 58 - 94, Munksgaard, Copenhagen. - 216p.

128. Rasch, G. Probabilistic Models for Some Intelligence and Attainment Tests. With a Foreword and Afteword by B.D. Wright / G. Rasch The Univ of Chicago Press. Chicago & London, 1980. - 199 p.

129. RCO Технологии анализа текстовой информации. Тезаурус RCO Thes Электронный ресурс. - Режим доступа: - http://www.rco.ru.

130. Testing centre Sylvan Prometric Электронный ресурс. Режим доступа: -http://www.sylvanprometric.com.

131. Tokunaga, Т. Extending a thesaurus by classifying words / T. Tokunaga, A. Fujii, M. Iwayama, N. Sakurai, H. Tanaka // Proceedings of the ACL-EACL Workshop n Automatic Information Extraction and Building of Lexical Semantic Resources, 1997. pp. 16-21.

132. Virtual University Enterprises (VUE) Электронный ресурс. Режим доступа: - http://www.vue.com.

133. Vossen, P. EuroWordNet: A Multilingual Database with Lexical Semantic Networks / P.Vossen. Dodrecht, 1998.

134. W3C Resource Description Framework Электронный ресурс. Режим доступа: - http://www.w3 .org/RDF.

135. WordNet thesaurus Электронный ресурс. Режим доступа: -http://www.cogsci.princeton.edu/~wn/.

136. Wright, B.D. Best Test Design / B.D. Wright , M.H. Stone // Chicago.: MESA Press, 1979.-222 p.

137. Wright, B.D. Detecting and Correcting Test Item Bias with a Logistic Response Model / B.D. Wright, R.Mead, R. Draba MESA Research Memorandum Number 22, MESA Psychometric Laboratory, 1976.

138. Wright, B.D. Fundamental Measurement for Outcome Evaluation / B.D. Wright MESA Memorendum 66, MESA Psychometric Laboratory, 1997.

139. Wright, B.D. History of Social Science Measurement / B.D. Wright -Educational Measurement: Issue and Practice, 16(4), 1997. p. 33-45.