автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Автоматизация контроля знаний с применением синонимических рядов в автоматизированных системах управления образовательного назначения

На правах рукописи

Шаров Дмитрий Александрович

АВТОМАТИЗАЦИЯ КОНТРОЛЯ ЗНАНИЙ С ПРИМЕНЕНИЕМ СИНОНИМИЧЕСКИХ РЯДОВ В АВТОМАТИЗИРОВАННЫХ СИСТЕМАХ УПРАВЛЕНИЯ ОБРАЗОВАТЕЛЬНОГО НАЗНАЧЕНИЯ

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (образование)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва - 2004

Работа выполнена в Пензенском государственном педагогическом университете им. В.Г. Белинского.

Научный руководитель: доктор педагогических наук,

кандидат технических наук, профессор Линькова Вера Петровна

Официальные оппоненты: доктор технических наук, профессор

Зобов Борис Иванович кандидат технических наук, доцент Романчева Нина Ивановна

Ведущая организация: Пензенский государственный университет

Защита состоится 27 декабря 2004 г. в 15 час. на заседании диссертационного совета К 008.004.01 в Институте информатизации образования РАО по адресу: г. Москва, ул. Погодинская, д.8.

С диссертацией можно ознакомиться в библиотеке Института информатизации образования РАО.

Автореферат разослан 26 ноября 2004 года.

Ученый секретарь Диссертационного совета

кандидат технических наук, старший научный сотрудник

Потапов В.Е.

~JOMf

Ok

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Накопленные к настоящему времени колоссальные объемы информации и современный уровень проникновения автоматизированных систем в сферу управления и образования определяют актуальность и значимость исследований в области автоматизации процессов контроля знаний в образовании. Под термином "знания" будем понимать совокупность терминов и определений (формулировок) предметной области, сформированную в сознании человека.

Существует широкий спектр предлагаемых решений и перспективных направлений исследований в области автоматизации образовательных процессов, начиная от построения глобальных автоматизированных обучающих систем, заканчивая элементарными на первый взгляд частными вопросами автоматизации контроля знаний. Все они, безусловно, важны и полезны при решении определенных специфических задач. Тем не менее, именно от технологий управления процессами контроля знаний обучаемых во многом зависит эффективность автоматизированных обучающих систем, так как эти технологии лежат в основе адаптивности любой обучающей системы и во многом определяют возможности и ограничения этих систем.

В настоящее время задания открытого типа являются составной частью большинства автоматизированных систем контроля знаний (АСКЗ). Однако во всех этих системах оценка правильности текстового ответа основана на методе абсолютного совпадения ответа с одним из эталонных вариантов текста. При этом в ряде систем (таких как TeachLab, PROUST) ответ может засчитываться как правильный либо частично правильный, в других (например, CALAT, LISP-Tutor, ЦКТ, ACT) ответ считается правильным при совпадении хотя бы с одним из эталонов, хранящихся в базе данных системы. Предложение считается в этих системах единым целым, неделимым и неизменяемым эталоном ответа.

Существующие модели контроля знаний ограничивают возможности автоматизированных систем контроля знаний, так как не позволяют автоматизировать процесс контроля знаний терминологии предметной области путем анализа ответов на задания, требующие ввести с клавиатуры определение (формулировку) того или иного термина. Например, в существующих АСКЗ легко реализовать анализ ответа на задание открытого типа следующего вида: "Введите термин, которому соответствует определение «Данные, предназначенные для управления конкретными компонентами системы обработки информации в целях реализации определенного алгоритма»" (стандартизованное определение термина «Программа», предметная область «Информатика»), В то же время в широко известных АСКЗ не реализован автоматизированный анализ текстового ответа на обратное задание открытого типа: "Введите определение термина «Программа»".

Таким образом, необходимо автоматизировать процесс контроля знаний терминологии предметной области путем разработки моделей анализа

гообрк

РОС ИА,' - 'НАЛЬНАЯ БИ. ' ТЕКА C.ii.,ep6ypr

ответов на задания открытого типа, требующие ввести с клавиатуры определение (формулировку) того или иного термина.

Разработанные и широко применяемые в настоящее время модели анализа ответов на задания открытого типа обладают как достоинствами, так и недостатками.

К достоинствам относятся:

• отсутствие у учащихся возможности угадать правильный ответ;

• задания открытого типа удобно использовать при проверке номенклатуры понятий и учебной эрудиции учащихся.

Все существующие системы контроля знаний обладают общими недостатками:

• ответ анализируется либо по совпадению ключевых слов, либо по полному совпадению ответа с эталоном;

• не исключена возможность неоднозначно сформулированных заданий;

• отсутствует возможность анализа ответов на задания открытого типа, требующие ввести с клавиатуры определение (формулировку) того или иного термина предметной области.

Характерной чертой естественных языков является синонимия понятий (терминов). Поэтому для реализации АСКЗ, имеющей возможность анализа ответов на задания открытого типа, важное значение имеет учет синонимии понятий, а следовательно, актуальны вопросы учета синонимии терминов при анализе ответов на задания открытого типа.

В связи с эти актуальным на сегодняшний день является диссертационное исследование, направленное на разработку моделей анализа ответов на задания открытого типа, требующие ввести с клавиатуры определение (формулировку) того или иного термина предметной области.

В настоящее время все большее значение приобретают модели количественной оценки естественно-языковой информации по различным критериям. Большое значение для автоматизированных систем управления образовательного назначения (АСУОН) имеют модели оценки ответов, представленных в виде свободного текста произвольной длины. В диссертационной работе предлагается использовать модель вычисления показателя синонимической близости двух текстовых выражений, основанную на учете коэффициентов синонимии терминов предметной области.

Основное противоречие состоит в необходимости дать преподавателям программный продукт, позволяющий автоматизировать процесс контроля знаний терминологии предметной области путем анализа ответов на задания открытого типа, требующие ввести определение того или иного термина, с одной стороны, и отсутствии разработанных моделей такого анализа, с другой стороны.

Цель диссертации - разработка моделей анализа ответов на задания открытого типа, требующие ввести определение того или иного термина,

позволяющих автоматизировать процесс контроля знаний терминологии предметной области.

Задачи исследования. Для достижения поставленной цели необходимо решить следующие задачи.

1. Разработать общетеоретическую модель представления и контроля знаний.

2. Разработать модель обработки текстового ответа при контроле знаний на основе словаря синонимов.

3. Разработать аналитическую модель расчета показателя синонимической близости двух текстовых выражений на естественном языке.

4. Разработать АСКЗ для автоматизации процесса контроля знаний терминологии на основе предложенных моделей.

Объектом исследования являются автоматизированные системы управления образовательного назначения, предназначенные для контроля знаний в рамках учебного курса по информатике.

Предметом исследования являются модели контроля знаний с применением синонимических рядов в АСУОН.

Методы исследования. В процессе исследования использовались модели и методы теории множеств, комбинаторики, математической статистики, семантического анализа текста и построения синонимических рядов, методы объектно-ориентированного программирования и разработки автоматизированных систем (системного анализа).

Научная новизна.

1. Разработана общетеоретическая модель представления знаний на основе синонимических рядов терминов предметной области, которая в отличие от существующих моделей позволяет установить соответствие между тестовыми ответами и эталонным определением одного термина предметной области, представленными с использованием слов-синонимов.

2. Разработана модель обработки ответа обучаемого на задание открытого типа, которая позволяет связать эталонные определения и ответы в пространстве терминов предметной области через поверхность синонимов и дает возможность анализировать ответ тестируемого, данный в виде свободного текста произвольной длины.

3. Разработана аналитическая модель вычисления показателя синонимической близости эталонного определения и ответа, отличающаяся использованием коэффициентов синонимии терминов, что дает возможность поэлементного анализа ответов на задания открытого типа.

4. Разработана автоматизированная система контроля знаний, отличающаяся совместным использованием технологий экспертных систем и информационного поиска, что дает возможность автоматизировать процесс контроля знаний терминологии предметной области, реализовав модели анализа ответов на задания открытого типа, требующие ввести определение того или иного термина.

Основные положения, выносимые на защиту.

1. Общетеоретическая модель представления и контроля знаний терминологии предметной области.

2. Модель обработки текстового ответа с применением синонимических рядов.

3. Аналитическая модель расчета показателя синонимической близости эталонного определения и ответа.

4. Автоматизированная система контроля знаний, в которой реализована возможность анализа ответов на задания открытого типа, требующие ввести определение термина на естественном языке, позволяющая обеспечить вычисление показателя синонимической близости эталонного определения и ответа на естественном языке.

Теоретическая ценность. Предложена общетеоретическая модель контроля знаний. Она позволила установить соответствие между терминами эталонного определения и ответа при помощи синонимических рядов.

Разработана модель обработки ответа обучаемого на задание открытого типа, которая позволила обосновать использование числовых показателей синонимии терминов для вычисления показателя синонимической близости эталонного определения и тестового ответа при реализации прикладного программного обеспечения автоматизированной системы контроля знаний.

Разработана аналитическая модель вычисления показателя синонимической близости эталонного определения и тестового ответа. Она позволила провести расчет показателя соответствия двух текстовых выражений.

Практическая ценность работы. Разработанный на основе предлагаемых моделей программный продукт позволил автоматизировать процесс контроля знаний терминологии предметной области путем анализа ответов на задания открытого типа, требующие ввести определение того или иного термина. Применение синонимических рядов позволило повысить (по результатам опроса преподавателей-экспертов) эффективность тестирования с применением автоматизированных систем контроля знаний на 10-15%.

Апробация работы. Научные результаты и положения диссертационной работы докладывались и обсуждались на следующих конференциях и семинарах:

• на отчетном семинаре Института информатизации образования РАО о результатах комплексной программы «Информатизация образования» (г. Москва, 2000 г.);

• на VII Международной научно-практической конференции «Современные информационные технологии» (Пенза, 2000г.);

• на Международном конкурсе-конференции «Технологии Microsoft в теории и практике программирования» (Санкт-Петербург, 2004г.);

• на Международной конференции «Компьютерная лингвистика и интеллектуальные технологии» ДИАЛОГ-2004 (Москва, 2004 г.).

Разработанный пакет прикладных программ был представлен на Международном конкурсе-конференции «Технологии Microsoft в теории и

практике программирования», проходившем в 2004 г. в Санкт-Петербурге, где был особо отмечен фирмой Microsoft в секции «Приложения и инструменты» и удостоен третьего места, что подтверждено дипломом фирмы Microsoft.

Реализация и внедрение результатов работы. Результаты диссертационного исследования использованы при решении практической задачи - проведении тестирования студентов Пензенского государственного педагогического университета им. В.Г. Белинского на знание терминологии предметной области «Информатика», что подтверждено актом внедрения. Результаты исследования также использованы при разработке системы "Автоматизированная система контроля знаний" для обеспечения контроля качества учебного процесса в Научно-исследовательском центре Калужского филиала ОАО "Центртелеком", что подтверждено актом внедрения. Создан и внедрен пакет прикладных программ для проведения тестирования, обработки данных тестирования и организации семантических баз знаний -синонимических рядов и числовых показателей синонимии для части терминов конкретной предметной области.

Публикации. По теме диссертационной работы опубликовано 5 печатных работ.

Структура и объем работы. Диссертационная работа состоит из введения, трех глав, заключения, списка использованной литературы из 77 наименований. Основная часть работы изложена на 144 страницах, содержит 19 рисунков, 15 таблиц и 3 приложения.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении отражены: актуальность темы, цели и задачи диссертации, новизна и практическая ценность полученных результатов, структура диссертации и положения, выносимые на защиту.

В первой главе на основе анализа текущего состояния исследований в области АСКЗ и существующих на сегодняшний день моделей преставления и контроля знаний, сформулирована решаемая в диссертации научно-техническая задача автоматизации процесса контроля знаний учащихся с применением синонимических рядов в АСУОН. Далее обосновывается утверждение, что применение синонимических рядов в АСУОН позволит расширить функциональные возможности АСКЗ, так как реализует анализ ответов на задания открытого типа, требующие ввести определение того или иного термина предметной области.

Рассмотрены широко распространенные системы контроля знаний, в которых реализована возможность составления заданий открытого типа. В результате выявлено, что анализ ответов на задания открытого типа в таких системах реализован на уровне сравнения введенного текста с одним или несколькими эталонами, что накладывает ограничения на формат заданий открытого типа. Это не позволяет автоматизировать процесс контроля знаний терминологии предметной области путем анализа ответов на задания, требующие ввести с клавиатуры определение того или иного термина.

Анализ существующих моделей представления и контроля знаний выявил, что базы знаний являются составной частью всех систем, реализующих контроль знаний с помощью заданий открытого типа. Их содержанием являются варианты возможных ответов и соответствующие им числовые показатели, обозначающие меру корректности каждого варианта. Такая модель хранения знаний целесообразна в случаях небольшого количества возможных ответов. Недостатком такой модели хранения знаний является то, что при большом количестве возможных вариантов ответа трудоемкость наполнения базы знаний многократно возрастает. В связи этим необходимо разработать модель базы знаний, использование которой позволит снизить трудоемкость наполнения баз знаний АСКЗ при большом количестве возможных вариантов ответа.

Таким образом, необходимо разработать модели представления и контроля знаний, которые позволят расширить функциональные возможности АСКЗ путем реализации анализа ответов на задания открытого типа, требующие ввести определение того или иного термина предметной области.

Основными областями применения результатов исследования и разработки вышеупомянутых моделей должны быть гуманитарные науки. Однако предлагаемая АСКЗ может найти применение в областях знаний, не относящихся к гуманитарным наукам, тезаурус которых может быть выражен с использованием слов-синонимов и не содержит формул. Примером такой области знаний является предметная область "Информатика", в рамках которой проводилось тестирование разработанной АСКЗ.

Направленность данной работы - это реализация механизма адекватной оценки фразы на естественном языке, представляющей определение некоторого термина предметной области. Основное внимание уделено вопросам вычисления показателя синонимической близости определений терминов при автоматизированном тестировании, а также разработке моделей, связанных с этим вопросом.

В качестве "фундамента" при разработке автоматизированной системы контроля знаний предлагается использовать словари терминов отдельных предметных областей и сформированные специалистами-лингвистами синонимические ряды и стандартизованные тезаурусы. Также предложено использовать уже имеющиеся числовые показатели синонимии терминов.

Ввиду направленности работы на анализ заданий открытого типа не рассматриваются вопросы анализа заданий, не связанных с вводом естественно-языковой информации (например, множественного или одиночного выбора).

Вторая глава посвящена разработке моделей представления и контроля знаний на основе синонимических рядов и реализации автоматизированной системы контроля знаний, основанной на предложенных моделях.

Выполнена разработка общетеоретической модели представления и контроля знаний терминологии предметной области.

Модель предназначена для того, чтобы установить соответствие между ответом учащегося и эталонным определением одного термина предметной области, представленными с использованием слов-синонимов.

Разработанная модель основана на предположении, что определение термина предметной области может быть дано учащимися не только в виде вполне однозначной последовательности слов языка предметной области, но также и с использованием слов, отсутствующих в эталонном определении данного термина. На рис. 1 приведено схематическое изображение формулирования одного термина из множества терминов предметной области разными людьми, где номера маршрутов обозначают номер того или иного участника - эксперта либо учащегося.

Рисунок 1. Схематическое изображение формулирования одного термина из множества терминов предметной области разными участниками.

Вводятся обозначения:

Т - совокупность терминов в словаре предметной области, упорядоченная по алфавиту и пронумерованная, количество терминов в словаре равно N.

- совокупность числовых показателей синонимии терминов предметной области.

А - вектор бинарных значений эталонного определения длины N. элементы которого равны 1, если соответствующие им термины предметной области присутствуют одновременно в словаре предметной области и эталонном определении данного термина, и 0 - в противном случае.

В - вектор бинарных значений ответа учащегося длины К, элементы которого равны 1, если соответствующие им термины предметной области присутствуют одновременно в словаре предметной области и ответе учащегося, и 0 - в противном случае.

Совокупность числовых показателей синонимии терминов

предметной области представим в виде квадратной матрицы N х К, элементы которой являются числами от -1 до 1 и выражают величину синонимической близости (от 0 до 1) или антонимической удаленности (от -1 до 0) терминов, соответствующих строке и столбцу, на пересечении которых они находятся.

Тогда, расположив вектор А вдоль строк матрицы \У, а вектор В вдоль столбцов матрицы W, на пересечении строк и столбцов, соответствующих ненулевым элементам этих векторов, получим показатели синонимии терминов эталонного определения и ответа.

Таким образом, установлено соответствие терминов ответа терминам эталонного определения.

Для повышения достоверности результата соответствие терминов ответа терминам эталонного определения должно быть однозначным. С этой целью предложена модель обработки ответа обучаемого.

Между отдельными терминами эталонного определения и ответа могут возникнуть следующие базовые ситуации:

• одному термину эталонного определения соответствует только один термин ответа. В этом случае между терминами эталонного определения и ответа установлена взаимно однозначная связь. К подобному виду должны быть приведены по возможности все отношения между терминами эталонного определения и ответа;

• одному термину эталонного определения соответствует несколько различных терминов ответа;

• Нескольким различным терминам эталонного определения соответствует один термин ответа;

• Несколько различных терминов эталонного определения имеют несколько общих терминов-синонимов в ответе.

Возможно возникновение и других ситуаций, для разрешения которых следует воспользоваться тем же правилом, что и для разрешения базовых ситуаций: взаимно однозначное соответствие устанавливается между терминами эталонного определения и ответа, коэффициент синонимии между которыми больше, чем коэффициенты синонимии этих терминов с другими терминами.

В результате обработки должно быть установлено взаимно однозначное соответствие терминов ответа учащегося терминам эталонного определения. Термины, для которых невозможно установить взаимно однозначное соответствие при обработке ответа не учитываются.

Результатом обработки является вектор В', значения элементов которого равны коэффициентам синонимии соответствующих им терминов ответа и терминов эталонного определения, между которыми установлено взаимно однозначное соответствие.

Таким образом, установлено взаимно однозначное соответствие терминов эталонного определения и ответа, что является обоснованием использования синонимических рядов и числовых показателей синонимии терминов для целей контроля знаний терминологии.

После того, как взаимно однозначное соответствие установлено, должен быть вычислен количественный показатель синонимической близости эталонного определения и ответа.

Для этого проведена разработка аналитической модели расчета показателя синонимической близости эталонного определения и ответа.

Обозначим:

Я - показатель синонимической близости эталонного определения и ответа.

Он вычисляется как взвешенная сумма коэффициентов синонимии терминов эталонного определения и ответа.

N

I»,

о-М_

Тестовые испытания доказали пригодность данной модели для практического применения в АСКЗ. Результаты контроля знаний при помощи разработанных моделей и результаты устного тестирования приведены соответственно в табл. 1 и табл. 2. Проведен анализ качества разработанных моделей. В частности, проведен расчет конкурентной валидности аналитической модели. Все значения коэффициентов конкурентной валидности по отдельным заданиям находятся в интервале от 0,719 до 0,893, что свидетельствует о возможности применения данной аналитической модели для практического применения.

Таким образом, разработана аналитическая модель расчета показателя синонимической близости двух текстовых выражений, позволяющая давать количественную оценку синонимической близости эталонного определения и ответа при автоматизированном контроле знаний.

На основании проведенных исследований предложена схема тестирующей системы (рис. 2).

Предлагаемая система сочетает в себе технологии информационного поиска, используемые в настоящее время в сети интернет, и технологии обработки данных, применяемые в экспертных системах.

В качестве основного вычислительного звена АСКЗ выступает семантический компаратор, реализованный в виде программного модуля, в основе функционирования которого лежат предложенные выше модели.

Разработанная АСКЗ позволила автоматизировать процесс контроля знаний путем реализации методов анализа ответов на задания открытого типа, требующие ввести определение того или иного термина предметной области.

Рис. 2. Схема автоматизированной системы контроля знаний

База знаний разработанной системы представляет собой файл в формате MS Excel, в котором хранятся следующие данные:

• перечень терминов предметной области,

• тезаурус предметной области,

• синонимические ряды и числовые показатели синонимии терминов предметной области.

Эти данные позволяют использовать минимальное количество эталонных определений, а не хранить все возможные варианты ответов для каждого термина предметной области (как это принято в широко известных АСКЗ). Это позволило снизить трудоемкость наполнения баз знаний АСКЗ при большом количестве возможных вариантов ответа, г Третья глава посвящена описанию апробации и анализу результатов

функционирования автоматизированной системы контроля знаний. Описаны: процесс наполнения баз знаний системы, процесс семантического анализа как реакция системы на ввод ответа, приведена обобщенная схема и процесс наполнения базы знаний АСКЗ, приведены результаты экспериментальной проверки автоматизированной системы контроля знаний на группе обучаемых в Пензенском государственном педагогическом университете им. В.Г. Белинского.

Экспериментальный образец разработанной системы включает в себя исполняемый модуль, реализующий интерфейс пользователя и содержащий практическую реализацию описанных выше моделей и методов: общетеоретической модели представления и контроля знаний, модели обработки текстового ответа, аналитической модели расчета показателя синонимического соответствия эталонного определения и ответа. Интерфейс пользователя позволяет подключать словари различных предметных областей, пополнять базу знаний эталонных определений (заданий) или редактировать уже имеющиеся, представлять задания в процессе тестирования в произвольном порядке либо по заданному алгоритму.

Словари предметных областей не хранятся в ядре разработанной системы, а подключаются из внешних файлов в формате MS Excel, что дает возможность разрабатывать новые словари, легко подключать их к системе и проводить контроль знаний тезауруса в рамках той предметной области, словарь которой в данный момент времени подключен к системе. Таким образом, система позволяет использовать динамически изменяемые словари, объем которых ограничен лишь техническими возможностями программного средства создания электронных таблиц MS Excel. Так, количество столбцов электронной таблицы, создаваемой с помощью редактора MS Excel 2000, ограничено фирмой-разработчиком до 256. В этом редакторе создавалась экспериментальная база знаний разработанной системы, поэтому количество терминов в словаре предметной области, который использовался при тестировании этой системы, равен 256 терминам. Однако это ограничение может быть снято при условии использования в разработанной системе электронных таблиц других разработчиков, не имеющих подобных ограничений, что даст возможность разработки более мощных словарей по

предметным областям и расширит возможности разработанной системы контроля знаний.

Во избежание ошибок при наборе текста ответа разработанная система снабжена средствами проверки орфографии и грамматики сторонних разработчиков.

Разработанная система имеет целью не заменить преподавателя, а лишь дать эксперту-экзаменатору средство для автоматизированного контроля знаний обучаемых терминологии предметной области.

Экспериментальный образец предложенной системы контроля знаний демонстрировался на международном конкурсе-конференции «Технологии Microsoft в теории и практике программирования», проходившем в 2004 г. в Санкт-Петербурге, где был особо отмечен фирмой Microsoft в секции «Приложения и инструменты» и удостоен третьего места и диплома фирмы Microsoft.

Одновременно был разработан и изготовлен комплект конструкторской и эксплуатационной документации на систему с учетом требований международных стандартов, предъявляемых фирмой Microsoft к разрабатываемым программным продуктам, часть которой приведена в приложении 3 диссертации.

Испытание разработанной системы проводилось на базе Пензенского государственного педагогического университета им. В. Г. Белинского в 2004 году. К проведению тестирования были добровольно и анонимно привлечены студенты первого года обучения, прошедшие изучение базового курса информатики. Результаты выявили высокие показатели качества этой системы.

Проведена оценка качества аналитического аппарата разработанной АСКЗ.

Качество теста и автоматизированной тестирующей системы традиционно сводится к определению меры его надежности и вопросов валидности полученных результатов. Как и объективным, качественным можно назвать только тот метод измерения, который обоснован научно и способен дать требуемые результаты.

Описанная в данной работе АСУОН разработана для реализации тестов, относящихся к группе тестов с заданиями открытого типа, т.е. требующими ввода текстовой фразы на естественном языке. В тестах на успеваемость и других оценочных тестах исходными данными для математического анализа предлагаемой методики является матрица тестовых результатов, которая представляет результаты испытуемых по всем проверяемым заданиям, т.е. в данном случае - количественные переменные, отражающие степень выраженности замеряемого показателя -синонимической близости эталонного определения и ответа тестируемого. При работе с переменными этой группы применимы все стандартные виды анализа, и при достаточном объеме выборки их распределение близко к нормальному. Таким образом, разнообразие типов переменных требует применения широкого спектра используемых математических методов.

Предположим, что одно понятие предметной области выражается предложением, содержащим в среднем К = 10 слов словаря предметной области.

Средняя длина синонимического рядя для каждого термина, реализованного в системе, составляет 8=16 синонимов.

Эти данные будут использоваться при оценке количественных характеристик качества разработанной системы.

Результаты проведенного автором экспериментального тестирования интерпретируются как матрица данных размером 6 х 10, строки 1= 1... 10 которой соответствуют участникам исследования, а столбцы ]=1...6 -значениям параметров, подлежащих тестированию. Элементами матрицы являются числовые значения на интервале от 0 до 1 : Хч е [0,1], полученные в ходе тестирования (табл. 1).

Таблица 1. Результаты тестирования с помощью разработанной АСКЗ

№ теста Алгоритм Команда Оператор Операция Программа Язык программирования

1 1,000 0,800 0,227 1,000 0,533 0,645

2 0,542 0,920 0,783 0,057 0,342 0,336

3 0,620 0,600 0,716 0,136 0,733 0,359

4 0,375 0,200 0,833 0,186 0,425 0,477

5 0,175 0,700 0,450 0,307 0,675 0,172

6 0,450 0,600 0,389 0,529 0,400 0,190

7 0,200 0,290 0,800 0,214 0,800 0,218

8 0,208 0,600 0,467 0,471 1,000 0,290

9 0,476 0,720 0,350 1,000 0,833 0,466

10 0,615 0,880 0,217 0,543 0,833 0,375

На основе данных экспериментального тестирования в данном исследовании проводятся расчеты следующих количественных характеристик разработанной автоматизированной системы контроля знаний, реализующей тестовые методики:

• надежность от угадывания;

• ретестовая надежность;

• конкурентная валидность.

Надежность от угадывания заключается в вычислении вероятности угадывания правильного ответа одного задания. Для разработанной системы каждое из К=10 слов фразы ответа может быть реализовано с использованием любого из 8=24=16 синонимов. Тогда количество вариантов семантически правильных фраз длиной К=10 слов составит

// = ^ , = С - , « я и 78450240

'' 10!(2 -1)!

Таким образом, 226 < // < 227.

Тогда вероятность угадывания Р^ = < ~, что является

fs ^

практически пренебрежимо малой величиной.

Для оценки ретестовой надежности применяется формула

Спирмена-Брауна. В данном случае надежность как гомогенность тестов оценивается путем вычисления интеркорреляций частей или элементов методики, рассматриваемых как отдельные параллельные тесты. Эта формула используется при расщеплении теста на 2 части, или если есть параллельные формы теста.

В 2*

Хуу-ТТИ'

где Яуу - показатель надежности;

Я — корреляция между половинами теста.

Если Я --> 0, значит в тесте есть недочеты.

Если Я --> -1, значит части теста не связаны.

Я должно стремится к 1.

Для экспериментальных данных, расщепленных на две части по тестовым заданиям, значение показателя надежности по формуле Спирмена-Брауна равно 0,931.

Это говорит о возможности применения данных тестовых заданий для оценки качества разработанной АСКЗ.

Под валидностью понимают степень соответствия результатов исследования намеченной цели. Обычно валидность теста подтверждается посредством вычисления коэффициента корреляции с эмпирическим критерием вапидности.

Конкурентная валидность определяется по корреляции выполнения данного теста с результатами других тестов, которые доказательно предназначены для измерения той же самой величины.

В качестве данных конкурентного теста использовались результаты устного тестирования, проведенного экспертом по той же предметной области, что и в разработанной системе. Результаты устного тестирования представлены в табл. 2.

В последней строке табл. 2 приведены результаты расчета корреляции по этим испытаниям. Все значения коэффициентов корреляции по отдельным заданиям находятся в интервале от 0,719 до 0,893, что свидетельствует о сильных корреляционных связях результатов двух независимых испытаний, проведенных разными методами.

Таблица 2. Результаты устного тестирования

Алгоритм Команде Оператор Операция Программа Язык программирования

1 1,000 0,900 0,400 1,000 0,800 1,000

2 0,600 0,700 0,850 0,200 0,350 0,600

3 0,800 0,400 0,400 0,150 0,800 0,150

4 0,400 0,100 0,600 0,450 0,200 0,300

5 0,200 0,450 0,350 0,500 0,500 0,100

6 0,600 0,300 0,150 0,300 0,100 0,150

7 0,500 0,150 0,500 0,100 0,500 0,100

8 0,150 0,400 0,100 0,200 0,900 0,200

9 0,400 0,500 0,100 1,000 0,900 0,400

10 0,850 0,650 0,200 0,600 0,500 0,750

Ср 0,550 0,455 0,365 0,450 0,555 0,375

Корреляция 0,890 0,893 0,719 0,866 0,722 0,760

Таким образом, показатель корреляции и соответствующей ей конкурентной валидности разработанной системы является достаточно высоким, что говорит о высоком качестве аналитического аппарата, примененного в разработанной АСКЗ.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведен анализ существующих моделей контроля знаний. Он показал, что эти модели ограничивают возможности автоматизированных систем контроля знаний, так как не позволяют анализировать ответы на задания открытого типа, требующие ввести определение (формулировку) того или иного термина. Для расширения функциональных возможностей АСКЗ необходимо автоматизировать процесс контроля знаний терминологии предметной области путем разработки моделей анализа ответов на задания открытого типа, требующие ввести с клавиатуры определение (формулировку) того или иного термина.

2. Разработана общетеоретическая модель представления знаний на основе синонимических рядов терминов предметной области, которая в отличие от существующих моделей позволяет установить соответствие между тестовыми ответами и эталонным определением одного термина предметной области, представленными с использованием слов-синонимов.

3. Разработана модель обработки ответа обучаемого на задание открытого типа, которая позволила связать эталонные определения и ответы в пространстве терминов предметной области через поверхность синонимов и дала возможность анализировать ответ тестируемого, данный в виде свободного текста произвольной длины.

4. Разработана аналитическая модель вычисления показателя синонимической близости эталонного определения и ответа, отличающаяся использованием коэффициентов синонимии терминов, что дает возможность поэлементного анализа ответов на задания открытого типа.

5. Разработана автоматизированная система контроля знаний, отличающаяся совместным использованием технологий экспертных систем и информационного поиска, что дает возможность автоматизировать процесс контроля знаний терминологии предметной области, реализовав модели анализа ответов на задания открытого типа, требующие ввести определение того или иного термина.

6. Результаты экспертных оценок (опросов) и сравнительных испытаний разработанной и существующих автоматизированных систем контроля знаний показали, что разработанная автоматизированная система позволила повысить эффективность тестирования с применением автоматизированных систем контроля знаний на 10-15%.

СПИСОК РАБОТ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Шаров Д.А. Система контроля корректности текстов / В сб. трудов конкурса-конференции «Технологии Microsoft в теории и практике программирования». - С-Пб: С-ПбГПУ, 2004. - стр. 124.

2. Шаров Д.А. Семантический анализатор системы контроля корректности текстов / Технологии Microsoft в теории и практике программирования: Тезисы докладов конкурса-конференции. - С-Пб: С-ПбГПУ, 2004. - С. 123.

3. Шаров Д.А. Математический аппарат системы контроля корректности текстов / Технологии Microsoft в теории и практике программирования: Тезисы докладов конкурса-конференции. - С-Пб: С-ПбГПУ, 2004. - С. 122.

4. Шаров Д.А. Разработка обучающей программы «Искусственные нейронные сети» на основе Интернет-технологий / Современные информационные технологии: Материалы VII Международной научно-практической конференции. - Пенза: ПТИ, 2000. - С. 96-97.

5. Шаров Д.А. Система анализа формулировок / В сб. материалов Международной конференции «Компьютерная лингвистика и интеллектуальные технологии» ДИАЛОГ-2004, http://www.dialog-21 .ru/Archive/2004/Sharov.pdf.

Подп к печ 20 11 04 Объем 1пл Зак 1173 Тир 100

Обнинская городская типография 249020, г Обнинск, ул Комарова, д 6

РНБ Русский фонд

2006^4 6024

Введение.

Глава 1 Исследование и анализ методов представления и контроля знаний в автоматизированных системах управления образовательного назначения.

1.1 Применение автоматизированных обучающих систем в образовании. 14;

1.2 Роль и место экспертных систем в образовании.

1.3 Применение алгоритмов функционирования искусственных нейронных сетей в автоматизированных системах образовательного назначения.

1.4 Способы хранения, методы использования и извлечения знаний L.

1.5 Выводы.

Глава 2 Теоретическое обоснование моделей представления и контроля знаний и реализация автоматизированной системы контроля знаний.

2.1 Разработка модели контроля знаний с использованием синонимических рядов.

2.2 Базы данных и базы знаний в автоматизированных системах контроля знаний.

2.3 Общетеоретическая модель представления и контроля знаний.

2.4 Модель обработки текстового ответа с применением синонимических рядов.

2.5 Разработка аналитической модели расчета показателя синонимической близости эталонного определения и ответа.

2.6 Разработка автоматизированной системы контроля знаний на основе разработанных моделей.98 >

2.7 Выводы.

Глава 3 Практическая реализация автоматизированной системы контроля знаний на основе предложенных моделей

3;1 Практические испытания разработанной автоматизированной системы контроля знаний.

3.2 Анализ трудоемкости наполнения базы знаний и показателя эффективности разработанной автоматизированной системы.

3.3 Результаты исследований и опытной эксплуатации.

3.4 Оценка качества аналитического аппарата разработанной системы.

3.5 Выводы.

На рубеже XX-XXI веков на уровне Правительства России < были приняты такие важные документы, как «Национальная доктрина образования», Федеральный закон «Об утверждении» Федеральной программы развития образования», целевая Федеральная программа «Развитие единой образовательной! среды на 2001-2005 годы». Эти документы являются основой государственной: системы политики России в области образования. Одной из приоритетных задач, реализуемых каждой из перечисленных Федеральных программ, является гармоничное развитие жизнеспособной личности, ее творческих способностей и самоидентификации на основе мотивации необходимости непрерывного образования.

В государственном документе "Основные положения концепции очередного этапа реформирования системы образования'1, в частности, сформулированы: ближайшие задачи:

В области информатизации образования:

• обеспечить, развитие телекоммуникационных сетей образования и науки;

• осуществить поддержку перспективных информационных технологий, создания и актуализации банков и баз данных".

Кроме того; появилась законодательная» база для развития дистанционного обучения.

Автором ранее был опубликован ряд работ [69, 73], в которых одной из сред функционирования информационных систем, в частности, обучающих программ (в том числе и Web-ориентированных), были названы кампусные сети, традиционно создававшиеся при высших образовательных учреждениях. В последнее время большее значение приобретают корпоративные, сети, причем, принцип организации доступа к циркулирующей в них информации соизмерим с принципами кампусных сетей, но корпоративные сети имеют большую степень защиты от проникновения из глобальных информационных сетей.

Корпоративные информационные системы создаются в сети Интернет и других сетях с важным отличием:: они формируют единую информационную среду для поддержки всех деловых; процессов корпорации: (отрасли, объединения предприятий и .учреждений; совокупности подразделений и филиалов учреждения; и т.п.). В системе образования корпоративное построение может также относиться< как ко всей i системе образования страны или региона, так и к отдельным:звеньям < образовательных учреждений и t структур (ВУЗам, академгородкам); Но * при этом у прослеживается неизбежная тенденция укрупнения; и;интеграции?корпоративньс^ систем образования в метасистемы, единую государственную* систему образования и в единое мировое информационное пространство. Отчасти это объясняется открытостью ш гуманитарным характером- самого^ процесса образования. Но еще: в большей степени? это диктуется? перерастанием, информатизации образования? в информационное мировое сообщество. Наиболее заметно эти процессы- проявляются и реализуются в мировой глобальной сети Интернет, при поддержке которой формируется! единая, информационная среда всего жизнеобеспечения общества? и его образовательных технологий; Такими образом, в системе образования происходит интегрирование корпоративных и всеобщих информационных систем.

С позиций1 образовательных технологий! уместно структурировать все многообразие информационных ресурсов следующим образом:.

•« каталоги многих мировых библиотек;

• ■ базы данных, содержащие результаты реальных исследований;

• подготовленные специальным! образом электронные модульные учебники, пособия; справочники;

• электронные библиотеки и архивы и иное сопровождение учебного процесса в различных областях знаний;.

• доступ к учебному программному обеспечению и документации из огромных файловых архивов (в ряде случаев бесплатно) и другие.

В наиболее выраженном; виде все перечисленные дидактические возможности и достоинства компьютерных телекоммуникаций! реализуются посредством информационных систем в образовании (дидактических систем, обучающих систем, информационных и обучающих систем), объединяющих совокупности, программно-аппаратных компьютерно-сетевых, информационных, методических и организационных средств в целях реализации функции обучения - автоматизированных обучающих систем.

Сегодня имеется большое: число ставших уже привычными автоматизированных средств обучения, работающих с базами данных, обслуживающих гипертекстовую, аудио, видео; мультимедийную? информацию, которые могли бы стать технологической основой создаваемых информационных систем.

Как видно из: приведенных обзоров высоких технологий, и прессы, общая тенденция развития обучающих систем заключается в построении?своеобразного глобального «банка знаний» - электронных библиотек, хранилищ данных — для; целей общего среднего, специального и высшего образования в- России; Естественно, параллельно идут работы и по усовершенствованию механизмов доступа и извлечения знаний:

Подавляющие большинство алгоритмов обработки текстовой информации основано на так называемой "векторной модели текста", предложенной Дж. Солтоном (Salton G.) в 1975 году. Работа Солтона; представляет собой: теоретическую основу современных: информационно-поисковых систем в их классической! реализации. В таких системах должна поддерживаться некоторая совокупность. словарей терминов (ключевых слов),. а сам, текст представляться в виде двоичных векторов. Способность классифицировать бинарные вектора, которую предоставляют нейронные сети, хорошо сочетается с классической моделью Солтона.

Особое место в автоматизированных системах обучения занимают системы контроля знаний, тестирующие системы, в первую очередь реализующие основополагающий принцип автоматизации - обратную связь, т.е. воздействие реактивной составляющей выхода системы обучения (в данном случае качества знаний обучаемых) на ее же вход (базу знаний) с целью выработки наилучшего воздействия (методологической составляющей) на процесс обучения.

Разработке одного из вариантов тестирующей системы как части; автоматизированной обучающей системы и посвящена настоящая работа.

Накопленные к настоящему времени колоссальные объемы информации и современный уровень проникновения автоматизированных систем в сферу управления и образования определяют актуальность и значимость исследований в области автоматизации.процессов контроля знаний в образовании. Под термином "знания" будем понимать совокупность терминов и определений (формулировок) предметной области, сформированную в сознании человека.

Ставшие классическими модели представления и контроля знаний: одиночного выбора, множественного выбора, упорядочивание ш др. ориентированы на, автоматизированную обработку данных в ЭВМ, но слабо учитывают возможность угадывания; правильного ответа. Модели заданий открытого типа позволяют значительно снизить вероятность угадывания ответа в процессе контроля знаний. Однако в настоящее время это направление исследований проработано достаточно слабо, о чем свидетельствуют существенные ограничения, накладываемые моделями контроля знаний?на форму заданий открытого типа. Поэтому следует признать актуальной проблему автоматизации контроля знаний посредством заданий открытого типа.

В настоящее время задания открытого типа являются составной частью большинства автоматизированных систем контроля знаний (АСКЗ). Однако, во всех этих системах оценка правильности текстового ответа основана на методе абсолютного совпадения ответа с одним из эталонных вариантов текста. При этом в ряде систем (таких как TeachLab, PROUST) ответ может засчитываться как правильный либо частично правильный, в других (например; CALAT, LISP-Tutor, ЦКТ, ACT) ответ считается» правильным при; совпадении хотя бы с одним из эталонов, хранящихся, в базе данных системы. Предложение считается в этих системах единым целым, неделимым и неизменяемым эталоном ответа.

Существующие модели контроля знаний ограничивают возможности автоматизированных систем контроля знаний, так как не позволяют автоматизировать процесс контроля знаний терминологии предметной области путем анализа ответов на задания, требующие ввести с клавиатуры определение (формулировку) того или иного термина. Например, в существующих АСКЗ легко реализовать анализ ответа на задание открытого типа следующего вида: "Введите термин, которому соответствует определение «Данные, предназначенные для управления конкретными компонентами системы обработки информации1 в целях реализации определенного алгоритма»" (стандартизованное определение термина «Программа», предметная область «Информатика»). В то же время в широко известных АСКЗ не реализован автоматизированный анализ текстового ответа на обратное задание открытого типа: "Введите определение термина «Программа»".

В связи с этим снижается эффективность автоматизированного контроля знаний с применением информационных систем.

Таким образом, необходимо автоматизировать, процесс контроля знаний терминологии предметной области путемfразработки моделей анализа ответов на задания открытого типа, требующие ввести с клавиатуры определение (формулировку) того или иного термина.

Разработанные и широко применяемые в настоящее время i модели анализа ответов на задания открытого типа обладают как достоинствами; так и недостатками.

К достоинствам относятся:

• отсутствие у учащихся возможности угадать правильный ответ;.

• задания открытого типа удобно использовать при проверке номенклатуры понятий и учебной эрудиции учащихся.

Все существующие, системы контроля знаний обладают общими недостатками:

• ответ анализируется либо по совпадению ключевых слов, либо по полному совпадению ответа с эталоном;

• не исключена возможность неоднозначно сформулированных заданий;

• отсутствует возможность анализа ответов на задания открытого типа, требующие ввести с клавиатуры определение (формулировку) того или иного термина предметной области.

Характерной; чертой естественных языков является синонимия8 понятий (терминов). Поэтому для реализации АСКЗ, имеющей возможность анализа ответов на задания открытого типа, важное значение имеет учет синонимии понятий, а следовательно, актуальны вопросы учета синонимии терминов, при анализе ответов на задания открытого типа.

В связи с эти актуальным на сегодняшний день является диссертационное исследование, направленное на разработку моделей анализа ответов на задания открытого типа; требующие ввести с клавиатуры: определение (формулировку) того или иного термина предметной области.

В настоящее время все большее значение приобретают модели количественной; оценки естественно-языковой информации: по различным критериям. Большое значение для автоматизированных систем управления, образовательного назначения (АСУ ОН) имеют модели оценки ответов, представленных в виде свободного текста произвольной длины. В диссертационной работе предлагается использовать модель вычисления показателя синонимической близости двух текстовых выражений, основанную на учете коэффициентов синонимии терминов предметной области.

Основное противоречие состоит в необходимости автоматизировать, процесс контроля знаний терминологии предметной области путем: анализа ответов на задания, требующие ввести определение того или: иного термина, с; одной стороны, и отсутствии разработанных моделей такого анализа, с другой стороны.

Цель диссертации: — разработка- моделей анализа ответов на задания открытого типа, требующие ввести определение того или иного термина, позволяющих повысить эффективность контроля знаний терминологии предметной области.

Для достижения поставленной цели необходимо решить следующие задачи.

1. Разработать общетеоретическую модель представления и контроля знаний.

2. Разработать модель обработки текстового ответа при1 контроле знаний на основе словаря синонимов.

3. Разработать аналитическую модель расчета показателя синонимической близости двух текстовых выражений на естественном языке.

4. Разработать AGK3 для автоматизации процесса контроля знаний терминологии на основе предложенных моделей.

Объектом исследования являются автоматизированные системы управления образовательного назначения, предназначенные для контроля знаний в рамках учебного курса по информатике.

Предметом исследования являются модели контроля знаний с применением синонимических рядов в АСУ ОН.

В. процессе, исследования использовались модели, и методы5 теории множеств, комбинаторики, математической статистики, семантического анализа; текста и построения синонимических рядов, методы объектно-ориентированного программирования и разработки автоматизированных- систем (системного анализа). Проведенные диссертационные исследования основаны на: научных трудах таких известных ученых в областях автоматизации обработки информации, информатизации образования и контроля знаний как А.И. Галушкин, Р. Левин, П: Брусиловский, B.JI. Дунин-Барковский, С.А. Шумский, И. Сегалович, B.C. Аванесов, И:В. Роберт, О.А. Козлов.

Научная новизна:

1. Разработана общетеоретическая модель представления и контроля знаний на основе синонимических рядов терминов предметной области, которая в отличие от существующих моделей позволяет установить соответствие между тестовыми ответами и эталонным определением одного термина предметной области, представленными в виде текста произвольной длины с использованием слов-синонимов.

2. Разработана модель обработки ответа обучаемого на задание открытого типа с применением синонимических рядов, которая позволяет связать эталонные определения и ответы в пространстве терминов предметной области через поверхность синонимов и дает возможность анализировать ответ тестируемого, данный в виде свободного текста произвольной длины.

3. Разработана аналитическая; модель вычисления показателя синонимической близости эталонного определения и ответа, отличающаяся использованием коэффициентов синонимии терминов, что дает возможность поэлементного анализа ответов на задания открытого типа.

4. Разработана автоматизированная система контроля; знаний, отличающаяся совместным использованием технологий экспертных систем И; информационного поиска, что* дает возможность автоматизировать процесс контроля, знаний терминологии предметной области, реализовав анализ ответов на задания открытого типа, требующие ввести определение того или иного термина.

Основные положения, выносимые на защиту:

1. Общетеоретическая модель представления и контроля знаний терминологии предметной области.

2.Модель, обработки текстового ответа с применением синонимических рядов.

3. Автоматизированная система контроля знаний, в которой! реализована возможность анализа ответов! на; задания открытого типа; требующие ввести определение термина на естественном языке, позволяющая обеспечить вычисление показателя синонимической близости эталонного определения и ответа на естественном языке.

Теоретическая ценность: предложена общетеоретическая модель контроля знаний. Она позволила установить соответствие между терминами эталонного определения и ответа при помощи синонимических рядов.

Разработана модель обработки ответа обучаемого на задание открытого типа, которая позволила обосновать использование числовых показателей синонимии терминов для вычисления показателя синонимической близости эталонного определения и тестового ответа при реализации прикладного программного обеспечения автоматизированной системы контроля знаний.

Разработана аналитическая модель вычисления показателя синонимической * близости эталонного определения и тестового ответа. Она позволила провести расчет показателя взаимного синонимического соответствия двух текстовых выражений.

Практическая: ценность работы: разработанный на основе предлагаемых моделей программный, продукт позволил автоматизировать процесс контроля знаний терминологии, предметной области путем анализа ответов на задания открытого типа; требующие ввести определение того или иного термина; Применение синонимических рядов, по результатам опроса преподавателей-экспертов, позволило повысить эффективность тестирования с применением автоматизированных систем контроля знаний на 10-15%.

Научные результаты: и: положения диссертационной работы докладывались. и обсуждались на следующих конференциях и семинарах:

• на отчетном семинаре Института информатизации: образования РАО о результатах комплексной программы «Информатизация образования» (г. Москва; 2000 г.);

• на VII Международной научно-практической конференции «Современные информационные технологии» (Пенза, 2000г.);

• на Международном конкурсе-конференции «Технологии Microsoft в теории и практике программирования» (Санкт-Петербург, 2004г.);

• на Международной конференции; «Компьютерная лингвистика и интеллектуальные технологии» ДИАЛОГ-2004 (Москва, 2004 г.).

Разработанный пакет прикладных программ был представлен на Международном конкурсе-конференции «Технологии Microsoft в теории и практике программирования», проходившем в 2004 г. в Санкт-Петербурге, где был особо отмечен фирмой Microsoft в секции «Приложения и i инструменты» и удостоен третьего места, что подтверждено дипломом фирмы Microsoft (Приложение Г).

Результаты диссертационного исследования использованы при решении практической задачи - проведении тестирования студентов Пензенского государственного педагогического университета им. В.Г. Белинского на знание терминологии предметной области «Информатика», что подтверждено актом внедрения. Результаты исследования также использованы при разработке системы "Автоматизированная система контроля знаний" для обеспечения контроля качества учебного процесса в Научно-учебном центре Калужского филиала ОАО "Центртелеком", что подтверждено актом внедрения. Создан и внедрен пакет прикладных программ для проведения тестирования, обработки данных тестирования и организации семантических баз знаний — синонимических рядов и числовых показателей синонимии для части терминов конкретной предметной области.

3.5 Выводы

1. Разработана структура автоматизированной системы управления тестированием и интерфейс пользователя.

2. Результаты испытаний на предметной области «Информатика» показали, 4TQJ в подавляющем большинстве тестовых заданий система дает адекватную оценку знаний. Оставшиеся проценты обусловлены погрешностями при составлении синонимических таблиц и неточностью эталонных определений.

3. Разработанное программное обеспечение позволило существенно упростить процесс формирования базы знаний тестирующей системы и снизить трудоемкость работ по наполнению базы данных эталонных ответов.

4. Испытания, проведенные на группе тестируемых в рамках настоящих исследований, доказали эффективность разработанной тестирующей системы.

5. На основании результатов тестирования обучаемых на знание терминологии предметной области сделан вывод о практической применимости предложенных методов для контроля свободного текста ответов обучаемых;

6. В ходе экспериментальных исследований было выявлено, что программный продукт, разработанный по результатам настоящего исследования, чувствителен не только к отдельным термам, но и к совпадению отдельных морфем слов, что представляет интерес для проведения дальнейших исследований данного аппарата в части применения его при анализе случаев омонимии, и разработки соответствующего программного средства.

Заключение.

Дальнейшие направления разработки. Перспективы развития.

Возможные применения.

Проведенные в данной работе исследования выявили ряд нерешенных вопросов: и нереализованных возможностей- существовавших^ ранее аппаратов, методик и * приложений. Безусловно, все они t не могут быть освещены в одном диссертационном исследовании. Автор считает, что большинство из них является междисциплинарными прикладными задачами; решение которых возможно только объединением» усилий: ученых и разработчиков в различных сферах человеческой; деятельности: образования, информатики, педагогики, программирования, лингвистики,, математики нейронных сетейi и нечетких множеств и др. Решение этих задач не относится к цели данной работы.

Первой! такой задачей, являющейся? по- существу прикладной, является задача различной модальности ответа обучаемого при проведении тестирования: текст, речь, графическое изображение.

Программный продукт Система контроля корректности текста СККТ v. 1.0 в настоящее время имеет единственный реализованный тип' внешнего интерфейса; по вводу информации от тестируемого - клавиатуру, что является типовой модальностью при работе с компьютером. Имеющиеся уже в ? настоящее время программные средства преобразования модальности и распознавания образов позволяют,, например, переводить- в напечатанный текст речь человека, рукописный текст, не говоря; уже о доступном каждому сканировании? и распознавании машинописного текста; Таким образом, достигнув договоренности с разработчиками соответствующих программных продуктов (ABBY, Cognitive, Microsoft; Adobe, Corel; PROMT и др.) об использовании интерфейсов ввода в-целях организации учебного процесса и контроля знаний для предварительной обработки ответов обучаемых, можно модифицировать СККТ; для обработки вводимой информации различной модальности.

Вторым, не менее важным в прикладном плане, вопросом является формирование словарей и тезаурусов; разных предметных областей. Разумным решением этого вопроса могла бы стать организация открытого Интернет-проекта по сбору экспертных сведений о применяемой' терминологии в той или иной * профессиональной сфере; проработка имеющихся словарей и тезаурусов; нормативных документов, регламентирующих терминологию предметных областей^ (ГОСТ и т.п.); построение синонимических: рядов терминов; Однако реализация этого- мероприятия должна иметь основательную техническую, технологическую и материальную поддержку со стороны заинтересованных лиц и организаций. Кроме того, выполнение такого объема работ не под силу энтузиастам-одиночкам, требуется привлечение в качестве экспертов специалистов по различным предметным областям, для которых составляется конкретный, терминологический словарь, а также специалистов-лингвистов с целью корректного выполнения данной работы.

Как показывает предварительный] анализ: возможностей имеющегося программного средства — семантического компаратора из состава системы СККТ (результаты и данные временно не публикуются до проверки патентной чистоты) — на его базе вполне возможна: разработка и построение унифицированного средства для обработки» экспертных оценок синонимичности терминов предметных областей и;формирования числовых характеристик синонимических рядов.

Не менее интересными! представляются исследования, направленные на теоретическую проработку вопроса построения модели искусственной нейронной сети s с изменяемой структурой и коррекцией весов связей; пороговых значений и решающих функций (вариативная ИНС). Участие в таких исследованиях специалистов в области математики и нейроинформатики было бы весьма кстати.

Связанным с этим вопросом ? является обучение искусственной нейронной сети и экспертное заполнение базы знаний в ходе проведения тестирования (динамически, на образцах, полученных: в ходе тестирования и имеющих некоторые предельные числовые характеристики релевантности). Это позволит реализовать принцип изменчивости живой природы применительно к знаниям, заключающийся в изменении; с течением времени представлений человечества о сути вещей; что, разумеется, отражается и на изменении смыслового содержания терминов" предметных областей; и соответственно, на терминологическом описании терминов: и понятий. Данное свойство системы позволит использовать результаты своей работы при корректировке нормативных документов, регламентирующих терминологию в предметных областях.

Отсюда можно сделать некоторый предварительный вывод о возможности адаптивного наполнения базы знаний автоматизированной обучающей системы в < соответствии с той: или иной научной школой, что является еще одной дополнительной возможностью использования: СККТ в учебном процессе разных учебных заведений, работе научно-исследовательских и академических организаций одного профиля деятельности.

Таким образом, сбор и; обработка экспертных данных разных научных школ: должна способствовать построению многомерной базы знаний предметной области по множеству экспертов. Хорошо известные методы организации сбора; экспертных сведений, обработки и интерпретации их для погружения в единую базу знаний предметной области г позволяют сделать такую работу. Однако для ее выполнения недостаточно усилий только одного диссертанта.

Как уже упоминалось выше в тексте диссертационной работы, получение числовых показателей корректности формулировок терминов свидетельствует о качестве восприятия и понимания обучаемыми смыслового содержания учебного курса. С другой* стороны, анализ результатов» тестирования групп обучаемых свидетельствует о качестве преподавания. В этом плане обработка; числовых значений результатов тестирования может способствовать, корректировке методики; преподавания, включая исправление текстов лекций и учебных пособий. Кроме того, методологическая, проработка этих результатов специалистами-методистами способна устранить разночтение единой, стандартизованной терминологии разными преподавателями.

В то же время, полученные результаты тестирования в числовой форме пригодны для выработки автоматических корректирующих воздействий по адаптации курсов • автоматизированного и дистанционного обучения, в том числе и в разрезе индивидуального подхода к обучаемым. Данный тезис был выдвинут автором настоящего исследования в одной из первых работ, посвященных исследованию и применениям нейросетевых технологий в: процессах обучения в 2000 г.

Вопросы сохранения: для: дальнейшего использования информации о результатах тестирования? в : данном : исследовании не рассматриваются ввиду функциональной принадлежности их к работе автоматизированной системы обучения, обеспечивающей- техническую и технологическую организацию информационных потоков.При необходимости базы данных автоматизированнойi обучающей системы могут быть доработаны в плане расширения, и дополнены полями для хранения таких результатов! по взаимному согласованию заинтересованных сторон.

По результатам выполненной работы можно сделать следующие выводы:

1. Проведен анализ существующих моделей контроля знаний. Он показал, что эти5 модели: ограничивают возможности автоматизированных систем контроля знаний, так как не позволяют анализировать, ответы на задания открытого типа, требующие ввести > определение (формулировку) того или иного термина. Для расширения функциональных возможностей АСКЗ: необходимо автоматизировать процесс контроля знаний терминологии предметной области путем разработки моделей анализа ответов на задания открытого типа, требующие ввести ,< с клавиатуры определение (формулировку) того или иного термина.

2. Разработана общетеоретическая модель представлениям знаний; на основе синонимических рядов терминов предметной области, которая в отличие от существующих моделей позволяет установить соответствие между тестовыми ответами и: эталонным определением одного термина предметной области, представленными с использованием слов-синонимов.

3. Разработана модель обработки ответа обучаемого на задание открытого типа, которая позволила связать эталонные определения и ответы в пространстве терминов предметной области через поверхность синонимов и дала возможность анализировать ответ тестируемого, данный в виде свободного текста произвольной длины.

4. Разработана аналитическая модель вычисления показателя синонимической близости эталонного определениями ответа, отличающаяся использованием-коэффициентов синонимии терминов, что дает возможность поэлементного анализа ответов на задания открытого типа.

5. Разработана автоматизированная система контроля знаний, отличающаяся совместным использованием технологий экспертных систем и информационного поиска, что дает возможность автоматизировать процесс контроля знаний терминологии предметной области, реализовав модели анализа ответов на задания открытого типа, требующие ввести определение того или иного термина.

6. Результаты экспертных оценок (опросов) и сравнительных испытаний разработанной и существующих автоматизированных систем контроля знаний показали, что разработанная автоматизированная система позволила повысить эффективность тестирования с применением автоматизированных систем контроля знаний на 10-15%.

1. Armor D.J., Reliability and factor scaling. / Sociological metodology, 1973 -1974, Ed. H. L. Costner. San Francisco; Jossey - Bass, 1974. - 41Op.

2. D.Garlan, D.E.Perry. IEEE Transactions on Software Engineering. Vol. 21, No.4, 1995, pp.269-274.3; Dan- Sullivan. Document Warehousing and- Textmining. NY; Wiley publishing house, 2001

3. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities. Proc. Natl. Acad. Sci. 79, 1982. p. 2554-2558

4. Kohonen Т. Self-organized formation of topologically correct feature maps. BioLCybernetics 43, 1982, p.56-69.

5. Абросов В. И. Теоретико-множественный семантический подход к построению информационно-поискового языка. Диссертация на соискание ученой степени канд. техн. наук. М., 1974.

6. Абросов В. И., Хрусталев Е. Ю. Классификация критериев смыслового соответствия. — В сб.: Научно-техническая информация. Сер. 2, № 4. М., ВИНИТИ, 1979.

7. Ю.Аванесов B.C. Научные основы тестового контроля знаний. М., Иссл. центр 1994. - 135 с.

8. Анастази А. Психологическое тестирование. кн. 1. - М., 1982.

9. Антопольский А. Б., Вайсберг А. М., Зарувинская JL А. Принципы создания и функционирования автоматизированной системы ведения информационных языков.—В сб.: Научно-техническая информация. Сер. 2,. № 6, с. 8—12. М., ВИНИТИ, 1976,

10. Бакулов А. Д:, Федосимов В. И. Морфемный анализ словарных форм.—В сб.: Научно-техническая информация. Сер. 2, № 4, с. 27—30. М„ ВИНИТИ, 1979.

11. Бартос Ф. Дж. Искусственный Интеллект: принятие решений в сложных: системах управления. Ж. «Мир компьютерной автоматизации», Июль 1997 г, с.29-31

12. Белоногов Г. Г., Богатырев В. М. Автоматизированные информационные системы. М.: Советское радио, 1973.

13. Бойцов В. В. Эффективность производства, стандарты и качество.— Стандарты и качество, 1977, № 11, с. 3—8.

14. Вайсберг А. М: О методе построения информационной классификации, ориентированной на интересы потребителя; — В сб.: Научно-техническая информация. Сер. 2, № 11—12, с. 40-^2. М;, ВИНИТИ, 1977.

15. Вариант логико-семантической; модели совместимых документальных информационно-поисковых систем. Гульницкий JI. JI. Тез. докл. Всес. науч.-техн. конф. Пробл. автоматиз. обраб. науч.-техн. информ. Москва, ноябрь 1978 г. Секц. I, с. 57—59.

16. Галушкин А. Современные направления развития нейрокомпьютерных технологий в России. Ж.«Открытые системы», №4, 1997г, с.29-33

17. Галушкин А.И. Теория нейронных сетей. Кн.1: Учеб. Пособие для вузов/ Общая ред. А.И. Галушкина.- М.: ИПРЖР, 2000.- 416 с.

18. Герман П. Практическое применение Универсальной десятичной классификации. 6-е изд., доп. и перераб. Гл. 4, М., 1971. Пер. с нем. МФД 308:

19. Горбань А. Нейроинформатика и ее приложения. Ж.«Открытые системы», №4-5, 1998, с.42-47

20. Горбань А.Н., Дунин-Барковский B.JI., Кирдин А.Н. и др. «Нейроинформатика». Новосибирск: Наука. Сибирское предприятие РАН, 1998.

21. Грамматика современного русского литературного языка. Под ред. Н. Ю. Шведовой. М., 1970

22. Давыдов Mi Г. Стандартизация информации. Сер. «Техника». М.: Знание, 1978,№8:

23. Данилов М: П., Уманский А. Н. и др. Единая система классификации печатных изданий и документальных материалов. М.: Изд-во стандартов, 1971.

24. Данилов М. П., Уманский А. Н. и др. О принципах строения и путях создания единой системы классификации печатных изданий и документальных материалов. М., ВНИИКИ, 1969.

25. Добрынин В.Ю. Теория информационно-логических систем. Информационный поиск. Методические указания. URL: http://ir.apmath.spbu.ru

26. Довбенко М. А., Уманский А. Н. Сопоставительный анализ информационно-поисковых тезаурусов и нормированной научно-технической терминологии в целях их согласованного развития. Международный форум по информации и документации, 1980, т. 5. № 4, с. 9—11.

27. Довбенко М. А., Уманский А. Н. Тезаурус по стандартизации— язык поиска информации в автоматизированных системах. — Стандарты и качество, 1979. № 5, с. 30—32.

28. Дорогов А.Ю. Алексеев А.А. Структурые модели и топологическое проектирование быстрых нейронных сетей. В сб. «Интеллектуальные системы» /Труды П-го Международного симпозиума, под ред. К.А.Пупкова, Т.2 -М;: Из-во ПАИМС. 1996, с.138-143.

29. Дубинин В.Н. Приложения сетевых технологий. Аннотация книги. URL://alice.stup.ac.ru

30. Зализняк А.А. Грамматический словарь русского языка.

31. Интегрированная АИПС по нормативно-технической документации. Перстнев И1 П., Федосимов В. И., Штольберг А. А, Тез. докл. Всес. науч.-техн. конф. Пробл. автоматиз. обраб. науч.-техн. инф., 2-я, Москва, ноябрь 1978 г. Секц. 1,с. 32—33.

32. Клименко С.В., Слободюк Е.А., Самойленко В. Д., Ухова T.JI: Искусственные нейронные сети в физике высоких энергий. Часть I. — Протвино: Изд. РЦФТИ при поддержке РФФИ: 1995

33. Ковалев И.В., Карасева М.В., Суздалева Е.А. Системные аспекты организации и применения мультилингвистической адаптивно обучающейтехнологии. Educational Technology & Society 5(2) 2002 ISSN 1436-4522 pp. 198-212

34. Коваль С.А. К унификации представления русской морфологии в системах обработки текстовой информации. Труды международного семинара

35. Диалог-2002» по компьютерной лингвистике и ее приложениям, том.21. Прикладные проблемы».

36. Козлов Д:Д:, Смелянский P:JI: Использование- интеллектуальных агентов-для поиска информации в Интернет. Сборник статей Московского Государственного Университета им. М.В. Ломоносова, -М.: Изд-во МГУ, 2002 г.

37. Козлов О. А. Определение эффективности педагогических систем с помощью тестовых заданий. — В сб. трудов VIII Международной конференции-выставки "Информационные технологии; в образовании" (ИТО-98/99). http://ito.edu.ru/l998-99/.

38. Куссуль Э.М. Ассоциативные нейроподобные структуры. Киев, Наукова думка, 1990

39. Лачинов В.М., Поляков А.О. Информодинамика или Путь к Миру открытых систем -2-е изд., -СПб, Изд-во СПбГТУ, 1999'

40. Левин Р., Дранг Д., Эделсон Б. Практическое введение в технологию искусственного интеллекта и экспертных систем с: иллюстрациями на Бейсике. Пер. с англ. М.Л.Сальникова, Ю.В.Сальниковой, М, 2000 г.

41. Лорд Ф.М. Отношение между тестовым баллом и исследуемой способностью / Сб.: Математические методы в социальных науках. М.: Прогресс, 1973. - с. 54 - 90.

42. Мак-Каллох У.С., Питтс У. Логическое исчисление идей, относящихся к нервной активности // Автоматы, под ред. Шеннона К.Э. и Маккарти.Дж. М.: ИЛ, 1956. С. 362 384.

43. Нехаев С.А., Андреев И.Л., Кривошеин Н.В., Яскевич Я.С. Словарь прикладной интернетики. Публикации сетевого холдинга WEB PLAN Group, URL:http://www. webplan.ru

44. Никитин М:В:, Основы лингвистической-теории значения; М;, Высшая школа, 1988

45. Ожегов С.И., Шведова Н.Ю: Толковый словарь русского языка

46. Окунь Я. Факторный анализ. М.: Статистика, 1974. - 200с.

47. ПКБ "Контур". Анатомия катаклизма. Научные публикации авторов ПКБ «Контур», URL:http://www.skbkontur.ru

48. Редько B.F. Эволюционный подход к исследованию естественных и созданию искусственных "биокомпьютеров". Ж.«Нейрокомпьютер», № 12,1994, с. 38-49.

49. Сегалович И.В. Как работают поисковые системы. Труды международного семинара «Диалог-2003» по компьютерной лингвистике и ее приложениям. URL: http://www.dialog-21.ru

50. Соснин Э.А. Современные тенденции исследования творчества. Статья -Creatica. Семь пядей. Статьи и исследования. URL:http://www.creatica.org

51. Терехина А.Ю. Анализ данных методами многомерного шкалирования. -М.: Наука, 1986.-220с.

52. Харламов А. Автоматический структурный анализ текстов. Ж."Открытые системы", №10,2002, с.28-31.

53. Харламов А. Автоматический структурный анализ текстов. Журнал "Открытые системы", №10, 2002 г. с.35-39.

54. Харламов А. Средства анализа текстов. Ж."Открытые системы", №10, 2002, с.31-35.

55. Харламов А.А. Ассоциативный процессор на основе нейроподобных элементов» для структурной обработки информации. Информационные технологии, 1997, № 8; с. 40-44

56. Харламов А.А. Динамические рекуррентные нейронные сети для представления речевой информации. // Информационные технологии, 1997, № 10, с. 16-22

57. Харламов А.А., Жаркой P.M., Волков В.И., Мацаков F.H. Система распознавания изолированных рукописных символов на основе иерархической: структуры из динамических; ассоциативных запоминающих устройств. // Информационные технологии; 1998, № 5. с. 27-31

58. Хехт-Нильсен Р. Нейрокомпьютинг: история, состояние, перспективы. Ж.«Открытые системы», №4-5, 1998, с.37-41

59. Шаров Д.А. Математический аппарат системы контроля? корректности текстов' / Технологии; Microsoft в теории и практике программирования: Тезисы докладов конкурса-конференции. С-Пб: С-ПбГПУ; 2004: - С. 122.

60. Шаров Д:А. Разработка обучающей программы «Искусственные нейронные сети» на основе Интернет-технологий / Современные информационные технологии: Материалы VII Международной научно-практической конференции; Пенза: ПТИ, 2000. - С. 96-97.

61. Шаров Д.А. Семантический анализатор системы контроля корректности текстов / Технологии Microsoft в теории и практике программирования: Тезисы докладов конкурса-конференции. — С-Пб: С-ПбГПУ, 2004. — С. 123.

62. Шаров Д. А. Система анализа формулировок / В сб. материалов Международной конференции «Компьютерная лингвистика и интеллектуальные технологии» ДИАЛОГ-2004, http://www.dialog-21 .ru/Archive/2004/Sharov.pdf.

63. Шаров Д.А. Система контроля корректности текстов / В сб. трудов конкурса-конференции «Технологии Microsoft в теории и практике программирования». С-Пб: С-ПбГПУ, 2004. - стр. 124.

64. Шаров Д.А. Совершенствование содержания базовой компоненты курса информатики на основе нейросетевых технологий. Материалы отчета Целевой программы ИИО РАО, -М., 2000 г, С. 134-162.

65. Шумский С. А. Интернет разумный. Публикация в российском компьютерном журнале «Открытые Системы», №03/2001

66. Шумский С.А. Нейрокомпьютинг: состязание с человеческим мозгом — "Вестник РАН", 2000, т.70, №1, с.54-62.

67. Шумский С. А. Нейросетевые агенты в Интернете. Публикация в российском компьютерном еженедельнике "Компьютерра", №4 333., 2000, с.20-25

68. Шумский С.А., Яровой А.В., Зорин O.JI. Ассоциативный поиск текстовой информации, Материалы международной конференции «Нейроинформатика-99», МИФИ, 1999.