автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Автоматизация процессов контроля знаний с применением заданий открытого типа

ВВЕДЕНИЕ.

ГЛАВА 1 ИССЛЕДОВАНИЕ И АНАЛИЗ МЕТОДОВ ПРЕДСТАВЛЕНИЯ И КОНТРОЛЯ ЗНАНИЙ В АВТОМАТИЗИРОВАННЫХ СИСТЕМАХ УПРАВЛЕНИЯ ОБРАЗОВАТЕЛЬНОГО НАЗНАЧЕНИЯ.

1.1 Информация, данные, знания в автоматизированных обучающих системах.

1.2 Сравнительные характеристики тестирующих систем.

1.3 Применение экспертных систем в образовании.

1.4 Использование нейросетевых алгоритмов для анализа текстовых данных.

1.5 Выводы.

ГЛАВА 2 КОНЦЕПЦИЯ СИСТЕМЫ СЕМАНТИЧЕСКОЙ ПОДГОТОВКИ БАЗ ЗНАНИЙ.

2.1 Процесс контроля знаний в автоматизированных обучающих системах.

2.2 Структура формализованной базы знаний.

2.3 Модель представления и контроля знаний.

2.4 Модель обработки текста с применением синонимических рядоа.

2.5 Аналитическая модель расчета релевантности текстов.

2.6 Концепция организации системы семантической подготовки баз знаний на основе используемых моделей.

2.7 Выводы.

ГЛАВА 3 РЕАЛИЗАЦИЯ СИСТЕМЫ СЕМАНТИЧЕСКОЙ ПОДГОТОВКИ БАЗ ЗНАНИЙ.

3.1 Экспериментальные исследования автоматизированной системы контроля знаний.

3.2 Расчет и сравнительный анализ трудоемкости наполнения базы знаний.

3.3 Методика работы с реализованными программными продуктами.

3.4 Оценка качества аналитического аппарата тестирующей системы.

3.5 Оценка качества разработанной системы семантической подготовки баз знаний.

3.6 Выводы.

3.7 Дальнейшие направления разработки.

Актуальность исследования. Современные потребности экономики и бизнеса в трудовых ресурсах требуют сертификации специалистов как неотъемлемой процедуры, подтверждающей качество их профессиональной подготовки и профессиональной пригодности. При общении друг с другом профессионалы используют термины своей предметной области, не давая им расшифровку. Знание терминологии предметной области и понимание её смысла является важной составляющей профессиональной подготовки специалистов. Ещё на этапе обучения специалисты должны научиться правильно воспринимать и воспроизводить смысл этих терминов [8, 20, 24, 25, 26, 28, 29]. Любой процесс обучения завершается проверкой знаний обучаемого, включающей контроль знания обучаемым терминологии изучаемой дисциплины, предметной области.

Возросшие требования к качеству профессионального образования потребовали создания новых форм учебных и тестовых штериалов высокого качества, соизмеримого с уровнем знаний экспертов в предметных областях [13, 14, 15].

В то же время, изменяющиеся концепции естествознания, отдельных предметных областей неизбежно приводят к семантическим изменениям терминологической базы - тезауруса предметной области [3, 4, 16, 17]. Отсюда следует вывод о необходимости корректировки учебного материала, дидактического, лекционного, и, соответственно, баз знаний автоматизированных обучающих систем [52].

В доступной автору литературе практически отсутствует описание механизмов автоматизированного воздействия на методику и содержательную часть обучения. Большая часть исследователей считает методологическим приёмом управления процессом обучения изменение «степени сложности» учебного материала либо изменение последовательности его предъявления для изучения, при этом учебный материал считается статическим, неизменяемым. Практически не встречается описание воздействия обучающей системы на содержательную часть учебного материала, изменение дидактического материала либо влияние на лекционный материал преподавателя. Иными словами, описываются механизмы воздействия на модель обучаемого, и никогда-на модель предметной области [7, 33, 34, 35].

Таким образом, необходимо автоматизировать процесс контроля знаний терминологии предметной области путем разработки моделей механизмов автоматизированного воздействия на содержательную сущность (контент) информационных ресурсов автоматизированных обучающих и тестирующих систем - баз знаний [10, 11, 74].

В связи с переходом самого процесса обучения (и сертификации) на всё более современные информационные технологии - дистантное обучение, мультимедийное и т.д., естественно возникает проблема оценки качества проведённого обучения и формирования результата сертификационных испытаний [40, 52]. Качество автоматизированных образовательных систем наиболее важно для дистантного образования, так как эти системы, с одной стороны, являются технологической основой процесса обучения, а с другой - подчас являются незаменимым средством контроля и самоконтроля знаний обучаемого [63]. Системы контроля знаний занимают особое место среди автоматизированных систем обучения [64]. Наибольшую сложность для автоматизации представляет анализ ответов на задания открытого типа, ответы на которые должны быть даны в виде произвольного текста, например, задания на знание тезауруса, требующие дать определение термина [69, 71, 72].

В настоящее время задания открытого типа являются составной частью большинства тестовых заданий автоматизированных систем контроля знаний (АСКЗ). Однако во всех этих системах оценка правильности текстового ответа основана на методе абсолютного совпадения ответа с одним из эталонных вариантов текста. При этом в ряде систем ответ засчитывает как правильный либо частично правильный, в других ответ считается правильным при совпадении хотя бы с одним из эталонов, хранящихся в базе данных системы. Предложение считается в этих системах единым целым, неделимым и неизменяемым эталоном ответа [72, 73].

Характерной чертой естественных языков является синонимия понятий (терминов). Поэтому для реализации АСКЗ, имеющей возможность анализа ответов на задания открытого типа, важное значение имеет учет синонимии понятий, а следовательно актуальны вопросы учета синонимии терминов при анализе ответов на задания открытого типа [31, 39,41].

В настоящее время все большее значение приобретают модели количественной оценки естественно-языковой информации по различным критериям [5, 17, 28, 53, 56, 57, 59, 60, 61]. Большое значение для автоматизированных систем управления образовательного назначения (АСУОН) имеют модели оценки ответов, представленных в виде свободного текста произвольной длины. В диссертационной работе предлагается использовать модель вычисления показателя синонимической близости двух текстовых выражений, основанную на учете коэффициентов синонимии терминов предметной области, для автоматизированного наполнения баз знаний [65, 75].

Внедрение информационно - коммуникационных технологий в среду образования вызвало необходимость измешния не только методик и методологии обучения и контроля знаний, но и технологий представления, формирования, накопления, хранения и извжчения знаний. К настоящему времени основным технологическим носителем знаний являются базы знаний (БЗ), сформированные в электронные библиотеки [7, 28, 34, 35].

При этом основной формой хранения знаний остаётся слабо формализованный печатный текст, что, естественно, должно рассматриваться как основной недостаток построения контента автоматизированных систем управления образовательного назтчения (АСУОН).

Вместе с тем, корректировка методических и дидактических материалов в соответствии с современными требованиями к качеству профессиональной подготовки, в подавляющем болышнстве случаев не соответствует имеющимся в распоряжении преподавателей и методистов возможностям информационных технологий, а используемый учбными заведениями набор приёмов методического воздействия на качество обучения достаточно ограничен. Вузы испытывают острую потребность в эффективном автоматизированном инструментарии методи*Еского сопровождения учебного процесса для проведения адекватных измерений формы и структуры учебного и тестового материала [70, 74].

Так, например, доктор педагогических наук Будинский И.Д. прямо указывает на «необходимость выработки новых, основанных на современных информационных и коммуникационных технологиях, подходов к организации и методическому обеспечению тестирования знаний, связанных с распределением функций и обязанностей между такими участниками этого процесса, как эксперты (наиболее квалифицированные специалисты, осуществляющие составление и верификацию тестовых заданий и вариантов ответов на них), организаторы тестирования (управленцы и методисты, обеспечивающие накспление и распределение пакетов тестовых заданий, а также сбор, накопление и анализ информации о результатах контроля знаний) и преподаватели-технологи, которые непосредственно проводят тестовый контроль знаний обучаемых» [51].

В то же время, подавляющее большинство технологий поиска и извлечения знаний из баз знаний основано на статистическом аппарате обработки текста как данных, без учёта его смыслового содержания [53, 59, 76, 78]. Однако как показывает практика, основную роль играет не количество слов и частота их употребления, а то, как слова расставлены и какую смысловую нагрузку они несут, то есть семантика текста [66, 72]. Это вызывает необходимость разработки новых форм, методов и технологий представления учебных материалов (информационных, дидактических, справочных, тестовых, и т.п.) [41, 74].

Одним из основополагающих свойств семантики является синонимия слов и понятий. Приложение свойства синонимии к анализу текстов ответов на тестовые задания открытого типа является достаточно новой технологией контроля знаний в автоматизированных системах управления образовательного назначения. В работе предлагается использовать модель вычисления показателя синонимической близости двух текстовых выражений, основанную на учете коэффициентов синонимии терминов предметной области. Базы знаний для такой технологии контроля знаний должны быть основаны на той же технологии — синонимии слов и понятий. В таком случае, формализация существующих текстовых баз знаний должна производиться также на основе синонимических рядов. Формализованные базы знаний должны строиться на основе количественных показателей синонимии - так называемых коэффициентах синонимической близости между словами и понятиями [67, 68].

Существующие системы управления в сфере обучения и контроля знаний сочетают в различной степени следующие недостатки:

1. Знания хранятся в основном в виде текста, представляющего собой электронную копию печатного текста, то есть слабо формализованную структуру.

2. Технологии поиска и предъявления знаний основаны на статистической обработке текста как данных, без учёта смыслового содержания.

3. Практически полностью отсутствует аппарат формализации синонимических рядов до уровня количественных показателей, что снижает эффективность использования семантических методов анализа, усложняя обработку с использованием информационно — коммуникационных технологий.

4. Используемые методы контроля текста основаны на потном совпадении текста ответа с эталонными формулировками, заложенными в системе, что является сильнейшим методологическим недостатком этих систем, поскольку исключает возможность анализа произвольного текста, который может быть дан тестируемым в качестве ответа.

Следствиями вышеуказанных недостатков являются: низкая методологическая возможность практически всех существующих автоматизированных систем контроля знаний в части анализа свободного текста произвольной длины; практически полное отсутствие разработанных синонимических рядов, формализованных до уровня количественных показателей синонимии.

На основе вышесказанного можно сформулировать противоречие, которое породило научную задачу исследования: с одной стороны очевидно, что использование методов контроля произвольного текста, который может быть дан тестируемым в качестве ответа, возможно и настоятельно необходимо, так как способствует повышению качества функционирования автоматизированных систем управления образовательного назначения; с другой стороны, существует недостаточное методологическое обеспечение для создания эффективных систем контроля знаний, включающих задания открытого типа, требующие развёрнутого ответа в виде свободного текста произвольной длины, а также отсутствуют инструменты для формализации синонимических рядов до уровня количественных показателей.

Все это обусловливает актуальность темы диссертационного исследования.

Таким образом, актуальность исследования определяется:

- требованиями, предъявляемыми на современном этапе к содержанию и качеству учебных и тестовых материалов для подготовки специалистов в различных областях профессиональной деятельности;

- необходимостью повышения качества подготовки специалистов к их реальной профессиональной деятельности на рабочих местах;

- стремлением к формированию технологии подготовки специалистов, обеспечивающей профессорско - преподавательскому составу вузов возможность самостоятельно проектировать и реализовывать обработку информации по профессиональным потребностям.

Настоящее исследование выполнено в развитие направлений, обозначенных в заключительной главе диссертационного исследования Шарова Д.А. [69, с. 141], а именно, связанных с формированием словарей и тезаурусов различных предметных областей, автоматизацией сбора и обработки экспертной информации, и в конечном счете, автоматизацией процессов контроля знаний с применением заданий открытого типа.

Объект исследования — автоматизированные системы управления образовательного назначения, предназначенные для контроля зтний в рамках предметной области.

Предмет исследования - методика формирования и представления знаний в структуре информационных ресурсов автоматизированных систем управления образовательного назначения; модель контроля зтний с применением синонимических рядов.

Цель исследования - повышение качества контроля знаний в автоматизированных системах управления образовательного назначения путём разработки методического обеспечения формирования контента информационных ресурсов, в частности, формализованной базы знаний предметной области.

В соответствии с целью определены следующие задачи исследования:

1. На основе анализа научно-методических информационных источников выявить современные концепции и методы гостроения автоматизированных систем управления образовательного назначения в целом, а также структуры и методы формирования инфсрмационных ресурсов.

2. Разработать и теоретически обосновать методы формирования контента информационных ресурсов автоматизированных систем управления образовательного назначения на основе синонимических рядов.

3. Разработать схему и алгоритм работы системы, обеспечивающей формирование и поддержку контента информациснных ресурсов автоматизированных систем управления образовательного назначения.

4. Разработать прототип системы для автоматизации процесса контроля знаний терминологии на основе предложенных методов и моделей.

5. Проверить опытно-экспериментальным путем качество функционирования разработанного прототипа системы, реализованного на предложенных методах и моделях.

Методологической основой исследования явились работы в области общей теории систем: Берталанфи JL, Бусленко Н.П., Волкова В.Н., Денисова A.A. и др.; информационных систем управления:

Анфилатова B.C., Емельянова A.A., Кукушкина A.A., Мартина Д., Мясникова В.А., Титоренко Г.А., Якубайтиса Э.А.; информатизации образования: Накабаяши К., Брусиловского П.Л., Роберт И.В., Козлова O.A., Линьковой В.П.; теории и методики психологического тестирования и педагогических измерений: Анастази А., Аванесова B.C., Киншука В., Рудинского И.Д.; теории экспертных и интеллектуальных систем: Левина Р., Бартоса Ф.Дж., Хопфилда Дж., Кохонена Т., Галушкина А., Горбаня А., Шумского С.А.; технологий и методов информационного шиска и семантического анализа Абросова В.И., Ландау Д., Фельдмана Р., Добрынина В.Ю., Сегаловича И.В., Солтона Дж., Салливана Д. и др.

Методы исследования: методы построения и анализа сложных систем, в том числе систем управления, экспертных и интеллектуальных систем; методы формализованного представления знаний (аналитические, статистические, логические, графических представлений и др.); методы, направленные на активизацию использования инт>иции и опыта специалистов-экспертов (генерации идей, структуризации, экспертных оценок, и др.); методы математического моделирования, шформационного поиска, семантического анализа, педагогических измерений; анализ научно-методических информационных ресурсов и др.

Научная новизна и теоретическая значимость исследования заключается в следующем:

• Сформулирован и обоснован метод формирования контента информационных ресурсов автоматизированных систем управления образовательного назначения на основе синонимических рядов;

• Разработаны схема и алгоритм работы системы, обеспечивающей формирование и поддержку контента информационных ресурсов автоматизированных систем управления образовательного назначения на основе синонимических рядов;

• Построен прототип системы для формирования количественных показателей синонимии терминов предметной области.

Практическая значимость исследования состоит в расширении функциональных возможностей автоматизированных систем управления образовательного назначения в части анализа свободного текста произвольной длины ответа на задания открытого типа.

Достоверность результатов исследований основывается на теоретических положениях, полученных с использованием апробированных современных достижений фундаментальных и прикладных наук; на экспериментальном подтверждении адекватности используемых при исследовании моделей; на успешной практической апробации решений, полученных на остве теоретических разработок.

Апробация результатов исследования проводилась на заседаниях Учёного Совета Института информатизации образования Российской Академии образования, на конференциях: 1-я Международная научно-практическая конференция по профильному обучению «Развитие системы профильного обучения в России и за рубежом. Создание единой образовательной среды профильного обучения на основе использования информационных технологий» (г.Москва, 2005 г.), Международная научно-техническая конференция «Информационно-вычислительные технологии и их приложения» (г.Пенза, 2005 г.), 2-я Международная научно-практическая конференция «Интеллектуальные технологии в образовании, экономике и управлении ИТОЭУ-2005» (г.Воронеж, 2005 г.), VII Международная научно-методическая конференция преподавателей вузов, ученых и специалистов «Высокие технологии в педагогическом процессе» (г.Н.Новгород, 2006 г.).

Организация исследования осуществлялась в несколько этапов. В 1999 - 2004 гг. проводились сбор и анализ информации по автоматизированным системам управления образовательного назначения, реализующих тестирование на основе заданий открытого типа; вышление механизмов анализа ответов; сравнение и анализ программного обеспечения и организации баз знаний. В 2004 году разработан ряд методов формирования контента автоматизированных систем управления образовательного назначения. В 2004 году разработана и реализована модель системы для автоматизации процесса контроля знаний терминологии на основе синонимических рядов В 2005 году разработана имитационная модель механизма, обеспечивающего формирование и поддержку контента информационных ресурсов автоматизированных систем управления образовательного назначения на основе синонимических рядоа

Внедрение результатов исследования осуществлялось в процессе создания и функционирования автоматизированной системы управления образовательного назначения при решении практической задачи— проведении тестирования студентов Пензенсксго государственного педагогического университета им. В.Г. Белинского на знание терминологии предметной области «Информатика» [66, 69]. Создан и внедрен пакет прикладных программ для проведения тестирования, обработки данных тестирования и организации семантических баз знаний - синонимических рядов и числовых гоказателей синонимии для части терминов предметной области «Информатика». Разработанный пакет прикладных программ впервые был. представлен на Междутродном конкурсе-конференции «Технологии Microsoft в теории и практике программирования», проходившем в 2004 г. в Санкт-Петербурге [67, 71, 73].

Положения, выносимые на защиту:

1. Метод формирования контента информационных ресурсов автоматизированных систем управления образовательного назначения на основе синонимических рядов.

2. Схема и алгоритм работы системы, обеспечивающей формирование и поддержку контента информационных ресурсов автоматизированных систем управления образовательного назначения на основе синонимических рядов.

3. Прототип системы для формирования количественных показателей синонимии терминов предметной области.

Структура диссертации: Диссертация состоит из введения, трех глав, заключения, библиографического списка и приложений. Диссертация содержит 200 страниц машинописного текста, из них 171 страшца -основной текст, 21 рисунок, 21 таблицу, библиографический список содержит 86 наименований (7 источников на английском языке) и 3 приложения.

3.6 Выводы

На основе проведенного анализа результатов опытно-экспериментальной апробации действующего прототипа системы были получены следующие выводы:

1. Построение данного комплекса и заложенные базовые модели адекватны решаемым задачам, вполне реализуемы доступными программными средствами и открыты для совершенствования.

2. Пользователи-эксперты (преподаватели, экзаменаторы) получили действенное средство формирования и корректировки баз знаний, способствующих внедрению автоматизированного процесса контроля знаний терминологии предметной области путем анализа ответов на задания, требующие развёрнутого ответа в виде свободного текста произвольной длины.

3. Постоянное регулярное наполнение контента системы пользователями-экспертами приводит к уменьшению разброса экспертных оценок знаний и оценок, полученных с помощью тестирования данной системой.

4. Внедрение системы требует умеренных трудозатрат разработчиков и конечных пользователей и позволяет максимально адаптировать процесс подготовки баз знаний автоматизированных систем управления образовательного назначения к конкретной предметной области.

3.7 Дальнейшие направления разработки.

Дальнейшее развитие идеи использования аппарата семантического анализа в автоматизированных обучающих и тестирующих системах возможно только объединением усилий ученых и разработчиков широкого спектра направлений - лингвистики, педагогики, информатики, теории нейронных сетей, теории нечетких множеств и других.

Появление инструментальных средств формирования и поддержки формализованных баз знаний по предметным областям вызывает необходимость подготовки специалистов, способных осуществлять такую работу в качестве специалистов по знаниям. Такие специалисты должны иметь основательную педагогическую (профильную), математическую и информационную подготовку, что накладывает специфические требования на качество их знаний в указанных областях.

Кроме того, постоянное поддержание в актуальном состоянии баз знаний требует привлечения в качестве экспертов самих носителей знаний - преподавателей и ученых, на постоянной основе. С этой целью актуальной является разработка и организация открытого проекта по формированию баз знаний по различным гредметным областям.

В качестве основы могут быть использованы уже имеющиеся словари и тезаурусы, например, «Толковый словарь терминов понятийного аппарата информатизации образования» (Институт информатизации образования РАО), а также Национальный банк терминологических данных (ФГУП «Стандартинформ»).

Решением этого вопроса также может явиться и организация открытого Интернет-проекта по сбору экспертных сведений о применяемой терминологии в той или иной профессиональной сфере; проработка имеющихся нормативных документов, регламентирующих терминологию предметных областей (ГОСТ и т.п.), энциклопедий, словарей и тезаурусов с целью формирования синонимических рядов терминов. Однако реализация этого мероприятия должна иметь основательную техническую, технологическую и материальную поддержку со стороны заинтересованных лиц и организаций. Кроме того, выполнение такого объема работ не под силу энтузиастам-одиночкам, требуется привлечение в качестве экспертов специалистов по различным предметным областям, для которых составляется конкретный терминологический словарь, а также специалистов-лингвистов с целью корректного выполнения данной работы.

Помимо этого, как показывают результаты эксперимента, система формирует числовые показатели релевантности текстовых ответов обучаемых эталонным формулировкам, хранящимся в базе знаний системы. Это свидетельствует о качестве восприятия и понимания обучаемыми смыслового содержания учебного курса. Проработка методистами-аналитиками результатов тестирования по группе обучаемых позволит выработать рекомендации по корректировке методик преподавания, включая исправление текстов лекций и учебных пособий. Такой же анализ, проведенный, отдельно по каждому обучаемому, может дат материал для выработки рекомендаций по индивидуальному обучению студента.

В плане применения систем в автоматизированном и дистанционном обучении можно предположить, что полученные результаты тестирования в числовой форме пригодны для выработки автоматических корректирующих воздействий по адаптации курсов автоматизированного и дистанционного обучения.

Кроме того, методологическая проработка этих результатов специалистами-методистами способна устранить разночтение единой, стандартизованной терминологии разными преподавателями.

Таким образом, и в этом направлении развитая требуется улучшение подготовки кадров методистов-аналитиков.

Следующим вопросом, напрямую связанным с жизнеобеспечением системы, является экспертное наполнение базы знаний динамически, в ходе проведения экспертных опросов на этапе наполнения баз знаний (на образцах, полученных в ходе опроса и имеющих некоторые предельные числовые характеристики релевантности). Это позволит реализовать возможность использования экспертных знаний для корректировки учебных материалов, регламентирующих терминологию в предметных областях, и кроме того, предоставит возможность адаптивного наполнения базы знаний автоматизированной обучающей системы знаниями (формализованными) той или иной научной школы, что является еще одной дополнительной возможностью использования системы в )чебном процессе разных учебных заведений, работе научно-исследовательских и академических организаций одного профиля деятельности.

На базе этого возможно построение многомерной базы знаний предметной области по множеству экспертов. Хорошо известные методы организации сбора экспертных сведений, обработки и интерпретации их для погружения в единую базу знаний предметной области позволяют сделать такую работу.

Здесь возникает еще одна задача - сохранения экспертных знаний в виде формализованных баз знаний по предметным областям. Решением ее должна стать организация хранилищ информации по типу специализированных фондов алгоритмов и программ под управлением единой (по данной предметной области) организации (научного учреждения информационного и педагогическогопрофиля).

В техническом плане наиболее актуальной является задача реализации многомодального интерфейса по вводу данных в систему. В настоящее время программные продукты «Система контроля корректности текста» и «Система семантической подготовки баз знаний» имеют единственный реализованный тип внешнего интерфейса по вводу информации - клавиатуру, что является типовой модальностью при работе с компьютером. Появляющиеся на рынке программных продуктов средства преобразования модальности и распознавания образовпозволяют, например, переводить в напечатанный текст речь человека (пакет программ «Горыныч»), рукописный текст (система оптического распознавания текстов CuneiForm фирмы Cognitive Technologies), не говоря уже о доступном каждому сканировании и распознаваши машинописного текста (например, TestReader фирмы ABBYY, разработанный специально для образовательных учреждений). Таким образом, использование этих либо аналогичных программных продуктов для предварительной обработки ответов обучаемых позволит модифицировать интерфейсы для обработки вводимой информации различной модальности в целях организации учебного процесса и контроля знаний.

Заключение.

В результате проведенного исследования решены поставленные задачи и получены следующие основные результаты:

1. В результате проведенного анализа выявлены недостатки существующих автоматизированных систем управления образовательного назначения, реализующих контроль знаний, заключающиеся в отсутствии механизма адекватной оценки фразы на естественном языке; в слабой формализации баз знаний, не обеспечивающей надлежащего качества контроля знаний терминологии предметной области автоматизированными средствами контроля.

2. Предложен метод формирования контента информационных ресурсов автоматизированных систем управления образовательного назначения на основе синонимических рядов, основанный на экспертных оценках.

3. Разработаны схема и алгоритм работы системы, обеспечивающей формирование и поддержку контента информациашых ресурсов автоматизированных систем контроля знаний.

4. Построен действующий прототип системы для автоматизации процесса контроля знаний терминологии, реализующий предложшные методы и модели. Предложенный механизм системы надежно работает на тезаурусе размером 238 терминов предметной области «Информатика»

5. В результате опытно-экспериментальной апробации было доказано, что система, реализованная на предложенных методах и моделях, способствует более эффективному достижению целей повышения качества контроля знаний в автоматизированных системах управления образовательного назначения.

1. Аванесов B.C. Научные основы тестового контроля знаний. - М.: Исследовательский центр, 1994.- 135 с.

2. Аванесов B.C. Теоретические основы разработки педагогических тестов / Диссертация на соискание степени доктора педагогических наук. JL: 1995.-350с.

3. Алгоритм построения языка для поиска наименований классификационных позиций. Белоозеров В. Н. Тезисы доклада / Всесоюзная научно-техническая конференция «Единая система информационно-поисковых языков», г. Юрмала-Рига: 1977.

4. Антопольский А. Б., Вайсберг А. М., Зарувинская J1. А. Принципы создания и функционирования автоматизированной системы ведения ин формационных языков. / В сб.: Научно-техническая информация. Сер. 2,. № 6, с. 8—12., М.: ВИНИТИ, 1976.

5. Бакулов А. Д., Федосимов В. И. Морфемный анализ словарных форм. / В сб.: Научно-техническая информация. Сер. 2, № 4, с. 27—30. М.: ВИНИТИ, 1979.

6. Бартос Ф. Дж. Искусственный Интеллект: принятие решений в сложных системах управления. / Ж. «Мир компьютерной автоматизации», Июль 1997 г, с.29-31

7. Белоногов Г. Г., Богатырев В. М. Автоматизированные информационные системы. М.: Советское радио, 1973.

8. Бойцов В. В. Эффективность производства, стандарты и качество.- М.: Стандарты и качество, \9П,№ 11, с. 3—8.

9. Бугаков И. А. Информация: появление, существование и восприятие. // «Датчики и Системы», часть 1: 2001, № 2, с. 41.47; часть 2: 2001, № 3 , с. 61.68.

10. Ю.Бугаков И.А., Канушкин С.В. Индивидуализация обучения на основе интегрированных экспертных систем. Серпухов: СВИ РВ, Тематический научно-технический сборник, 2004.- 160 е., С. 9. 10.

11. П.Бугаков И.А., Кот A.B., Царьков А.Н. Концепция интегрированного образования. // «Высшее образование в России», 2004, № 12, С. 124.129.

12. Бугаков И. А. Теоретико-множественная формализация сущности динамических измерений. МО СССР, Тематический научно-технический сборник, 2001, С. 33.36.

13. Бугаков И.А., Царьков А.Н. Интеграционные процессы в современном образовании: исходные концептуальные основания. Серпухов: СВИ РВ, Тематический научно-технический сборник, 2005.- 119 е., С. 8. 11.

14. Бугаков И.А., Царьков А.Н. Качество образования качество человека и общества. - Серпухов: Сборник трудов XXIV Межведомственной НТК, 2005, часть 3.-258 е., С. 20.24.

15. Вайсберг А. М. О методе построения информационной классификации, ориентированной на интересы потребителя. / В сб.: Научно-техническая информация. Сер. 2, № 11—12, с. 40—42. М.: ВИНИТИ, 1977.

16. Галушкин А. Современные направления развития нейрокомпьютерных технологий в России. / Ж. «Открытые системы», №4, 1997г, с.29-33

17. Галушкин А.И. Теория нейронных сетей. Кн.1: Учеб. Пособие для вузов/ Общая ред. А.И. Галушкина.- М.: ИПРЖР, 2000.- 416 с.

18. Герман П. Практическое применение Универсальной десятичной классификации. 6-е изд., доп. и перераб. Гл. 4. М.: 1971. Пер. с нем.

19. Горбань А. Нейроинформатика и ее приложения. / Ж. «Открытые системы», №4-5, 1998, с.42-47

20. Горбань А.Н., Дунин-Барковский B.JL, Кирдин А.Н. и др. «Нейроинформатика» Новосибирск: Наука. Сибирское отделение РАН, 1998.

21. Грамматика современного русского литературного языка. Под ред. Н. Ю. Шведовой. М., 1970.

22. Давыдов М. Г. Стандартизация информации. Сер. «Техника».-М.: Знание, 1978, №8.

23. Данилов М. П., Уманский А. Н. и др. Единая система классификации печатных изданий и документальных материалов. М.: Изд-во стандартов, 1971.

24. Данилов М. П., Уманский А. Н. и др. О принципах строения и путях создания единой системы классификации печатных изданий и документальных материалов. М.: ВНИИКИ, 1969.

25. Добрынин В.Ю. Теория информационно-логических систем. Информационный поиск. Методические указания. URL: http://ir.apmath.spbu.ru

26. Довбенко М. А., Уманский А. Н. Сопоставительный анализ информационно-поисковых тезаурусов и нормированной научно-технической терминологии в целях их согласованною развития. Международный форум по информации и документации, 1980, т. 5. № 4, с. 9—11.

27. Довбенко M. А., Уманский А. Н. Тезаурус по стандартизации— язык поиска информации в автоматизированных системах. М.: Стандарты и качество, 1979, № 5, с. 30—32.

28. Дорогов А.Ю. Алексеев A.A. Структурые модели и топологическое проектирование быстрых нейронных сетей. / В сб. «Интеллектуальные системы». Труды 11-го Международного симпозиума, под ред. К.А.Пупкова, т.2-М.: Изд-во ПАИМС. 1996, с. 138-143.

29. Дубинин В.Н. Приложения сетевых технологий. Аннотация книги. URL://alice.stup.ac.ru

30. Зализняк A.A. Грамматический словарь русского языка.

31. Инструкция о порядке рассмотрения, утверждения, регистрации и издания программ комплексной стандартизации продукции в системе Госстандарта СССР. РДИ 100—74. М.: Изд-во стандартов, 1977.

32. Клименко C.B., Слободюк Е.А., Самойленко В.Д., Ухова Т.Д. Искусственные нейронные сети в физике высоких энергий. Часть I. — Протвино: Изд. РЦФТИ при поддержке РФФИ, 1995.

33. Ковалев И.В., Карасева М.В., Суздалева Е.А. Системные аспекты организации и применения мультилингвистической адаптивно -обучающей технологии. / Educational Technology & Society 5(2) 2002 ISSN 1436-4522 pp. 198-212

34. Коваль C.A. К унификации представления русской морфологии в системах обработки текстовой информации. / Труды международного семинара «Диалог-2002» по компьютерной лингвистике и ее приложениям, том 2 «Прикладные проблемы».

35. Козлов Д.Д., Смелянский P.JI. Использование интеллектуальных агентов для поиска информации в Интернет. / Сборник статей Московского Государственного Университета им. М.В. Ломоносова,-М.: Изд-во МГУ, 2002 г.

36. Козлов О. А. Определение эффективности педагогических систем с помощью тестовых заданий. В сб. трудов VIII МеждународнойIконференции-выставки «Информационные технологии в образовании» (ИТО-98/99). http://ito.edu.ru/1998-99/.

37. Куссуль Э.М. Ассоциативные нейроподобные структуры. Киев: Наукова думка, 1990.

38. Лачинов В.М., Поляков А.О. Информодинамика или Путь к Миру открытых систем-2-е изд., -СПб.: Изд-во СПбГТУ, 1999 .

39. Левин Р., Дранг Д., Эделсон Б. Практическое введение в технологию искусственного интеллекта и экспертных систем с иллюстрациями на Бейсике. Пер. с англ. М.: 2000.

40. Лорд Ф.М. Отношение между тестовым баллом и исследуемой способностью / Сб.: Математические методы в социальных науках. М.: Прогресс, 1973. - с. 54 - 90.

41. Мак-Каллох У.С., Питтс У. Логическое исчисление идей, относящихся к нервной активности // Автоматы, под ред. Шеннона К.Э. и Маккарти Дж.-М.: ИЛ, 1956. С. 362-384.

42. Нехаев С.А., Андреев И.Л., Кривошеин Н.В., Яскевич Я.С. Словарь прикладной интернетики. / Публикации сетевого холдинга WEB PLAN Group, URL:http://www. webplan.ru

43. Никитин M.B. Основы лингвистической теории значения. М., Высшая школа, 1988.

44. Ожегов С.И., Шведова Н.Ю. Толковый словарь русского языка

45. Сегалович И.В. Как работают поисковые системы. / Труды международного семинара «Диалог-2003» по компьютерной лингвистике и ее приложениям. URL: http://www.dialog-21.ru

46. Талызина Н.Ф. Компьютеризация и программированное обучение // Вопросы психологии.- 1987.-№ 6, с. 43-45.

47. Терехина А.Ю. Анализ данных методами многомерного шкалирования.-М.: Наука, 1986.-220с.

48. Харламов А. Автоматический структурный анализ текстов. / Ж.«Открытые системы», №10, 2002 г. с. 28-31,35-39.

49. Харламов А. Средства анализа текстов. / Ж.«Открытые системы», №10, 2002, с.31-35.

50. Харламов A.A. Ассоциативный процессор на основе нейроподобных элементов для структурной обработки информации / Ж.«Информационные технологии», 1997, № 8,- с. 40-44

51. Харламов A.A. Динамические рекуррентные нейронные сети для представления речевой информации. / Ж.«Информационные технологии», 1997, № 10, с. 16-22

52. Харламов A.A., Жаркой P.M., Волков В.И., Мацаков Г.Н. Система распознавания изолированных рукописных символов на основе иерархической структуры из динамических ассоциативных запоминающих устройств. / Ж.«Информационные технологии», 1998, № 5.- с. 27-31

53. Хехт-Нильсен Р. Нейрокомпьютинг: история, состояние, перспективы. Ж. «Открытые системы», №4-5, 1998, с.37-41.

54. Царьков А.Н., Бугаков И.А., Долгин Ю.Н. Концептуальные основы интегрированного высшего образования в современной России. -Серпухов: Сборник трудов XXII Межведомственной НТК, 2003, часть 2. -299 е., С.23.27.

55. Шаров А.Г. Программированный опрос с использованием ЭВМ // Ж.«Вопросы радиоэлектроники», сер.ЭВТ, вып.2.-М.: Радиоэлектроника и связь, ИНЭУМ, 1979. с.47-51.

56. Шаров А.Г. Методы семантического анализа контекста // Материалы Международной научно-технической конференции «Информационно-вычислительные технологии и их приложения) Пенза: МНИЦ ПГСХА, 2005.-е. 221-223.

57. Шаров А.Г. Метод формирования синонимических рядов // Труды 2-й Международной научно-практической конференции «Интеллектуальные технологии в образовании, экономике и управгении ИТОЭУ-2005» -Воронеж: ВИЭСУ, 2005. с. 427-429.

58. Шаров Д.А. Автоматизация контроля знаний с применением синонимических рядов в автоматизированных системах управленияобразовательного назначения / Диссертация на соискание ученой степени кандидата технических наук. М: 2004. - 179 с.

59. Шаров Д. А. Разработка обучающей программы «Искусственные нейронные сети» на основе Интернет-технологий / Современные информационные технологии: Материалы VII Международной научно-практической конференции.-Пенза: ПТИ, 2000.-С. 96-97.

60. Шаров Д.А. Семантический анализатор системы контроля корректности текстов / Технологии Microsoft в теории и практике программирования: Тезисы докладов конкурсагконференции. С-Пб: С-ПбГПУ, 2004. - С. 123.

61. Шаров Д.А. Система анализа формулировок / В сб. материалов Международной конференции «Компьютерная лингвистика и интеллектуальные технологии» ДИАЛОГ-2004, http://www.dialog-21 .ru/Archive/2004/Sharovpdf.

62. Шаров Д.А. Система контроля корректности текстов / В сб. трудов конкурса-конференции «Технологии Microsoft в теории и практике программирования». С-Пб: С-ПбГПУ, 2004. - стр. 124.

63. Шаров Д.А. Совершенствование содержания базовой компоненты курса информатики на основе нейросетевых технологий. Материалы отчета Целевой программы ИИО РАО,-М.: 2000. С.134-162.

64. Шаров Д.А. Математический аппарат системы контроля корректности текстов / Технологии Microsoft в теории и практике программирования: Тезисы докладов конкурсагконференции. С-Пб: С-ПбГПУ, 2004. - С. 122.

65. Шумский С.А. Интернет разумный. / Ж.«Открытые Системы», №03/2001.

66. Шумский С.А. Нейрокомпьютинг: состязание с человеческим мозгом / Вестник РАН, 2000, т.70, № 1, с.54-62.

67. Шумский С.А. Нейросетевые агенты в Интернете. / Ж.«Компьютерра», №4 333., 2000, с.20-25

68. Шумский С.А., Яровой А.В., Зорин O.JL Ассоциативный поиск текстовой информации / Материалы международной конференции «Нейроинформатика-99», МИФИ, 1999.

69. Armor D.J., Reliability and factor scaling. / Sociological metodology, 19731974, Ed. H. L. Costner. San Francisco, Jossey- Bass, 1974. - 41 Op.

70. D.Garlan, D.E.Perry. IEEE Transactions on Software Engineering. Vol. 21, No.4,1995, pp.269-274.

71. Dan Sullivan. Document Warehousing and Textmining. NY; Wiley publishing house, 2001

72. Hop field J.J. Neural networks and physical systems with emergent collective computational abilities. Proc. Natl. Acad. Sci. 79, 1982. p. 2554-2558

73. Kohonen Т. Self-organized formation of topologically correct feature maps. Biol.Cybernetics 43, 1982, p.56-69.