автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Система экспертного анализа знаний на основе программных имитаторов искусственных нейронных сетей

На правах рукописи

Солодов Владимир Александрович

СИСТЕМА ЭКСПЕРТНОГО АНАЛИЗА ЗНАНИЙ НА ОСНОВЕ ПРОГРАММНЫХ ИМИТАТОРОВ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

05 13 01 - Системный анализ, управление и обработка информации (вычислительная техника и информатика)

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Таганрог, 2008 г

003445249

Работа выполнена на кафедре психологии и безопасности жизнедеятельности федерального государственного образовательного учреждения высшего профессионального образования «Южный федеральный университет»

Научный руководитель кандидат технических наук,

доктор педагогических наук, профессор Непомнящий Анатолий Владимирович

Официальные оппоненты заслуженный работник науки РФ, доктор технических наук, профессор Колесников Анатолий Аркадьевич (г Таганрог)

заслуженный работник науки РФ, доктор технических наук, профессор Заковоротный Вилор Лаврентьевич (г Ростов-на-Дону)

Ведущая организация Санкт-Петербургский государственный электро-

технический университет «ЛЭТИ» им В И Ульянова (Ленина)

Защита состоится «Л» 2008г в час А7 мин. на заседании

диссертационного совета Д21220822 в Технологическом институте Южного Федерального университета в г Таганроге по адресу. 347928, Ростовская областью Таганрог, пер Некрасовский, 44, ГСП-17А, (аудитория Д-406)

С диссертацией можно ознакомиться в зональной научной библиотеке Южного федерального университета

Автореферат разослан «¿3» 2008 г

Ученый секретарь

диссертационного совета

доктор технических наук, профессор

Целых А. Н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность и постановка проблемы исследования. Контроль достигнутого обучающимися уровня знаний - одна из наиболее трудоемких и ответственных операций в обучении, связанная с неизбежным привнесением в нее субъективного фактора, те. принципиально неустранимого влияния наблюдателя на наблюдаемый объект Это влияние входит в неизбежное противоречие с концепцией правового государства вообще и необходимой для его создания объективизацией правовых отношений, в частности В связи с этим в программе реформирования образования в России большое внимание уделяется вопросам проектирования современного информационного обеспечения образовательных систем, основанного на различных инновационных компьютерных технологиях. Это внимание обусловлено еще и тем, что эволюция социальных процессов во множестве развитых стран, динамика научно-технического развития, пересмотр кардинальных научных концепций, развитие кибернетики (Д И Поспелов, Н Виннер, Д Кнут, П Холл и др) и синергетики (И Р Пригожин, Г Хакен, В И Арнольд, Р Тома, А А Колесников и др), позволяют глубже осмыслить процессы самоорганизации сложных, в том числе и образовательных систем, заставляют искать новые способы освоения и контроля знаний, в реализации которых одно из центральных мест занимают именно новые информационные технологии

В нашей стране широкомасштабная информатизация в сфере образования стала предметом государственной программы и, наряду с повышением качества, доступности и эффективности образования нашла отражение в концепции модернизации российского образования на период до 2010 года

Учитывая важность контроля уровня знаний в процессе обучения, в качестве одного из аспектов информатизации образования неизбежно выступает информатизация экспертного анализа, контроля знаний Необходимость использования информационных технологий для создания новых методов экспертного анализа достигнутого уровня знаний обуславливается также растущим спросом на образовательные услуги в стране и во всем мире

На сегодняшний день наиболее технологичным способом педагогического контроля является тестирование, которое получает все большее распространение благодаря системам дистанционного образования (СДО), в основе которых лежит концепция открытого образования. Тем не менее, до сих пор продолжаются споры по поводу границ применения тестов в образовательном процессе

Сторонники тестовых технологий (В С. Аванесов, В И Васильев, Т.Н Тягунова и др) в числе достоинств педагогических тестов отмечают не только объективность по сравнению с традиционными методами, но и важное образовательное, развивающее и воспитательное значение Сторонники традиционных методов (Г. А Любимов, А А Волков, Ф Н Савельева, И А Зимняя и др ) в числе недостатков тестовых технологий отмечают наличие систе-

<

ч

матической ошибки в оценке, полученной на основе теста, а также весьма дискуссионное развивающее и воспитательное значение тестов

Таким образом, комплексное использование тестовых и традиционных форм контроля над учебной деятельностью студентов, в конечном счете, направлено на повышение качества обучения Все это, в сочетании с необходимостью повышения технологичности процесса педагогической диагностики требует поиска новых методов автоматизированного контроля знаний Решение данной задачи связано с различными областями знаний (психология и педагогика, информационные системы и теория информации, вопросы эстетики и дизайна) и требует создания моделей измерения уровня знаний и алгоритмов, основанных на нечетких логических выводах

При этом, высокий уровень культуры мышления и принятие компетентных решений возможны лишь при интегрировании прошлого опыта с достижениями сегодняшнего дня, при овладении огромным потенциалом знаний, накопленных человечеством за последние 40-50 лет Дальнейшее развитие видится не в жесткой дифференциации способов исследования, а в их интеграции и взаимообогащении Это требует внесения принципиальных корректировок и в технологию контроля знаний с учетом необходимости сохранения и развития наиболее перспективных форм, методов и структур традиционной системы При таком подходе основными ориентирами должны стать целостность, междисциплинарность, мировоззренческий и методологический плюрализм, открытость процесса познания

Таким образом, наличие трудностей при использовании информационных технологий в процессе экспертного анализа и контроля знаний определило проблему данного исследования - обеспечение качества автоматизированного экспертного анализа знаний с использованием информационных технологий и учетом критериев объективности и пропускной способности Решение данной проблемы составляет цель исследования.

Объект исследования - автоматизация процесса экспертного анализа знаний, предмет - экспертный анализ знаний с применением программных имитаторов искусственных нейронных сетей

В процессе планирования диссертационного исследования в соответствии с целью, объектом и предметом исследования были выдвинуты следующие гипотезы исследования.

1 Латентный параметр «уровень знаний» испытуемого можно измерить при помощи многопараметрической шкалы отношений, отражающей степень соответствия семантики ответа испытуемого на естественном языке семантике некоторого эталонного ответа для данной дисциплины и уровня подготовки испытуемого, параметры шкалы задаются экспертом, измеряющим уровень знаний

2 Для измерения степени соответствия семантик ответа испытуемого и эталонного ответа можно использовать формализуемую модель экспертной диагностики, в которой находят взаимосвязь ответ испытуемого на естест-

венном языке и степень соответствия семантик ответа испытуемого и эталонного ответа

3 Формализация модели предполагает использование программного имитатора искусственной нейронной сети, при этом, параметры нейронной сети должны отражать семантические связи в ответе, обеспечивать надежную работу и способность сети к обобщению

4 Для проверки достоверности измерений, полученных при помощи этой модели, можно использовать адаптивное тестирование, организованное на основе модели Раша, достоверность измерения уровня знаний в которой подтверждается многократным применением в мировой и отечественной практике тестирования

Для проверки выдвинутых гипотез были сформулированы следующие задачи исследования:

- анализ методов организации экспертного анализа знаний в отечественной и зарубежной системах образования, теоретических подходов и результатов исследований по проблеме повышения качества педагогической диагностики,

- анализ критериев качества методов педагогической диагностики и разработка требований к информационной системе педагогической диагностики,

- формализация, теоретико-множественный и теоретико-информационный анализ модели диагностики уровня знаний,

- разработка и исследование алгоритмов организации процесса экспертного анализа знаний,

- разработка и исследование алгоритмов интеллектуальной поддержки принятия решений в процессе экспертного анализа знаний на основе принципов построения искусственных нейронных сетей,

- разработка баз знаний, баз данных и программных модулей принятия решений при анализе знаний,

- разработка и апробация информационной системы экспертного анализа уровня знаний на основе программных имитаторов искусственных нейронных сетей

Методологической основой исследования являются системный и функциональный подходы к организации экспертного анализа знаний в традиционной системе образования (Ю К Бабанский, Е Н Ильин, Б Г Ананьев, Ш А Амонашвили и др), принципы разработки содержания тестового контроля (Дж. Раш, А Бирнбаум, В С Аванесов, В И. Васильев, Т Н Тягунова, Н Г Малышев, М Б Челышкова); нейросетевой принцип построения нечетких интеллектуальных систем (д Хебб, У Мак-Каллок, У Пите, Ф Розенблат, Д Хопфилд, В А Терехов, И Ю Тюкин и др), принципы эволюционного моделирования (Д Холланд, Д Гольдберг, В М Курейчик, В В Курейчик, И Л Букатова и др), алгоритмы и методы трансляции с алгоритмических и естественных языков (Г Фреге, Д И. Поспелов, Ю М Вишняков, С И Родзин и др)

Теоретическую 'основу исследования составляют теории педагогических измерений и инновационных процессов в образовании (А Бине, Э Торндайк, Дж Раш, А Бирнбаум, А В Непомнящий, В С Аванесов и др), теория нечетких множеств и нечеткой логики (Д А Поспелов, А Кофман, Л А Заде, О А Мелихов, Л С Берштейн и др ), обобщенная теория вероятностей (Дж Демпстер, У Шейфер) и математическая статистика, теория принятия решений (Д Химмельблау, Е М Кудрявцев, В П Карелин), принципы разработки программных систем (Н Виннер, Д Кнут, П Холл и др), теоретические аспекты эволюционного моделирования (Ч Дарвин, Т Морган, Дж Холланд, В М Курейчик и др), теоретические аспекты построения искусственных нейронных сетей (Д Хопфилд, МЛ Минский, Т Кохонен, В А Терехов, И Ю Тюкин и др)

Для решения поставленных задач были использованы следующие методы исследования: теоретический анализ отечественной и зарубежной литературы по теме исследования, диагностический эксперимент с целью выявления уровня знаний, письменный опрос, тестирование, метод экспертных оценок; статистический анализ данных, методы системного и функционального анализа, методы проектирования информационно-управляющих систем, методы проектирования экспертных систем, методы проектирования интеллектуальных систем, эволюционное программирование, программирование нейронных сетей

Организация и этапы исследования. Исследование проводилось в период с 2004 по 2007г г и включило в себя 4 этапа

На первом этапе (2004 - 2005 гг) проводился анализ существующих подходов к организации контроля знаний, традиционных для отечественной и зарубежных систем образования, а также подходов, применяемых в системах дистанционного обучения Были определены цели и задачи исследования, выбран предмета и объект, выдвинуты основные гипотезы исследования

На втором этапе (2005 - 2006 гг) с учетом функций, целей и задач контроля знаний в педагогическом процессе были сформулированы основные требования к информационным системам диагностики знаний Разрабатывалась теоретико-множественная модель процесса диагностики знаний с использованием теории нечетких множеств и принципов построения сложных информационных систем

На третьем этапе (2006 - 2007 гг) был проведен анализ методов разработки интеллектуальных систем, была выбрана архитектура нейронной сети, лежащей в основе системы диагностики знаний, были разработаны алгоритмы обучения нейронной сети

На четвертом этапе (2007 - 2008 гг) была в целом разработана система экспертного анализа знаний с использованием имитаторов нейронных сетей, проведено исследование работы системы, по результатам исследований были написаны и опубликованы статьи, оформлялась рукопись диссертации

Экспериментальная база исследования: Федеральное государственное образовательное учреждение высшего профессионального образования Технологический Институт Южного федерального университета в городе Таганроге (ТТИ ЮФУ) В общей сложности при аппробации системы приняли участие 128 студентов указанного ВУЗа

Научная новизна заключается в следующем

- на основе комплексного исследования функций, целей и задач экспертного анализа знаний в образовательном процессе систематизированы и обобщены факторы, определяющие качество методов и систем диагностики знаний, определены методологические подходы к информационному обеспечению процесса экспертного анализа знаний в вузе,

- разработана теоретико-множественная модель принятия решений, отличающаяся применением концепций сложных систем в образовательных системах, формализацией параметров модели принятия решений в виде нечетких интервалов и лингвистических переменных, получением решения с использованием методов искусственного интеллекта,

- разработана информационная система экспертного анализа знаний, включающая в себя подсистему анализа ответов испытуемых на естественном языке, подсистему адаптивного тестирования и статистического анализа результатов контроля для верификации контрольно-измерительного педагогического материала по критериям валидности и надежности

Теоретическая значимость исследования заключается в том, что в нем выполнено теоретическое обоснование применения искусственных нейронных сетей к решению актуальной проблемы автоматизации анализа уровня знаний, систематизированы накопленные в отечественной и зарубежной литературе данные по проблеме диагностики уровня знаний, проанализированы подходы к организации контроля знаний в отечественной и зарубежной образовательных системах, системах дистанционного обучения, на основе анализа функций экспертного анализа определены критерии качества информационных систем диагностики уровня знаний, определена связь латентного параметра «уровня знаний» со степенью соответствия семантики ответа испытуемого эталонному ответу на контрольное задание

- Практическая значимость исследования заключается в том, что разработаны модели и алгоритмы, которые могут быть использованы при решении задач квалиметрии качества, поисковых задач, задач кластеризации в процессе педагогического контроля знаний, разработана и апробирована информационная система диагностики знаний, позволяющая организовать процесс педагогического контроля с указанием проблемных сторон в знаниях испытуемых

Достоверность результатов исследования обеспечивается многократным применением математических моделей и алгоритмов, адекватных целям и задачам исследования, большим объемом экспериментальной выборки, глубоким содержательным анализом результатов процедур контроля знаний

Апробация работы и внедрение результатов исследования Результаты исследования тематических выпусках известий ТРТУ «Психология и педагогика» № 68 и «Интеллектуальные САПР» № 73 других научных изданиях

На защиту выносятся:

- результаты анализа подходов к организации контроля знаний, в рамках которого рассмотрены традиционные методы контроля знаний, американские и западноевропейские методы контроля знаний, методы, применяемые в системах дистанционного образования,

- критерии качества систем контроля знаний с точки зрения функций и задач экспертного анализа и контроля знаний, рассматриваемых в контексте современной концепции реформирования образования пропускная способность, точность оценки, качество обратной связи, направленность на воспитание, развитие и повышение уровня знаний, гибкость по отношению к содержанию контроля, стоимость,

- модификация методики обеспечения качества интеллектуальной системы контроля знаний (по критерию точности оценки), основанная на использовании адаптивного тестирования,

- формализованная модель контроля знаний, в которой находят связь латентный параметр «уровень знаний» испытуемого и степень соответствия семантики ответа испытуемого семантике «эталонного ответа», отличающаяся формализацией параметров модели принятия решений в виде нечетких интервалов и лингвистических переменных, получением решения при применении методов искусственного интеллекта,

- алгоритм перевода простого предложения на естественном языке в семантическую сеть, основанный на использовании регулярных выражений,

- структура и алгоритм обучения нейронной сети для оценки уровня знаний на основе ответа на естественном языке,

- информационная система оценки уровня знаний с использованием программного имитатора искусственной нейронной сети.

Структура и объем работы. Содержание работы изложено на 183 листах основного текста и 3 приложений, состоит из введения, трех глав, заключения и списка литературы из 198 источников, в том числе 29 на иностранных языках

Во введении обосновывается актуальность темы исследования, определяются его объект, предмет, цель, задачи и гипотезы, формулируется методологическая основа, раскрывается научная новизна, теоретическое и практическое значение работы, выдвигаются положения, выносимые на защиту

В первой главе «Анализ существующих подходов к решению Задачи контроля знаний» рассматриваются цели и функции педагогического контроля, определяются критерии качества методов педагогической диагностики В соответствии с определенными критериями подробно рассматриваются методы контроля знаний традиционной отечественной системы образования, а также методы, используемые в зарубежных системах и системах дисганцион-

ного образования Приводятся выводы о целесообразности выделенных критериев и выводы по рассмотренным методам контроля знаний

Во второй главе «Формализуемая модель диагностики уровня знаний в контексте проблемы качества контроля знаний» уточняются требования к системе диагностики знаний, разрабатывается теоретико-информационная модель системы диагностики знаний, в которой центральное положение занимает модель интеллектуальной диагностики, а для проверки работы системы по критерию точности оценки используется адаптивное тестирование, основанное на модели Раша, приводится теоретико-множественное и теоретико-информационное описание модели интеллектуальной диагностики знаний, особенностями которой являются формализация параметров модели принятия решений в виде нечетких интервалов и лингвистических переменных, получение решения при применении методов искусственного интеллекта, приводится описание модели Раша для организации адаптивного тестирования, требующее верификации контрольно-измерительного педагогического материала по критериям валидности и надежности

В третьей главе «Система контроля знаний на основе нейросетевого подхода» описываются принципы реализации информационной системы контроля знаний, с учетом рассмотренных принципов проектируются структуры данных и алгоритмы интеллектуальной поддержки принятия решений в системе контроля знаний, разрабатываются алгоритмы для организации адаптивного тестирования, проводится анализ программных средств, использованных при создании информационной системы контроля знаний, приводятся результаты проверки работы системы по критерию точности оценки при помощи результатов адаптивного тестирования

В заключении подводятся итоги исследования, подтверждающие его гипотезы и положения, выносимые на защиту, указаны возможности применения полученных результатов, намечены перспективы дальнейших исследований

Приложения включают в себя дополнительный практический материал, раскрывающий теоретические и исследовательские позиции, а также данные экспериментального исследования и экранные формы разработанной программы

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Первая глава посвящена анализу существующих подходов к организации педагогической диагностики Рассматривается проблема выбора наиболее перспективных форм контроля знаний как одна из наиболее актуальных проблем современного образования В главе обобщены данные об организации контроля знаний в различных образовательных системах традиционных и дистанционных

С учетом дефиниций качества, целей и функций педагогического контроля определены критерии качества методов контроля знаний, среди них «про-

пускная способность», валидность и надежность оценки полученной в результате применения метода; наличие «обратной связи», осуществляемой методом контроля в системе образования, направленность метода на воспитание и развитие, направленность на стимуляцию обучения, направленность на повышение уровня знаний, гибкость метода, стоимость

На основе этих критериев анализируются традиционные методы контроля знаний, применяемые в отечественной системе образования, нормативно-ориентированные и критериально-ориентированные тесты, составляющие основу контроля знаний в западноевропейской и американской системах образования, методы компьютерного тестирования, получающие все большее распространение в системах дистанционного обучения

Обзор трудов по проблематике применения традиционных методов контроля знаний в современных условиях развития образования (ЮК Бабан-ский, Е Н Ильин, Б Г Ананьев, Ш А Амонашвили, А В Непомнящий) указывает на следующие их достоинства по сравнению с высокотехнологичными методами (например, тестированием) высокий уровень направленности на воспитание, развитие, стимуляцию обучения и повышение уровня знаний, возможность адаптации к цели и содержанию, времени и месту контроля, особенностям обучаемого.

В трудах сторонников прогрессивных методов контроля знаний в образовании (В С Аванесов, В И Васильев, Т Н Тягунова, Н Г Малышев, М Б Че-лышкова) отмечаются основные недостатки традиционных методов по сравнению с высокотехнологичными, среди них низкий уровень объективности оценки, зависимость таких показателей качества оценки, как валидность и надежность, от личностных и профессиональных качеств преподавателя Кроме того, выделяются следующие проблемы использования традиционных методов оценка в традиционном обучении, как правило, не отражает динамику усвоения знаний по предмету за семестр, а является количественной и качественной характеристикой усвоенных знаний непосредственно на момент проверки знаний, традиционные методы контроля, в силу их особенностей, отличаются низкой «пропускной способностью», используя традиционные методы оценивания, весьма затруднительно выявить и скорректировать ошибки в системе образования на уровне учебного заведения

В рамках проведенного анализа в главе приводится обзор подходов к организации учебного процесса, применяемых в нашей стране, которые призваны устранить существенные недостатки традиционных методов контроля знаний, среди них введение рейтинговой системы контроля знаний, внедрение мониторинга качества образования и разработка единых образовательных стандартов, использование тестирования в качестве основного метода педагогического контроля

Согласно позиции сторонников использования рейтинговой системы обучения (А Е Евстигнеев, Е Н Перевощикова, В В Анюшин и др ) такая организация образовательного процесса повышает объективность оценки, по-

скольку кроме уровня усвоенных на момент контроля знаний она отражает динамику усвоения знаний в процессе обучения, прочность полученных знаний, умение отстаивать свою точку зрения, аргументировать свой ответ В качестве главного достоинства этого подхода отмечается возможность проследить динамику развития как отдельно взятого студента, так и определенной выборки студентов Согласно авторской системе критериев рейтинговая система характеризуется более высоким уровнем направленности на стимуляцию обучения и на повышение уровня знаний по сравнению с традиционным обучением Однако, говорить о более высоком уровне направленности на воспитание и развитие следует крайне осторожно, поскольку стимулирование учебного труда учащихся основано на принципе личной выгоды, что можно расценивать неоднозначно с точки зрения воспитательной функции педагогического контроля

Обеспечение качества процесса педагогического контроля является одним из аспектов создания стандартизированной системы контроля качества образования Такие меры, по мнению сторонников внедрения мониторинга качества в образовательную систему (В В Болотов, М Е Бершадский, МВ Радомская), чрезвычайно необходимы в период кризисного снижения уровня образования Однако, степень влияния этой системы на повышение объективности контроля знаний, заявляемая Министерством образования и науки РФ, до сих пор остается спорным вопросом По мнению исследователей (Г А Любимов, А.А Волков, Ф Н Савельева) оценка в этом случае является степенью соответствия уровня знаний обучаемого уровню, регламентированному государственными образовательными стандартами, если эти стандарты не будут предусматривать значимость воспитательной, стимулирующей, развивающей, обучающей функций контроля, то весь процесс обучения рискует превратиться в «натаскивание на ответы, угодные составителям программы»

По мнению сторонников высокотехнологичных методов контроля знаний (В С Аванесов, А Е Евстигнеев, В И Васильев и др ) наибольшую объективность, по сравнению с другими формами контроля обеспечивает тестирование Они отмечают, что надежный и валидный тест гарантирует высокий уровень показателей качества педагогической оценки Также очевидно, что тестирование, являясь одной из наиболее технологичных форм контроля, обеспечивает наибольшую «пропускную способность» по сравнению с другими формами контроля знаний, поскольку легко формализуется и может быть реализовано при помощи информационных систем Между тем, исследователи (И А Зимняя, Е И Машбиц, А В Непомнящий) отмечают ряд существенных недостатков, которые связаны непосредственно с самой технологией контроля знаний методом тестирования Во-первых, тестирование в его современных формах характеризуется очень низкой направленностью на воспитание и развитие Во-вторых, в тестах имеет место возможность угадывания ответов При этом если случайным образом выбран правильный ответ, то

оценка, полученная в результате тестирования, может быть субъективной в сторону завышения Если выбран неправильный ответ, то можно говорить о низком уровне направленности тестирования на повышение уровня знаний В последнем случае логические выводы и ответы, выбранные в процессе тестирования, могут запоминаться большинством студентов, как правильные, даже если они таковыми не являются

В западноевропейской и американской системе образования недостатки тестовых технологий устраняются при помощи четкой дифференциации тестов на основе целей и задач контроля При этом, в западной тестологии выделяют два основных подхода к разработке тестов для конкурсного, а также профессионального отбора, и для аттестации учащихся и специалистов нормативно-ориентированный и критериально-ориентированный Эти два подхода различаются на всех этапах разработки с момента выбора содержания до -момента интерпретации результатов

В компьютерном тестировании, применяемом в системах дистанционного образования, для устранения недостатков тестирования используются адаптивные модели (А Бирнбаум, Дж Раш), учитывающие вероятностные и статистические характеристики для измерения уровня знаний испытуемого

В первой главе также рассматривается проблема повышения качества автоматизированных систем контроля знаний, актуальность которой обусловлена резко возросшим за последние годы спросом на образовательные услуги По этой причине сторонники высокотехнологичных методов педагогического контроля небезосновательно отмечают, что переход к автоматизированным средствам контроля знаний должен рассматриваться сегодня не только в рамках систем дистанционного образования Вместе с тем, подходы к автоматизации методов контроля, применяемые в настоящее время, требуют существенной доработки Дальнейшее развитие, по мнению исследователей, видится «не в жесткой дифференциации методов контроля, а в их интеграции и взаимообогащении» (В С Аванесов «Теория и методика педагогических измерений»)

Проведенный анализ подходов к организации контроля знаний позволяет утверждать, что современные информационные системы контроля знаний требуют доработки с учетом необходимости сохранения и развития наиболее перспективных форм, методов и структур традиционной системы

Во второй главе на основе критериев качества методов педагогической диагностики уточняются основные требования к системам диагностики знаний с использованием информационных систем Согласно этим требованиям система должна обладать высокой «пропускной способностью», обеспечивать валидность и надежность оценки, полученной в процессе контроля, предоставлять данные о результатах педагогического контроля в различных форматах, позволяющих обеспечивать «обратную связь» с учебной средой, способствовать повышению уровня знаний испытуемого в процессе диагностики, учитывать необходимость направленности контроля на воспитание,

развитие и стимуляцию обучения, иметь возможность адаптации к цели и содержанию контроля

На основании этих требований синтезируется теоретико-множественная модель педагогической диагностики, основанная на модели Раша (MR) Модель Раша, представляет собой вероятностную модель педагогических измерений, в которой находят взаимосвязь такие параметры как уровень трудности педагогического задания и латентный параметр «уровень знаний» Данная модель лежит в основе систем адаптивного тестирования и представлена в следующем виде

MR s< Т, 0, Q(0, Т), B(Q), Р >, (1)

где Q - композиция тестовых заданий с заранее известным уровнем трудности, 0 - банк тестовых заданий для оценки уровня знаний испытуемых, Т -латентный параметр «уровень знаний» (то, что измеряется), В - трудность заданий в тестовом банке, Р - вероятность правильного ответа тестируемого с уровнем знаний Т на задания с уровнями трудности В Связь между параметрами модели MR имеет следующий вид

Р = T^ln-^, B^ln-*-, ^

\ + е" ' \-р, l-Pj

где р„ Pj - доля правильных ответов на 1-е и j-e задание теста

Синтезированная на основе модели Раша с учетом ранее изложенных требований модель педагогической диагностики KLT (от Definition of Knowledge Level by Testing) представляется в следующем виде

KLT з< Т, ©, V, RS°, Лм, Q, В, P,S, RS, n(S, Р) > > (5)

где V - множество заданий из банка тестовых заданий, удовлетворяющие критерию валидности согласно экспертному заключению, RS0 - множество заданий, удовлетворяющих критерию надежности, соответствие которому определяется на основе статистических данных, Лм - разбиение тестового банка на тематические блоки, S - шкала педагогических измерений, RS - параметры прохождения теста, п - итоговая оценка уровня знаний, заданная на шкале S Функциональная схема модели KLT приведена на рис 1

Выводы, сделанные в первой главе, позволяют утверждать, что модель KLT, полученная на основе модели адаптивного тестирования не удовлетворяет заявленным требованиям в частях, касающихся повышению уровня знаний испытуемого в процессе диагностики и учета необходимости направленности контроля на воспитание, развитие и стимуляцию обучения Поэтому параллельно с KLT синтезируется модель KLN (от Definition of Knowledge Level by answer on Natural language), в основе которой лежат принципы организации коллоквиума Этот традиционный вид контроля был положен в основу модели именно из-за высокой направленности на воспитание и развитие, а также возможности повышения уровня знаний в процессе диагностики Полученная модель KLN представляется в следующем виде

KLN =< T,Q,n0,n„ ,C,AL,AE, ACE,MENL,P,Pc,S,Sc,nc,MN,n >> (6)

Эксперты

Испытуемый с уровнем знаний Т

RS** Банк тестовых заданий

M

е0пК,0 = 0 u02 ивмиЛ" е Д5В е RS0

¿^[верификация MV | V Е->У

Чм,Ь,

рЛ

ответ испытуемого

предъявление задания из композиции с заданным логитом трудности

Модуль тестирование

Q - {?,}, В = Р = (Р.)

1+е 1 -Р. ' I-р,

формирование шкал экспертами

1 Q,B,P

Обработка и хранение результатов (Q,B,PJ -*RS\ RS = RS°\jRS' RSb<RSN,RST,RSB>

Рис 1 Структурная схема модели диагностики знаний KLT

n(S,P)

где Т - уровень знаний испытуемого, Q - банк вопросов, предполагающих ответ в виде эссе, С - критерии оценивания ответов испытуемых, задаваемые преподавателем, AL - анализируемый текст ответа испытуемого на естественном языке, Ае - латентный параметр, характеризующий эталонный ответ, Асе — элементы эталонного ответа, существенные для критериев С, Р и Рс — вероятностные величины, отражающие степень соответствия анализируемого

С ГС г

ответа эталонным А и А , соответственно, S и S - шкалы для измерения и представления степеней соответствия, п0 и п„ - общая и критериальные оценки уровня знаний, выставленные преподавателем (эти параметры существенны в режиме обучения модели) в соответствии с заданными шкапами, п и пс -оценки, выставленные системой, MENL (от Mode1 of Evaluation of answer on Natural Language) - модель оценивания ответа на естественном языке, MN — (от Model of a général évaluation conclusioN) - модель вывода итоговой оценки

Для определения степеней соответствия ответа испытуемого эталонным ответам была синтезирована модель MENL, которая представляется в следующем виде

MENL=< AL,ôK,C,AE,ACB,AF(SMF),y,P(AE,AF),Pc(AeE,Ap)>> (7) где 5К - параметр обучения модели, Ар - информационная характеристика ответа испытуемого, определенная на основе SMF, SMF - семантический код ответа испытуемого, XJ/ - процедура (алгоритм) преобразования AL в SMF; значение остальных параметров совпадает со значением одноименных параметров модели KLN Параметры АЕ и АСЕ могут быть представлены в виде нечеткого множества семантических связей пар слов

АЕ s ÂE с À, ÂE = {< nE(SMf)/SME >}, (8)

где а = {<ц(8М5)/8М5 >} - нечеткое подмножество множества БМ БМ - бесконечное множество всех возможных семантических связей слов, возникающих в естественном языке, при этом каждая связь представлена в виде тройки =< ЕЬМ,ЕЬ5 ,КЬ>> гДе ЕЬМ - главный элемент связи, для которого определяется или уточняется категория, ЕЬБ - подчиненный элемент, слово, уточняющее категорию, ЯЬ - категория, определяющая семантическую связь между объектом и субъектом В выражении (8) БМЕ - подмножество БМ, элементы которого подходят для описания эталонного ответа, а ц - вес элемента, показывающий вероятность попадания элемента во множество БМЕ, при этом для ц введен нижний порог, таким образом

е8МЕ сБМ цЕ(5\фе(е,1],Е->0 + (9)

Параметры АСЕ определяются для каждого критерия аналогично

Параметр Ар определяется как нечеткое подмножество множества 8МР, Ар = {< цЕ(8М£) /БМе е (БМе о БМ*7) >}. (Ю)

где 8МР с 8М и БМР является деревом семантического разбора ответа Аь При помощи параметра Ар вычисляется требуемое значение Р

Р=М=2Хце(8Ц), ^ Ае ={<Це(8Ц)/8Ц €(8МеП8М|:)>> О О

где к - дополнительный числовой коэффициент для нормализации полученной величины Аналогично вычисляется значение Р° для каждого критерия Функциональная схема модели МЕЫЬ приведена на рис 2

Для преобразования текста на естественном языке в код, представляющий собой дерево семантического разбора был разработан алгоритм перевода простого предложения в семантическую сеть, который нашел отражение в виде параметра 4/ модели МЕ'ЫЬ В данном алгоритме семантический граф разбора предложения представлен в виде квадратной матрицы Т =|| I ||, 1,] = Строки и столбцы данной матрицы - слова, составляющие

предложения, а элементы матрицы ограничены множеством возможных связей слов С = {су}, у = 1,М и представляют собой типы семантических связей между словами в данном предложении При этом элементы матрицы Т обладают следующими свойствами

1)1^0=>1„=0, Ук к*1, 2К,=0, 3)^*0=»^= 0 (12)

Для определения типа связи между словами используются редукционные правила, объединенные в словарь правил }р = ¡гц , которые представлены

следующим выражением

II =<Р,М',М2,8',82,Е,ус,р0 >, (13)

где Р - «первичный признак» связи, в котором указываются части речи слов, порядок расположения и управление предлогом, М1 и М2 - морфологические формы главного и зависимого слов, соответственно, Б1 и Б2 - семантические

формы главного и зависимого слов, соответственно, Е - управляющий предлог, у° - тип семантической связи; р0 - вероятность возникновения связи, если

Последовательность действий в алгоритме следующая

- для предложения из N слов создается М матриц (по числу возможных связей)

- из каждой пары слов составляются словосочетания, которые анализируются по первичным признакам редукционных правил, а затем выбираются правила, которые потенциально могут встретиться в данном предложении

Vi,j = 1 N 1 * j a W,WJ, F° = F(w,W)), P° =(R„}cP, \ F(Rp) = F°> (15)

- если среди правил попадутся такие, для которых выполняется условие

R5 (М^ = ММ)п(М25 = М^))п(^ = 5^)п(5^5^)), (16) где M(w,), M(Wj), S(w,), S(Wj) - морфологические и семантические формы слов w, и wJ; то необходимо установить семантическую связь между словами, т е

V = (17)

,J Ij-il* ^

- для получения итоговой матрицы семантического разбора все имеющиеся матрицы должны быть «наложены» друг на друга по следующему принципу

(V/ = l N 3(/,„ е 1 N)и(¥„, е 1 М) =max(rJ))n(V4' >£) => tu = Vm (18)

Для обобщения полученных критериальных оценок и получения итоговой оценки в рамках модели K.LN была синтезирована модель MN, которая представляется в виде следующего набора параметров

MN=<C,nc,P,S,W,n0,n>, (19)

где С - оценочные критерии, пс - оценки по каждому критерию, Р - степень соответствия ответа испытуемого эталонному ответу, S - шкала для выставления итоговой оценки, W -вес критерия при выставлении итоговой оценки, п0 - итоговая оценка, выставленная экспертом, необходима в режиме обучения модели, п - итоговая оценка - выходной параметр Задача нахождения п на основе значений пс требует вычисления значения многомерной функции на основе одномерных функций Согласно теореме Арнольда-Колмогорова можно всегда получить любую непрерывную функцию п переменных при помощи суперпозиции п функций одного переменного, т е

a = r\(nf,nt, n5c) = v£>,n,c)->n0, (20)

■

где v - любая непрерывная пороговая функция Таким образом, задача сводится к определению весов w, на основе оценки п0

Синтезированная модель KLN требует проверки достоверности предъявляемых ею результатов Для этих целей может быть использована прошедшая аппробацию и многократно применявшаяся для педагогических измерений модель адаптивного тестирования KLT В основе использования тестов для проверки достоверности результатов компьютерного коллоквиума лежит

принцип, сформулированный В С Аванесовым, согласно которому любое задание, предназначенное для оценки уровня знаний, может быть представлено в виде композиции тестовых заданий Этот принцип лежит в основе разработанной методики проверки качества оценки системы диагностики знаний по критерию точности Согласно этой методике необходимо представить задания коллоквиума в виде композиции^тестовых заданий, в соответствии с данным представлением выделить критерии для оценки ответов испытуемых на задания коллоквиума, верифицировать тест по критериям валидности и надежности, выбрать контрольную группу, которая будет проходить вначале тест, а затем коллоквиум Несовпадение общего уровня оценок за тест и за коллоквиум будет свидетельствовать о необходимости дальнейшего обучения модели интеллектуальной диагностики

Для интеграции и совместного использования тестовой и интеллектуальной моделей педагогического контроля была синтезирована модель KL (от Knowledge Level)

KLs<T,C,n0,S,Sc,KLT,KLN,nT,nN,nc,n(nT,nN) >> (21)

где Т - уровень знаний испытуемого, С - критерии оценки, S - шкала для отображения итоговой оценки, Sc -распределение измерительных шкал в соответствии с критериями оценки, пт и nN - это итоговые оценки за тест и коллоквиум, соответственно, пс - критериальные оценки в соответствии с С, п -итоговая оценка уровня знаний Помимо комбинированного использования тестовых и традиционных форм контроля такая организация предоставляет возможность осуществлять обучение модели KLN без эксперта на основе результатов тестирования Структурная схема модели KL приведена на рис 3

Во второй главе также рассматриваются основные аспекты реализации модели KLN Поскольку в KLN предусмотрены параметры обучения модели, и значение выходных параметров существенно зависит от параметров обучения, реализация модели проводилась с использованием принципов нейросе-тевого подхода Была синтезирована трехслойная нейронная сеть прямого распространения, общая структурная схема которой показана на рис 4 Для обучения сети использовалась концепция обратного распространения ошибки, при этом настройка весов выходного слоя проводилась на основе генетического алгоритма, а настройка весов второго скрытого слоя - на основе алгоритма соревновательного обучения

Для обучения выходного слоя сети был разработан генетический алгоритм, в котором в качестве хромосомы был взят набор произведений весов входов и соответствующих значений 0 = {© },@ =<91,92 0N >,j = l .М Здесь

0] = w, п,, где w, - вес входа нейрона, а п, на соответствующем входе До работы алгоритма необходимо получить текущие веса нейронных входов W° =< w°,w° w°N> В процессе работы алгоритма вычисляются значение ак-тивационной функция нейрона F0 и значение трех целевых функций

Рис 3 Структурная схема обобщенной модели диагностики знаний КЬ

первый скрытый слой

ответ испытуемого

оценка уровня знаний

замечения

Рис 4 Схема нейронной сети прямого распространения разработанная в рачках модели К1_Ы

р! _/о,Р°е 1°, Г ~1|1в-Рв|

(23)

где 1° - значение середины целевого интервала 1°, заданного экспертом,

(

Го,п^ € Г

1 (25)

После того, как будет найден лучший набор можно определить значения весов для входов нейрона третьего слоя £2=^,} и точные выходные значения нейронов второго слоя Н={п,}

^НИ . (2®

в5 П1 <

где - псевдослучайное число, принадлежащее интервалу Г.

Для обучения скрытого слоя был разработан алгоритм соревновательного обучения Суть алгоритма заключается в следующем заданы пороговая функция а, начальные значения входных весов точность е и желаемое

значение пороговой функции аргумент пороговой функции на каждом шаге вычисляется следующим образом

МЬ4> 0 (27)

Необходимо найти такое значение Дц, чтобы

и-»-.<28>

Перед началом работы алгоритма инициализируем величины приращения Лц=0, приращение Дц- Д2^ = Д(Др.), Ь - скорость «движения» функции На каждом шаге алгоритма определяется значение На каждом шаге определяем значения пороговой функции и приращение

= с(М„), , (29)

И

значения аргумента

<30>

и значение функции с учетом приращения

о, =С(М(), Дц, + ДХ (31)

Если на новом шаге знак величины А2 ¿и меняет знак, то необходимо увеличить значение И Алгоритм можно закончить, когда для очередного значения <Т1 выполняется условие (28).

В третьей главе формулируются основные принципы создания системы педагогической диагностики открытость, адаптивность, интеллектуальность, рефлексивность, информационная безопасность На основе этих принципов синтезируется общая структурная схема системы диагностики знаний, приведенная на рис 5 Структурные схемы модуля интеллектуальной оценки знаний и подсистемы адаптивного тестирования приведены на рис 6 и рис 7, соответственно

—— режим диагностики

....... режим информационного сопровождения системы

Рис 5 Структурная схема автоматизированной системы оценки уровня знаний

В третьей главе также приводится обоснование выбора программных средств для реализации информационной системы педагогического контроля знаний, описание функционирования программных модулей системы, в том числе описание структур данных и алгоритмов с приведением блок-схем

В главе приведены результаты работы подсистемы интеллектуальной диагностики, экспериментально апробированные при помощи модифицированной методики обеспечения точности интеллектуальной диагностики, описанной во второй главе данной работы Результаты применения методики показали, что для получения достоверной оценки уровня знаний при помощи интеллектуальной системы, основанной на модели KLN, необходимо использовать учебную выборку, состоящую не меньше чем из 250 примеров В заключении содержатся основные выводы по работе

Внешняя подсистем« адатменога ТЯСТМрОМНИЯ

(■I

Пользователи!

Кмрдмжру*тр«6в1у аса* юмоааталой и модули систамм

Рис 6 Структурная схема подсистемы интеллектуальной диагностики знаний

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Решены все поставленные задачи:

- обобщены и проанализированы методы организации контроля знаний в отечественной и зарубежной системах образования, теоретические подходы и результаты исследований по проблеме повышения качества педагогической диагностики,

- выявлены и исследованы критерии качества методов педагогической диагностики,

- с учетом достоинств существующих подходов к организации педагогической диагностики формализована модель диагностики уровня знаний;

- разработаны и исследованы методы и алгоритмы организации процесса контроля знаний;

- разработаны и исследованы алгоритмы интеллектуальной поддержки принятия решений в процессе контроля знаний,

- разработаны базы знаний, базы данных и модули принятия решений при контроле знаний,

- разработана информационная система оценки уровня знаний.

Выдвинутые гипотезы были экспериментально подтверждены, что отражено в положениях вынесенных на защиту, в описании новизны результатов исследования и в определении их практической значимости

Модуль ышмяниироммюй

очмша пчастм Т«ста^ыж 1адяК1Й (51

Мэдуль экспертной оцми «госта* теспмцл мдмшй 161

; Вмшнм подсистема жор милиция ~ — - ~ Ш Польммтвлм

Рис 7 Структурная схема подсистемы адаптивного тестирования

Проведенное исследование подтверждает актуальность не только проделанной работы, но продолжения дальнейших исследований, которые на наш взгляд должны быть направлены на решение следующих задач

- поэтапное расширение внедренческой базы практических результатов работы, ставящих целью повышение качества педагогической диагностики;

- подробное теоретическое обоснование концептуальных аспектов системы и их доведение до понимания и использования в практике повседневной педагогической деятельности всего профессорско-преподавательского состава ВУЗа, внедряющего систему,

- дальнейшее развитие теоретических оснований системы в аспектах совершенствования алгоритмов перевода с естественного языка, структур и методов обучения нейронных сетей, использования «ассоциативной» памяти

Основное содержание диссертации отражено в следующих публикациях автора

Статьи в изданиях, рекомендованных ВАК РФ

1 Солодов В А Проблемы использования информационных систем в процессе диагностики знаний и пути их возможного устранения// Известия ТРТУ Тематический выпуск «Психология и педагогика» - Таганрог Изд-во ТРТУ, 2006 №13(68) - с 264-270.

2 Непомнящий А В , Солодов В А Информационные системы контроля знаний принципы построения и структура// Известия ТРТУ Тематический выпуск «Интеллектуальные САПР» -Таганрог Изд-во ТРТУ, 2007,№1(73) -с 257-261

Статьи и тезисы

3 Солодов В А Система анализа корректности тестовых заданий// Новые информационные технологии Разработка и аспекты применения Труды VI Всероссийской научной конференции с международным участием Научное издание - Таганрог ООО «Антон» 2004 -с 395-399

4 Солодов В А Формализация модели диагностики знаний в контексте задачи их контроля// Материалы IX Международной научно-практической конференции «Информационная безопасность». 4 2- Таганрог Изд-во ТТИ ЮФУ, 2007 - с 264-270

5 Солодов В А Возможности применения искусственных нейронных сетей для решения проблемы диагностики знаний// Сборник научных трудов по материалам международной научно-практической конференции «Перспективные инновации в науке, образовании, производстве и транспорте '2007» Том 12 Педагогика, психология и социология - Одесса. Черноморье, 2007 -с 8-14

В работе, опубликованной в соавторстве /2/, лично автором диссертации предложены принципы проектирования информационных систем контроля знаний, приведена структурная схема информационной системы контроля знаний

ЛР № 020565 от 23 июня 1997г Формат 6Qx84'/i6 Офсетная печать Заказ № -/Сб~

Подписано к печати 26 июня 2008 г Бумага офсетная Уел п л - 1,0 Уч -издл - 1,0

Тираж ЮОэкз

Издательство Технологического института Южногофедерального университета ГСП 17А, Таганрог, 28, Некрасовский, 44

Типография Технологического института Южного федерального университета ГСП 17А, Таганрог, 28, Энгельса, 1