автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Методология и технология проектирования интеллектуальных систем дистанционного обучения

На правахрукописи

ПОПОВ Дмитрий Иванович

МЕТОДОЛОГИЯ И ТЕХНОЛОГИЯ ПРОЕКТИРОВАНИЯ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ ДИСТАНЦИОННОГО ОБУЧЕНИЯ

Специальность 05.13.11-Математическое ипрограммное обеспечение вычислительныхмашин,комплексов и компьютерныхсетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени доктора технических наук

Москва-2004

Работа выполнена в Московском государственном университете печати

Научный консультант: доктор технических наук, профессор

Астанин Сергей Васильевич

Официальные оппоненты: доктор физико-математических наук, профессор

Козлов Анатолий Иванович

доктор технических наук, профессор Горбунов Владимир Леонидович

доктор технических наук, профессор Артамонов Евгений Иванович

Ведущая организация: Московский государственный университет

экономики, статистики и информатики (МЭСИ)

Защита состоится 10 декабря 2004 г. в 11 час. 00 мин. на заседании диссертационного совета Д 217.031.01 Российского научно-исследовательского института информационных технологий и систем автоматизированного проектирования по адресу Москва, ул. Щепкина, 22.

С диссертацией можно ознакомиться в библиотеке ГУ РосНИИ ИТиАП.

Автореферат разослан

»

ноября 2004 г.

Ученый секретарь диссертационного совета Д217.031.01

М.М.Виньков

200Ы 2М5

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. На пороге третьего тысячелетия информационные технологии и научные знания представляют собой важнейший ресурс дальнейшего развития человечества. Одним из первых условий, влияющих на переход мирового сообщества от индустриального этапа к информационному, является информатизация образования, смена и усовершенствование концепции образования. Этим объясняется то внимание, которое уделяют в последние годы правительства, национальные и международные организации использованию новых информационных и коммуникационных технологий в сфере образования [1,2].

В последние годы в области информационных и коммуникационных технологий наблюдается значительный прогресс, в результате которого поколения компьютерного оборудования и программного обеспечения быстро приходят на смену друг другу, появляются различного рода новые информационные технологии. Совершенно очевидными стали тенденции, ведущие к формированию информационного общества. Все это требует критического пересмотра состояния и перспектив развития системы образования.

Повсюду в мире отмечается тенденция к увеличению потока данных. Цифровая технология произвела своего рода революцию, она позволяет объединить в цифровой форме текст, графическое и видеоизображение, речевое и музыкальное сопровождение; на основе этой технологии создаются новые средства представления и передачи знаний, а также средства обучения. Относительно низкая стоимость таких устройств и их большая мощность в значительной степени способствуют их распространению. Неуклонный процесс распространения компьютеров, причем в сфере как формального, так и неформального образования, способствует росту понимания потенциала стратегий компьютеризации в качестве экономически выгодного решения целого ряда проблем, связанных с обучением.

Существующая традиционная система образования уже не в состоянии удовлетворить все возникающие потребности. В настоящее время существует множество направлений, где требуются различного рода образовательные услуги. Это и привычное среднее, высшее общее и профессиональное образование, и переподготовка кадров в связи с использованием на рабочих местах новейшей техники и технологий, и различные образовательные программы для детей. Очевидна при этом и сложность организации учебного процесса по всем направлениям в традиционной системе образования. Сама жизнь диктует нам, чему, как и где учиться. Компьютеры и информационные технологии являются одновременно самым популярным и предметом изучения, и средством организации процесса обучения.

Решением многих существующих проблем на данном этапе может стать интеллектуальная информационно-образовательная среда (ИОС), которая позволит, во-первых, объединить знания и опыт лучших преподавателей, во-вторых, сделать эти знания доступными для тысяч желающих научиться. Первые получат возможность более широкого распространения ценных знаний и методик, а вторые -возможность учиться когда, где и как им удобно. Подобная концепция организации информационно-образовательных услуг будет способствовать повышению уровня образованности населения, и, как следствие, экономическому росту и улучшению благосостояния.

Важнейшей особенностью ИОС нового поколения является возможность индивидуализации процесса обучения за счет использования различных интеллектуальных средств и методов. Поэтому разработка таких интеллектуальных феноменов поддержки образовательного процесса является важнейшей и актуальной задачей на современном этапе.

Достаточно перспективным направлением считается обучение с использованием компьютерных и сетевых технологий. Развитие этого направление привело к возникновению термина дистанционное обучение или обучение с использованием дистанционных образовательных технологий. Развитием этих технологий стала концепция открытого образования. Следует заметить, что существующие методы и разработки в системе открытого образования, а также используемые программные и технические средства достигли определенной степени развития и могут рассматриваться, как базовый уровень при организации дистанционного образовательного процесса. Однако, вопросы, связанные с методологией и технологией проектирования таких систем, а также задачи обеспечения качества, мониторинга обучения и контроля знаний обучаемых остаются по-прежнему в большей степени открытыми.

Все вышесказанное подчеркивает актуальность проблем разработки методологии и технологии проектирования интеллектуальных систем дистанционного обучения, решению которых и посвящена эта диссертационная работа.

В работе рассматриваются концептуальные основы открытого образования, исследуются существующие подходы, разрабатывается теория, модели и методы для реализации в интеллектуальных системах дистанционного обучения, а также приводится пример разработки действующей среды дистанционного обучения.

Цели и задачи. Целью настоящей диссертационной работы является решение крупной научной проблемы создания методологии и технологии проектирования интеллектуальных систем на основе синтеза методов нечеткой логики, правдоподобных рассуждений, пространств знаний и непараметрической статистки.

Для достижения указанной цели решены следующие задачи:

1. Проведен критический анализ существующих систем дистанционного обучения, интеллектуальных средств представления, обработки и контроля знаний и проведено обобщение полученных результатов.

2. Создана методология и технология проектирования интеллектуальных систем дистанционного обучения.

3. Предложена типовая архитектура интеллектуальной информационно-образовательной среды дистанционного обучения, отличающаяся от аналогов модулями интеллектуальной поддержки и мониторинга процесса обучения.

4. Предложены усовершенствованные методы представления и оценки знаний на основе теории пространств знаний, позволяющие оптимизировать структуры хранения знаний в образовательном процессе и минимизировать время анализа существующих знаний.

5. Разработаны теоретические методы адаптивного контроля знаний на основе механизмов нечеткой логики и правдоподобных рассуждений, позволяющие моделировать контроль знаний преподавателя на устном экзамене, что значительно повышает верность оценки учебных достижений.

6. Разработаны методы экспертной оценки характеристик теста и тестовых заданий

на основе методов непараметрической статистики.

Областью исследования являются программные инструментальные средства разработки интеллектуальных обучающих систем, математическое и программное обеспечение новых информационных технологий.

Научная новизна работы заключается в следующем:

1. Разработаны усовершенствованные методы представления и оценки знаний на основе теории пространств знаний, позволяющие оптимизировать структуры хранения знаний в образовательном процессе и минимизировать время построения пространства знаний.

2. Разработаны новые методы адаптивного контроля уровня учебных достижений на основе нечетких множеств и схем правдоподобных рассуждений, повышающие верность оценки знаний.

3. Для повышения качества обучения и верности оценки знаний, предложены математические методы и алгоритмы экспертной оценки характеристик теста и тестовых заданий.

4. Предложена новая методология и технология проектирования интеллектуальных систем дистанционного обучения, основанная на синтезе методов нечеткой логики, правдоподобных рассуждений, пространств знаний и непараметрической статистки.

5. Предложена типовая архитектура интеллектуальной информационно-образовательной среды дистанционного обучения, отличающаяся от аналогов модулями интеллектуальной поддержки и мониторинга процесса обучения.

6. Разработано новое математическое и программное обеспечение с использованием интеллектуальных методов представления и оценки знаний для поддержки образовательного процесса дистанционного обучения.

Практическая значимость. На основе предлагаемой методологии и технологии проектирования интеллектуальных систем дистанционного обучения осуществлена разработка следующих компонентов интеллектуальной системы дистанционного обучения:

• математическое и программное обеспечение интеллектуальной поддержки процесса обучения и контроля знаний;

• инструментальные средства разработки интеллектуальных систем дистанционного обучения;

• математическое и программное обеспечение процесса обучения и подготовки учебных ресурсов;

• алгоритмическое обеспечение проверки уровня учебных достижений, тестирования, конструирования тестов и распознавания результатов бумажного тестирования;

• математическое и программное обеспечение сбора и обработки статистики обучения и анализа результатов тестирования.

Достоверность разработанной методологии проектирования, математических моделей и методов, алгоритмов и программных средств подтверждается использованием в диссертации математического аппарата теории нечеткой логики и правдоподобных рассуждений, теории пространств знаний и методов представления знаний в интеллектуальных системах, а также соответствующими актами о внедрении результатов исследований, документами о присвоении номеров

государственной регистрации программным продуктам в фонде алгоритмов и программ, почетным дипломом выставки ВВЦ.

На защиту выносятся следующие положения:

1. Методология и технология проектирования интеллектуальных систем дистанционного обучения, ориентированные на математическое и программное обеспечение, разработанное в данной диссертации.

2. Разработанные математические методы организации и обработки знаний на основе теории пространств знаний, позволяющие повысить эффективность структуры хранения знаний в образовательном процессе и минимизировать время построения пространства знаний.

3. Разработанные математические методы адаптивного контроля знаний на основе нечетких множеств и схем правдоподобных рассуждений, повышающие точность оценки знаний.

4. Разработанные математические методы и алгоритмы обработки экспертной оценки характеристик теста и тестовых заданий, на основе непараметрической статистики, повышающие качество обучения и верность оценки знаний.

5. Типовая архитектура интеллектуальной системы дистанционного обучения, отличающаяся от аналогов модулями интеллектуальной поддержки и мониторинга процесса обучения и соответствующим математическим обеспечением.

6. Программное и математическое обеспечение на основе интеллектуальных методов представления и оценки знаний для поддержки образовательного процесса дистанционного обучения.

Авторский вклад. Все выносимые на защиту результаты и положения диссертационной работы получены и разработаны лично автором, или при его непосредственном участии.

Апробация результатов работы. Основные научньге результаты, полученные в ходе диссертационного исследования, докладывались и обсуждались на следующих конференциях, выставках и конгрессах:

международной научно-методической конференции «Новые информационные технологии в преподавании электротехнических дисциплин» (Астраханский государственный технический университет, 1998); Первой Всероссийской научной конференции молодых ученых и аспирантов (Таганрогский государственный радиотехнический университет, 1998); Третьей Всероссийской научной конференции молодых ученых и аспирантов «Новые информационные технологии. Разработка и аспекты применения» (Таганрог, ТРТУ, 2000); V Всероссийской научной конференции студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления» (Таганрог, ТРТУ, 2000); Восьмой международной конференции «Открытое образование в России XXI века» (Москва, МЭСИ, 2000); конгрессе «Искусственный интеллект в XXI веке» (Москва, 2001); 2-ой Всероссийской конференции «Электронные учебники и электронные библиотеки в открытом образовании» (Москва, МЭСИ, 2001); международной научно-методической конференции Телематика (Санкт-Петербург, 2001); III Научно-методической конференции «Развитие системы тестирования в России» (Москва, Центр тестирования Министерства образования РФ, 2001); 1-я Международной научно-практической конференции «Проблемы регионального управления, экономики, права

и инновационных процессов в образовании» (Таганрог, ТИУиЭ, 2001), Четвертой Всероссийской научной конференции с международным участием молодых ученых и аспирантов «Новые информационные технологии Разработка и аспекты применения» (Таганрог, ТРТУ, 2001), седьмой международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» (Москва, МЭИ, 2001), IEEE International Conference on Artificial Intelligence Systems (ICAIS 2002, Divnomorskoe), Всероссийской научно-методической конференции Телематика'2002 (Санкт-Петербург, 2002), Международных конференций «Искусственные интеллектуальные системы» (IEEE AIS'02) и «Интеллектуальные САПР» (CAD-2002) (Дивноморское, 2002), XII конференции-выставки «Информационные технологии в образовании» (Москва, МИФИ, 2002), Всероссийской конференции-выставке «Современная образовательная среда» (Москва, Всероссийский выставочный центр, 2002), Всероссийской научной конференции «Управление и информационные технологии» (Санкт-Петербург, 2003), X Всероссийской научно-методической конференции «Телематика-2003» (Санкт-Петербург, 2003), 1 конференции «Развитие методов и средств компьютерного адаптивного тестирования» (Москва, МГУП, 2003), Второй Всероссийской научно-методической конференции «Развитие методов и средств компьютерного адаптивного тестирования» (Москва, МГУП, 2004) и др

По теме диссертации опубликовано 49 научных работ, в том числе 2 монографии, статьи в реферируемых журналах (в том числе, из перечня, утвержденного ВАК), 5 отчетов по НИР в рамках программы Министерства образования Российской Федерации «Создание системы открытого образования»

Структура и объем работы. Диссертационная работа состоит из введения, пяти глав, заключения и 10 приложений, списка использованной литературы из 152 наименований В работе содержится 21 таблица, 34 рисунка Объем работы без учета приложений составляет 252 страницы

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулированы цели и задачи диссертационного исследования, приведены положения, выносимые на защиту, обсуждены научная новизна и практическая значимость работы

В первой главе рассматривается концепция открытого образования, проводится анализ проблематики, научных школ и направлений

Начало основных и важнейших исследований в области дистанционного образования в России можно отнести к середине 90-х годов прошлого столетия К концу 90-х готов Минобразования РФ подготовило несколько межвузовских научно-методических программ, объединенных под название «Создание системы открытого образования» В результате этого были образованы несколько направлений и исследовательских групп, преобразовавшихся позднее в научно-исследовательские центры и институты Так, важнейшие результаты были реализованы группой специалистов во главе Федорова И Б, Коршунова С В, Полякова А А, Вержбицкого В В и другими учеными по программе «Научно-методическое обеспечение дистанционного обучения», которые были положены в основу методического и нормативно-правого обеспечения дистанционного обучения Другая группа специалистов была интегрирована вокруг Российского государственного института открытого образования (РГИОО) во главе с Солдаткиным В И, Андреевым А А,

Лобачевым С.Л. и другими учеными, получившими результаты в области разработки основ и концепций Открытого образования, а также в области технологий разработки образовательных порталов. К технологиям разработки образовательных порталов также можно причислить и работы направления Государственного научно-исследовательского института информационных технологий и телекоммуникаций «Информика». Во главе исследований по этому направлению можно выделить работы таких ученых, как А.Н.Тихонов, А.Д.Иванников, Ю.Л.Ижванов, К.С.Кованов, А.Б.Козлов и другие. Важный вклад в развитие системы Открытого образования в России был внесен специалистами Государственного научно-исследовательского института системной интеграции (ГОСНИИСИ) во главе с Ю.М.Кузнецовым, Г.Ф.Филаретовым, Ю.В.Костиковым, С.Д.Белушкиным и другими, чьи исследования связаны с развитием информатизации образования, обеспечением комплексной поддержки создания и использования новых информационных технологий в сфере образования и науки. Нельзя обойти вниманием важнейшие работы в области дистанционного обучения и открытого образования одного из первопроходцев этого направления, ректора Московского государственного университета экономики, статистики и информатики (МЭСИ) - В.П.Тихомирова и его учеников и последователей, чьи работы исходят ко второй половине 90-х годов прошлого века и по настоящее время раскрывают основные концепции, принципы и технологии дистанционного обучения и открытого образования.

Другим важнейшим направлением в области технологий поддержки дистанционного обучения являются интеллектуальные методы и системы. В этом направлении следует выделить научную школу зарубежных авторов, внесших первоочередной вклад в развитие этого направления. Это, прежде всего, Л.Заде, А.Кофман, Д.Дюбуа, А.Прад, П.Брусиловский, Д.Капка, С.Осуга, Ю.Саэки, Х.Судзуки и др., которые положили основу научным направлениям в области теории нечетких множеств, интеллектуальных систем, искусственного интеллекта. Отечественные научные школы в этом направлении представлены главным образом учеными Москвы и Санкт-Петербурга, но имеются отдельные группы ученых и в других городах России. Так Санкт-Петербургская научная школа представлена трудами ученых Гавриловой Т.А., Полякова А.О., Лачинова В.М., Ерофеева А.А и др. в области интеллектуальных нечетких технологий управления, а Московская научная школа представлена исследованиями и трудами в области искусственного интеллекта и методов приобретения и формализации знаний следующими учеными: Поспелов Д.А., Попов Э.В., Кузьмицкий А.А., Кузнецов О.П., Аверкин А.Н., Фоминых И.Б., Емельянов В.В. и др. Нельзя не отметить вклад в область искусственного интеллекта научной школы Таганрогского государственного радиотехнического университета, в основу которой положены труды следующих ученых: Мелихов А.Н., Берштейн Л.С., Курейчик В.М., Астанин СВ. и др. Очень важным объединяющим и интегрирующим моментом в отечественной научной школе интеллектуальных систем и искусственного интеллекта является консолидирующая сила Российской Ассоциации Искусственного Интеллекта, которая объединила все Российские научные школы и направления с целью развития методов искусственного интеллекта.

С точки зрения практической реализации принципов открытого образования можно выделить три вуза в РФ, в которых имеется большое количество студентов дистанционного обучения, что говорит о том, что это направление там развивается

очень интенсивно. Так, в Современном гуманитарном университете обучаются около 120 000 студентов, в МЭСИ - 165 000, Всероссийском заочном экономико-финансовом - 150 000 человек [30]. Причем эти высшие учебные заведения ведут образовательную деятельность не только на территории Российской Федерации, но и в странах ближнего и дальнего зарубежья. Основные положения дистанционного обучения в нашей стране были утверждены Коллегией Минобразования в 2002 году после проведения полномасштабного эксперимента, в котором участвовали 18 вузов разных форм собственности (в основном гуманитарного профиля). Сами же результаты эксперимента обобщила специальная комиссия в составе ректоров ведущих вузов страны, сотрудников Министерства образования РФ, депутатов Государственной Думы и членов Совета Федерации. Председателем этой комиссии был ректор Московского государственного технического университета им. Н.Э.Баумана член-корреспондент РАН И.Б.Федоров. В своем постановлении Коллегия Министерства образования РФ констатировала, что дистанционное обучение при систематическом контроле качества обучения, наличии подготовленного и аттестованного к такой форме обучения профессорско-преподавательского состава, обеспечении студентов соответствующими методическими материалами, наличии современной информационной базы в виде кейс-технологий, телевизионных технологий, сетевых электронных информационных средств обеспечивает достаточно высокое качество образования [30]. При этом, наиболее перспективным для ДО являются сетевые технологии, прежде всего использование Интернета, когда в течение семестра в реальном масштабе времени студент имеет возможность общаться с преподавателем. Эксперимент также показал, что полномасштабное дистанционное обучение целесообразно строить по следующей схеме: базовый вуз - филиалы (в которых есть свои преподаватели) или представительства (в них преподавателей нет, но есть офисное помещение, в котором решаются все организационные вопросы). По мнению экспертов, наиболее перспективно дистанционное обучение для гуманитарных направлений. Для естественно-научных и технических вузов оно, скорее всего, должно носить поддерживающий характер, так как затруднительно проведение таких специфических для инженерного и естественно-научного типа обучения образовательных процедур, как производственные практики, выезды на экспериментальные полигоны и т.п. Материально-технической базой открытого образования является информационно-образовательная среда. Ее основные компоненты: комплект учебных материалов (электронные учебники, пособия и т.д.), автоматизированная система управления дистанционным обучением, виртуальные и удаленные лаборатории, средства (технологии) доступа к учебным ресурсам (Интернет, телевизионные каналы и т.д.) [30].

Далее в первой главе проводится критический анализ технологий дистанционного обучения и предлагается рассматривать дистанционное обучение с двух точек зрения: как процесс и как система.

Во второй главе проводится анализ и исследование существующих систем дистанционного обучения, интеллектуальных систем, математического и программного обеспечения таких систем возможности таких систем с точки зрения наличия интеллектуальных характеристик, делается заключение о типовой структуре таких систем, в которую в частности входят следующие компоненты: модуль просмотра материала; модуль редактирования материала - инструментарий для создания структуры курса; модуль регистрации и администрирования; модуль

тестирования, модуль редактирования тестов, модуль контекстной помощи, модуль предоставления дополнительного учебного материала, модуль защиты, модуль поиска информации, модуль осуществления обратной связи Обобщается, что в современных системах дистанционного обучения отсутствуют или слабо представлены такие компоненты как методы мониторинга студентов в процессе обучения, способы адаптации обучения, интеллектуальная поддержка образовательного процесса и методов тестирования, адаптивные алгоритмы тестирования, оценки знаний и умений, различные типы тестовых заданий Делается вывод о необходимости разработки среды дистанционного обучения нового поколения с элементами искусственного интеллекта, с возможностью использования эффективных методов представления и оценки знаний

В третьей главе рассматривается и разрабатывается теоретический аппарат представления и оценки знаний в интеллектуальных системах дистанционного обучения Приводятся классические модели представления знаний, рассматриваются методы теории пространств знаний Вводятся понятия состояния, структуры, базы пространства знаний Доказываются теоремы о наличии и единственности базы для пространства знаний, на основании теоретических выкладок приводятся алгоритмы построения базы пространства знаний и обратного - построения пространства знаний на основе базы пространства Развиваются эти алгоритмы с целью повышения эффективности в смысле сокращения количества шагов для получения базы пространства знаний Показывается, что полученные методики и алгоритмы повышают быстродействие построения базы пространства знаний до 30% Далее в этой главе разрабатываются методы оценки ответов на тестовые задания, методы адаптивного контроля знаний на основе нечеткой логики и правдоподобных рассуждений Предлагается методика экспертного анализа характеристик тестовых заданий и технологии сертификации тестов и тестовых заданий для интеллектуальных систем дистанционного обучения Далее рассматриваются основные результаты, полученные в третьей главе

Все многообразие моделей представления знаний можно разбить на два типа логические (в основе их лежит понятие формальной системы) и эвристические (сетевые модели, продукционные системы, фреймы) [3,4,5,6] В логических моделях отношения, существующие между отдельными единицами знаний, выражаются только с помощью тех средств, которые предоставляются синтаксическими правилами используемой формальной системы В отличие от формальных моделей эвристические модели имеют разнообразный набор средств, передающих специфические особенности той или иной предметной области

При построении систем тестирования и оценки знаний через Интернет возникает необходимость реализации эффективных алгоритмов, имитирующих поведение реального преподавателя и позволяющих наиболее быстро и точно определить знания испытуемого Аналогично при дистанционном обучении необходимо преподать студенту некоторые знания, соответствующие определенному уровню владения предметом, причем знания необходимо давать в определенной последовательности Если по результатам тестирования обнаружены области незнания студента, необходимо предложить ему пополнить знания в этих и смежных областях

Главное отличие преподавателя от традиционных компьютерных систем состоит в том, что преподаватель при обучении и тестировании может опираться на

практический опыт и знания, определяя по правильным и неправильным ответам на вопросы сильные и слабые области знания испытуемого. При этом преподаватель целенаправленно задает вопросы, последовательно уточняющие состояние знаний студента.

Развитие теории пространства знаний. Теория пространств знаний [8] и её практическое применение [9] позволяет описать в машинном виде знания и опыт преподавателя и обеспечить программный доступ к этим знаниям Такое представление позволяет отразить структуру знаний по преподаваемому предмету, зависимости различных тем, последовательность изучения материала. При этом система может работать с гораздо большим количеством вопросов, чем преподаватель, и реализовать более быстрый и эффективный способ оценки знаний.

Состояние знаний. Состояние знаний индивидуума представлено набором тестовых заданий в определенной области, на которые он способен ответить в идеальных условиях. Это означает, что он работает не под давлением времени или эмоционального стресса любого вида и т д Следует также учитывать, что субъект, не имеющий реального знания заданного вопроса, может угадать правильный ответ. Состояние знаний индивидуума, таким образом, не является непосредственно наблюдаемым, и должно быть выведено из ответов на тестовые задания

Структура знаний. Для любой нетривиальной области число осуществимых состояний знаний может быть весьма большим. Например, число состояний знаний, полученных для области, содержащей 50 тестовых заданий по математике средней школы, может быть приблизительно от 900 до нескольких тысяч Списки состояний могут быть получены путем опроса экспертов-педагогов, преподающих данный предмет.

Несколько тысяч осуществимых состояний может показаться чрезмерно большим количеством. Однако это- всего лишь небольшая доля из всех 250 подмножеств области. Коллекция всех состояний знаний описывает организацию знаний. Она играет центральную роль и будет упомянута как «структура знаний». Миниатюрный пример структуры знаний для области

Q ={а, Ь, с, d, e}, дается на рис. 1.

Рис. 1

Граф на рис. 1 представляет структуру знаний

Эта структура содержит 11 состояний. Область Q и пустое множество 0, последнее, символизирующее полное невежество, включаются в неё. Рёбра графа представляют отношение покрытия на множестве: ребро, связывающее состояние К и состояние К', расположенное справа на графе, означает, что (где обозначает

строгое включение), и что не существует состояния К" такого, что Это

графическое представление используется очень часто. Когда граф просматривается слева направо, мы повторяем процесс изучения: сначала субъект не знает ничего относительно области и находится, таким образом, в состоянии которое представлено квадратом слева на рисунке. Обходя граф слева направо, знание постепенно прогрессирует от состояния к состоянию, следуя одному из путей на графе (рис.1), пока знание темы в совершенстве не достигнуто в состоянии Q.

Приведём пример области знаний из курса химии (пример чисто показательный и не охватывает весь курс):

(2)

где элементами являются следующие темы из курса химии:

а - атомные массы элементов;

Ь - заряженные частицы;

с - элементарные частицы;

d - уровни и подуровни элемента;

е - валентность молекул;

Г- гибридизация атомных орбиталей атома;

g - ионизация атомов;

Ь - квантовые числа;

I - конфигурация нормального состояния атома; ] - металлы; к - неметаллы;

1 - первый потенциал ионизации атома; т - порядковый номер элемента; п - правило Хунда; о - принцип Паули; р - формы атомных орбиталей.

На основе построенного пространства знаний легко составить возможные пути освоения материала обучаемым. Для этого возможные состояния сортируются в порядке увеличения количества элементов и выбираются возможные цепочки состояний с последовательно возрастающим количеством элементов. Эти цепочки при проходе слева направо и будут представлять собой способы освоения материала - изменения знаний обучаемого от полного незнания к полному знанию (рис. 2).

Рис.2

Пространства знаний. Исследование рис. 2 показывает, что семейство состояний удовлетворяет интересному свойству: если К и К' являются любыми двумя состояниями в К, то КиК' является также состоянием. Таким образом, можно сделать вывод, что семейство К замкнуто относительно объединения. Структура знаний, удовлетворяющая этому свойству, называется пространством знаний. Концепция замкнутости относительно объединения играет центральную роль в теории пространства знаний [8].

Базы и атомы. Как упомянуто ранее, структуры знаний могут иметь большое количество состояний, что ставит проблему описания таких структур экономно (например, для хранения информации в памяти компьютера). В случае конечного пространства знаний только некоторые из состояний должны быть определены, остальные получаются путём объединения базовых.

Перекрытие семейства множеств Г— это семейство Г всех множеств, которые являются объединением некоторых членов Г. В таком случае мы также говорим, что Г перекрывает Р. База структуры знаний К) - это минимальное семейство В состояний, перекрывающих К (где минимальное означает минимальное относительно включения множеств, удовлетворяющее свойству: если - любое семейство

состояний, перекрывающих К, то Е=Б). В соответствии со стандартным соглашением, пустое множество - объединение пустого подсемейства В. Таким образом, пустой набор никогда не принадлежит базе. Очевидно, структура знаний имеет базу только в том случае, если она является пространством знаний. Более того, состояние К, принадлежащее к некоторой базе В, для К не может быть объединением других элементов В; таким образом, К не может быть объединением других состояний К.

Теорема 1 (о единственности базы для пространства знаний). Пусть В -база для пространства знаний К). Тогда Вер для любого подсемейства F состояний, перекрывающих К. Следовательно, пространство знаний имеет не более одной базы.

Доказательство. Пусть В и Б удовлетворяют условию теоремы, и предположим, чтоКбВ\р. Т о гй^^Ц л я н е к о то рЬ^х^ПЬ с к о л ь к у В -база, любой член Н, является объединением некоторых элементов В. Это подразумевает, что К - объединение множеств из В \ {К}, что противоречит свойству минимальности базы. Единственность базы теперь очевидна.

Приведем пример. Покажем, что некоторое бесконечное пространство знаний не имеет базы. Рассмотрим объединение О всех открытых множеств из Я. Пространство О перекрывается семейством 11 всех открытых интервалов с рациональными границами, также как семейством 12 всех открытых интервалов с иррациональными границами. Если бы О имело базу В, то по Теореме 1 получим что абсурдно. Таким образом, О не имеет базы (в смысле ее

определения).

Покажем далее, что для конечного пространства знаний (т.е. когда количество состояний конечно) база всегда существует.

Теорема 2. Если пространство знаний конечно, оно обязательно имеет базу.

Доказательство. Так как число состояний конечно, должно иметься минимальное перекрывающее подсемейство состояний, т.е. база.

Следующее определение будет полезно для определения базы, когда она существует. Заметьте, что мы не ограничиваемся существенно конечным случаем.

Определение атома. Для любого элемента д, атом на д - минимальное состояние знаний, содержащее д. Состояние К называется атомом, если оно - атом для некоторого элемента д.

Заметим, что используется термин «атом» со значением, отличным от принятого в теории решеток (см., например, [10] или [11]).

Пример. Для пространства К = {0, {а, Ь}, {Ь, с}, {а, Ь, с}} состояние {Ь, с} -атом на Ь и также атом на с. Имеются два атома на Ь, а именно, {а, Ь} и {Ь, с}. Имеется только один атом на а, которым является {а}, однако он также принадлежит атому {а, Ь}, но состояние {а, Ь} - не атом на а.

В конечной структуре знаний имеется, по крайней мере, один атом на каждом элементе.

Другая характеристика атомов в пространстве знаний дается ниже.

Теорема 3. Состояние К в пространстве знаний К) - атом, если К 6 Г для любого подсемейства состояний Б, удовлетворяющих условию К =

Доказательство. Сначала докажем необходимость. Предположим, что К -атом на д и что К = ^Рдля некоторого подсемейства Б состояний. Таким образом, д должно принадлежать некоторому К', такому, что К'сК. Отсюда К = К', так как К -минимальное состояние, содержащее д. Таким образом, К 6 Р.

Теперь докажем достаточность. Если К - не атом, то для каждого q 6 К должно существовать состояние К'(я), такое, что Ц € К'(<})сК. При Р = {К'(ч)|((б1С}, мы, таким образом, имеем

Теорема 4. Предположим, что пространство знаний имеет базу. Тогда эта база является объединением всех атомов.

Доказательство. Пусть В - база пространства знаний К) и пусть А -объединение всех атомов. (Мы не говорим, что имеется атом на каждом элементе.) Мы должны показать, что А = В. Если некоторое - не атом, то для каждого

цеК существует состояние К'(д), такое, что <] £ К' (ч) С К. Но тогда и невозможно выполнение условия принадлежности (так как

каждый К' (д) - объединение элементов в В, мы видим, что К - объединение других элементов из В). Таким образом, К должен быть атомом по крайней мере для одного элемента, каждый элемент базы - атом, и Вс А. Теперь возьмём л ю б К й Т.о г д а К = иР для некоторого Р С В. По теореме 3 мы и м еКеемЕЙ. к и м образом,

А = В. Следовательно, даже, когда база существует, не каждый элемент может иметь атом.

Пример.

Определим множество

Тогда ([0,1], О) - пространство знаний с базой, состоящей из всех состояний, кроме каждый элемент имеет атом, кроме 0.

Поскольку база В пространства знаний К) обеспечивает компактное кодирование этого пространства, важно иметь эффективные алгоритмы для составления базы данного пространства, а также для производства всех пространств от базы. Ниже даётся пример двух таких алгоритмов

Алгоритм составления базы пространства знаний

Будем говорить, что область Q - конечна, подразумевая, что = т и |К| = п. По теореме 4, база пространства знаний является объединением атомов. По определению атома, атом на некотором элементе - минимальное состояние знаний, содержащее этот элемент. Простой алгоритм для задания базы основан на этом определении атома. Доулинг [12] сформулировал этот алгоритм следующим образом.

Алгоритм 1. Пронумеруем список элементов, как (¡|, •■•> Чпг Также перечислим состояния как К1 ..., К\ таким образом, что К, С Л^ подразумевает I ДЛЯ ¡, j е {1, 2,..., п}. Это достигается внесением в список состояний согласно не уменьшающемуся размеру и произвольно для состояний одинакового размера Сформируем массив Т размерностью п х т с рядами и колонками, представляющими состояния и элементы соответственно, т.е. ряды индексированы от 1 до п и колонки от 1 до т. На любом шаге алгоритма ячейка Г содержит один из символов "+" или "-". Первоначально установим Т^ В если состояние К, содержит элемент^,; иначе установим Тщ равным "-". Алгоритм просматривает ряды ¡ = 1, 2, ..., п и преобразовывает в " + " каждое значение "•", содержащееся в ячейке удовлетворяющее следующему условию: существует индекс р такой, что 1 <р<\ состояние Кг содержит элемент и К^сК,. Когда это будет выполнено, атомами будут являться состояния К), для которых ряд 1 все еще содержит, по крайней мере, одну "*".

Пример. Возьмём пространство К = {0, {а}, {а, Ь}, {Ь, с}, {а, Ь, с}},

рассмотренное выше. Начальное множество Т показывается слева в табл.1. Из конечных значений Т справа мы заключаем, что база- {{а}, {а, Ь}, {Ь, с}}.

Легко проверить, что Алгоритм 1 также работает на перекрывающем подсемействе, а не только на самом пространстве.

Описание, данное для этого алгоритма, предназначено для начального кодирования пространства или перекрывающего семейства Г как матрицы размерностью п х т, каждая ячейка (1, Д которого указывает, содержит ли состояние К1, элемент Нетрудно перепроектировать поиск атомов на случай отличного способа кодирования пространства (например, как список состояний, представленных списком элементов)

Алгоритм для восстановления пространства из его базы

Решение, описанное ниже, берёт многое из [12]. Однако далее будут рассмотрены методы оптимизации данного алгоритма.

Предположим, что база В содержит р состояний, В = {Вь В2, ..., В}. Состояния получены в соответствии с последовательной процедурой, основанной на рассмотрении все более и более возрастающего подсемейства базы. Мы устанавливаем Оо = {0}, и для i = 1, 2, ..., р определим G, как пространство, перекрываемое С, и {В,}. Это - общая схема, но необходимо позаботиться об эффективности. Очевидно, что на любом шаге \ алгоритма новые состояния, созданные взятием перекрытия в, и {В^, имеют вид С и В, при О е в, .¡. Однако некоторые состояния, сформированные объединением B1 с некоторыми состояниями из ви, могут уже существовать в в,. Прямое применение этой схемы требовало бы проверки для каждого сгенерированного состояния, было ли оно получено прежде. Поскольку вообще число п состояний может расти по экспоненте как функция р, такие проверки могут быть затруднительны. Соответственно, мы хотим формировать

только тогда, когда это объединение даёт состояние, ранее не полученное (или на предыдущем шаге, или на текущем). Имеется критическое замечание: среди всех состояний О из в,.!, производящих К= (7 и В„ имеется единственное максимальное, которое мы обозначим М. Таким образом, имеем К = Мс В„ и, кроме того, К = ОоВ, для (7 е 0,_1 подразумевает Сс М Существование и единственность М следует из того факта, что 0|.| замкнуто относительно объединения. Ключ к алгоритму - условие (4), которое будет рассмотрено ниже и которое обеспечивает управляемую характеристику А/. В этой теореме мы рассматриваем ситуацию, в которой произвольный поднабор В области С! добавлен к базе В пространства знаний О на С>.

Теорема 5. Пусть (0>, б) - пространство знаний с базой и возьмём Ме6и В б 2^. Следующие два условия эквивалентны:

Доказательство. 1) Докажем, что из (3) следует (4). Если Э с М и В для некоторого О е О, мы имеем Ми В = (МиЭ)и В. Поскольку МиОеС, наше предположение подразумевает МийсМ или ОсМ.

2) Докажем, что из (4) следует (3). Если М и В = ОиВ при Оеб, то существует подсемейство е из В такое, что б е ие. Для О е с мы имеем БсМиВ, следовательно, ОсМ. Откуда заключаем, что бсМ.

Возвращаясь к нашему обсуждению, у нас теперь есть способ получать на главном цикле i только уникальные элементы в и В,: необходимо брать такое объединение только тогда, когда G из О, удовлетворяет условию

УО€{ВьВ2.....Ви}:ОсОиВ|=>ОсО. (5)

Мы должны также избегать получения состояния в и В,, принадлежащего к Оц (т.е. состояние, которое было произведено на более ранней стадии цикла). С этой целью, заметьте, что для в е удовлетворяющего (5), мы имеем в и В; е вц, если Bj с в.

Алгоритм 2. Пусть В = {В,, В2.....Вр} - база некоторого пространства знаний

К на <3, которое будет произведено алгоритмом. Проинициализируем в в {0}. На каждом шаге ¡= 1,2,..., р выполним следующее:

1) Инициализируем Н в 0.

2) Для каждого в е О проверим

В;с/0иУ0е {В,,В2, ...,ВИ} :Эс0иВ(=>0£а Если условие выполняется, добавим в и В| к Н.

3) Когда все в из в будут рассмотрены, заменим О на ОиН, (Это заканчивает шаг ¡)

Семейство в, полученное после шага р, - искомое пространство К.

Пример. Для базы В = {{а}, {а, Ь}, {Ь, с}} табл.2 показывает последовательные значения в.

_Таблица 2

Главная стадия Базовый элемент Состояния в С

Инициализация 0

1 {а} 0, (а)

2 {а, Ь> 0,{а},{а,Ь}

3 {Ь,с} 0,{а},{а,Ь},{Ь,с},{а,Ь,с}

Пример. Приведём другой пример, с В = {М, {Ь, d}, {a, Ь, с}, {Ь, с, е}}. В табл.3 в каждой строке мы только показываем базовый элемент, рассматриваемый на

этом главном шаге вместе с вновь полученными состояниями. ______Таблица 3

Базовый элемент Состояния в Н

Инициализация 0

{а} {а!

{М> (М(, {а,М}

{а, Ь, с} {а,Ь,с}, {а,Ь,с,(1)

{Ь, с, е} {Ь, с, е}, {Ь, с, <1, е), {а, Ь, с,е}, {а,Ь, с,<1, е}

Замечания

1. Алгоритм 2 может применяться к любому перекрывающему подсемейству F пространства знаний К для получения этого пространства. В случае перекрывающего подсемейства F, которое не является базой, мы всё же рекомендуем сначала построить базу В для К по алгоритму 1, применённому к F. Алгоритм 2 может тогда применяться к В для получения К.

2. Несколько слов относительно эффективности Алгоритма 2. Эксперименты показывают, что время выполнения программы на Паскале, осуществляющей этот

алгоритм, зависит от порядка, в котором элементы базы (или перекрывающие элементы) внесены в список. Пока что нет идеального правила относительно оптимального кодирования элементов базы. С другой стороны, усовершенствование получено на многих наборах данных, изменив Алгоритм 2 следующим образом. На каждом шаге i находится объединение U всех Bj с 0<j<i и BjCB,. Когда рассматривается g £ g, сначала п р о в bg@, ЕсяиШеоЗв е р к у шага (2) в Алгоритме 2 можно пропустить, потому что условие заведомо не выполняется. Для оригинального алгоритма Доулинга используют множество U очень интенсивно. Этот алгоритм также чувствителен к выбранному порядку. Наша усовершенствованная версия выполняется обычно на 10 - 30 % быстрее.

3. С теоретической точки зрения, эффективность Алгоритма 2 (в соответствии с [12]) хорошая. Поскольку количество элементов п семейства К множеств, покрываемых базой Вер элементами из области Q мощностью т, может расти по экспоненте р, мы анализируем сложность в зависимости от m, p и п вместе. Алгоритм 2 имеет время выполнения О (n • p2 • m), другими словами, существуют натуральные числа m0, p0 и n0 и положительное действительное число с, такие, что на области мощностью т>П1о, с мощностью базы р>ро создание пространства мощностью п > пО будет всегда требовать шагов, меньше чем с • n • p2 • m.

Разработка усовершенствованного алгоритма построения базы пространства знаний

Поскольку практическое применение понятий пространства и структуры знаний имеет определённые особенности, в частности продвижение слева направо по графу, описывающему пространство знаний, то применение указанных выше алгоритмов в чистом виде [13] в некоторых случаях может быть малоэффективным. Например, реализация системы, основанной на пространствах знаний в сети Интернет, предполагает отсутствие такого понятия, как сессия, и сервер не имеет возможности сохранить какие-то данные между двумя последовательными запросами, соответственно, при каждом новом запросе необходимо восстанавливать информацию о пространстве знаний из базы. Уменьшения количества информации, которое необходимо восстанавливать, можно достичь путём отсечения уже пройденных состояний. Для этого можно из базы убрать те элементы, которые включаются в текущее состояние.

Отсечение пройденных состояний

Пусть В = {В|, Вг, -.-, Bp) - база некоторого пространства знаний К на Q, Кс - текущее состояние. Тогда элементы базы, удовлетворяющие условию В, С Кс , входят в текущее состояние и могут быть заменены на Кс. После этого строится пространство знаний, описывающее возможные пути развития знаний обучаемого (или опроса его знаний).

Более общее применение имеет ситуация, когда субъект стремится достичь не полного знания области, а какого-то конкретного состояния знаний. В этом случае модификация алгоритма предусматривает ограничение пространства знаний "сверху", т.е. тех состояний, в которые обучаемый (или тестируемый) не стремится попасть.

Ограничение пространства знаний "сверху"

Пусть В = {В,, В2,..., Вр} - база некоторого пространства знаний К на Q, Кх -целевое состояние. Тогда элементы базы, удовлетворяющие условию И,сКа могут быть исключены, поскольку в графе пространства знаний состояния, находящиеся слева, включаются в состояния, находящиеся справа.

Оценка сложности модифицированных алгоритмов

Обозначим число элементов базы через р, число генерируемых (кроме 0 И О) элементов в пространстве знаний через п, а размер домена - т. При этом оценка времени выполнения исходного алгоритма будет

Отсечение пройденных состояний требует просмотра всех элементов базы (р элементов) и определения включения для каждого из них (не более m операций), т.е. оценка времени выполнения будет 0(р • т). После выполнения этого алгоритма база уменьшится до р* <р элементов, а значит, восстановление пространства будет занимать не более 0(п • р'г • т) шагов. На самом деле это значение ещё меньше, поскольку число элементов в пространстве знаний и размер домена могут также уменьшиться. Ограничение пространства знаний "сверху" имеет аналогичные характеристики производительности: О(р • m) - для самого алгоритма и О(п • р'2 • m) -для получения пространства. Эти алгоритмы можно примерять совместно, при этом для определения включения каждого из элементов базы может потребоваться вычисление двух теоретико-множественных операций, т.е. в наихудшем случае трудоёмкость усечения базы по совместному алгоритму будет не больше суммы числа операций для алгоритмов по отдельности. Для наглядного сравнения этих модификаций и исходного алгоритма рассмотрим пространство знаний,

изображённое на рис. 1.

Пространство знаний К= {0, {а}, {Ь}, {а,Ь), {а,ё}, {Ь, с}, {а,Ь,с}, {а,Ь,(1),

{Ь, с, ё}, {а, Ь, с, ё}^}, базой для него является множество В = {{а}, |Ъ|, {а, ё}, {Ь,с, ё}}. Параметры оценки будут равны р = 4, п = 9, т = 4. Трудоёмкость исходного алгоритма одного порядка с числом 1296.

Построим график (рис.3) относительных трудоёмкости и выигрыша производительности в зависимости от (р-р1).

Как видно из графика, уже при уменьшении базы на один элемент достигается значительный выигрыш в производительности (около 20%).

На рис. 4 приводятся количественные оценки выигрыша от применения модификаций.

Описанный выше подход позволяет в значительной мере представить в программно-ориентированном виде знания преподавателя, автоматизировать процесс оценки знаний. К достоинствам данной модели можно отнести:

• универсальность (независимость от области знаний);

• возможность не просто вычисления балла, но и детализированного определения областей знания и незнания испытуемого;

• удобство машинной обработки формализованных знаний;

• возможность выдачи рекомендаций испытуемому - какие темы он знает недостаточно хорошо и должен повторить.

При этом модель имеет свои узкие места:

• Построение пространства знаний требует специальных методик и не всегда гарантирует стопроцентную точность.

• Представление построенного пространства знаний требует от пользователя работы со сложным графом, что в случае большого количества знаний затруднительно.

Тем не менее, модель пространств знаний отлично зарекомендовала себя практически и доказала свою применимость [8,9].

Особенности реализации алгоритмов

Построение пространств знаний. Поскольку число осуществимых состояний знаний может быть весьма большим, то для составления списка состояний требуются специальные методики, повышающие точность составления и уменьшающие количество ошибок. Такие методики разработаны и автоматизированы. Специальная программа опрашивает эксперта (преподавателя): предположим, что испытуемый ответил неправильно на вопросы q1 q2, ..., qn, ответит ли он также неправильно на вопрос qn+1? По результатам такого опроса программа составляет список связанных состояний и получает пространство знаний. Причём на практике не требуется перебирать все комбинации вопросов - результат может быть получен раньше [ 14].

Хранение и обработка пространства. Как упомянуто ранее, структуры знаний, с которыми мы сталкиваемся на практике, могут иметь большое количество состояний, что ставит перед нами проблему описания таких структур экономно (например, для хранения информации в памяти компьютера). В случае конечного пространства знаний, только некоторые из состояний должны быть определены заранее, остающиеся получаются путём объединения комбинации базовых. Для получения списка базовых элементов и восстановления из них исходного пространства существуют эффективные алгоритмы [12].

Представление пространства знаний. Графическое представление пространства знаний становится слабым местом при росте числа осуществимых состояний, поскольку человеку затруднительно воспринимать растущее количество связей между состояниями и путей освоения материала. На данный момент нет какого-то универсального решения данной проблемы.

Использование для тестирования. Программа, реализующая тестирование испытуемого с применением составленного пространства знаний, вычисляет при своей работе наиболее вероятные последовательности задаваемых вопросов. Начиная из состояния, соответствующего полному незнанию испытуемого, тестирующая программа определяет возможные пути продвижения по графу пространства, составляет список вопросов, которые могут быть заданы на текущем шаге и выбирает случайно некоторые из них. При корректном ответе на вопрос программа продвигается по графу, в направлении, соответствующем заданному вопросу. Таким образом, последовательно (и целенаправленно!) задавая вопросы, программа уточняет область знания испытуемого, и в результате получает не просто оценку по заранее заданной линейной шкале, а детализированное описание области знания (или незнания испытуемого). Для минимизации влияния различного рода случайностей (угадывания ответа на вопрос или ошибок ввода) программа может применять различные методики, например, задание избыточного количества вопросов.

Метод оценки знаний на основе нечеткой логики

Задача оценки знаний учащихся на основе компьютерных систем тестирования является одним из важных вопросов, возникающих в дистанционном обучении. В этом подразделе диссертации рассматривается способ оценки знаний, который может быть реализован в компьютерных системах дистанционного обучения. Широко известны две задачи, решение которых необходимы при проверке знаний учащегося. Основной задачей экзаменатора является «извлечь» максимум знаний, известных студенту. Основной задачей испытуемого является показать максимум своих знаний. Очевидно, цели экзаменатора и испытуемого достаточно близки. Тем не менее, в результате тестирования достичь этих целей удается не всегда, что является причиной заниженных и завышенных оценок. Для избежания и уменьшения погрешности оценки знаний разработан комбинированный способ адаптивного тестирования с использованием элементов нечеткой логики.

Рассмотрим следующую модель. Пусть текущий рейтинг R студента в процессе прохождения теста оценивается по 100-балльной шкале - в процентах. Сто процентов означает «абсолютное», идеальное знание этого предмета. Зададим лингвистическую переменную

О=<"Итоговая оценка", Т, U>,

где

- вербальные значения лингвистической переменной О,

причем каждое из этих значений является в свою очередь нечеткой переменной с областью определения U, например, Т= {"неудовлетворительно", "ниже среднего", "удовлетворительно", "выше среднего", "отлично"};

U=[0,100] - область определения нечетких переменных Т1.

При этом нечеткие переменные Т1 таковы:

С(а,) = {< ~/jC(a )(x)/x>\xeU) - нечеткое подмножество

множества U, описывающее ограничения нечеткой переменной и определяющее

функцию принадлежности Очевидно, C(fií¡) задается группой

экспертов или автором теста. Например, эксперт может задать следующее значение ДЛЯ Т, :

С (a¡) = {<1,0/10>,< 1,0/20>,<1,0/30>,<0,9/40>,<0,5/50>,<0,1 /55>,<0,0/60>}.

Аналогичным образом экспертом задаются и другие значения для Т1(Табл.4).

Т = ЭД/ = 1,5}

Таблица 4

Процент Неудовл. Ниже Удовл. Выше Отлично

правильных ответов Т, среднего Г, Т, среднего Т4 т,

10 1 0 0 0 0

20 1 0 0 0 0

30 1 0 0 0 0

40 0.9 0.1 0 0 0

50 0.5 0.5 0 0 0

55 0.1 0.9 0 0 0

60 0 1 0 0 0

65 0 1 0 0 0

70 0 0.1 0.9 0 0

75 0 0 1 0 0

80 0 0 0.8 0.2 0

85 0 0 0 1 0

90 0 0 0 0.8 0.2

95 0 0 0 0 1

100 0 0 0 0 1

Точно также могут быть заданы следующие лингвистические переменные:

L-< "Уровень сложности", М, U>; А=<"Ответ на вопрос", В, U>,

где

М- заданное экспертом множество нечетких переменных уровня адаптации, В - заданное экспертом множество нечетких переменных возможных результатов ответа на тестовое задание.

Опишем множество признаков, характеризующих состояние системы адаптивного тестирования:

У={Л„Л„ А /, А Г, M,LcLmax,L, О),

где

- текущий рейтинг (процентный балл) тестируемого после ответа на /-е тестовое задание (ТЗ);

А, - результат ответа на i-e тестовое задание, Д 6 В;

At - период «стабилизации» итоговой оценки, т е. количество ТЗ, которые

были заданы испытуемому, но не внесли изменения в итоговую оценку;

АГ - порог стабилизации рейтинга, т.е. интервал сходимости функции

рейтинга испытуемого;

А/ - порог смены уровня адаптации;

Lc- стартовый уровень адаптации;

L„ax = \М\ - максимальное количество уровней адаптации.

Заметим, что исходные априорные параметры системы, задаваемые экспертом и определяющие схему тестирования, описываются множеством

А/, А г, ЫЛс.^}.

Пусть Ц- дефазифицированное по методу центра площади значение уровня адаптации на /-том ТЗ и предположим, что Ц = 1, £|гах.

Тогда, математическая модель адаптивного тестирования на основе нечеткой логики описывается следующей системой:

•О = О(5-011,.Д.); (6)

¿(+1=ц ад,д).

При этом критерий завершения тестирования может быть следующим: (аД, I* = ]7м)(тт(Я,|( = к,к + А1) + Аг<11к < шах(Л, |г = к, к + М) - Дг)■ (7) Критерий увеличения уровня адаптации может быть следующим:

= > В^ = кмы)-, ¿,+1(50,А>^) = шт(4+и„ш), (8)

где В^и, принятая экспертом оценка для смены (увеличения) уровня адаптации, как правило, шах = IВI.

Критерий уменьшения уровня адаптации может быть следующим:

= 1,тф, < В А = *,* + Д/)-» ¿,+1(50,1„Л,) = тах(1,1, -1),

(9)

где Вщи, принятая экспертом оценка для смены (увеличения) уровня адаптации, как правило, пйп=1.

Эксперту по дисциплине необходимо разработать соответствующий набор вопросов по каждому уровню сложности. Сложность этих вопросов должна соответствовать различному уровню подготовки студентов. Предположим, мы имеем 4 уровня сложности вопросов: начинающий уровень, средний уровень сложности, уровень повышенной сложности, уровень эксперта. Эти уровни сложности будут меняться в зависимости от успеха отвечающего. С уменьшением правильных ответов будет понижаться и уровень сложности вопросов. И, наоборот, если студент отвечает успешно, то сложность вопросов возрастает.

Каждый раз, когда задается вопрос, на основании описанной модели происходит «прогнозирование» наиболее вероятного ответа студента и соответственно выбирается вопрос необходимого уровня. По мере увеличения правильных ответов увеличивается и уровень сложности задаваемых вопросов и наоборот. В результате общая (итоговая) оценка зависит от следующих факторов: • правильности ответа на очередное тестовое задание;

• пропорционального количества вопросов разной сложности;

• текущей и прогнозируемой оценки (в процентах);

• времени ответа на вопросы.

В результате использования математической метода на основе нечеткой логики при экспериментальном тестировании получены следующие диаграммы, поясняющие результат применения такой математической модели и показывающие следующие зависимости:

• «правильность» ответов студента на вопросы теста (рис.5);

• изменение уровней сложности задаваемых вопросов по мере прохождения теста (рис.6);

• текущий рейтинг студента, полученный по мере прохождения теста (рис.7);

• диаграммы нечетких множеств для итоговой оценки студента (рис.8). Механизм нечеткой оценки знаний поддерживается в системе дистанционного

обучения посредством:

• ввода экспертом (преподавателем) вопросов четырех уровней сложности;

• предложения экспертом нескольких (не менее 4) вариантов ответов и оценки каждого ответа;

• ввода возможных подсказок на вопрос и зависимости изменения оценки за вопрос от их использования;

• ввода лимита времени, необходимого для ответа на этот вопрос. Отличительной чертой разработанного метода является ее

интеллектуальность, что выражается в моделировании работы экзаменатора в случае неуверенности в знаниях студента Например, тестирование может быть прервано, когда испытуемый вышел на стабильную оценку, а также может быть задан ряд дополнительных вопросов для уточнения уровня знаний студента.

Для увеличения гибкости модели предусмотрены также возможности изменения распределения нечеткой величины - «итоговая оценка». Таким образом, она может быть настроена индивидуально для каждого преподавателя и дисциплины, для каждой дисциплины, ориентирована на различные группы студентов.

Уровни СЛОЖНОСТИ, и

Рис 6

Аг

Рис 7

Классификация уровня учебных достижений на основе правдоподобных рассуждений

В [28] рассмотрен подход к использованию алгоритмов комбинирования свидетельств, в случае неполной информации об объекте. Суть подхода состоит в применении функций, позволяющих оценивать достоверность заключения о состоянии объекта на основе частных утверждений, содержащих описания отдельных

признаков. Так, если G1, G2,..., Gn - множество утверждений вида —^Г,

множество значений признаков,

в2 —>Г,..., Б п —>Т, где Sl, S2,..., Sn

описывающих некоторый объект; г - заключение о состоянии объекта, то достоверность заключения вычисляется следующим образом:

у=1 ¡>р у 1>}>р у

где ]=\,П - достоверности признаков частных утверждений GJ;

//(г) - оценка достоверности заключения, сформированная на основе частных утверждений

В [15] рассмотрен спектр операций свертки, в соответствии с заданными аксиомами(правилами) принятия решений, применение каждой из которых определяется решаемыми задачами. В [28] обосновано применение идемпотентной симметрической суммы в качестве операции свертки для случая неравнозначных критериев. Симметрическая сумма для ш критериев определяется следующим образом:

_ тах(/г\о)), у\со),...,уп{ф))

Ив, ~ ___I .. - .. -I '

где ¡Лг {со) - наиболее значимый критерий

В диссертационной работе показывается, что при условиях заданной базы правил, моделирующих процесс принятия решения преподавателем на экзамене в процессе опроса студента (или при предъявлении системой тестирования тестовых заданий) с определенными заранее критериями итоговой оценки В, Д Г, формула (10) может быть преобразована к одному из следующих видов:

тахОиУХ/^ИУИ) _та\{ц\<о),ц\а>))

Не,

(Н) (12)

И наконец, в этом разделе диссертации приводится результат оценок по частным целям ц'в, ц'р, ц'р в соответствующий интервал нормированной

рейтинговой шкалы А к (к= 1,3 ) в виде следующей формулы:

. ( тахА - гит, Ил, И = т|п4 + (/'« (®) - тш«)-!--

шах „—пип

(14)

м /

где тт ^ , тт м , шах ^ , тах м - минимальные и максимальные значения шкал А к и М соответственно

Разработка технологий и правил для сертификации тестов и тестовых заданий

Процесс сертификации можно разделить на три основных этапа:

1) общая проверка теста (соответствие нормам, предметной области и т.д.);

2) сертификация формы (постановка и формулировка тестовых заданий);

3) сертификация структуры теста (проверка корректности значений его параметров).

Каждый из указанных этапов подробно рассматривается и описывается в

[16,17].

В общих словах процесс сертификации тестов и тестовых заданий может быть описан следующим образом.

От разработчика теста в центр сертификации поступает заявка, по ней принимается решение о проведении или не проведении сертификации.

Тест проверяется группой экспертов, которые действуют по следующей

схеме:

- проведение проверки корректности составления теста. Производится проверка корректности указания параметров теста: времени, количества уровней сложности и т.д.;

- проведение проверки корректности составления тестовых заданий. Проверяется смысловое содержание тестовых заданий на предмет выполнения требований этапа общей проверки теста, сложность каждого тестового задания;

- проведение проверки смыслового содержания заданий;

- проверка формы тестовых заданий. Форма каждого тестового задания должна соответствовать одной из форм приведенных в списке возможных форм тестовых заданий.

- проверка структуры. Если проводится адаптивное тестирование, необходимо выполнение условий обеспечения достаточного количества вопросов в

базе;

- если тест признан некорректным, то выдается решение о несоответствии стандартам предъявленного теста;

- если тест признан корректным, то выдается сертификат соответствия.

Важнейшей задачей при проведении экспертизы и последующей

сертификации тестовых материалов является обработка мнений экспертов.

Разработка метода вычисления обобщенной экспертной оценки

Во время экспертизы тестовых заданий каждый эксперт выставляет ту или иную оценку каждому тестовому заданию по различным критериям. Эксперты являются независимыми, т.е. каждый из них не знает о решении, принятом другим экспертом. В этой связи возникает задача автоматизации деятельности экспертов и привлечения средств проведения экспертизы с использованием сети Интернет, чтобы каждый эксперт мог осуществлять оценку тестовых заданий на своем обычном рабочем месте.

В [18,19] приводится подход к оценке качества тестовых утверждений, основанный на методах непараметрической статистики. Данный подход обладает некоторыми неудобствами реализации рассматриваемых методов на вычислительной технике. В частности, для реализации экспертной оценки с использованием сети Интернет необходимо несколько упростить применяемые решения и оптимизировать их с целью сокращения вычислений. В данной работе рассматривается подход, развивающий указанные методы, предлагаются возможные расчеты с использованием матричных данных, удобных для реализации на ЭВМ.

Постановка задачи

Пусть дана матрица ||С|| оценок экспертов на тестовые задания. Каждое

значение Су элемента матрицы указывает любую качественную оценку 1-го задания

(например, меру трудности), данную _/'-м экспертом, причем 1 = 1 ,П - номера

тестовых заданий, ] = \,ТП - номера экспертов, 1 < Су < к, где к - максимально возможная оценка меры сложности тестового задания. Далее ограничимся тремя уровнями сложности (А=3). Предположим: а) Су = 1 - задание является легким, б)

Су = 2 - задание средней сложности, в) Су— 3 - задание является трудным.

На основании матрицы ||С|| необходимо построить квадратную матрицу

размерностью Ш X Ш, где каждый элемент матрицы 0 < \\>ху < 1 указывает

степень сходства оценок тестовых заданий эксперта х и эксперта у. Метод

Для решения задачи будем использовать формулу нахождения коэффициента сходства по Красильникову[18]:

4£(у)

п(к-\)2

где к - число категорий качества. В нашем случае к-3; п - число тестовых заданий; ОД) - сумма вариаций значений признака.

Вычислим а далее и для двух экспертов хну.

$(у) определяется в [18], как сумма дисперсий для каждой пары оценок тестовых заданий, т.е.

Дисперсия оценки /-го задания по [18] определяется как разность между

усредненной суммой квадратов значений оценок экспертов и квадратом средней величины оценки. Таким образом, получаем:

щк)=1- о<ж(*)<1, оз)

а

, А+4 (с«+сА\2<+Н-с1-2-с*-су-4_к~с,у}

*У

Подставляя в (16), а затем и в (15), получим

По формуле (18) вычисляются элементы в матрице парных сходств

оценок экспертов.

Проанализируем полученную формулу. В числителе происходит суммирование квадрата разности оценки двух экспертов для всех заданий. Очевидно, что максимум расхождения оценки двух экспертов будет в случае, когда один эксперт

дал заданию оценку «легкое ТЗ»: Су =1, а другой эксперт дал оценку - «сложное ТЗ»: т.е. в случае полного расхождения оценок экспертов по всем заданиям

числитель вычитаемого превращается в

и становится

1=1

равным знаменателю. Поэтому в результате мы получим меру сходства равную 0. В идеальном случае, когда все оценки двух экспертов совпали, т.е.

(V/ — \,П = > получаем: в числителе 0 и мера сходства становится равной 1.

Алгоритм кластеризации группы экспертов с заданной степенью сходства мнений

На следующем этапе получения обобщенной экспертной оценки качества

тестового задания необходимо на основе матрицы выделить кластеры

экспертов, взаимная степень согласованности которых не меньше определенного порога. В этом случае могут применяться различные алгоритмы кластерного анализа [20,21,22]. Рассмотрим наиболее простой в реализации, но достаточно эффективный иерархический алгоритм (рис.9), использующийся для небольших размеров матрицы

Исходными данными для его работы являются массив с номерами экспертов (размерностью М, где М - число экспертов), матрица попарной согласованности мнений экспертов (размерность МхМ) и порог оценки согласованности 0<Р<1.

Суть алгоритма, блок-схема которого приводится в диссертации, заключается в том, что:

1. На первом шаге рассматривается М кластеров, каждый элемент массива номеров экспертов считается отдельным кластером и в своем кластере объявляется центральным.

2. Далее последовательно рассматривается каждый полученный кластер.

3. Для всех элементов, за исключением центрального в рассматриваемом кластере, из матрицы попарной согласованности мнений экспертов выбирается величина рассматриваемого элемента согласованности и элемента, центрального в кластере.

4. Если эта величина превышает или равна заданному порогу Р, то при наличии в кластере только центрального элемента, рассматриваемый элемент заносится в кластер.

5. Если же в кластере помимо центрального находятся еще элементы, то рассматриваемый элемент сравнивается со всеми остальными элементами в этом кластере.

6. Если оценка согласованности каждого элемента кластера с рассматриваемым превышает или равна заданному порогу, то рассматриваемый элемент помещается в кластер.

7. Выбирается кластер с наибольшим числом элементов.

На основании мнения экспертов, входящих в найденный кластер, вычисляется общая оценка качества рассматриваемых тестовых заданий. Для этого используется обычное вычисление средних оценок по каждому заданию теста, но только тех экспертов, которые входят в результирующий кластер.

В четвертой главе диссертации предлагаются технологические новации по проектированию интеллектуальных систем дистанционного обучения. В частности, разрабатывается архитектура такой системы, которая улучшает уровень образовательного процесса, позволяет индивидуализировать его, помогает овладеть навыками самостоятельной работы, а также производить не только оценку знаний, моделируя роль преподавателя, но и осуществлять сбор данных об обучаемых, что необходимо для создания математических моделей обучаемого, сбора статистики и траектории обучения.

Основные цели и задачи проектирования интеллектуальных систем ДО

С точки зрения технического и методического обеспечения процесса обучения интеллектуальная система дистанционного обучения и контроля знаний (ИСДОКЗ) должна обеспечивать следующие возможности [23,24]:

• улучшать качество информационного и учебно-методического обеспечения (Интернет-технологии, средства мультимедиа);

• имитировать общение преподавателя со студентами и студентов друг с другом (дискуссии, доски объявлений, e-mail), поскольку эффективность обучения обуславливается участием в этом процессе преподавателя: обеспечивается индивидуальный подход и совместная групповая работа;

• обеспечивать самостоятельное изучение учебных материалов студентами и тестирование (т.е. контроль усвоения учебного материала может осуществляться без личного участия преподавателя, с помощью ИСДОКЗ);

• обеспечивать автоматизацию управленческих функций: регистрация студентов, обеспечение учебного процесса (доступ к учебно-методическим

материалам, контроль знаний, отслеживание установленных сроков обучения, связь с преподавателями посредством e-mail).

В среде ДО доступ к ресурсам и сервисам обучающей системы осуществляется через специализированный Web-сервер. Здесь абитуриенту предоставляется следующая информация: поступление, цены, учебные планы, курсы, регистрация, технологии обучения, технические требования, преимущества технологии ДО, вопросы и ответы, помощь. Студент же, который зарегистрировался в ИОСДОКЗ, получает доступ к разделам: обучение, новости, приказы и распоряжения, услуги, помощь.

Информационная модель ИОСДОКЗ должна предусматривать следующие основные транзакции: этап регистрации студента и его зачисления на дистанционную форму обучения; этап изучения студентом учебных дисциплин; консультации студента с преподавателем через Интернет; сдача промежуточных тестов и электронных экзаменов; этап передачи учебных материалов и тестов от преподавателя к оператору для ввода их в систему; этап ввода учебных материалов и тестов в систему оператором, этап управления системой администратором; этап самостоятельного ввода информации в систему преподавателем и анализ процесса обучения.

Подобная организация учебного процесса предусматривает активную систему передачи знаний, так как студенты являются не просто пассивными читателями. Выполнение заданий может осуществляться студентом в любое удобное для него время в достаточно плотном расписании занятий. Студент имеет возможность прервать занятие, вернуться назад или перейти к другой теме; выполнить тест, если он уже знает материал. Работа каждого студента должна быть не только индивидуальна и самоорганизуема (он может изучить сначала один курс, затем приступить к другому или, как в традиционной системе обучения, изучать несколько курсов одновременно), но и достаточно регламентируема по срокам и качеству усвоения материала. С этой точки зрения, ИСДО позволяет более четко осуществлять контроль за процессом обучения студентов (например, сроки прохождения тестов, время ответов на вопросы теста, повторное тестирование), и в то же время, облегчает труд преподавателя, оставляя ему время для творческой работы: обновление (совершенствование) методических материалов и т.п.

Структура ИСДО может быть представлена в виде взаимодействия сервер-клиент. На серверной части устанавливаются информационные службы, серверы Интернет и системы управления базами данных (например, SQL-сервер). Администратор системы может воздействовать на эти компоненты системы, управляя ими. Клиентская часть представлена удаленными пользователями, которые классифицируются тремя группами - студенты, преподаватели и гости системы. В соответствии с группой обеспечивается доступ к различным ресурсам серверной части.

ИСДО помимо процесса обучения позволяет студентам обмениваться сообщениями, как на учебные темы (дискуссии, где обсуждаются не только учебные достижения, но и «открытия» студентов), так и на отвлеченные темы: книги, фильмы, спорт, компьютерные новости и т.д. Подобное общение не только не мешает учебному процессу, а наоборот, способствует более близкому знакомству студентов между собой и с преподавателями, делает обстановку в обучающей среде более дружелюбной [25].

РОС. НАЦИОНАЛЬНАЯ, БИБЛИОТЕКА СПегсИурт I M Мш \

ДО дает возможность принять участие в обучении тем, кто не может регулярно посещать аудиторные занятия, что хорошо дополняет существующую систему образования, способствует развитию сотрудничества и совершенствованию групповой, проблемно-поисковой учебной деятельности.

Процесс создания ИСДО может быть разбит на несколько этапов. Далее в четвертой главе подробно рассматриваются следующие этапы:

• разработка комплекса математических моделей для интеллектуальной системы ДО;

разработка методов представления учебного материала и знаний; разработка алгоритмов адаптивного тестирования; разработка методов оценки знаний студентов; разработка структур баз и банков данных;

разработка системы администрирования и защиты информации от несанкционированного доступа

В пятой главе приводится подробная реализация указанных выше этапов проектирования, осуществляется экспериментальная разработка интеллектуальной системы дистанционного обучения, описываются все ее функциональные части, их структура, характеристики и возможности. В такую систему автором включены: подсистема интеллектуальной поддержки процесса обучения и тестирования; подсистема обучения и подготовки учебных ресурсов; подсистема адаптивного тестирования и конструирования тестов; подсистема локального тестирования, создания и редактирования тестов; подсистема тестирования на бланках и распознавания результатов бумажного тестирования; подсистема статистики, подготовки ведомостей и анализа результатов тестирования; подсистема конвертации и обработки тестов на основе стандарта IMS QTI; подсистема верификации, проверки валидности тестов и автоматизации экспертизы; подсистема интерактивного взаимодействия; подсистема безопасности и защиты информации; подсистема поддержки учебного процесса; виртуальная библиотека. Предложенная система разрабатывается на основе программного обеспечения Интернет-систем.

Общая структура системы

Развитие информационных технологий в образовании требует нового подхода в проектировании интеллектуальных систем дистанционного обучения. Если раньше такие системы могли представлять собой набор гипертекстовых, мультимедийных электронных материалов и тестов, то теперь становится крайне необходимо систематизировать и наполнить системы интеллектуальной «начинкой». Главные требования к таким системам: интеллектуальность, открытость, гибкость и адаптивность при организации процесса обучения. Один из таких подходов рассматривается в данной работе. Разработку подобных систем и методов, лежащих в основе их функционирования, будем рассматривать на примере интеллектуальной образовательной среды (ИОС) дистанционного обучения и тестирования в Интернет «KnowledgeCT», разработанной автором данной диссертационной работы в Таганрогском государственном радиотехническом университете.

В состав среды дистанционного обучения входят: подсистема обучения, подсистема тестирования, подсистема администрирования, электронная библиотека, подсистема безопасности и защиты информации, подсистема интерактивного

взаимодействия, аудио- и видеоконференций и подсистема помощи и обучения работы в «KnowledgeCT».

Каждая часть среды представляет собой сложный программный комплекс, функционирующий на основе разработанного в данной диссертационной работе математического обеспечения, оригинальных алгоритмов, реализующих различные интеллектуальные методы. Рассмотрим подробно наиболее важные подсистемы.

Подсистема тест ирован ия

Важнейшей частью образовательной среды дистанционного обучения является подсистема тестирования. Ее структура приведена на рис.9.

Модуль адаптивного тестирования обращается к хранилищу тестов, которое содержит все вопросы и ответы, настройки для каждого теста и прочую информацию, производит опрос, обрабатывает результат и заносит его в хранилище результатов.

Модуль создания тестов или Редактор тестов обращается к тому же хранилищу и позволяет пользователю (разработчику теста) создать новый тест, изменить настройки теста, редактировать вопросы и ответы, использовать в одном тесте вопросы других, т.е. обеспечить слияние тестов, которое необходимо, например, при составлении итогового теста, основанного на промежуточных тестах. Кроме того, модуль решает проблемы синхронизации пользователей Интернет, исключает возможность одновременного редактирования одного и того же теста различными пользователями, обеспечивает сохранность авторских прав - тест

должен быть доступен для редактирования только создателю или тем, кому создатель теста предоставит свои права

Методы и алгоритмы адаптивности тестов предполагают ввод следующей информации в процессе создания теста

• количество уровней сложности,

• ограничение по времени на прохождение теста,

• минимальное и максимальное количество вопросов,

• разбиение материалов теста на уровни сложности,

• разбиение материалов теста по темам

Создание тестов может проходить в режиме on-line через Интернет либо в режиме локального редактирования и создания тестов В этом случае используется соответствующий модуль, который может интегрировать разработанные локально тесты в хранилище тестов, доступное пользователям через Интернет Аналогичным образом может использоваться модуль локального тестирования Зачастую он решает задачи, связанные с самооценкой знаний учащихся в процессе обучения Студент сам проверяет себя на локальном компьютере, узнает свои слабые места, пытается повысить уровень своих знаний и только после этого выходит на тестирование через Интернет, где каждый результат тестирования учитывается в хранилище данных

Модуль статистики и анализа результатов тестирования должен предоставить преподавателю и администратору возможность просмотреть результаты обучения и тестирования отдельного студента или целой группы по одной или нескольким дисциплинам По каждому указанному тесту модуль формирует ведомости, анализирует успеваемость студентов, предлагает статистику обучения, дает рекомендации по результатам тестирования с целью повысить уровень знаний группы учащихся или конкретного студента

Модуль интеллектуальной поддержки тестов решает важнейшую задачу реализации интеллектуальных методов оценки знаний студента Здесь необходима разработка и использование математических методов и моделей поведения обучаемого, разработка критериев оценки его знаний, способностей и умений

В настоящее время в области образования намечается тенденция перехода от письменных экзаменов к тестированию на специфических печатных бланках, которые впоследствии проверяются при помощи компьютерных систем Данных подход помогает ускорить процесс проверки работ и облегчить работу преподавателей

С этой точки зрения любая интеллектуальная система дистанционного обучения должна иметь средство для поддержки тестирования на бумажных формах с последующей автоматизированной проверкой этих бланков на основе методов распознавания Для организации процесса тестирования необходимо разработать методы и программные средства, выполняющие следующие функции

• подготовка тестов к печати,

• печать бланков с тестами,

• сканирование бланков, на которых было проведено тестирование,

• распознавание,

• оценка результатов

Именно эти задачи решают модуль создания тестов и шаблонов ответов для бумажного тестирования и модуль распознавания результатов бумажного тестирования. Одна из особенностей задачи, решаемой данными модулями, заключается в том, что форма для ответов на вопросы не выносится на отдельный бланк, т.е. места под ответы находятся в непосредственной близости от самих вопросов. На одном бланке может быть произвольное число вопросов, зависящее только от длины вопросов, вследствие чего для решения поставленной задачи может не подойти существующая система FormReader [26]. Модуль позволит подготавливать тесты, где тексты вопросов будут совмещены с пространством для ответов.

Модуль верификации и проверки валидности тестов является важнейшим компонентом интеллектуальной системы дистанционного обучения в обеспечении контроля качества разрабатываемых и предъявляемых тестов. Модуль решает задачи анализа корректности тестов, которая включает в себя два аспекта. Во-первых, это непосредственный анализ тестовых заданий и обнаружение ошибок, а, во-вторых -формирование адекватных рекомендаций для их устранения. Основной особенностью задачи является ее неформализованность и отсутствие завершенной теории для ее решения. Поэтому одним из направлений при постановке задачи является возможность модификации принципов и способов построения системы [27]. Решение задачи анализа корректности тестов может быть разбито на несколько этапов: построение лексического анализатора; формирование статистики о прохождении тестовых заданий и предъявлении вопросов; разбор статистики и предъявление ее пользователю, а также формирование методических рекомендаций по составлению тестов. Результаты статистики прохождения тестовых заданий помогают выявить сложные и простые вопросы, рекомендовать изменить уровень сложности тех или иных вопросов, рекомендовать скорректировать или исключить слишком сложные или слишком простые вопросы, поскольку они не позволяют корректно оценить уровень знаний студентов. Действительно, как оценивать уровень знаний по вопросу, на который ответили все 100% опрошенных или, наоборот, на который не ответил никто? Наконец, принципы и алгоритмы построения рассматриваемого модуля могут быть применены не только при проверке корректности тестов, но также и при категориальном анализе тестов, тематическом разбиении материала.

Среда дистанционного обучения «KnowledgeCT» является открытой, что обеспечивается наличием подсистемы конвертации и обработки тестов на основе стандарта IMS QTI. Эта подсистема позволяет связываться с другими системами тестирования и обмениваться тестами. Таким образом, подсистема поддержки стандартов IMS QTI должна осуществлять три важнейшие функции: обработку тестов в формате IMS QTI, обработку тестов в формате системы «KnowledgeCT» и конвертацию тестов из одного формата в другой.

Подсистема обучения

Структура подсистемы приведена на рис. 10. В нее входят такие части, как: модули создания учебных курсов (локально и через Интернет), модуль локального обучения, модуль создания мультимедийных курсов. Вся электронная учебная информация находится в хранилище курсов в системе дистанционного обучения.

Проблему сопровождения процесса обучения можно решить с помощью мониторинга, как это было рассмотрено ранее [28,29]. При личных контактах со студентом преподаватель имеет большую возможность в определении личностных качеств и индивидуальных особенностей обучаемого, что позволяет ему адекватно корректировать процесс обучения. Для этого преподаватель использует концептуальную модель обучаемого. В случае дистанционного обучения такой возможности у преподавателя практически нет. Подобную форму обучения вполне логично рассматривать как человеко-машинную систему, в которой обучаемый и преподаватель выступают в роли человека-оператора. Следовательно, как и при проектировании человеко-машинной системы, при создании системы дистанционного обучения следует решать вопросы перераспределения функций между человеком и вычислительными средствами.

Передачу знаний и навыков можно условно разделить на две части: интеллектуальную (творческую) и технологическую. Интеллектуальная часть включает: сбор знаний, их систематизацию (структурирование), генерализацию (вычленение главных аспектов знаний в предметной области), передачу знаний в форме живого общения преподавателя с обучаемым (лекции, семинары, консультации). Технологическая часть включает: тестирование, проверки объема усвоенных знаний и приобретенных навыков, тренировки по закреплению знаний и навыков, а также самоконтроль глубины и прочности усвоенного. В процессе накопления знаний и совершенствования методики обучения происходит смещение границы с расширением технологической области при одновременном расширении

внешней границы предметной области за счет включения в нее новых знаний (навыков) или глубины их представления.

Подсистема мониторинга и интеллектуальной поддержки процесса обучения и тестирования

На рис.11 приведена информационная структура модуля интеллектуальной поддержки системы дистанционного обучения.

Интеллектуальные средства обучения и тестирования включают: мониторинг процесса обучения, обучающие экспертные системы, игровые обучающие программы, модули промежуточного и адаптивного тестирования.

Мониторинг процесса дистанционного обучения [28,29] подразумевает контроль деятельности обучаемого, построение его индивидуальной модели и генерацию управляющих решений по корректировке поведения обучаемого для достижения им поставленных целей обучения. Для осуществления мониторинга процесса обучения сначала на основе экспертных оценок, т.е. учитывая существующий опыт преподавания, строится предварительная модель обучаемого для некоторого предмета (курса). При этом предполагается, что процесс обучения представляет собой последовательную совокупность освоения отдельных разделов учебного материала. Учебный материал разбивается на несколько модулей (информационных блоков, этапов обучения) таким образом, чтобы можно было проконтролировать степень освоения изученного материала (тестирование,

контрольная работа, семинар и тп) Выделяются возможные результаты проверки знаний и умений для каждого модуля, определяются способы освоения материала, а также описываются (преподавателем) возможные варианты поведения обучаемого при переходах между модулями курса Затем с учетом предпочтений обучаемого в выборе способов освоения материала, результатов обучения (база данных параметров деятельности результаты промежуточного контроля на этапах обучения, время изучения материала, время тестирования и тд) определяются цели обучения и формируется индивидуальная модель обучаемого Далее выделяются стратегии поведения, наиболее соответствующие индивидуальному стилю обучаемого, а также стратегии, ориентированные на достижение цели обучения На основании полученных данных осуществляется прогноз деятельности обучаемого В случаях, когда выбранная обучаемым исходная стратегия перестает быть эффективной по отношению к заданной цели, подсистема генерирует рекомендации по трансформации индивидуальной стратегии обучаемого

Обучающие экспертные системы ориентированы на проверку умений студента решать задачи по конкретному учебному курсу Они строятся на основе инструментальных средств, позволяющих преподавателю создавать базы знаний альтернативного принятия решений Экспертная система оценивает логику принятия решений и результаты вычислений, и в случае выбора неоптимальной или неправильной альтернативы отсылает обучаемого к соответствующим разделам учебного гипертекстового материала

В игровых обучающих программах тестирование знаний и умений студента осуществляется в ходе активной мультимедийной игры Построение игры осуществляется преподавателем посредством создания сценария из набора отдельных, заранее разработанных мультимедийных фрагментов и привязки к препятствиям игры тестовых заданий, ранжированных по уровням сложности Игровая программа может иметь как обучающий, так и аттестационный характер В первом случае, при неправильном решении тестового задания обучаемому объясняется соответствующий учебный материал и дается возможность повторения попытки Во втором случае, дается комплексная оценка прохождения всех препятствий игры, в зависимости от стратегии выбора тестовых заданий

Модули промежуточного тестирования предназначены для текущего контроля знаний и построены на алгоритмах нечеткой логики Методика оценки уровня знаний включает два основных этапа оценку результатов выполнения каждой выделенной группы тестовых заданий и интегральную оценку уровня знаний Первый этап реализуется на основе экспертной системы, база знаний которой содержит утверждения, отражающие мнение преподавателя учебного курса относительно оценки результатов выполнения каждой группы заданий, а также схем рассуждений, позволяющих автоматически оценивать уровни знаний, в зависимости от конкретных измерений Интегральная оценка знаний основана на использовании операторов свертки оценок, полученных на предыдущем этапе Особенность данных операторов состоит в том, что они позволяют учитывать различную важность каждого типа тестовых заданий и, в зависимости от этого, относить полученные оценки к одному из четырех классов "отлично", "хорошо", "удовлетворительно" и "неудовлетворительно" В результате функционирования данных модулей, на момент аттестационного тестирования, все студенты классифицируются по уровням (группам) знаний Это позволяет на этапе адаптивного тестирования даже первый

вопрос задавать не случайным образом, а выбирать из группы тестовых заданий, соответствующих выявленному раннее уровню знаний. Подсистема адаптивного тестирования позволяет задавать каждый следующий вопрос в зависимости от ответов на все предыдущие вопросы. Вопросы, задаваемые подсистемой по каждому предмету, разбиваются на несколько уровней по мере возрастания сложности вопросов. Вопросы задаются целенаправленно, за счет предварительной оценки каждого студента, полученной на этапе промежуточного (рейтингового) тестирования. Проводя опрос, система адаптивного тестирования накапливает сведения о студенте и выставляет ему комплексную оценку, учитывая такие параметры, как количество правильных ответов, время прохождения теста, а также количество попыток прохождения каждого уровня.

Подсистема администрирования

Рассмотрим кратко важнейшие функции по администрированию системы дистанционного обучения. В основные функции системы администрирования должны входить: возможность регистрации пользователей; возможность редактирования БД пользователей; работа с хранилищами учебных курсов и тестов по выделению прав доступа.

Подсистема администрирования тесно связана с подсистемой обеспечения безопасности и защиты информации, которая рассматривается далее.

Подсистема безопасности и защиты информации

Следует учесть, что системы дистанционного обучения активно взаимодействуют с пользователями - учителями, учениками, гостями, случайными посетителями. И нельзя делать исключения или упрощения при проектировании систем безопасности для систем дистанционного обучения. В диссертации подробно рассматриваются модели и методы обеспечения информационной безопасности, используемые при реализации интеллектуальной системы дистанционного обучения «KnowledgeCT».

В заключение диссертационной работы сформулированы наиболее значимые результаты диссертационной работы и выводы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

Автором настоящей диссертационной работы решена крупная научная проблема, связанная с созданием методологии и технологии проектирования сложных поведенческих систем на основе синтеза теорий нечеткой логики, правдоподобных рассуждений, пространств знаний и методов непараметрической статистики, имеющая важное значение для развития форм открытого образования.

Новизна полученных результатов заключается в:

• создании методологии проектирования интеллектуальных систем в сфере дистанционного образования, базирующейся на соединении методов нечеткой логики, правдоподобных рассуждений и непараметрической статистики качеств;

• разработке технологии обработки и представления знаний, что является основой для проектирования электронных средств учебного назначения;

• проектировании в сфере образования интеллектуальных систем с учетом синтеза логического и логичного мышления, обеспечивающего создание математического и программного обеспечения адекватного описанию поведения объектов обучения;

• применении разработанных технологий при создании моделей и алгоритмов функционирования интеллектуальных систем дистанционного обучения.

На основании результатов данной работы можно сделать следующие выводы.

1. Методология проектирования сложных интеллектуальных систем должна строится с учетом синтеза ценностно-ориентированного и логико-гносеологического подходов, обеспечивающих описание процессуальной стороны результата образования.

2. Технология проектирования поведенческих, интеллектуальных систем дистанционного обучения базируется на методах представления, преобразования знаний на основе нечеткой логики, правдоподобных рассуждений и математической и программной обработке данных учебного назначения, в основе которой положена теория пространств знаний, методы экспертного анализа и непараметрической статистики.

3. Математическое и программное обеспечение, разработанное автором диссертационной работы, опираясь на методы оценки и контроля знаний, позволяет: проводить классификацию и оценку учебных достижений учащихся; проводить экспертизу и анализировать тесты и тестовые задания на корректность формы и содержания, повышая тем самым точность результатов тестирования; улучшать информационное и учебно-методическое обеспечение процесса обучения.

4. Модели и алгоритмы, предложенные автором данной диссертационной работы, позволяют: анализировать результаты обучения и делать соответствующие выводы по качеству тестов и тестовых заданий; вводить и обрабатывать учебные материалы через Интернет; проводить обучение и тестирование через Интернет; формировать отчетные и итоговые ведомости по результатам мониторинга процесса дистанционного обучения.

5. Разработанные автором данной диссертации методы анализа мнений экспертов утверждены заместителем начальника Государственной инспекции образования А.А.Киринюком и приняты в процессе оценки качества тестовых материалом органом по сертификации (аттестат аккредитации № Росс Ки.001.11СП13).

6. Применение математического и программного обеспечения позволило создать реально действующую интеллектуальную систему дистанционного обучения «KnowledgeCT», успешная эксплуатация подтверждается соответствующими актами (Приложения 1,2,3).

7. Результаты диссертационной работы могут иметь дальнейшее широкое применение для дистанционного обучения и проверки уровня учебных достижений в открытом образовании в различных образовательных учреждениях, в центрах тестирования, в центрах переподготовки, в центрах занятости, в любых предприятиях и организациях при тестировании служащих на профессиональную пригодность и для проведения классификации и аттестации сотрудников предприятий.

СПИСОК ЦИТИРУЕМОЙ ЛИТЕРАТУРЫ

1. Основы открытого образования / А.А. Андреев, С.Л. Каплан и др.; Отв.ред. В.И.Солдаткин. Т.1. Российский государственный институт открытого образования. М.:НИИЦ РАО, 2002. 676с.

2. Российский портал открытого образования: обучение, опыт, организация / Отв. ред. В.И.Солдаткин. М.:МГИУ, 2003.508 с.

3. Искусственный интеллект: В 3-х кн. Кн. 2. Модели и методы: Справочник/ Под ред. Д.А. Поспелова. М: Радио и связь, 1990. 304с.

4. Попов Э.В. Экспертные системы: Решение неформализованных задач в диалоге с ЭВМ. М.: Наука. Гл. ред. физ.-мат. лит., 1987.288с.

5. Минский М. Фреймы для представления знаний: Пер. с англ. М.: Энергия, 1979. 152с.

6. Убиенных Г.Ф., Убиенных А.Г. Сравнительный анализ методов представления знаний в базах знаний. //Пензенский государственный университет, 2002.

7. Пойа Д. Математика и правдоподобные рассуждения. М.: Наука, 1975.464с.

8. Doignon, J-P., Falmagne J-C. (1999) Knowledge Spaces.

9. Ресурсы Интернет http://www.aleks.com.

10. Birkhoff, G. Lattice Theory. Providence, R.I.: American Mathematical Society. 1967.

11. Davey, B.A. & Priestley, H.A. Introduction to Lattice and Orders. Cambridge University Press. 1990.

12. Dowling, C.E. On the irredundant construction of knowledge spaces. Journal of Mathematical Psychology, 37,1993. 49-62.

13. Koppen, M. Extracting human expertise for constructing knowledge spaces: an algorithm. Journal of Mathematical Psychology, 37,1993.1-20.

14. Garey, M.R. & Johnson, D.S. Computers and Intractability: A guide to the theory of NP-completeness. New York: W.H. Freeman. 1979.

15. Астанин СВ. Трансформационная модель поведения//Межвузовский сборник научных трудов «Объектно-ориентированный анализ и проектирование адаптивных интеллектуальных систем реального времени». - Новочеркасск: НГТУ. 1996.

16. Отчет по НИР "Исследование и разработка методов и правил сертификации программно-педагогических тестовых заданий, тестов и технологий компьютерного тестирования"/ Д.И. Попов, СВ. Астанин, В.М. Курейчик и др., инвен.номер 02200204937 ВНТИЦ 2002.91 с.

17. Отчет по НИР "Разработка методов и алгоритмов автоматизированной проверки корректности материалов тестов и тестовых заданий"/ Д.И. Попов, СВ. Астанин, В.М. Курейчик и др., инвен.номер 02200300382 ВНТИЦ 2003. 52 с.

18. Красильников В.В. Статистика объектов нечисловой природы. Наб.Челны: Изд-во Камского политехнического института., 2001.144с.

19. Васильев В.И., Тягунова Т.Н. Культура компьютерного тестирования. Часть II. Программно-дидактическое тестовое задание. М.: МГУП, 2002. 90с.

20. Вишняков Ю.М., Кодачигов В.И., Родзин СИ. Учебно-методическое пособие по курсам "Системы искусственного интеллекта", "Методы распознавания образов". Таганрог: Из-во ТРТУ, 1999.

21. Уотермен Д. Руководство по экспертным системам: Пер. с англ. М: Мир, 1989. 388с.

22. Гаврилова Т.А. Червинская К.Р. Извлечение и структурирование знаний для экспертных систем. М.: Радио и связь, 1992. 200 с.

23. Открытое образование - объективная парадигма XXI века / Под общей ред. В.П. Тихомирова. М.: Изд-во МЭСИ, 2000.

24. Интернет-образование: не миф, а реальность XXI века / Под общей ред. В.П. Тихомирова. М.: Изд-во МЭСИ, 2000.189 с.

25. Карпенко А.В. Сравнительный анализ традиционной и телекоммуника-ционной схем организации проблемно-поисковой деятельности студентов// Дистанционное образование. 1999. №6. С. 10-15.

26. http://walker.abbyy.com.ua/finereader/forms/index.asp.

27. Васильев В.И., Демидов А.Н., Малышев Н.Г., Тягунова Т.Н. Методологические правила конструирования компьютерных педагогических тестов. М.: Изд-во ВТУ, 2000.

28. Астанин СВ., Калашникова Т.Г. Разработка индивидуальной модели поведения обучаемого в системе дистанционного образования// Перспективные информационные технологии и интеллектуальные системы. Таганрог. 2001. № 5.

29. Астанин СВ. Мониторинг процесса обучения в системе открытого образования // Интеллектуальные САПР. Таганрог. 2001. №4.

30. Горюнов И. Спрос меняет предложение // «Поиск» от 30.09.2004 (http://www.poisknews.m/_mgz/aUstatya.asp?taЫe=mgzlnfosfer&id= 171).

Основные результаты диссертационной работы отраженью следующих работах.

МОНОГРАФИИ

1. Попов Д.И. Методы и технологии поддержки открытого образования на основе интеллектуальной информационно-образовательной среды дистанционного обучения. / Научное издание. Таганрог: Изд-во ТРТУ, 2003.- 168с.

2. Астанин СВ., Попов Д.И., Жуковская Н.К., Калашникова Т.Г. Применение математических методов и моделей в дистанционном обучении. / Научное издание. Таганрог: Изд-во ТРТУ, 2003. - 183с.

Соискателем предложены способы классификации студентов по уровням знаний (С.22-38), математические и программные средства адаптивного тестирования (С. 52-59).

ОСНОВНЫЕ ПУБЛИКАЦИИ

1. Попов Д.И. Способ оценки знаний в дистанционном образовании на основе нечетких отношений//Дистанционное образование № 6, М.:2000. - С.26-29.

2 Попов Д И Оценка знаний в дистанционном обучении//Материалы Восьмой международной конференции "Открытое образование в России XXI века" Тезисы докладов Москва Изд-во МЭСИ, 2000 - С 183-188

3 Попов ДИ Инструментальная система дистанционного обучения и тестирования в Интернет - KnowledgeCT II Тезисы докладов 2-ой Всероссийской конференции "Электронные учебники и электронные библиотеки в открытом образовании" Москва Изд во МЭСИ 2001-С371-379

4 Попов Д И Перспективы разработки мультимедийного методического и сетевого обеспечения для ИОС Южно-российского региона. //Труцы Международной научно-методической конференции Телематика-2001, Санкт-Петербург, 2001 -С 230-231

5 Попов Д И Возможности интеллектуальной системы дистанционного обучения в Интернет - KnowledgeCT II Перспективные информационные технологии и интеллектуальные системы» №1,2001 Таганрог 2001 -С247-254

6 Попов Д И Метод оценки результатов электронного тестирования через Интернет // Тезисы докладов III Научно-методической конференции «Развитие системы тестирования в России» - М Центр тестирования Министерства образования РФ, 2001 - С 243

7 Попов ДИ Технология дистанционного обучения в Интернет на основе интеллектуальных систем// II я Международная научно-практическая конференция «Проблемы регионального управления, экономики, права и инновационных процессов в образовании» Тезисы докладов Таганрог Изд-во ТИУиЭ,2001 - С 148-149

8 Попов ДИ Проектирование интеллектуальных систем дистанционного образования// Известия Таганрогского государственного радиотехническою университета (ТРТУ) №4/2001 Тематический выпуск «Интеллектуальные САПР» Таганрог Изд во ТРТУ, 2001 - С 325-332

9 Попов ДИ Способы автоматизированной оценки тестов в дистанционном обучении// Труды конгресса «Искусственный интеллект в XXI веке» Научное издание -М Издательство Физико-математической литературы, 2001 -С 545551

10 Попов ДИ Подсистема адаптивного тестирования среды дистанционного обучения // Сборник трудов участников XII конференции-выставки «Информационные технологии в образовании» Часть V - М МИФИ, 2002 -С 45-46

11 Попов Д И Поддержка стандарта IMS QTI и проверка валидности для тестовых заданий и тестов в интеллектуальной образовательной среде дистанционного обучения в Интернет «KnowledgeCT» II «Современная образовательная среда»/ Тезисы докладов по материалам Всероссийской конференции - М Всероссийский выставочный центр, 2002 - С 104-105

12 Попов ДИ Метод вычисления обобщенной экспертной оценки качества тестовых заданий для реализации в Интернерт // Материалы конференции «Развитие методов и средств компьютерного адаптивного тестирования» М 2003 - С 94-98

13 Попов ДИ Об особенностях экспертизы тестовых материалов // Материалы Второй Всероссийской научно-методической конференции «Развитие методов и средств компьютерного адаптивного тестирования» М 2004 - С 87-89

14 Попов Д И , Васильев В И Модель представления экспертных знаний в системах автоматизации управления полиграфическим предприятием// Известия вузов Проблемы полиграфии и издательского дела № 1 '2004, М 2004 - С 44-56

Соискателем предложена идея использования теории пространства знаний в системах управления полиграфическим предприятием и архитектура таких систем (С 45-54)

15 Астанин С В, Курейчик В М, Попов Д И, Кузьмицкий А А Интеллектуальная образовательная среда дистанционного обучения //Новости искусственного интеллекта М , 2003, №1 (55) -С 7-14

Соискателем предложена архитектура интеллектуальной образовательной среды дистанционного обучения (С 7-10)

16 Попов Д И, Голец ИН Представление тестовых заданий на основе теории пространства знаний //Известия Таганрогского государственного радиотехнического университета (ТРТУ) Тематический выпуск «Интеллектуальные САПР», Таганрог, 2003 - С 286-290

Соискателем предложены особенности реализации методов и способы оптимизациипредставлениязнаний сучетом особенности Интернет (С288-290)

17 Dmitry Popov, Alexander Khadzhinov "Safety Subsystem of Intelligent Software Complex for Distance Learning" // Proceedings of 2002 IEEE International Conference on Artificial Intelligence Systems (ICAIS 2002), pp464465, IEEE Inc, 2002

Соискателем предложена модель безопасности в интеллектуальных системах дистанционного обучения (р 465)

18 Попов Д И, Голец И Н Модель представления знаний в интеллектуальной системе дистанционного образования// Известия Таганрогского государственного радиотехнического университета (ТРТУ) №4/2001 Тематический выпуск «Интеллектуальные САПР» Таганрог Изд-во ТРТУ, 2001 - С 332-336

Соискателем предложена модель описания формальных терминов и сделаны выводы (С 335-336)

19 Попов ДИ, Никифорова AM Оценка тестовых заданий при дистанционном контроле знаний// Перспективные информационные технологии и интеллектуальные системы Х°1/2001 - С 206-214

Соискателем предложены способы оценки уровня учебных достижений в адаптивных системах дистанционного обучения и тестирования (С 206-213)

20 Астанин С В, Попов Д И, Калашникова ТГ Особенности реализации функционирования интеллектуальной системы дистанционного обучения «<KnowledgeCT»// Труды конгресса «Искусственный интеллект в XXI веке» Научное издание-М Издательство Физико-математической литературы, 2001 -С 599-605

Соискателем предложено использовать интеллектуальные компоненты в

системах дистанционного обучения (с 602-605)

Подписано в печать 20.10.2004 г. Объем 2,75 пл. Тираж 120 эю. Заказ № 533/418

Московский государственный университет печати 127500, Москва, ул. Прянишникова, 2а. Отпечатано в ИНК МГУП

122069

РНБ Русский фонд

2005-4 21015