автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Модели нечеткого оценивания дискретных параметров пользователя в системах обучения

І

І'. '■*

/-ч

І": Національна академія наук України

Інститут кібернетики імені В. М. Глушкова

На правах рукопису

УДК 681.3.6

СИНИЦЯ Катерина Михайлівна

МОДЕЛІ НЕЧІТКОГО ОЦІНЮВАННЯ ДИСКРЕТНИХ ПАРАМЕТРІВ КОРИСТУВАЧА В СИСТЕМАХ НАВЧАННЯ

05.ІЗ.9с’— математичне моделювання у наукових дослідженнях

Автореферат дисертації на здобуття наукового ступеня кандидата технічних наук

Ха“з 1597

Дисертацією є рукопкс.

Робота виконана в Інституті кібернетики імені В. М. Глуш-коза НАН України.

Науковий 'керівник: кандидат фізико-математичних наук, старший науковий співробітник ПЕТРУШИН Валерій Олександрович.

Офіційні опоненти: доктор технічних наук, професор ТАРАСОВ Віктор Олексійович,

V

кандидат фізико-математичних наук, доцент ЗАСЛАВСЬКИЙ Володимир Анатолійович.

Провідна організація: Науково-дослідний центр Генерального штабу Збройних Сил України.

Захист відбудеться « Ж -22------------------ 19/Л. 0

год. на засіданні спеціалізованої вченої ради Д 01.39.06 при Інституті кібернетики імені В. М. Глушкова НАН України за адресою:

252022 Київ 22, проспект Академіка Глушкова, 40.

З дисертацією можна ознайомитись у науково-технічному архіві інституту.

Автореферат розісланий Ж, ¿з ----199 /¿р.

Учений секретар спеціалізованої вченої ради / РЕВЕНКО В. Л.

Актуальністьпроблеми. Поширене впровадження сучасних комп’ютерних технологій і систем викликає необхідність досліджень, спрямованих на підвищення ефективності їх використання. Одним з перспективних напрямків є розвиток засобів адаптації до користувача з метою створення сприятливих умов його праці та більш повного використання інтелектуального потенціалу. Сучасні психологічні дослідження виявили, що урахування когнітивних та афективних рис особистості дозволяє значно підвищити продуктивність його роботи з системами, які орієнтовані на формування знань, у тому числі, з системами навчання. Це пов!язано з індивідуалізацією підтримки когнітивних процесів за рахунок надання своєчасної та контекстно-орієнтованої допомоги, поліпшення інформаційного обслуговування, а також з додатковою мотивацією іого, хто навчається, підвищенням його самооцінки та зміцненням упевненості у своїх силах. - -

Створення сприятливого середовища для роботи користувача з інтерактивною системою грунтується на аналізі його стану знань, звичок, переваг використання певних методів, інформаційних потреб, планів та намірів тощо. Результати цього аналізу . відображаються у вигляді моделі користувача, яка містить інформацію, необхідну для адаптації, тобто для модифікації її дій, інтерфейсу та характеру спілкування. .

В останні роки інтенсивні дослідження та пошук нових методів моделювання користувачів пов’язані, з одного боку, з розповсюд- ' женням інформаційного простору Ітегпеї та засобів телекомуні-кацій, а з другого - з розвитком навчальних середовищ розв’язання задач як засобів самостійного набуття знань в різних галузях. Поширення контингенту користувачів інформаційних ресурсів,

зокрема різноманіття складу тих, хто навчається з використанням засобів телематики, виявило необхідність визначення узагальнених •характеристик груп користувачів і розробки параметричних методів адаптації (де Росис). Це, в свою чергу, потребує побудови методів оцінювання таких характеристик (наприклад, рівня знань, необхідності допомоги) на підставі інформації, що надходить, та шляхом • опитування користувача.

Інформація, яка використовується для оцінювання параметрів адаптації, є неточною, неповною та суперечливою, що пов’язано, з одного боку, із природою цих параметрів, а з другого - з тією роллю, яка відводиться комп’ютерній системі при організації самостійного навчання. Використання методів робрти з нечіткою інформацією для навчальних середовищ є необхідним для розпізнавання планів, намірів та переваг користувачів (Джеймсон), оск|льки отримання даних не може регулюватися системою, не порушуючи звичайного процесу робрти. '

Дослідження в області когнітивного моделювання учнів (ВанЛен, Лесгольд) виявили необхідність створення узагальнених, незалежних від .специфіки предметної області моделей, що дозволило б спростити та прискорити їх розробку для нових систем. Таким чином, проблема створення моделей нечіткого оцінювання параметрів користувачів систем навчання є актуальною в теоретичному та прикладному аспектах.

Метою досліджень є створення моделей нечіткого оцінювання дискретних параметрів користувача на основі байєсовського підходу та теорії Демпстера - Шейфера за умов випадкового надходження інформації та цілеспрямованого .її збору, а також програмна реалізація таких методів і моделей. Досягнення мети забезпечене завдяки вирішенню таких задач:

з

1. Розробка узагальненого підходу до нечіткого оцінювання

параметрів користувачів та вимог щодо системи оцінювання за умов неповної інформації. '

2. Створення моделі оцінювання дискретного параметра на підставі теорії функцій упевненості з урахування«! підлеглості гіпотез, дослідження її властивостей та розробка ефективного методу обчислення характеристик гіпотез при поступовому надходженні інформації.

3. Розробка методу та створення моделі оцінювання характеристик користувача в середовищі розв'язання задач (СРЗ).

4. Створення моделей оцінювання рівня знань того, хто навчається, на підставі теорії функцій упевненості, байєсопського методу прийняття рішень та байєсовських сітей (БС).

5. Програмна реалізація експериментальної системи, яка містить адаптивний алгоритм оцінювання рівня знань, а також проведення експерименту для визначення відповідності оцінок, які встановлюються розробленою системою, оцінкам, що одержані традиційними методами.

Методи досліджень. У роботі застосовано методи теорії ймовірностей, теорії графів, математичної статистики, прийняття рішень, теорії функцій впевненості, БС, методи штучного інтелекту, а. також сучасні методи проектування та реалізації програмного забезпечення.

Наукова, новизна роботи.

1. Запропоновано узагальнений підхід до нечіткого оцінювання дискретних параметрів користувача і на його підставі ство-’ рено методи побудови моделей пасивного та активного оцінювання різних типів.

2. Досліджені та доведені властивості пірамідальної ієрархії гіпотез в теорії Демпстера - Шейфера, на основі яких розроблено

ефективний алгоритм покрокового обчислення характеристик гіпотез.

3. Запропоновані структура і метод створення моделі пасивного оцінювання характеристик користувача в СРЗ, який грунтується на аналізі необхідних знань, методів розв'язання задачі, планів та діяльності користувача та враховує особливості формування гіпотез згідно з вимогами апарату моделювання.

4. Створені .моделі активного нечіткого оцінювання рівня знань того, хто навчається, на основі теорії Демпстера - Шейфера та апараті БС. Запропоновані педагогічно-обгрунтовані стратегії оцінки рівня знань та розроблені відповідні адаптивні алгоритми.

Практична цінність роботи полягає в розробці: інструментального комплексу програм, призначеного* і для побудови та реалізації адаптивних засобів оцінки рівня знань з набором тестів з природних і точних дисциплін для випускників середньої школи, який був використований для абітурієнтів природознавчого факультету Університету "Києво-Могилянська академія"; програмних засобів для макетування нечітких моделей оцінювання дискретних параметрів; автоматизованого курсу для контролю знань з мови програмування Бейсік, який впроваджено в Полтавському вищому військовому училищі зв'язку. Розроблені програмні засоби, моделі, методи та алгоритми можуть бути використані для автоматизації контролю знань, створення підсистем допомоги для СРЗ, розвитку засобів адаптації у діалогових системах.

Реалізація_рєзультатів._робщ'И. Результати дисертації використовувалися при виконанні: проектів НАН України N 6.02.03/ 054-92 "Інтелектуалізація комп'ютерних технологій навчання на основі структуризації та активізації знань учбового призначення”, N 6.02.03/069-920.05.00/647-92 “Комп’ютерна технологія навчання: перспективні засоби та пріоритетні застосування", теми 407.02 “Розроб-

s

ка інформаційних технологій для створення інтелектуальних навчальних систем на підставі понятійно-орієнгованої інтерпретації знань експертів”.

Апробація.роботи. Основні положення дисертаційної роботи доповідалися на Міжнародному семінарі "Компьютерная технология обучения: сегодня и завтра" (Київ, 1991); Міжнародній конференції "East-West: Emerging information technologies in education" (Москва, 1992); І Український науково-методичній конференції "Новые информационные технологии обучения в учебных заведениях Украины" (Одеса, 1992); 6-й Міжнародній конференції “Artificial intelligence in education" (Едінбург, 1993); Міжнародній конференції "Computer technologies in education" (Київ, 1993), 7-й Міжнародній конференції “Artificial intelligence in education" (Вашингтон, 1995); наукових семінарах Інституту кібернетики ім. В.М. Глушкова НА1І України "Діалогові та навчальні системи" (1990-1996 pp.).

Публікації. За результатами дисертації опубліковано 12 праць.

Структура та обсяг роботи. Дисертація складається із вступу, чотирьох розділів, висновку, списку літератури (118 найменувань), п'яти додатків. Обсяг роботи - 148 сторінок машинописного'тексту, 11 таблиць, 12 рисунків.

ОСНОВНИЙ ЗМІСТ РОБОТИ

Х_ в ступі обгрунтовано вибір теми дисертаційної роботи, актуальність проблеми, яка досліджувалась, сформульовано мету роботи, наведено короткий зміст розділів дисертації. . ■

У_першому_розділі надано аналіз загального стану проблеми моделювання користувачів, проаналізовані мета створення і типи моделей користувачів та тих, хто навчається. В зв’язку з розвитком систем самостійного набуття знань проблеми створення моделей

користувачів можуть розглядатися на прикладі користувачів систем навчання.

Розглянуті основні напрямки класифікації моделей користувачів систем навчання та види характеристик, які потрібно враховувати при адаптації до користувача. Описується підхід, який грунтується на побудові стереотипів, що відображують узагальнені характеристики різноманітних груп користувачів. Цей підхід є перспективним для систем дистанційного навчання і потребує оцінювання параметрів користувача для визначення відповідного стереотипу.

Запропоновано загальну схему адаптації системи до користувача на підставі оцінювання його характеристик, виділені активні та пасивні методи оцінювання. В активних методах система здійснює вибір моменту оцінювання та змісту своїх дІй;'в залежності від цілей моделювання та взаємодії з користувачем. Серед активних методів оцінювання параметрів розрізнюють безумовні методи, методи з умовним припиненням оцінювання та адаптивні. Перші використовують заздалегідь підготовлену послідовність’ впливів або дій, другі припиняють виконання підготовленої послідовності при досягненні потрібної точності оцінювання. В адаптивних методах реакція будується або вибирається з оптимізацією деякої функції (наприклад, часу оцінювання). У пасивних методах інформація здобувається в міру її накопичення у протоколах без порушення звичайного порядку роботи користувача. '

Розглянуті методи оцінки рівня знань, що використовуються в освіті, надана їх класифікація, проаналізовані математичні методи і моделі, на яких засновані тести. Обговорюються переваги комп'ютерного тестування та недоліки традиційних тестів, наведені тенденції розвитку засобів оцінювання знань, спрямовані на об’єднання у рамках однієї моделі детальної та узагальненої інформації.

Зазначається необхідність урахування неточності інформації при моделюванні користувача та проаналізовані засоби відображення неповноти та суперечливості інформації п основних типах моделей. Розглянуті методи роботи з нечіткою інформацією, які засновані на теорії ймовірностей, методах роботи з нечіткими множинами, теорії функцій упевненості та БС, проаналізовані відповідні моделі користувачів. Виконаний аналіз дозволив обгрунтувати актуальність теми, сформулювати основні завдання роботи та визначити необхідні для їх вирішення математичні методи.

У-Другому, розділі розглядається постановка задачі нечіткого оцінювання та узагальнений підхід до її розв’язання, а також' конкретизація запропонованого підходу з використанням байєсов-ських методів для створення моделей активного та пасивного оцінювання.

Нечітке оцінювання дискретного параметра полягав у виборі певної гіпотези щодо його значення на підставі інформації, що надходить із джерел у вигляді так званих свідчень. Опитування джерела може викликати появу декількох свідчень, які стосуються різних гіпотез. Із свідченням пов’язана міра довіри до нього (вірогідність), що врахоьується при обчисленні вірогідності гіпотези, на яку впливає це свідчення. Вибір найбільш імовірної гіпотези щодо значення параметра відбувається на підставі порівняння вірогідності гіпотез, які розглядаються. ,

Згідно з запропонованим підходом, система нечіткого оцінювання дискретного параметра повинна бути здатна

формувати свідчення за результатами опитування джерел. інформації або за результатами аналізу наявної інформації;

обчислювати поточні значення характеристик гіпотез щодо значення параметра з урахуванням чергового свідчення;

&

вибирати (якщо можливо) чергове джерело свідчень з урахуванням вимог щодо процесу оцінювання;

приймати рішення стосовно закінчення оцінювання; рекомендувати найбільш імовірну гіпотезу, яка відповідає певному значенню параметра або класу значень.

Запропоновано формальний опис системи нечіткого оцінювання дискретного параметра у вигляді п'ятірки < (2, Б, М, РС, Р0>, де (2 - тип набору можливих значень параметра, який оцінюється,

Л

та його розмірність, Б - множина джерел інформації, М - модель, яка визначає зв'язок між свідченнями та гіпотезами та спосіб її інтерпретації, РО - процедура прийняття рішення щодо опитування чергового джерела або закінчення оцінювання.

Наідані моделі активного оцінювання ‘рівня знань як дискретного параметра, що засновані на теоремі Байєса та апараті БС, запропонован» методики їх реалізації, проаналізован результати моделювання для визначення переваг та' обмежень використання таких моделей в системах навчання.

, У простій байєсовській моделі розглядаються гіпотези ..., Нк , ... ,Н„, пов'язані з поділками дискретної шкали, ■* {Рівень знань дорівнює к}. Контрольні завдання з Т = {і} є джерелами свідчень; Кожне завдання І характеризується складністю С, , заданою таким чином, що успішне виконання завдання г складності С, ■= \ збільшує ймовірність підтвердження всіх гіпотез Нк для 2 й к < ) 5 <. п. Помилкове виконання відповідного завдання приводить до зменшення ймовірностей тих самих гіпотез, тобто спростовує їх. Оцінка поточних ймовірностей гіпотез при надходженні свідчень заснована на байєсовському методі визначення апотеріорних ймовірностей. Зв’язок між завданнями як джерелами свідчень та гіпотезами щодо рівня знань схематично поданий на рис. 1.

Рис. 1

Запропоновані метод побудови системи нечіткого оцінювання рівня знань та методика створення бази знань байєсовської експертної системи для оцінки рівня знань учнів. Адаптивний алгоритм вибору завдань для нечіткого оцінювання заснований на попередньому аналізі їх інформативності, що оцінюється як сума різниць апостеріорних ймовірностей гіпотез при правильний та невірній відповіді.

Аналіз поведінки адаптивного алгоритму тестування, що реалізований засобами байєсовської інструментальної системи BESS, дозволив виявити- вузькі місця моделі, що були уникнуті при створенні моделі оцінювання рівня знань на основі БС. . .

Запропоновано метод побудови моделей нечіткого активного оцінювання рівня знань за дискретною шкалою з використанням БС. Розглядаються гіпотези у вигляді Нк = "Рівень знань не нижчий k ", к = 2, ..., п. Вершинами БС є такі гіпотези та результати г, виконання завдань t з Т. Гіпотези про рівень знань користувача утворюють каузальний ланцюжок у вигляді Нп -* Нп.[ -> ... -» Н2, тому що кожна наступна гіпотеза являє собою менш конкретне твердження.. Якщо складність С, завдання t відповідає деякій поділці k дискретної шкали, результат його виконання впливає на гіпотезу Нк, але не впливає безпосередньо на інші гіпотези. Таким чином, БС містить дуги Ht -> г, для всіх t, таких, що С,=к: Гіпотеза Hj є додатковою

до гіпотези Н2 і тому як самостійна вершина в БС не включається (рис. 2).

Прості

завдання

складності

Рис. 2

Запропоновано алгоритм побудови БС, яка відповідає моделі нечіткого оцінювання рівня знань, починаючи з кореневої вершини, та метод статистичного визначення ймовірнісних параметрів сіті. Ця модель може бути об’єднана з діагностичною моделлю, для чого з вершинами-гіпотезами замість вершин-завдань зв’язуються вершини, які характеризують наявність певних знань, вмінь та навичок з предметної області. Надано опис функціональних характеристик програмного макету, який призначений для аналізу результатів моделювання при різних послідовностях завдань, комбінаціях відповідей на них та значеннях параметрів моделі.

Розглянуто використання БС для побудови моделей пасивного оцінювання характеристик користувача, наданих елементами множини. Моделі такого типу корисні для підтримки діяльності користувачів систем в наукових дослідженнях, а також для розвитку ко-гнітивних процесів учнів у різноманітних навчальних середовищах. Метою моделювання є визначення імовірної мети діяльності користувача або учня, плану або способу розв’язування задачі, котрих він

н

дотримується, для конкретизації допомоги та інформаційного обслуговування.

Запропоновано загальну структуру моделі оцінювання параметрів користувача у СРЗ (рис. 3). Центральна вершина БС відображає деякий загальний підхід, стиль, метод або стратегію розв’язання задачі користувачем. Рівнем вище представлені необхідні умови успішного розв’язання задач: знання, навички та психологічні риси, які впливають на вибір певного підходу, або необхідні для реалізації деякої стратегії. Вершини нижнього рівня зображують компоненти вирішення задач на мета-рівні та на рівні дій, а також використання елементів знань. Інформація, що надходить в процесі роботи користувача, подана у вигляді зовнішніх свідчень, які формуються та включаються до моделі динамічно.

Свідчення

Рис. З

Запропоновано метод створення моделі пасивного оцінювання на БС, який грунтується на аналізі особливостей формування гіпотез та свідчень для опису дій користувача при роботі в СРЗ та враховує вимоги апарату моделювання. Описане застосування наданого

методу для створення моделі користувача навчального СРЗ з багатьма користувачами з фізики. Метою моделювання було виявлення стратегії розв’язання задачі користувачем для визначення оптимального сполучення партнерів та надання допомоги з боку системи. Для визначення свідчень, що здобуваються з протоколів, проведено експеримент, який дозволив визначити основні характеристики діяльності користувача, запропонувати методи їх розпізнавання, а також обчислення ймовірносних параметрів. Прототип моделі реалізовано мовою ІР-Рго1о0 в операційній системі ІШІХ.

^третьому. розділі розглянуто побудову моделі та адаптивних алгоритмів нечіткого оцінювання рівня знань користувача системи навчання на підставі теорії Демпстера - Шейфера (функцій упевненості) та їх реалізацію в експериментальній системі оцінки рівня знань. Використанню цієї теорії перешкоджала відсутність ефективних алгоритмів визначення характеристик гіпотез при поступовому надходженні свідчень та засобів оптймізації вибору чергового свідчення. Запропонований метод обчислення характеристик гіпотез, які створюють пірамідальну ієрархію, та побудована оцінка складності відповідного алгоритму. Результати сформульовані у вигляді наступних теорем.

Нехай Н = {Н;}, і = 1,.., п - фрейм розрізнення, в якому гіпотези впорядковані. Серед гіпотез, які належать до множини-сту-

пеня (Р (Н), будемо розглядати тільки гіпотези у вигляді ІІц = Ні и

и Ні+1и ...и Н)( тобто гіпотези, які утворюються шляхом об'єднання довільної кількості послідовних елементарних гіпотез з Н.

Теорема 1. Нехай и = { }, 1 ^ і < ] й п, основне при-

значення мас (о.п.м.), зосереджене в и, тобто для довільної гіпотези и є (Р(Н): т(и) > 0 => и є и. Тоді для кожного свідчення, яке підтверджує гіпотезу є и, результуюче призначення мас, обчислене

за правилом Демпстера, теж зосереджено в II.

Наслідок, Якщо первісно о.п.м. зосереджене в и та свідчення належать до гіпотез з и, то при об'єднанні свідчень можна обмежитися розглядом гіпотез з и.

Теорема 2. Нехай існує свідчення, яке підтверджує гіпотезу ичг> таке що о.п.м. ш(ичг) = т„ , т(и,п) = 1 - т0 , 0 < т0 < 1. Тоді обчислення о.п.м. при об'єднанні цього свідчення з о.п.м., зосередженим в и, виконується згідно з такими формулами : при к<ч^р<п, а також при q<k<n, г <р < п

гп(икр ) = К (1- гп0) т(икр ) , •' (1)

при 9 < к < р< г

т(икр ) - К т(икр ), . . (2)

при к — ql р = г

т(икр )=К ((1- т0) т(и1р ) + т„ т(Ц,)). (3)

1-І н •

при к — q ^ р < г

■ т(икр і = К (т(икр )+ ш0 £ т(иір)), (4)

НІ .

при ч < к й г *= р

ш(икр ) = К (т(икр )+ т0 £ т(иц)), (5)

де К ■= (1 - т0 т(иу) + ¿X т^)). (6)

1-1 ¡т+І)«і

Наслідок. Трудомісткість обчислень основного призначення мас за формулами (1) - (6) при надходженні чергового свідчення складає 0(п2); де п - потужність фрейма розрізнення.

Показано, що властивості пірамідальної ієрархії гіпотез можуть використовуватися для побудови ефективних алгоритмів оцінювання значення дискретного параметру за інформацією, що надходить від незалежних недостовірних джерел. Надано схематичний

алгоритм оцінки значення параметру у випадку свідчень, пов'язаних з поділками шкали, який може уточнюватися для оцінювання параметрів різної природи. Отримані результати використовуються для побудови алгоритму оцінювання рівня знань користувача. Запропоновано процедуру прийняття рішення про рівень знань на підставі оцінки функцій впевненості та можливості гіпотез ієрархії. Розглянуто поведінку цих функцій при надходженні свідчень та визначено вимоги до взаємозв'язку між параметрами прийняття рішення. Відповідно до запропонованої процедури користувач має рівень знань к у тому випадку, якщо гіпотеза = "Рівень знань не менше к" прийнята, а наступна гіпотеза ик+1п - відхилена. Схематично значення функцій та параметрів прийняття та відхилення подані на рис. >

Рис. 4

Запропоновані три основні педагогічні стратегії вибору чергового завдання для визначення рівня знань, які пов’язані з місцем і функціями контролю знань у навчальному процесі та можуть служити основою адаптивного алгоритму тестування. "Жорстка" стратегія (починаючи від складних завдань) використовується при під-

сумковому та попередньому контролі для добре підготовлених учнів, "м’яка" (від простих завдань) - для поточного контролю знань, особливо при низькій самооцінці та мотивації учнів, а “швидка" - у решті випадків, особливо при шкалах оцінювання великої розмірності.

Надано алгоритм адаптивного визначення рівня знань та запропоновані процедури вибору наступного завдання для різних стратегій. Наведена класифікація стану гіпотез для прийняття рішення. Визначення бажаної складності наступного завдання та поточного рівня знань учня виконується з урахуванням вимог базової стратегії, стану гіпотез, які розглядаються, та вірності останньої відповіді. Запропоновані методи визначення параметрів адаптивного алгоритму та засоби модифікації параметрів при зміні вимог до контролю знань. -

Алгоритм адаптивної оцінки рівня знань на підставі теорії Демпстера - Шейфера був реалізований в експериментальній системі оцінювання рівня знань. Розроблений комплекс програм містить засоби підготовки завдань та коригування їх параметрів, реєстрації випробуваних, адаптивного оцінювання та збору даних за результатами виконання тестів, попередньої обробки результатів, а також сукупність тестових завдань з чотирьох дисциплін (математика, фізика, хімія, біологія) для випускників середніх шкіл. Розглянуті деякі особливості та конструктивні рішення, втілені у цьому комплексі, та наведені основні етапи розробки адаптивного тесту за допомогою його. Надано опис програмного макету, який призначений для визначення параметрів адаптивних алгоритмів та завдань і дослідження поведінки відповідних адаптивних тестів. Макет імітує виконання тесту, пропонуючи послідовність завдань, вибраних відповідно до алгоритму, візуалізує під час оцінювання значення функцій, які використовуються для прийняття рішень, надає інформацію про процес тестування у вигляді таблиць та графіків. Протокол

виконання тесту містить значення параметрів адаптації та прийняття рішення, результати виконання завдань, значення функції впевненості і можливості, а також стан гіпотез на кожному кроці. Макет дозволяє аналізувати процес оцінювання рівня знань, абстрагуючись від змісту конкретних завдань, та будувати схему адаптивного тесту для наступної реалізації різними базами завдань.

У четвертому розділі описано постановку, проведення та аналіз результатів експерименту щодо використання адаптивного алгоритму оцінки знань. Мета експерименту полягала у реалізації та апробації вибраної педагогічної стратегії тестування і відповідного адаптивного алгоритму оцінки рівня знань, порівнянні оцінок, отриманих абітурієнтами за виконання традиційних тестів, з результатами комп'ютерного адаптивного оцінювання; визначенні сукупності засобів, достатніх для формування тестів з природних і точних дисциплін, та форм інтерфейсу з випробуваним; визначенні форм вихідних даних і методів обробки статистичної інформації, отриманої внаслідок експерименту, для педагогічних цілей.

В експерименті, який проводився з абітурієнтами природничого факультету Києво-Могилянської академії, брало участь 59 осіб, котрі після вступного тестування виконали завдання для оцінювання рівня знань за допомогою комп'ютера і відповіли на питання анкети. Комп'ютерний тест з кожної дисципліни містив два варіанти завдань трьох рівнів складності з 10 тем. Чергове завдання для випробуваного вибиралося адаптивним алгоритмом динамічно з урахуванням тематичного складу. Виконання завдань тесту реєструвалося у протоколі, який був джерелом даних для статистичного аналізу результатів, обговорення поведінки алгоритму з викладачем та обгрунтування підсумкової оцінки.

Статистичний аналіз результатів комп'ютерного і традиційного тестування показав добру узгодженість результатів як за дисцип-

лінами, так і взагалі, незважаючи на певну різницю в умовах проведення та в складності пропонованих завдань. Оцінювання рівня знань за допомогою адаптивних тестів потребує меншої кількости завдань, ніж традиційне, та спрощує роботу викладача щодо підготовки тесту та аналізу результатів. Обговорення складу і формулювання завдань з викладачами та абітурієнтами дозволили сформулювати додаткові вимоги до авторських засобів розробки адаптивних тестів та інтерфейсу з учнем. Анкетування підтвердило готовність абітурієнтів до адаптивного тестування і зацікавленість у використанні системи для самостійної роботи. Зміст протоколу виконання тесту відображує дані, необхідні для обговорення оцінки та проведення статистичної обробки результатів.

X__висновку узагальнені результати проведеної роботи та

наведені перспективи їх використання.

Х-АОЛатках наведені підсумковий протокол результатів комп'ютерного адаптивного тестування іспитованого з чотирьох дисциплін; вхідні дані для статистичного аналізу узгодженості результатів комп'ютерного та традиційного тестування; приклад частотної гістограми результатів виконання тесту та часу тестування; графічне подання залежності оцінки тестованого від витраченого часу; результати регресійного аналізу узгодженості результатів комп'ютерного та традиційного тестування.

Основні положення дисертації опубліковані в таких працях:

1. Петрушин В.А., Синица Е.М. Адаптивное тестирование знаний обучаемого на основе Бейесовского метода принятия решений // Использование компьютерных технологий в обучении. -Киев: Йн-т кибернетики им. В.М.Глушкова АН Украины, 1990. -С.71-76.

2. Sinitsa K.M. Student knowledge testing using Dempster and Shafer model // East-West Conf. on Emerging Computer Technologies in Education ( Moscow, Russia, April 1992). Conf. Abstracts. -Moscow: ICSTI, 1992. - P. 42-43.

3. Синица E.M. Использование метода Демпстера-Шейфера для контроля знаний обучаемого // Тез. докЛ. Укр. науч.-метод. конф. "Новые информационные технологии обучения в учебных заведениях Украины", Одесса, 7-11 сент., 1992. - С. 186-187.

4. Petrushin V.A., Sinitsa K.M. Using probabilistic reasoning techniques for learner modelling // Proc. A1ED-93 Conf. - Edinburgh, 1993. - P. 418-425.

5. Sinitsa K.M., Petrushin V.A., Zherdienko V.V., Adrianov

S.T. Adaptive tests for entrants of the University of Kiev-Mohyla Academy // Computer technologies in education. Proc. of the Int. Conf. - Kiev, 1993. - P.144-145. '

6. Синица E.M., Петрушин B.A. Вероятностные модели тестирования знаний обучаемых // Интеллектуализация компьютерных технологий ’ обучения. - Киев: Ин-т кибернетики им.

B.М.Глушкова НАН Украины, 1993. - С.39-41.

7. Синица Е.М. Метод оценки достоверности свидетельств для одного класса иерархических моделей // Разработка и использование информационных технологий в системах управления. -Киев: Ин-т кибернетики им. В.М.Глушкова НАН Украины, 1993.-

C.63-71.

8. Синица Е.М. Методы адаптивной оценки уровня знаний обучаемого // Опыт разработки и внедрения компьютерных технологий в обучение. - Киев: Ин-т кибернетики им. В.М. Глушкова НАН Украины, 1994. - С.30-35.

9. Petrushin V.A., Sinitsa K.M., Zherdienko V.V. Probabilistic approach to adaptive student's knowledge assessment: methodology and experiment// Proc. AIED-95 Conf. - Washington, 1995. - P. 51-58.

10. Синица E.M. Экспертный подход к построению адаптивных тестов. // Коммуникационные и информационные компьютерные технологии в обучении. - Киев: Ин-т кибернетики им. В.М. Глушкова НАН Украины, 1995. - С. 11-17.

11. Sinitsa К. Student knowledge level assessment: a numerical framework for student model combination. // Telematics for future education and training. Proc. EAEEIE Conf. - Oulu (Finland), 1996. -P. 133-136.

12. Sinitsa K. Numerical models for adaptive knowledge assessment. // Artificial Intelligence and Education. Proc. Int. Workhsop. - Kazan, 1996. - vol.2. P. 69-72.

го

Синица Е.М. Модели нечеткого оценивания дискретных параметров пользователя систем обучения.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.02 - математическое моделирование в научных исследованиях. Институт кибернетики им. Б.М. Глушкова НАН Украины, Киев, 1997.

Защищается рукопись на основе 12 . статей, содержащая результаты исследований и разработок моделей пассивного и активного нечеткого оценивания параметров пользователя на основе байесовских сетей и теории Демпстера-Шейфера. На основе разработанных моделей и алгоритмов реализована экспериментальная система, предназначенная для подготовки заданий и проведения адаптивного тестирования обучаемых, и ряд программных стендов. Проведен эксперимент для проверки согласования результатов адаптивной и традиционной оценки уровня знаний в Университете “Киево-Могилянская академия”.

Synytsya К.М. Models for uncertain evaluatio.. of user’s discrete parameters in tutoring systems.

Dissertation for the degree of Candidate of Sciences in Egineering. Speciality: 05.13.02 - mathematical modeling in researches. V.M. Glushkov Institute of Cybernetics, NAS of Ukraine, Kiev, 1997.

The manuscript is based on 12 articles containing research and development results on passive and active models for uncertain user’s parameters evaluation using bayesian networks and Dempster-Shafer theory. The models and algorithms were implemented in experimental system for development of adaptive tests and learner knowledge level evaluation and a couple of software testbenches. The experiment to check correspondence between results of adaptive testing and traditional knowledge level evaluation was held at “Kiev-Mohyla Academy” University. •

Ключові слова: . _

нечітке оцінювання, моделі користувача, адаптивні засоби, комп’ютерна технологія навчання, байєсовські сіті, функції упевненості, оцінка рівня знань, програмні засоби.