автореферат диссертации по документальной информации, 05.25.05, диссертация на тему:Разработка и исследование модели для оценки эффективности банков тестовых заданий в компьютерных системах обучения

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ

ТЕХНОЛОГИЧЕСКИЙ ИНСТИТУТ ЮЖНОГО ФЕДЕРАЛЬНОГО УНИВЕРСИТЕТА в г Таганроге

На правах рукописи

003063ЭВ5

Бойченко Михаил Михайлович

РАЗРАБОТКА И ИССЛЕДОВАНИЕ МОДЕЛИ ДЛЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ БАНКОВ ТЕСТОВЫХ ЗАДАНИЙ В КОМПЬЮТЕРНЫХ СИСТЕМАХ ОБУЧЕНИЯ л

Специальность 05 25 05 - Информационные системы и процессы, правовые аспекты информатики

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

1 4 ИЮН 2007

Таганрог - 2007

003063965

Работа выполнена на кафедре Системного анализа и телекоммуникаций Технологического института Южного федерального университета в г Таганроге

Научный руководитель

Официальные оппоненты

доктор технических наук, профессор Рогозов Юрий Иванович (ТТИ ЮФУ, г Таганрог)

доктор технических наук, профессор Витиска Николай Иванович (Таганрогский государственный педагогический институт)

кандидат технических наук, доцент Черчаго Александр Яковлевич (ЗАО «ОКБ Ритм», г Таганрог)

Ведущая организация Московский государственный универ-

ситет печати

Защита состоится «2.?- » илоиэ* 2007 г в 1420 на заседании диссертационного совета ДМ 212 208 25 в Технологическом институте Южного федерального университета в г Таганроге по адресу

347928, Ростовская обл , г Таганрог, ул Шевченко, 2, ауд И-406

С диссертацией можно ознакомиться в зональной научной библиотеке ЮФУ по адресу г Ростов-на-Дону, ул Пушкинская, 148

Отзыв на автореферат, заверенный гербовой печатью организации, просим направлять по адресу

347928, Ростовская обл , г Таганрог, ГСП-17А, пер Некрасовский, 44

Автореферат разослан « 2 £ » 2007 г

Ученый секретарь

диссертационного совета ДМ 212 208 25 ^^

профессор, доктор технических наук Г А Галуев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Осуществление информатизации образования требует особой информационной политики, основные положения которой применительно к системе образования России концептуально сформулированы в основных положениях ряда государственных и межотраслевых научно-технических программ (Федеральные целевые программы (ФЦП) "Электронная Россия (2002-2010 годы)" и "Развитие единой образовательной информационной среды (2001-2005 год)"), предусматривающих выполнение широкомасштабных проектов информатизации образования по следующим основным направлениям

- информатизация процесса обучения и воспитания,

- оснащение системы образования техническими средствами информатизации,

- создание современной национальной информационной среды и интеграция в нее учреждений образования,

- создание на базе информационных технологий единой системы дистанционного образования в России,

Обеспечить решение поставленных задач можно только современными автоматизированными методиками, базирующимися на основе компьютерных систем обучения (КСО) Крайне важно, чтобы разрабатываемые КСО позволяли осуществить полный цикл индивидуального обучения, включая эффективный контроль результатов обучения, обычно осуществляемый в тестовой форме

Ключевой задачей как индивидуального тестирования, так и тестовых мероприятий государственного масштаба (Единый государственный экзамен) является обеспечение подготовки банков тестовых заданий высокого качества, обеспечивающих объективное измерение уровня знаний тестируемых с помощью современных методов педагогических измерений

На первых этапах разработки КСО (1950-1960-е годы) были предложены первые модели банков тестовых заданий, которые, по существу, являлись заданиями для систем программированного обучения Эти системы строились с использованием обучающих и контролирующих модулей, при этом имеющих очень ограниченные возможности Применение таких модулей, по сути, не давало сколько бы то ни было значимых результатов в силу отсутствия достаточного количества банков калиброванных и апробированных тестовых заданий В этот же период, благодаря деятельности А Birnbaum, L Thurstone и Р Lazarfield, D С Haley окончательно завершилось формирование основ теории латентно-структурного анализа, позже давшей основы теоретических положений анализа моделей качества банков тестовых заданий В этот же период были заложены основы теории педагогических измерений G Rasch

На следующем этапе развития КСО и методов проектирования и анализа банков тестовых заданий для них (1970-е - начало 1990-х годов) компьютер-

ныади обучающими системами принято было называть любые программы, предназначенные для информационной или функциональной поддержки процесса обучения Появляются основополагающие работы G Rasch, L L Thurstone, W A Fergusson, D M Lawly, F M Lord, вводящие в педагогические измерения модели обучения на основе когнитивной психологии EJ нашей стране также разрабатывались основы построения систем продуцирующего типа, где обучающие воздействия выбираются не педагогом, а определяются алгоритмом функционирования системы и генерируются в зависимости от целей обучения и текущей ситуации При этом этапы проектирования и калибровки банков тестовых заданий практически полностью отсутствуют

Следующий этап развития тестовых технологий в КСО (конец 1990-х и по настоящий момент) характеризуется широким распространением персональных компьютеров, развитием вычислительных сетей, усилением аппаратных возможностей Это привело к возможности для создания обучающих систем, ориентированных на работу в локальной и глобальной сети, с применением стандартов представления и передачи данных Появилась возможность создания централизованных банков тестовых заданий, которые позже были названы КИМами Работы D McArtur, В Wright и М Stone за рубежом и В П Беспалько и др в России создали базу для нового этапа развития теории оценивания банков тестовых заданий

В настоящее время работы В И Васильева, Д П Попова и др , посвященные методологии и концепциям компьютерного адаптивного тестирования, заданий, формированию множеств тестовых заданий, разработке функций и принципов компьютерного тестирования фрагментов банков тестовых заданий и шкалирования результатов, создают теоретическую основу для развития прогрессивных технологий адаптивного контроля и обучения

Несмотря на указанные выше значительные успехи в совершенствовании методов и алгоритмов проектирования и последующего анализа качества банков тестовых заданий как важнейшего этапа компьютерного тестирования, в настоящее время в области проектирования, оценки и применения банков тестовых заданий существует ряд нерешенных задач

Прежде всего, необходимо дальнейшее развитие теоретической базы проектирования банков тестовых заданий в сторону разработки новых информационных характеристик банков, позволяющих получать адекватные оценки эффективности Они должны как дифференцировать контингент обучаемых по уровню знаний в выбранной предметной области, так и обеспечивать адаптацию заданий к уровню знаний отдельных обучаемых

С точки зрения практической применимости методов теории педагогических измерений необходимо дальнейшее развитие алгоритмической базы компьютерных средств создания банков калиброванных тестовых заданий с заданными характеристиками, что позволит оперативно реагировать на изме-

нения в современных требованиях к проектируемым компьютерным курсам обучения. Необходимо также создание алгоритмов обработки тестовых данных, позволяющих уменьшить влияние изначально присущей педагогическим измерениям неопределенности на результаты тестирования как измерения латентных, скрытых качеств личности

Полученные выше основные результаты развития теории и практики анализа банков тестовых заданий позволяют сформулировать задачу получения новых теоретических и практических результатов, связанных с введением в арсенал теории педагогических измерений, являющейся основным инструментом тестологии, элементов кибернетики и теории передачи информации, связанных с анализом информации в условиях неопределенности, органически присущей педагогическим и психологическим измерениям На теоретической базе кибернетики возможно дальнейшее развитие методов моделирования педагогических измерений с использованием неклассических вероятностей и теории случайных множеств Это позволит существенно повысить эффективность оценок знаний, получаемых с помощью баз тестовых заданий, спроектированных с применением новых моделей измерений Наконец, введение новых методов оценки эффективности банков тестовых заданий может позволить значительно улучшить временные и качественные показатели процесса проектирования и применения банков тестовых заданий

Целью диссертационной работы является разработка и исследование новой модели педагогических измерений для оценки эффективности банков тестовых заданий в компьютерных системах обучения

Для достижения поставленной цели необходимо решить следующие задачи:

- разработать методики оценки информационного содержания банков тестовых заданий,

- разработать модель оценки эффективности банков тестовых заданий в педагогических измерениях;

- разработать алгоритмы применения предложенной модели оценки эффективности при проектировании и использовании банков тестовых заданий,

- провести теоретическое и практическое изучение полученной методологии оценки эффективности банков тестовых заданий

Объектом исследования в диссертационной работе являются информационные модели банков тестовых заданий, а также методы построения, математического анализа и программной реализации эффективных банков тестовых заданий

Методологическую основу работы составляет системный подход, суть которого - представление и исследование модели процесса обучения в виде системы моделей оценки различных этапов обучения и выделения связей между ними В качестве основных методов исследования были использованы

методы системного анализа, теории передачи сигналов, математической статистики и теории педагогических измерений

Новыми научными результатами диссертационной работы, выносимыми на защиту, являются

1 Концепция кибернетической модели латентного пространства для педагогических измерений и введенные на ее основе критерии оптимальности для банков тестовых заданий

2 Математическое представление обобщенной модели информационной функции банков тестовых заданий

3 Алгоритмы калибровки и оценки эффективности банков тестовых заданий с помощью модели, построенной на основе теоретических результатов работы

Теоретическая значимость результатов исследований заключается во введении основных положений теории обработки сигналов в проблематику построения моделей измерения латентных свойств личности, а также в разработке нового типа информационной модели для оценки эффективности банков тестовых заданий, отличающейся от известных тем, что для достижения общности она использует математический аппарат обобщенных функций Разработаны критерии и алгоритмы проектирования банков тестовых заданий на основе созданных в работе моделей оценки эффективности, а также алгоритмы калибровки обобщенных моделей банков тестовых заданий с использованием методов теории свидетельств, дополняющие и расширяющие существующие разработки в данной области, что подтверждает теоретическую значимость работы

Практическая ценность работы определена решением следующих задач

- введение основных положений теории обработки сигналов в проблематику построения моделей измерения латентных свойств личности,

- введение нового типа информационной модели банков тестовых заданий для оценки их эффективности в педагогическом процессе, отличающихся от известных тем, что для достижения общности использован математический аппарат обобщенных функций,

- разработка алгоритмов проектирования банков тестовых заданий на основе созданной в работе модели оценки эффективности указанных банков,

- разработка алгоритмов калибровки обобщенной модели для банков тестовых заданий, основанных на методах теории свидетельств

На базе полученных теоретических результатов возможно построение нового класса компьютерных систем обучения, позволяющих полностью автоматизировать разработку и анализ банков тестовых заданий с целью значительного повышения эффективности их применения

Реализация результатов. Результаты диссертационной работы были внедрены в процесс профессиональной подготовки специалистов в Админи-

страции морского порта Таганрог, в учебный процесс в Таганрогского государственного педагогического института и Таганрогского технологического института южного федерального университета

Апробация работы. Научные и практические результаты, полученные в диссертации, изложены в 7 статьях и 4 тезисах докладов на всесоюзных и международных конференциях

Основные результаты докладывались и обсуждались на следующих научно-практических конференциях

- на XXVII Межвузовской военно-научной курсантской (студенческой) конференции (г Новочеркасск, НВИС, 2000 г),

- на международных конференциях Таганрогского государственного радиотехнического университета "Информационные технологии в естественных, технических и гуманитарных науках" (2002 г), "Системный подход в науках о природе, человеке и технике" (2003 г), "Информационные технологии, системный анализ и управление" (2003г), "Динамика процессов в природе, обществе и технике информационные аспекты" (2003г), "Информационный подход в естественных, гуманитарных и технических науках" (2004 г ), VII всероссийской научной конференции "Новые информационные технологии Разработка и аспекты применения"(2004 г),

- на конференциях "Проблемы образования в современной России и на постсоветском пространстве" (Пенза-2005), "Математическое и программное обеспечение вычислительных систем" (Рязань-2005),

- на заседаниях кафедры САиТ Таганрогского государственного радиотехнического университета ежегодно (2001-2007гг ) докладывались и обсуждались результаты опытно-экспериментальной работы

Полученные в третьей главе алгоритмы проектирования и калибровки банков тестовых заданий и их программные реализации легли в основу создания авторского программного продукта "Автоматизированная информационно-обучающая система", способствующего повышению эффективности образовательного процесса

Структура диссертации Диссертация состоит из введения, четырех тематических глав, заключения, списка использованных источников из 141 наименований и приложений Работа изложена на 147 страницах и содержит 26 рисунков, 4 таблицы.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, ее новизна, практическая значимость Дается обзор основных направлений исследования по изучаемой тематике Сформулированы цель и задачи исследования, представлены основные положения, выносимые на защиту, охарактеризована структура диссертации

В первой главе проведен обзор и сравнительный анализ существующих достижений теории педагогических измерений в области математически корректного анализа подходов к измерению латентных свойств личности и построения на этой основе банков тестовых заданий Этот анализ создает предпосылки для получения новых научных результатов в области математического моделирования информационных процессов и банков заданий компьютерных систем обучения на основе системного подхода за счет представления и исследования модели процесса обучения в виде системы моделей различных этапов обучения и выделения связей между ними С целью формализации задач диссертационного исследования были рассмотрены вероятностные модели теории педагогических измерений Для моделирования вероятности правильного ответа на j -й вопрос теста А Birnbaum предложил использовать логистические функции вида

JU-4) а)

(трехпараметрическая модель), которая часто упрощается исключением параметров Например, G Racsh пришел к выводу о корректности только одно-параметрической модели типа (1), в которой, во-первых, все задания имеют одинаковый коэффициент селективности, во-вторых, коэффициент угадывания пренебрежимо мал В этом случае характеристическая функция задания может быть записана в альтернативном к (1) виде

(2)

Для подобных моделей проведено исследование методов формализации интегральных характеристик эффективности банков тестовых заданий Для целей разработки компьютерных систем обучения выполнен сравнительный анализ моделей организации процесса обучения в компьютерных обучающих системах и обзор имеющихся на рынке стандартных компьютерных средств поддержки педагогической деятельности

Сформулированы основные концептуальные требования к разрабатываемому методу анализа эффективности банков тестовых заданий, определен перечень задач, нуждающихся в решении для достижения поставленной цели

Во второй главе рассматривается задача разработки математической модели оценки эффективности банков тестовых заданий в компьютерных системах обучения Тесты должны обеспечивать органы управления образованием достоверной информацией об общих результатах обучения и обеспечивать учащимся и их родителям возможность объективно оценивать уровень достижений учащегося Средством к достижению указанных целей является конструирование таких измерительных инструментов и/или процедур, с помощью которых возможно одинаково надежно и точно (с наперед заданной

доверительной вероятностью и границами доверительных интервалов) определять учебные достижения учащихся любого уровня подготовленности

С точки зрения системного анализа тест представляет собой множество упорядоченных элементов латентного пространства Классификация на множестве элементов латентного пространства £2 сводится к выделению непересекающихся подмножеств (классов) {С1,С2, С"|и установлению взаимно

однозначного отображения разбиения на множество возможных состояний латентного источника информации (заданий теста) С этой точки зрения рассмотрим метод классификации, основанный на выделении в пространстве заданий теста определенных точек, являющихся представлениями соответствующих классов из множества |С',С2, С"*}, которые будем называть далее

латентными реперными точками и обозначим х1, х2, хт Для этого используем введенные в предыдущем разделе для латентного пространства понятия скалярного произведения (х',х2) и псевдометрики с1(х',х2) В результате интерпретация результатов тестирования сводится к классификации в латентном пространстве объединением точек, ближайших к данной латентной ре-перной точке х', г = 1, т,в один класс С' (х, х')

С'(х,х') = {х<вХ\с1(х,х')<с1(х,х'),1* 7} (3)

Псевдоортогональность пары тестов является признаком того, что они измеряют разные понятия, т е не взаимодействуют друг с другом Систему тестов назовем псевдоортогональной, если все ее элементы попарно псевдо-ортогональны Это утверждение формализует активно обсуждаемую в теории педагогических измерений идею о недопустимости измерения нескольких латентных величин с помощью одного теста Введем квадрат нормы вектора заданий теста, используя аналог скалярного произведения в псевдоортогональном пространстве заданий теста

£НН12=м=2Х (4)

Назовем эту величину латентной энергией теста Предположим, что в рассматриваемом пространстве необходимо разместить т латентных репер-ных точек (тестов) х\х2, хт Латентную метрику в пространстве тестов определим как

¿ж(*\х') = |*'-*'||, (5)

где х' ,х' - произвольная пара точек латентного пространства Будем решать задачу оптимального распределения латентных реперных точек в латентном пространстве теста при условии равенства конечных латентных энергий (4) В латентном пространстве введем псевдометрику для латентного расстояния в

псевдоортонормированном базисе Л, \л\ < 1 и запишем квадрат латентной нормы (5) в виде

с учетом того, что латентные нормы латентных реперных точек равны Коэффициент Л назовем коэффициентом различимости тестов в латентном пространстве трудностей При большом числе реперных точек т в пространстве тестов оптимальное значение коэффициента различимости, примененного в латентном пространстве тестов задается как

Важным практическим выводом из (7) является то, что при большом объеме теста т любую псевдоортогональную систему тестов можно считать оптимальной

Пусть в латентном пространстве О. информативный параметр принимает конечное или счетное множество значений Такое пространство называют дискретным по данному параметру

Меру Н„ связанную с использованием характеристической функции латентного пространства тестов введем по аналогии с энтропией в виде

и назовем характеристической энтропией теста

В (8) основание логарифма р можно выбирать любым, исходя из принятой в данной области нормировки энтропии. Для моделей педагогических измерений можно выбрать р = е, тогда латентная энтропия (8) будет измеряться в логитах Под количеством информации теста будем понимать меру снятой в результате выполнения теста характеристической энтропии Количество латентной информации, полученное в результате выполнения теста,

Характеристическая функция теста к О -» [0,1] принимает вещественные неотрицательные значения, следовательно, характеристическая энтропия теста Нп есть вещественная и неотрицательная величина Характеристическая энтропия теста в дискретном латентном пространстве есть величина конечная при любом конечном количестве заданий т Можно показать, что характеристическая энтропия теста достигает максимального значения, когда характеристические функции заданий распределены равномерно

(6)

т

нлл = - IX 108,00

(8)

Н1

Этот вывод очень важен для получения общего информационного критерия качества тестов и является формализацией основного положения В С Аванесова о построении тестов из заданий равной сложности (см выше)

Характеристическая энтропия теста играет фундаментальную роль в проектировании тестов и учебных курсов, состоящих из множества тестов Использование (9) позволяет объективно ограничить количество и сложность заданий в тесте, а также дает возможность определения оптимального уровня трудности задания ß для каждого теста, что позволяет избежать введения в тест слишком трудных заданий Для моделей А Birnbaum (1) и G Racsh (2) можно получить аналитические значения оптимальных уровней трудности ß'op,, которые совпадают для обеих указанных моделей Для однопараметри-ческой модели

=-1п(/я-1) (10)

Для двухпараметрической модели

а

где а - параметр производной в нулевой точке шкалы Для трехпараметриче-ской модели

(12)

а

где а, с - параметры модели Для классической модели G Racsh можно получить непосредственную оценку оптимальной трудности в логитах

Полученные аналитические оценки (10)-(12) позволяют строить оптимальные выровненные по сложности системы тестов, в том числе и при автоматизированном адаптивном тестировании, объективно заменяя опыт педагога

Одним из широко применяемых способов представления не элементарных функций является использование следующего выражения для функции (р{х), интегрируемой на отрезке [а, й]

X

f(x) = \<p(u)du Vx е [а, Z>], (13)

а

те выражение функции f(x) через ее производную <р(х) в случае, когда производная является интегрируемой функцией С учетом (13) модели педагогических измерений, предложенные А Birnbaum (1) и G Racsh (2) и можно представить в единой форме, т е в этой форме они совпадают

В работе эта идея развивается к понятию обобщенной дискретной логистической модели

_ /'г'^'* 8(и~1К) ,

-> <15>

-» ,=0 (1 + е" )

где к - параметр, определяющий шаг измерения аргумента, г з> О - параметр, определяющий нижнюю границу интервала вычислений

Используя свойство линейности интеграла от обобщенной функции, перейдем к общей форме логистической модели (15), представленной с помощью импульсных функций

:-(16)

'=° (1 + е ]

Модель (16) является ступенчатой аппроксимацией логистической модели общего вида Для непрерывной модели используем аппроксимацию первого порядка и получим уравнение обобщенной модели педагогических измерений в виде

N

С \

eJ",h rjid-ßj-ih) eJ" 'h vid-ßj-ih)

О«4") + О-'")

(П)

где благодаря свойствам обобщенных функций учитывается условие непрерывности при кусочно-линейной аппроксимации

На основе полученных выше результатов рассмотрим понятие информационной функции теста, введенной А Birnbaum в форме

r/M f т)

где 1(9,) означает информационную функцию от переменной в (уровня трудности), Pt и Q - вероятности правильного и неправильного ответа на задание j , которые находятся с помощью моделей (16) и (7), т - число заданий теста Для обобщенных моделей (16), (17) из (18) получаем выражение вида

т

с«)

где D - нормирующий множитель модели, приводящий ее к логистической

12

модели (1) или (2) В силу автодуальности вероятностной меры, максимум (19) достигается при условии

что соответствует полученным в работе требованиям к оптимальной модели теста

Использование информационной функции приводит к дифференцированной точности измерения, что является значительным усовершенствованием классической теории тестов Если в классических моделях тестирования стандартная ошибка измерения не зависит от уровня трудности 0 и определяется в среднем, то в новых моделях ошибка измерения является функцией от в

Приведенные выше результаты представляют собой формализацию основных понятий теории педагогических измерений, введенных в работах В С Аванесова применительно к математическому аппарату теории меры и теории вероятностей

В третьей главе на основе результатов главы II выполняется разработка алгоритмов для проектирования банков тестовых заданий для компьютерных систем обучения и оценки их эффективности

Проектирование теста представляет процесс подбора заданий такого уровня трудности для обучаемого с уровнем знаний р'ор1 (1), при котором

точность измерения с помощью моделей, введенных в главе И, достигает максимум В случае успеха подбирается задание с более высоким уровнем трудности, при неудаче - с более низкой

В силу того, что латентные показатели теста (и обучаемого) могут существенно зависеть от не измеряемых факторов, использование современных моделей тестирования подразделяется на два этапа

1 предварительное исследование разработанных тестов на значительном контингенте будущих тестируемых, называемое калибровкой теста,

2 анализ полученных данных с учетом возможных "помех", возникающих из-за влияния факторов, не учитываемых в используемой модели тестирования

Разработка объективных методов предварительной подготовки (калибровки) эффективных банков тестовых заданий является объектом постоянного внимания большого числа теоретиков систем компьютерного обучения

В качестве базы для сравнения можно выбрать, например, алгоритм статистической калибровки банков тестовых заданий с помощью метода максимального правдоподобия, описанный А Булыгиным Пусть из исходной тестовой матрицы (фрейма результатов в терминологии теории педагогических

(20)

измерений) выделен вектор к = (ил,ил, ми) - результат выполнения 1-м испытуемым п закрытых заданий теста Для нормировки результата введем обозначения и,; = 1 если задание выполнено верно, и иц= О если задание выполнено неверно Тогда, следуя теории метода максимального правдоподобия, можно ввести функцию правдоподобия стандартного вида и решать задачу ее максимизации для моделей (15-17) Этот алгоритм исследован в диссертационной работе с целью получения оценок сложности и сравнения с новым алгоритмом, поскольку для моделей педагогических измерений существенным отличием от стандартного метода аппроксимации данных с помощью "подбора" максимально правдоподобных параметров кривых является невозможность прямого решения системы уравнений ММП для логистических моделей

В качестве второго типового алгоритма калибровки баз заданий, использованного в диссертационной работе в качестве базы для сравнения, рассматривался алгоритм статистической калибровки банков тестовых заданий с помощью метода наименьших квадратов (МНК), который, а отличие предыдущего алгоритма, эффективен для заданий открытого типа Он сводится к стандартной задаче МНК для выбранного подмножества параметров характеристической функции модели (16) путем минимизации глобальной невязки

2 д, для N заданий теста

Решение задачи минимизации (24) можно выполнять любым численным методом, обеспечивающим необходимые условия сходимости при достаточно низкой степени обусловленности системы нормальных уравнений

Полученные выше алгоритмы получения статистических оценок в значительной степени зависят от характера исходных данных В силу того, что латентные свойства личности в педагогических измерениях во многом определяются субъективно, одним из эффективных подходов в оценке параметров и калибровке элементов банков тестовых заданий является подход, основанный на использовании экспертных оценок, для которого в диссертационном исследовании разработан оригинальный алгоритм В этой задаче элементы неопределенности в тестовых данных рассматриваются в терминах многозначного отображения или случайных множеств Для вероятностей Р(а>) , определенных на множестве измерений Q, которое связано со множеством U (это множество возможных значений измерений) через многозначное отображение G Q->Vo(U) Такое многозначное отображение формализует неточность измерения латентных параметров Для каждого подмножества

^^То^и) значение базовой вероятности т(А1) можно считать вероятностью для точки со1=С\А1) (щ £ П) Случайное множество есть пара (Р, т), где Т - семейство всех N фокальных элементов Для случая оценки параметров заданий соответствующая диаграмма изображена на рисунке 1

С(ф3) = Л3 С(«?2) = А2

тДЕ) $ир(Е)

Рис 1 Диаграмма многозначного отношения между множествами наблюдений и оценок (экспертных) для этих наблюдений

В частности, для случая, когда множество V является декартовым произведением к множеств, те и = £/,х х1/к, то вместо случайного множества мы будем иметь случайное отношение Предположим теперь, что множество и является множеством всех вещественных чисел. Вводя в рассмотрение ряд интервалов (-ее,*] (в соответствии с идеологией построения интегральных моделей характеристических функций), можно построить нижнюю и верхнюю функции распределения латентной величины, информация о которой дана в виде множества интервалов 4 , которые в данном случае являются фокальными элементами, имеющими ненулевые массовые вероятности т( ) Представим С/ как множество вещественных чисел, ограниченных

снизу и сверху значениями и, и и" соответственно Тогда нижняя и верхняя функции распределения латентной величины X, о которой имеются данные в виде множества фокальных элементов А,, 1 = 1, ,п , имеют вид

с,Ш, х<1Г V, ¡ирА^х , _ (22)

1, х = и*

I х>и,

V, ш(А.&Х (23)

О, х = и.

Эти функции распределения определяют границы для всех возможных характеристических функций тестов, которые совместимы с имеющимися

Е(х) = Р({и<х}) =

Р(х) = Р({и<х}) =

фокальными элементами. Получаемые границы являются ступенчатыми функциями Используя значения функций (22) и (23), можно ввести норму

близости оценок F(x) и F(x) на вероятностных клетках как

ЛГ = тах(|р(*1)-£(*,)|), г = 1,2, ,N. (24)

В диссертационном исследовании разработан алгоритм калибровки, в котором оценка достоверности получается одновременно с расчетом оценок (22), (23), (24), что значительно повышает вычислительную эффективность калибровки

Разработанная в главе методика и алгоритмы проектирования эффективных банков тестовых заданий основаны на новых информационных характеристиках банков тестовых заданий Эти характеристики получены путем применения кибернетической модели латентного пространства и разработанных в диссертации кусочно-непрерывных интегральных моделей для педагогических измерений

В четвертой главе на основании ранее сформулированных основных задач разработаны и исследованы компьютерные средства для анализа эффективности банков тестовых заданий.

В соответствии с требованиями к эффективности систем обработки запросов, проведено исследование вычислительной сложности новых алгоритмов проектирования и оценки эффективности банков тестовых заданий в сравнении с принятыми в настоящее время при проектировании баз тестовых заданий Стандартный алгоритм проектирования является переборным и, следовательно, имеет экспоненциальную оценку времени выполнения &(2а), связанную с кардинальным числом дискретного латентного пространства Q Между тем, предложенный в диссертационном исследовании алгоритм использует полученные нами числовые оценки информационных характеристик баз тестовых заданий, что позволяет организовать направленный поиск оптимума по параметрам тестовых заданий В результате сложность алгоритма поиска оптимального решения может быть сведена к полиномиальной <д(пк ) для задачи выполнимости с показателем, определяемым количеством оптимизируемых параметров базы тестовых заданий к

С помощью разработанного программного обеспечения был накоплен ряд результатов, полученных при помощи генераторов случайных чисел в качестве источников модельных данных Также использовались результаты, полученные при помощи применения методик обучения по дисциплинам, допускающим открытые ответы для тестовых заданий

Была также исследована надежность получаемых результатов с помощью предложенных в работе формул для оценки статистических оценок результатов тестирования Они позволяют аналитически найти границы доверитель-

ного интервала 1 = р-р оценки вероятности правильного ответа на вопрос теста в виде функции основных параметров теста

Исходя из (25), в частности, пользуясь аналитичностью используемых моделей, можно явно выразить объем выборки п, при котором обеспечивается заданный уровень достоверности а, в виде функции желаемого значения длины доверительного интервала /* и вероятности р

где функция ] означает выделение целой части

С помощью полученных рабочих формул (25),(26) можно полностью исследовать параметры проектируемого теста и выбрать те, которые обеспечивают необходимую достоверность результатов тестирования

Полученные результаты были использованы для решения ряда практических задач моделирования и оптимизации баз тестовых заданий в различных предметных областях

Заключение содержит выводы о работе

Получены следующие новые научные результаты

1 Разработана и теоретически обоснована концепция кибернетической модели латентного пространства для педагогических измерений и введенные на ее основе критерии оптимальности для банков тестовых заданий

2 Создано математическое представление обобщенной модели информационной функции банков тестовых заданий

3 Разработаны алгоритмы калибровки и проектирования банков тестовых заданий с помощью оценок эффективности, получаемых на основе теоретических результатов работы

Полученные теоретические и практические результаты изложены в следующих печатных работах

(25)

п(р,а,1 ) =

4 р (1-

(26)

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1 Бутенков С А, Бойченко М М, Кривша В В Исследование достоверности педагогических измерений с использованием аналитических

свойств модели G Rasch Журнал "Педагогические измерения", №1, 2007

2 Бойченко М М, Бойченко О В Контроль знаний обучаемых как объект автоматизации Известия ТРТУ, №8,2004 - С 79

3 Бойченко М М Современная информационная система поддержки самостоятельной работы студентов //Механизмы реализации образовательных потенциалов текста Сб науч тр /Под ред А К Юрова - Таганрог Изд-во Таганрог Пед ин-та, 2004 - С 12-17

4 Бойченко М М Сетевая мультимедийная информационно-обучающая система //Математическое и программное обеспечение вычислительных систем Межвуз сб науч тр / Под ред А Н Пылькина Рязань РГРТА, 2005 г, с 115-117

5 Бойченко М М , Бойченко О В Самостоятельная учебная работа и информационная система ее поддержки, как средство совершенствования образовательного процесса //Труды VII Всероссийской научной конференции с международным участием молодых ученых и аспирантов "Новые информационные технологии Разработка и аспекты применения" - Научное издание - Таганрог "ПБОЮЛ В А Кравцов ", 2004 - С 324-330

6 Бойченко М М , Рогозов Ю И, Зюзерова Н С Интеллектуализация педагогических моделей измерения, как основа повышение компетенции персонала в электроэнергетике Известия ТРТУ, №11,2006 - С 54-60

7 Бойченко М М, Бойченко О В Роль индивидуально-типологических свойств личности в процессе контроля знаний обучаемых //Материалы международной конференции "Оптимальные методы решения научных и практических задач" - часть 1 - Таганрог Изд "Антон", ТРТУ, 2005 -С 26-29

8 Бойченко М М , Бойченко О В Информационная система поддержки обучения студентов Материалы международной конференции "Информационный подход в естественных, гуманитарных и технических науках" -часть 1 - Таганрог ТРТУ, 2004 - С 22-23

9 Бойченко М М , Бойченко О В Современная система контроля знаний обучаемых //Материалы международной конференции "Динамика процессов в природе, обществе и технике информационные аспекты" - часть 1 -Таганрог ТРТУ, 2003 -С 12-13

10 Бойченко М М, Бойченко О В Пропедевтическая подготовка студентов высшей педагогической школы с использованием интернет-технологий //Материалы международной конференции «Информационные технологии в естественных, технических и гуманитарных науках» - часть 1 -Таганрог ТРТУ,2002 -С 48

11 Бойченко М М, Бойченко О В Информатизация самостоятельной учебной работы //Информационные технологии, системный анализ и управление - Таганрог Издательство ТРТУ, 2004 - С 96

В работах, опубликованных в соавторстве, лично Бойченко М М принадлежат следующие результаты в [1] разработана методика построения оценки доверительного интервала, в [2] описана концептуальная основа ин-фологической модели банка тестовых заданий, в [5] разработана и описана процедура калибровки заданий мультимедийного типа, в [6] предложена концепция математической модели оптимизации базы тестовых заданий, в [7] описан пример реализации методики индивидуализации тестовых заданий, в [8] описана структура программного обеспечения разработанного программного средства, в [9] изложены результаты испытаний разработанной компьютерной системы, в [10] предложен алгоритмический подход к построению сетевой части банка тестовых заданий, в [11] разработана серверная структура системы калибровки банка тестовых заданий

Подписано к печати 25 05 07 Формат 60x84/16 Бумага офсетная Офсетная печать Уел печ л - 1,2 Тираж 100 экз Заказ №

Отпечатано Издательство Технологического института Южного федерального университета в г Таганроге ГСП, 17А, Таганрог, 28, Энгельса, 1

ВВЕДЕНИЕ.

ГЛАВА I. ОБЗОР И АНАЛИЗ ОСНОВНЫХ ЭЛЕМЕНТОВ МОДЕЛЕЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ БАНКОВ ТЕСТОВЫХ ЗАДАНИЙ В

КОМПЬЮТЕРНЫХ СИСТЕМАХ ОБУЧЕНИЯ.

Введение.

1.1. Анализ подходов к измерению латентных свойств личности.

1.2. Обзор вероятностных моделей теории педагогических измерений

1.3. Анализ методов формализации интегральных характеристик эффективности банков тестовых заданий.

1.4. Сравнительный анализ моделей организации процесса обучения в компьютерных обучающих системах.

1.5. Обзор компьютерных средств поддержки педагогической деятельности.

Выводы по главе.

ГЛАВА И. РАЗРАБОТКА МАТЕМАТИЧЕСКОЙ МОДЕЛИ ОЦЕНКИ ЭФФЕКТИВНОСТИ БАНКОВ ТЕСТОВЫХ ЗАДАНИЙ В

КОМПЬЮТЕРНЫХ СИСТЕМАХ ОБУЧЕНИЯ.

Введение.

2.1. Формализация модели педагогических измерений в задаче оценки эффективности банков тестовых заданий.

2.2. Разработка кибернетической модели латентного пространства заданий теста для оценки числовых характеристик тестовых заданий.

2.3. Исследование и оптимизация информационных характеристик моделей банков тестовых заданий на основе модели латентного пространства.

2.4. Разработка обобщенных кибернетических моделей характеристических функций для задач педагогических измерений.

2.5. Разработка и исследование информационных функций банков тестовых заданий.

2.6. Разработка инфологической модели данных для банков тестовых заданий.

Выводы по главе.

ГЛАВА III. РАЗРАБОТКА АЛГОРИТМОВ ПРОЕКТИРОВАНИЯ БАНКОВ ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ КОМПЬЮТЕРНЫХ СИСТЕМ ОБУЧЕНИЯ И

ОЦЕНКИ ИХ ЭФФЕКТИВНОСТИ.

Введение.

3.1. Алгоритм статистической калибровки банков тестовых заданий с помощью метода максимального правдоподобия.

3.2. Алгоритм статистической калибровки банков тестовых заданий с помощью метода наименьших квадратов.

3.3. Разработка метода калибровки банков тестовых заданий с помощью экспертных оценок.

3.4. Разработка алгоритма калибровки обобщенных моделей банков тестовых заданий с помощью экспертных оценок.

3.5. Разработка общего алгоритма проектирования банков тестовых заданий для компьютерных систем обучения.

Выводы по главе.

ГЛАВА IV. РАЗРАБОТКА И ИССЛЕДОВАНИЕ КОМПЬЮТЕРНЫХ СРЕДСТВ ДЛЯ АНАЛИЗА ЭФФЕКТИВНОСТИ БАНКОВ ТЕСТОВЫХ

ЗАДАНИЙ.

Введение.

4.1 Разработка функциональной структуры компьютерной системы оценки эффективности банков тестовых заданий.

4.2. Разработка алгоритмов использования оценок эффективности банков тестовых заданий.

4.2. Исследование вычислительной сложности новых алгоритмов проектирования и оценки эффективности банков тестовых заданий

4.3. Исследование надежности оценок, получаемых с помощью моделей педагогических измерений.

4.4. Сравнительный анализ характеристик компьютерных систем обучения и контроля эффективности банков тестовых заданий.

Выводы по главе.

Начало XXI века ознаменовано новой технологической революцией -созданием и всемерным развитием информационного общества, продолжающего развитие предыдущего этапа - общества тотальной индустриализации. Основой перехода от индустриального этапа развития общества к информационному являются информационные технологии. Начальным и важнейшим этапом массового внедрения информационных технологий является сфера образования. Современные информационные технологии открывают обучаемым доступ к новым общедоступным источникам информации, повышают эффективность самостоятельной работы, дают совершенно новые возможности для творчества, обретения и закрепления различных профессиональных навыков, позволяют реализовать принципиально новые формы и методы обучения с применением средств концептуального и математического моделирования явлений и процессов [1-7].

Информационные технологии обучения открывают преподавателю возможность автоматизации как отдельных видов учебной работы [8,9], так и любого их набора, то есть проектирования обучающей среды [10,11]. Ориентированные на преподавателя инструментальные средства позволяют оперативно обновлять содержание автоматизированных учебных и контролирующих программ в соответствии с появлением новых знаний и технологий [12-16].

Осуществление информатизации образования требует особой информационной политики, основные положения которой применительно к системе образования России концептуально осознаны и сформулированы. Разработан и осуществляется ряд государственных, межотраслевых научно-технических программ (Федеральные целевые программы (ФЦП): "Электронная Россия (2002-2010 годы)" и "Развитие единой образовательной информационной среды (2001-2005 год)"), предусматривающих выполнение широкомасштабных проектов информатизации образования по следующим основным направлениям:

- совершенствование базовой подготовки учащихся по информатике и информационным технологиям;

- совершенствование системы подготовки и переподготовки преподавательских кадров в области информационных технологий;

- информатизация процесса обучения и воспитания;

- оснащение системы образования техническими средствами информатизации;

- создание современной национальной информационной среды и интеграция в нее учреждений образования;

- создание на базе информационных технологий единой системы дистанционного образования в России;

- участие России в международных программах, связанных с информационными технологиями в образовании.

В связи с нарастающим широкомасштабным применением информационно-коммуникационных технологий в учебном процессе сформировался ряд актуальных проблем в развитии современных методов обучения [6]. Практика и многочисленные исследования показали, что попытки прямого внедрения данных технологий в учебный процесс оказались малоэффективными [22]. Освоив вычислительную технику на уровне пользователей, основная масса преподавателей крайне неэффективно используют ее в учебном процессе. В связи с этим стала очевидной потребность в создании теоретически обоснованных оптимальных подходов к производству новых образовательных средств, в обучении преподавательского состава навыкам и приемам, которыми традиционные преподаватели не владеют [6, 7]. Классические образовательные формы предполагают обязательное наличие в учебном процессе преподавателя. В связи с конечными временными ресурсами последних, приходящимися на одного обучаемого, существует устойчивая необходимость автоматизации процесса обучения.

В современной педагогике под обучением понимают совместную деятельность учащегося и преподавателя, направленную на достижение учебных целей, овладение знаниями, умениями и навыками, заданными учебными планами и программами [25]. Бурное развитие вычислительной техники привело к появлению компьютерных систем обучения (КСО) [1,2,9], использующих в качестве основного инструмента обширные базы заданий. Основной целью использования КСО является поддержка качества необходимого образовательного компонента, как средства эффективного решения некоторых педагогических проблем.

Совершенствование процесса обучения при применении КСО подтверждается рядом исследований [6,8,11,12]. Этому способствуют факторы индивидуализации обучения, интенсификация обучения [21,22], использования дополнительных выразительных средств вычислительной техники, таких как наглядность, наличие средств моделирования объектов и процессов, постоянный контроль степени усвоения знаний.

Кроме этого, КСО способствуют развитию умений и навыков самостоятельной работы [22], уменьшению времени, затрачиваемого преподавателем на трудоемкие и часто повторяющихся операции - подготовку актуального конспекта лекций, контроль знаний и т.д., появлению возможности применения средств дистанционного обучения [26-28].

В исследовании РосНИИ Информационных Систем [22] указываются следующие типовые КСО для поддержки различных форм занятий:

- лекции - демонстрация выполнения простейших заданий в ходе получения учебной информации на лекции способствует достижению определенной «прочности» знаний, необходимой при выполнении лабораторных или практических работ;

- семинары, для которых используются не столько демонстрационные, сколько исследовательские примеры, с помощью которых обучаемые в интерактивном режиме могут изучать какую-либо проблему или вид задачи;

- лабораторные работы, в процессе выполнения которых обучаемые должны закреплять новые знания, приобрести навыки и умения для будущей научно-исследовательской работы. Наиболее важным применением КСО в этих случаях является возможность выполнения на ЭВМ математических экспериментов;

- упражнения, а также контрольные процедуры, при выполнении которых совершенствуются умения и навыки. Компьютеризованная поддержка упражнений позволяет не только проводить допуск к работе, проверять уровень знаний, но и обеспечивать, во время их выполнения, упражнений доступ к дополнительным теоретическим сведениям, приводить примеры задач и упражнений, давать методические рекомендации по их выполнению.

Для улучшения управления процессами обучения и повышения качества знаний с помощью КСО организуется непрерывная обратная связь в виде предварительного, текущего и рубежного контроля, приводя в процессе исторического развития КСО к идеологии адаптивного обучения [22].

История разработки КСО имеет ярко выраженные этапы, связанные с совершенствованием и ростом возможностей компьютерной техники. В 1950-1960-е годы были предложены первые обучающие системы - системы программированного обучения [2,5]. Они базировались на теории, в которой для повышения эффективности управления учебным процессом предлагалось строить учебную траекторию в соответствии с психологическими знаниями об обучаемом [7,8]. Эти системы строились с использованием обучающих и контролирующих модулей, при этом имеющих очень ограниченные возможности. Применение таких модулей, по сути, не давало сколько бы то ни было значимых результатов [3].

В 1970-х - начале 1980-х компьютерными обучающими системами принято было называть любые программы, предназначенные для информационной или функциональной поддержки процесса обучения: тесты, электронные учебники, лабораторные практикумы и т.п. [2,5]. Далее продолжались исследования возможности применения методов представления знаний, разработанных в области искусственного интеллекта и практическая реализация таких систем. При этом для решения двух других проблем - управления обучением и контроля знаний - требовались более сложные методы и средства. Именно эти проблемы все еще являются предметом современных исследований в области обучающих программ [6-8,12]. В это же время появляются модели обучения на основе когнитивной психологии и обучающие системы продуцирующего типа, где обучающие воздействия выбираются не педагогом, а определяются алгоритмом функционирования системы и генерируются в зависимости от целей обучения и текущей ситуации. При этом предполагается, что в обучающей системе представлены знания о том, чему обучать, как обучать и знания о самом обучаемом [18-20].

Следующий этап (конец 1980-х и начало 90-х годов) характеризуется широким распространением персональных компьютеров, развитием вычислительных сетей, усилением аппаратных возможности. Это привело к необходимости создания обучающих систем, ориентированных на работу в локальной и глобальной сети, с применением стандартов представления и передачи данных, а также внедрением в процесс обучения средств мультимедиа [17,27].

Переход от локальных обучающих систем к сетевым позволяет значительно расширить круг пользователей системы. Более того, при организации работы через компьютерную сеть, общение между обучаемыми и преподавателем может быть даже более интенсивным, чем при традиционном обучении в высшей школе. Преподаватель получает возможность постоянного контроля состояния процесса обучения (в первую очередь, с использованием средств автоматического контроля), а обучаемый - возможность консультации в режиме on-line или по электронной почте [4,6].

В дальнейшем развитие КСО было направлено на создание обучающих систем, основанных на использовании элементов искусственного интеллекта с целью частичной или полной замены преподавателя. Была разработана структура интеллектуальных обучающих систем и предложены некоторые методы решения этой проблемы [29-31]. Применение этих методов и технологий, при создании КСО, позволяет говорить о создании адаптирующихся обучающих систем, позволяющих в зависимости от параметров обучаемого и результатов контроля знаний генерировать новые последовательности управляющих воздействий [12,23,28].

Совместное использование сетевых технологий и достижений в области искусственного интеллекта дает возможность создания перспективных обучающих систем, которые позволят адаптировать учебный процесс к конкретному обучаемому [11,23]. В связи с нарастающим широкомасштабным применением информационно-коммуникационных технологий в учебном процессе сформировался ряд актуальных проблем в развитии теоретических основ построения КСО [6]. Практика и многочисленные исследования показали, что попытки прямого внедрения данных технологий в учебный процесс оказались малоэффективными [22]. Освоив вычислительную технику на уровне пользователей, основная масса преподавателей крайне неэффективно использует ее в учебном процессе. В связи с этим стала очевидной потребность в создании теоретически обоснованных оптимальных подходов к производству новых образовательных средств, в обучении преподавательского состава навыкам и приемам, которыми традиционные преподаватели не владеют [6,7]. Причиной подобных трудностей в частности, является значительная степень неопределенности как в исходной информации об уровне подготовленности обучаемого, так и в информации об уровне ответов на тестовые задания [3,26]. Именно то, в какой форме представить содержание учебного предмета, его место в образовательном процессе, практическую значимость, оцениваемую с точки зрения перспектив профессиональной карьеры и личностного роста, а также организовать учебный процесс, задают общее направление совершенствования КСО [2,3,5,17,24]. Подводя итог можно заметить, что построение новых педагогических программных средств следует проводить с учетом современных подходов к учету неопределенностей в исходной информации, поступающей в виде обратной связи в КСО или непосредственно к тестологу в случае автоматизированного обучения [137].

Несмотря на указанные выше значительные успехи в совершенствовании методов и средств компьютерного обучения и, особенно, компьютерного тестирования как его важнейшего элемента [10,55], в настоящее время в области проектирования, оценки и применения банков тестовых заданий существует ряд нерешенных задач.

Прежде всего, необходимо дальнейшее развитие теоретической базы проектирования банков тестовых заданий в сторону разработки новых информационных характеристик банков, позволяющих получать адекватные оценки их эффективности. Они должны позволять дифференцировать контингент тестируемых по уровню знаний в выбранной предметной области или обеспечивать адаптацию заданий к уровню знаний отдельных обучаемых [28].

С точки зрения практической применимости методов теории педагогических измерений необходимо дальнейшее развитие алгоритмической базы компьютерных средств создания банков калиброванных тестовых и заданий с заданными характеристиками [99,101], что позволит оперативно реагировать на изменения в современных требованиях к проектируемым компьютерным курсам обучения [77]. Необходимо также создание алгоритмов обработки тестовых данных, позволяющих уменьшить влияние изначально присущей педагогическим измерениям неопределенности [37,41,43] на результаты тестирования.

Возможные пути получения новых теоретических и практических результатов связаны с введением в арсенал теории педагогических измерений, являющейся основным инструментом тестологии [37-40], элементов кибернетики и теории передачи информации, связанных с анализом информации в условиях неопределенности [43,81], органически присущей педагогическим и психологическим измерениям [36]. На теоретической базе кибернетики возможно дальнейшее развитие методов моделирования педагогических измерений с использованием неклассических вероятностей и теории случайных множеств [82,86,90]. Это позволит существенно повысить эффективность оценок знаний, получаемых с помощью баз тестовых заданий, спроектированных с применением новых моделей измерений. Наконец, введение новых методов оценки тестовых заданий может позволить значительно улучшить временные и качественные показатели процесса проектирования и применения банков тестовых заданий [55].

Целью диссертационной работы является разработка и исследование теоретической и методологической базы применения новых моделей педагогических измерений для оценки эффективности банков тестовых заданий в компьютерных системах обучения.

Для достижения поставленной цели необходимо решить следующие задачи:

- разработать методики оценки информационного содержания банков тестовых заданий;

- разработать модель оценки эффективности банков тестовых заданий в педагогических измерениях;

- разработать алгоритмы применения предложенной модели оценки эффективности при проектировании и использовании банков тестовых заданий;

- провести теоретическое и практическое изучение полученной методологии оценки эффективности банков тестовых заданий.

Практическая ценность результатов исследований определена их применением для решения задач проектирования и разработки банков тестовых заданий в компьютерных системах обучения общего назначения, которые могут применяться в широком спектре предметных областей обучения.

Диссертационная работа состоит из введения, четырех глав, заключения, списка источников и приложений.

Выводы по главе

В Главе IV рассмотрены вопросы структурной организации и программной реализации компьютерных систем проектирования и анализа эффективности банков тестовых заданий на основе математических моделей, разработанных в Главе II и алгоритмов проектирования и калибровки банков тестовых заданий, разработанных в Главе III.

В силу использования новых теоретических результатов, полученных в предыдущих главах диссертационной работы, удалось свести исходный классический алгоритм проектирования и оценки эффективности банков тестовых заданий, имеющий экспоненциальную сложность, к новому алгоритму, имеющему полиномиальную сложность.

Полученные результаты позволили перейти к вопросам программной реализации инструментального средства, основные интерфейсы которого описаны в приложении 2, а основные программные модули - в приложении 3.

С использованием созданной в процессе работы над диссертационном исследованием компьютерной системы были проведены исследования достоверности теоретических оценок разработанных алгоритмов проектирования и калибровки банков тестовых заданий. Исследования проводились как на модельных примерах, так и на данных по контингенту обучаемых различных категорий. Результаты исследования подтвердили корректность и эффективность разработанных алгоритмов и правильность программной реализации.

С целью сравнительного анализа разработанной программной системы был осуществлен поиск информации по имеющимся на рынке аналогам, разработанным как в России, так и в ряде других стран. Выполненный анализ подтвердил высокие показатели разработанной программной системы, а также ее конкурентоспособность в сравнении с аналогами.

ЗАКЛЮЧЕНИЕ

В соответствии с поставленной целью в диссертационной работе были разработаны и исследованы вопросы теоретической и методологической базы применения новых моделей педагогических измерений для оценки эффективности банков тестовых заданий в компьютерных системах обучения.

Для достижения поставленной цели в работе был решен ряд актуальных теоретических и практических задач: разработана методика оценки информационного содержания банков тестовых заданий; разработана модель оценки эффективности банков тестовых заданий в педагогических измерениях; разработаны алгоритмы применения предложенной модели оценки эффективности банков тестовых заданий при их проектировании и использовании; проведено теоретическое и практическое изучение полученной методологии оценки эффективности банков тестовых заданий.

В результате получены следующие новые научные результаты: создана концепция кибернетической модели латентного пространства для педагогических измерений и на ее основе введены критерии оптимальности для банков тестовых заданий; разработано математическое представление обобщенной модели информационной функции банков тестовых заданий; разработаны, изучены и применены в разработке программного обеспечения алгоритмы калибровки и проектирования банков тестовых заданий с помощью оценок эффективности, получаемых на основе теоретических результатов работы.

Научные и практические результаты, полученные в диссертации, были апробированы на ряде всероссийских и международных научных конференций.

Практическая ценность результатов исследований определена их применением для решения задач проектирования и разработки автоматизированных систем компьютерного обучения общего назначения, которые могут применяться в широком спектре проблемных областей обучения.

Практическая ценность результатов работы подтверждается документами о внедрении результатов диссертационной работы в учебном процессе профессиональной подготовки специалистов в Администрации Таганрогского морского порта, а также в учебном процессе Таганрогского Государственного Педагогического Института и Таганрогского Государственного Радиотехнического Университета.

1. Анализ исследований и разработок в области информатизации образования М.: ИНИНФО, 1993.

2. Беспалько В.П. Педагогика и прогрессивные технологии обучения. -М., 1995.

3. Булыгин В.Г. Основы автоматизации процесса обучения.- Йошкар-Ола, 2003.

4. Васильев В.И., Демидов А.Н., Малышев Н.Г., Тягунова Т.Н. Методологические правила конкурирования компьютерных педагогических тестов. М.: Изд-во ВТУ, 2000.

5. Агеев В.Н. Электронные учебники и автоматизированные обучающие системы.- М., 2001. 79 с.

6. Гиркин И.В. Новые подходы к организации учебного процесса с использованием современных компьютерных технологий //Информационные технологии, 1998, № 6. с. 44-47.

7. Астанин C.B., Захаревич В.Г., Попов Д.И. Интеллектуальные средства обучения в Интернет // Сборник докладов Всероссийской научной конференции "Управление и информационные технологии". СПб. 2003. Т. 2. С. 278-282.

8. Оцуки С. Приобретение знаний и обучение в диалоге //Приобретение знаний: Пер. с япон. /Под ред. С. Осуги, Ю. Саэки. М.: Мир, 1990. -304 с.

9. Астанин C.B., Курейчик В.М., Попов Д.И, Кузьмицкий А.А. Интеллектуальная образовательная среда дистанционного обучения // Новости искусственного интеллекта. М. 2003. № 1.03 (55). С. 7-14.

10. Соловов A.B. Проектирование компьютерных систем учебного назначения: Учебное пособие. Самара: Изд-во СГАУ, 1995. - 137 с.

11. Intelligent Tutoring Systems: Proceedings of Second International Conference //University de Montreal. Montreal, Canada, 1992. - 422 p.

12. Каинова Э. Стандартизация труда учителя // Народное образование, 1993, N1.

13. Куклин В.Ж., Наводнов В.Г., Петропавловский М.В. КАМЕРТОН-технология проведения тестирования и анализа результатов. Йошкар-Ола, 1995.

14. Куклин В.Ж., Масленников A.C., Наводнов В.Г. Технология разработки педагогических испытательных материалов // Прикладные исследования в электронике и новые технологии в обучении студентов. Йошкар-Ола, 1996. С. 44-46.

15. Куклин В.Ж., Мешалкин В.И., Наводнов В.Г., Савельев Б.А. О компьютерной технологии оценки качества знаний // Высшее образование в России. 1993, N 3. С. 146-153.

16. Вишняков Ю.М., Родзин С.И. Проблемы интеграции интеллектуальных гипермедийных обучающих сред в виртуальные образовательные структуры //Новости искуственного интреллекта. Таганрог: Изд-во Таганрогского гос. радиотех. ун-та, 2000. - С. 89-101.

17. Жуковская Н.К. Применение экспертных систем в дистанционном обучении //Труды X Всероссийской науч.-метод. конф. "Телематика-2003". СПб., 2003. - С. 395-396.

18. Zaitseva L., John D. Zakis. Course Development for Tutoring and TrainingSystems in Engineering Education /Global J. of Engng. Educ., 1991, vol. 1, № 3.Printed in Australia.- P. 21-27.

19. Аванесов B.C. Образовательные стратегии Российского государства. Доклад. Сб. «Россия в современном мире. Т.4 . Под. Ред. Ю.С.Пивоварова. М.: ИНИОН, РАН, 2005. Депонировано.

20. Аванесов B.C. Форма тестовых заданий . М.: Центр тестирования, 2005г.

21. Оценка образовательных достижений в рамках национальных экзаменов. Материалы и тезисы докладов Международной конференции. 13-15 декабря 2004г.С.11-12. М.: Изд-во «Уникум-центр», 2005. -279с.

22. Беспалько В.П. Педагогика. М., 1995.

23. Аванесов B.C. Научные проблемы тестового контроля знаний /Монография. М.: Исследовательский центр проблем качества подготовки специалистов, 1994. - 135 с.

24. Агеев В.Н. Электронные учебники и автоматизированные обучающие системы. М., 2001. - 79 с.

25. Березин Н.В. Перспективы создания системы адаптивного тестирования как элемента централизованного тестирования /Научный вестник МГТУ ГА, серия "Информатика", 2001, № 38. С. 26-30.

26. Жуковская Н.К. Исследование и разработка моделей рассуждений в интелектуальных обучающих системах: Дисс. канд. техн. наук. Таганрог, 2004. -161 с.

27. Уотермен Д. Руководство по экспертным системам: Пер. с англ. М.: Мир, 1989. - 388 с.

28. Буш Р., Мостселлер Ф. Стохастические модели обучаемости.-М.:Физматлит, 1962. 485 с.

29. McArthur D.L. Educational Assessment: A Brief History /McArthur D.L. (Ed). Alternative Approaches to the Assessment of Achievement. Kluver Academic Publishers, Boston, 1987.

30. Аванесов B.C. Из глубины веков // Педагогическая диагностика №1,2003 г. с.3-7.

31. Гнеденко Б.В. Курс теории вероятностей.- М.:Наука, 1988,446 с.

32. Феллер В. Введение в теорию вероятностей и ее приложения.-М.:Мир, 1964, 498 с.

33. Andrich D. Rasch Models for measurement. Newbury Park, CA, 1988.

34. Аванесов B.C. Педагогическое измерение латентных качеств. «Педагогическая диагностика» № 4, 2003, с. 69-78.

35. Rasch G. On specific objectivity: An attempt at formalizing the request for generality and validity of scientific statements. Danish Yearbook of Philosophy, 1977, 16, pp. 58-94.

36. Karabatsos G. Axiomatic measurement theory as a basis for model selection in item response theory. Paper presented at 32nd annual conference of the Society for Mathematical Psychology, Santa Cruz, CA. 1999, July.

37. Frank В., Baker T. Item response Theory: parameter estimation techniques. New York.:Marcel Dekker, 1992.

38. Анастази А. Психологическое тестирование. Т. 1,2. М.: Педагогика, 1982.

39. Романов А.В. Методика подготовки и проведения тестового контроля в учебном процессе. Чебоксары: Клио, 1998. 47с.

40. Shafer G. Mathematical theory of evidence. Princeton University Press, Princeton, NJ, 1976.

41. Peral J. Bayesian decision methods. Enc. Of Artificial Intelligence, John Wiley, 1986, pp. 48-56.

42. Lord P.M., Novic M.R. Statistical Teories of Mental Test Scores. Reading, Mass.: Addison-Wesley, 1968.

43. Lord P.M. Application of Item Response Theory to Practical Testing Problems. Hillsdate, 1954.

44. Bimbaum A. Some Latent Trait Models. In 76. Lord F.M., Novic M.R. Statistical Teories of Mental Test Scores. Reading, Mass.: Addison-Wesley, 1968.

45. Rasch, G. Probabilistic Models for Some Intelligence and Attainment Tests. With a Foreword and Afteword by B.D. Wright. The Univ. of Chicago Press. Chicago & London, 1980. -199 pp.

46. Guttman L. A basis for analizing test-retest reliability. Psychometrika. -1945, 10.-P. 255-282.

47. Guttman L. The quantification of a class of attributes: A theory and method of scale construction. The prediction of personal adjustment. New York: Social Science Research Council. 1941.-P. 319-348.

48. Binet A., Simon Т.Н. The Development of Intellegence in Young Children. Vineland, N-Y: The Training School, 1916.

49. Наводнов В.Г. Математические модели САПР ПИМ: Препринт N 4/97.- Йошкар-Ола. Научно-информационный центр государственной аккредитации. 1997.

50. Наводнов В.Г., Петропавловский М.В., Ельцын A.B. Автоматизированное проектирование педагогических измерительных материалов: Препринт N 2/97. Йошкар-Ола. Научно-информационный центр государственной аккредитации, 1997.

51. Челышкова М.Б. Разработка педагогических тестов на основе современных моделей. Исследовательский Центр, 1995.

52. Челышкова М.Б., Савельев Б.А. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе. М., 1995.

53. Кузьмина Н.В. Методы исследования педагогической деятельности. -Л., 1970.

54. Пак Н.И., Филиппов В.В. О технологии создания компьютерных тестов // Информатика и образование, 1997, N5, с. 19-24.

55. Бухараев Р.Г., Сулейманов Д.Ш. Семантический анализ в вопросно-ответных системах. Казань: Из-во Казан, ун-та, 1990. - 123 с.

56. Кузнецов И.П. Семантические представления. М.: Наука, 1986.

57. Петрова Е.Г. Функционально-семантическое поле познания в современном русском языке //Дисс. канд. фил. наук. Таганрог, 2004. -200с.

58. Эльгаров A.A. Семантический анализ текста. Нальчик: Изд-во Ка-бард.-Балкар. гос. ун-та., 1989 - 124 с.

59. Михеев В.И. Моделирование и методы теории измерений в педагогике. М.: Высшая школа, 1987.

60. Майоров А.Н. Тесты школьных достижений: конструирование, проведение, использование. С-Пб: Образование и культура, 1996.

61. Беспалько В.П. Элементы теории управления процессом обучения (в 3 частях). М.: Знание, 1970.

62. Варенова Л.И. Куклин В.Ж., Наводнов В.Г. Рейтинговая Интенсивная Технология Модульного обучения.-1993.

63. Аванесов B.C. Композиция тестовых заданий. М. Центр тестирования, 2002.

64. Основы информатики и вычислительной техники для работников народного образования. Методические рекомендации для преподавателей / Сапрыкина Г.А., Шанин И.В., Дудкина Н.М. и др. / Под редакцией И.М. Бобко. -Новосибирск, 1987, с. 155.

65. Куликовский Л.Ф., Мотов В.В. Теоретические основы информационных процессов.- М.: Высшая школа, 1987, 247 с.

66. Thurstone L.L. A law of comparative judgement. Psyhological Review, 1927, 34, pp. 273-286.

67. Thurstone L.L. Theory of attitude measurement. Psyhological Review, 1929, 36, pp. 222-241.

68. Rasch G. On general laws and the meaning of measurement in psychology. Proc. Of the Fourth Berkley Symp. On Math. Statistics and Probability, 1961, pp.321-333.

69. Росс Эшби У. Введение в кибернетику.- М.: Издательство иностранной литературы, 1959., 430 с.

70. Четвериков В.Н., Ревунков Г.И., Самохвалов Э.Н. Базы и банки данных.- М.: высшая школа, 1987., 252 с.

71. Сэлтон Г. Автоматическая обработка, хранение и поиск информации.- М.:Сов. Радио, 1973.

72. Корнеев В.В. и др. Базы данных (интеллектуальная обработка информации).- М.:Нолидж, 2000.

73. Гайнетдинов M.JI., Иванов Ю.С. Компьютеризация управления к системе образования: совершенствование учебно-воспитательного процесса с помощью ЭВМ.- Казань, "Инкора-пресс", 1994.

74. Педагогические тесты. Термины и определения. Отраслевой стандарт Министерства Образования РФ. Москва, 2001 г.

75. Нейман Ю.М., Хлебников В.А. Педагогическое тестирование как измерение. Москва, 2002.

76. Винер Н. Кибернетика.- М.: 1958, Сов. Радио.

77. Броневич А.Г., Каркищенко А.Н. "Вероятностные и возможностные модели классификации случайных последовательностей".- Таган-рог:ТРТУ, 1996.

78. Литвак Б.Г. "Экспертная информация: методы получения и анализа". М.: Радио и связь, 1981.

79. Кини Р.Л., Райфа X. "Принятие решений при многих критериях: предпочтения и замещения". -М.: Радио и связь, 1981.

80. Ларичев О.И., Мошкович Е.М. "Качественные методы принятия решений". М.: Физматлит, 1996.

81. Хлебников В.А. Вводная статья, ж. "Вопросы тестирования в образовании", №2, 2002.

82. Wright P.D., Stone М.Н. Best test design. Chicago: MEAS Press, 1979.

83. Wright P.D., Masters G.N. Rating scale analysis. Chicago: MEAS Press, 1982.

84. Rasch G. (1960). Probabilistic Models for Some Intelligence and Attainment Tests. The Danish Institute of Educational Research, Copenhagen

85. Rasch G. (1977). On specific objectivity. An attempt at formalizing the request for generality and validity of scientific statements. In Blegvad, M. (ed.). The Danish Yearbook of Philosophy, 58-94. Munksgaard, Copenhagen

86. Нариньяни A.C. НЕ-факторы 2004. В сб. трудов IX Национальной конференции по ИИ КИИ-2004, М.:Физматлит, 2004, т.1, с. 420-432.

87. King J., Bond Т. "Parents' and Students' Satisfaction with the Use of Information Technology in Government Schools. Computers in Education 2001: Australian Topics, Volume 8. Sydney: Australian Computer Society Inc

88. Wilson M., Pirelli, P. (1995). The relationship between the Rasch model and conjoint measurement structures (Tech. Rep. Berkeley, CA: University of California.

89. Junker B. W., Sijtsma K. (2001). Nonparametric item response theory in action: An overview of the special issue. Applied Psychological Measurement, 25,211-220.

90. Lauritzen S.L., Bernardo J.M., et al "Rasch Models with Exchangeable rows and columns. Bayesian Statistics 7". eds. J. M. Bernardo et al. pp 215-232. Oxford University Press, Oxford, 2003.

91. Linardakis M., Deilaportas P. "An Approach to Multidimensional Item Response Modeling", The Sixth World Meeting of the International Society for Bayesian Analysis ISBA 2000, pp. 331-340.

92. Junker B. W. et al., "On the interplay between nonparametric and parametric IRT, with some thoughts about the future". 2001. Essays on item response theory, pp. 247-276. New York: Springer-Verlag.

93. Kreiner S., Christensen К. Graphical Rash Models. Population Health Research, 116-159. Sage Publications, London. 1998.

94. Kreiner S., Christensen К. Graphical Rash Models. Population Health Research, 116-159. Sage Publications, London. 1998.

95. Beck J. Е., Stern М.К., and WoolfB.P. (1997). "Using the Student Model to Control Problem Difficulty". Proceedings of Seventh International Conference on User Modeling, 277-288.

96. Rudner L. (2001). "Informed test component weighting". Educational Measurement: Issues and Practice, 20(1), pp. 16-20.

97. Collins J. "Adaptive Testing with Granularity". University of Saskatchewan, Dep. of CS, Saskatchewan, 1999.

98. Yao J.T., Yao Y.Y. "Induction of Classification Rules by Granular Computing. Rough Sets and Current Trends". In: Computing. 2002: 331-338.

99. Dempster A. Upper and Lower Probabilities induced by a multivalued mapping. Ann. Math. Stat., 1967, v.38, pp.325-339.

100. Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления (в 3-х томах).- М.:Физматлит, 1969.

101. Куликовский Л.Ф., Мотов В.В. Теоретические основы информационных процессов.- М.:Высшая школа, 1987.

102. Бойченко М.М. Автоматизированная мультимедийная система контроля знаний обучаемых для Windows.- В кн.: Материалы XXVVII Межвузовской военно-научной курсантской (студенческой) конференции, Новочеркасск: НВИС, 2000, с. 55-56.

103. Бойченко М.М. Современная система контроля знаний обучаемых.- В кн.: Материалы международной конференции "Динамика процессов в природе, обществе и технике: информационные аспекты", часть I, Та-ганрог:ТРТУ, 2003, с. 12-13.

104. Бойченко М.М., Бойченко О.В. Роль самостоятельной работы в дистанционном обучении.- В кн.: Материалы конференции "Информационные технологии, системный анализ и управление", Таганрог:ТРТУ, 2003, с. 103-105.

105. Бойченко М.М. Современная система поддержки самостоятельной работы студентов.- В сб.: Механизмы реализации образовательных потенциалов текста, Таганрог:ТГПИ, 2004, с. 12-17.

106. Бойченко М.М., Бойченко О.В. Информационная система поддержки обучения студентов.- В кн.: Материалы международной конференции "Информационный подход в естественных, гуманитарных и технических науках", Таганрог:ТРТУ, 2004, с. 22-23.

107. Бойченко М.М., Бойченко O.B. Контроль знаний обучаемых как объект автоматизации.- Известия ТРТУ, №8, 2004, с. 79-80.

108. Бойченко М.М., Бойченко О.В. Информатизация самостоятельной учебной работы.- В кн.: Материалы конференции "Информационные технологии, системный анализ и управление", Таганрог:ТРТУ, 2004, с. 96-97.

109. Бойченко М.М., Бойченко О.В., Петрова Е.Г. Роль функционально-семантических полей в систем компьютерного обученияах.- В сб.: Проблемы образования в современной России и на постсоветском пространстве, ред. В.И. Левин, Пенза:ПГТА, 2005, с. 350-352.

110. Бойченко М.М., Бойченко О.В. Роль индивидуально-типологических свойств личности в процессе контроля знаний.- В кн.: Материалы международной конференции "Оптимальные методы решения научных и практических задач", ТаганропИзд. "Антон", 2005, с. 26-29.

111. Ермаков М.Г. Андреева Л.Е. Вопросы разработки тестирующих программ // Информатика и образование, 1997, N 3, с. 87-89.

112. Педагогический словарь. М.: ЛПН РСФСР, 1960.

113. Прокофьев A.B. Программированное обучение. Программированные учебники. Машины для обучения. М.: Военное издательство Министерства обороны СССР, 1965, с. 66-69.

114. Нивергельт Ю. и др. Машинный подход к решению математических задач.-М.:Мир, 1977.

115. Тиори Т., Фрай Дж. Проектирование структур баз данных.-М.:Мир, 1985.

116. Грэй П. Логика, алгебра и базы данных.-М.:Машиностроение, 1989.

117. Озакарахан Э. Машины баз данных.-М.:Мир, 1989.

118. Ильин В.А., Садовничий В.А., Сендов Бл.Х. Математический анализ.-М.:Физматлит, 1979.

119. Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа.- М.:Наука, 1989.

120. Dobesch H.I., Sulanke Н. Zeit functionen. Theorie und Awendund. Berlin, 1966.

121. Гельфанд И.М., Шилов Г.Е. Обобщенные функции и действия над ними.- М.:Физматгиз, 1959.

122. Хаусхолдер А.С. Основы численного анализа.- М.:Издательство иностранной литературы, 1956.

123. Львов B.C. Создание систем поддержки принятия решений на основе хранилищ данных. СУБД, 1997, №2, с. 30-40

124. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация.- М.: Мир, 1985.

125. Поляк Б.Т. Введение в оптимизацию.-М.: Наука, 1983.

126. Фиакко А., Мак-Кормик Г. Нелинейное программирование. Методы последовательной безусловной оптимизации.- М.: Мир, 1972.

127. Язенин А.В. Нечеткое математическое программирование. Калининский государственный университет, 1986.

128. Barnett J. A. Computational methods for a mathematical theory of evidence // In Proc. of 7th Int. Joint Conf. on AI, Los Altos, USA, 1981, pp. 868-875.

129. Gordon J. Shortliff E.H. A metod for managing evidential reasoning in a hierachical hypotesis space. Artificial Intelligence, 26:323-357, 1985.

130. Shafer G., Logan R. Implementing Dempster's rule for hierarchical evidence. Artificial Intelligence, 33:271-298, 1987.