автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Конструирование педагогических измерительных материалов в процедурах регламентации деятельности учреждений высшего образования на основе методов оптимизации и экспертного оценивания

/

/

/

Марийский государственный технический университет Научно-информационный центр государственной аккредитации

Конструирование педагогических измерительных материалов в процедурах регламентации

деятельности учреждений высшего образования на основе методов оптимизации и экспертного оценивания

05.13.10 - Управление в социальных и экономических системах 05.13.12- Системы автоматизации, проектирования

На правах рукописи

Ельцын Александр Владимирович

Диссертация на соискание ученой степени кандидата технических наук

Воронеж 1999

Введение............................................................................................................3

1. Повышение эффективности принятия решений в процедурах регламентации деятельности учреждений высшего образования на основе информационных технологий........................................................................10

1.1. Информационные потоки в системе государственной аккредитации учреждений высшего образования.............................................................10

1.2. Методы измерения качества обученности..........................................19

1.3. Общая схема цикла педагогических измерений.................................20

1.4. Проблема оценки качества педагогических измерительных материалов...................................................................................................24

2. Математические модели и алгоритмы в педагогических измерениях.....36

2.1. Формализованная постановка задачи САПР ПИМ как задачи обобщенного целочисленного математического программирования......36

2.2. Применение методов автоматизированного проектирования при создании сильнопараллельных (многовариантных) ПИМ........................39

2.3. Автоматизированные методы формирования слабопараллельных ПИМ.............................................................................................................41

2.4. Математические модели и методики, используемые при разработке комплексных ПИМ......................................................................................45

3. Практические аспекты задачи САПР ПИМ...............................................50

3.1. Организация базы тестовых заданий...................................................50

3.2. Прогноз характеристик ПИМ в процессе конструирования..............57

3.3. Процедура выравнивания файлов тестовых заданий.........................66

3.4. Граничные условия и целевые функции в задаче САПР ПИМ..........68

3.5. Библиотека математических моделей САПР ПИМ............................71

3.6. Алгоритмы решения задачи САПР ПИМ............................................75

4. Программный комплекс автоматизации педагогических измерений Те810епу3.1....................................................................................................83

4.1. Обзор программного обеспечения автоматизации цикла тестирования................................................................................................83

4.2. Структура программного комплекса Тез10еп.....................................88

4.3. Визуальная среда конструирования ПИМ...........................................89

4.4. Система автоматизированного тестирования TGTest........................99

4.5. Сбор и первичная обработка результатов тестирования. Программа TGGather....................................................................................................103

4.6. Реализация САПР ПИМ в программе TGCAD.................................105

Заключение...................................................................................................109

Список литературы.......................................................................................111

Список рисунков и таблиц...........................................................................120

Приложения..................................................................................................123

Приложение 1. Формат файла заданий, в системе TestGen....................123

Приложение 2. Пример тест-билета, сгенерированного программой

TestGen.......................................................................................................127

Приложение 3. Пример бланка ответов для автоматизированного ввода результатов................................................................................................130

Введение

В течение последних лет в российской системе образования произошли значитедьные изменения. Появились негосударственные образовательные организации, разработан и законодательно введен в действие новый механизм регламентации деятельности учреждений высшего образования, создается легитимная база государственной аттестации выпускников. Все эти изменения делают актуальной задачу оценки качества обучения. Основой объективной оценки уровня образования и квалификации выпускников, независимо от форм получения образования, является установление его соответствия Государственным образовательным стандартам. Наличие в государственной номенклатуре большого числа образовательных программ делает актуальной задачу разработки новых и повышения эффективности существующих технологий измерения качества обученно-сти.

Традиционно в России ответственность за оценку качества обучения возлагалась на педагога. Используемые при этом методы (собеседование, выполнение контрольных заданий и т.д.) трудно формализуемы, а разрабатываемые методические материалы носят характер авторских. Однако переход к массовым педагогическим измерениям приводит к необходимости формализации этапов цикла педагогических измерений и их последующей автоматизации, что, в свою очередь, требует предварительных теоретических исследований.

За рубежом накоплен значительный опыт проведения массовых тестирований, как одного из возможных методов педагогических измерений. Над созданием теоретической базы современной теории оценки качества обучения работали Adema J.J. [59 - 62], Fisher G.H. [79, 80], Hambleton R.K.[83, 84], Kuder G. [92], Lord F.M. [93 - 95], Novick M.R. [98] Popham W.J. [99], Rasch G. [100], Samejima F.A. [102], van der Linden W.J. [108 -110], Wright B.D. [Ill, 112] и другие. На сегодняшний день можно выделить два основных подхода к данной проблеме: классическая теория тестирования (Classical Test Theory) и современная теория тестирования (Item

Response Theory). В нашей стране проблемы теоретического обоснования и практической реализации цикла педагогических измерений привлекли внимание исследователей лишь в последние годы (Аванесов B.C. [11- 14], Беспалько В.П.[19], Дюк В.А. [23], Куклин В.Ж., Наводнов В.Г., Масленников A.C. [37 - 40], Савельев Б.А., Майоров А.И. [34], Татур А.О.[44], Че-лышкова М.Б. [53, 54], Шмелев А.Г. [55, 56] и другие.). Толчком к началу развития средств автоматизации педагогических измерений послужило бурное расширение парка персональных компьютеров и их качественное развитие (возрастание быстродействия, увеличение объема хранимых данных, появление средств мультимедиа). На зарубежном рынке появились фирмы (например Assessment System Corporation), предлагающие программы, автоматизирующие наиболее трудоемкие этапы подготовки тестов и анализа результатов тестирования (такие, как программы MicroCAT, BICAL, BILOG, LOGIST, MICROTEST) и, как правило, имеющих узкоспециализированное назначение. Среди наиболее известных программных систем, созданных в нашей стране можно назвать "Адонис", "Дельфин". Большинство отечественных программных разработок предназначены для автоматизации самого этапа тестирования (компьютерное тестирование) и ориентированы на развитие его выразительных возможностей и анализ результатов, оставляя в стороне другие не менее важные этапы.

В сложившейся ситуации зарубежный опыт требует внимательного исследования. Однако при этом следует учитывать особенности, присущие массовым педагогическим измерениям в российской системе образования:

1. За рубежом целью тестирования, как правило ставится ранжирование, призванное способствовать социальной ориентации тестируемого, а его результаты носят рекомендационный характер. В России педагогические измерения носят преимущественно критериальный характер и ориентированы на "отбор" тестируемых (выпускные экзамены после 9 класса в школе, вступительные экзамены в вуз).

2. Проведение педагогических измерений часто возлагается на проводившего обучение педагога, заинтересованного в получении положи-

тельной оценки результатов своего труда. Всё это стимулирует попытки "обойти" результаты тестирования, приводя к необходимости применения специальных методов повышения объективности, таких, как использование многовариантных тестов.

3. Административные меры, направленные на обеспечение актуальности тестовых материалов (запрет на размножение и публикацию) оказываются недейственными, затрудняя получение объективной оценки при повторном использовании тестовых материалов.

4. Разнообразие форм обучения и учебных программ приводят к необходимости создания большого количества специализированных тестовых материалов.

Разработка информационной технологии оценки уровня обученности требует привлечения современных средств автоматизации. Более того, задача создания большого количества разнообразных педагогических измерительных материалов (ПИМ) требует разработки специализированных САПР ПИМ, не привязанных к конкретным предметным областям или методикам обучения. Все это явилось причиной выбора темы проводимых исследований.

Цель исследования заключается в разработке теоретического обоснования и практической реализации компонентов программной среды автоматизации цикла измерения качества обученности. Задачи исследования:

1. Построение модели информационных потоков в процедурах регламентации деятельности учреждений высшего образования.

2. Формализация описания процедур проектирования ПИМ с целью создания обобщенной математической модели САПР ПИМ и исследование методов решения поставленной задачи.

3. Формирование библиотеки математических моделей САПР ПИМ, ориентированных на достижение часто ставящихся целей педагогических измерений.

4. Алгоритмическая и программная реализация компонентов интегрированной среды автоматизации цикла педагогических измерений Тез10еп у3.1.

Предметом исследования является замкнутый цикл педагогических измерений, основанный на разработке и использовании педагогических измерительных материалов в электронной или бумажной форме представления.

В качестве объекта исследования рассматриваются процедуры ведения баз тестовых заданий, разработки ПИМ и проведения тестирования.

Методы исследования - классическая и современная теория тестирования, статистические методы анализа информации, теория систем автоматизированного проектирования, аппарат математического программирования.

Научная новизна. В результате проведенного диссертационного исследования получены и выносятся на защиту следующие результаты, характеризующиеся научной новизной:

1. Общая схема педагогических измерений, отличающаяся наличием обратной связи, что позволяет разрабатывать средства автоматизации, реализующие накопление статистики использования и уточнение характеристик ПИМ при повторном использовании.

2. Формализованная модель задачи САПР ПИМ как задачи обобщенного целочисленного математического программирования, полученной заменой скалярной целевой функции на вектор-функцию оценок характеристик ПИМ и интерпретации "оптимальности" решения в терминах функций выбора, порожденных бинарными отношениями между значениями вектор-функции, что позволяет более гибко описывать требуемые характеристики ПИМ при автоматизированном конструировании.

3. Библиотека математических моделей и алгоритмов САПР ПИМ, ориентированных на достижение наиболее часто ставящихся целей педагогических измерений, позволяет сократить время проектирования ПИМ на этапе спецификации требуемых характеристик.

4. Методы и программные алгоритмы формирования сильнопараллельных, слабопараллельных и комплексных ПИМ которые могут быть использованы для конструирования ПИМ при различных постановках цели педагогических измерений, в том числе для оценки результатов обучения в образовательном учреждении в целом.

5. Методы проведения массовых педагогических измерений, основанные на применении программного комплекса TestGen и позволяющие повысить точность и объективность оценки уровня обученности, сократить расходы на подготовку и проведение педагогических измерений.

Практическая значимость проведенной работы выражается в том, что предложенные математические модели САПР ПИМ могут быть использованы при реализации программных продуктов автоматизации конструирования ПИМ. Разработанный программный комплекс ТеБ10еп позволяет повысить точность и объективность оценки уровня обученности и сократить расходы на подготовку и проведение педагогических измерений.

Внедрение результатов. Разработанные в ходе работы версии программного обеспечения с 1993 года используются в учебном процессе Марийского государственного технического университета, а с 1995 года - при проведении Единого экзамена в республике Марий Эл. С 1996 года программный комплекс Тез10еп используется в работе государственной инспекции по аттестации учебных заведений России при проведении внешней экспертизы образовательных организаций. ПК TestGen передан для внедрения в более чем 50 образовательных организаций и органов управления образованием, среди которых Кисловодский институт экономики и права, Московская государственная академия печати, Международный университет в г. Москве, Кубанский государственный технический университет, Хабаровский государственный технический университет, Самарский муниципальный комплекс непрерывного образования "Университет На-яновой", Сочинское управление образованием, Ростовское областное управление образованием, Тюменский международный институт экономи-

ки и права, Южно-сахалинский институт экономики, права и информатики и другие.

Внедрение результатов работы подтверждается соответствующими актами.

Апробация результатов исследования. Результаты исследований докладывались на следующих конференциях и семинарах: Семинар-Совещание "Технологии государственной регламентации образовательных организаций" (Йошкар-Ола, 1996 - 1998 г.); "Диалог наук на рубеже XX-XXI веков и глобальные проблемы современности" (Вавиловские чтения) (г. Йошкар-Ола, 1996 и 1998г); I Российско-Американская региональная конференция «Образование и перспективы развития» (г. Йошкар-Ола, 9-11 октября 1997); конференция по итогам научно-исследовательских работ МарГТУ (Йошкар-Ола, 20-22 апреля 1998); Международная научно-техническая конференция "Интеллектуальные САПР-98" (Геленджик, 1-6 сентября 1998 г.); Школа-семинар "Создание единого информационного пространства системы образования" (г. Москва, 3-5 ноября 1998 г.); Российско-американская научно-практическая конференция "Негосударственное высшее образование на рубеже веков: психолого-педагогические основы активизации познавательной деятельности студентов" (г. Йошкар-Ола, 22-24 апреля 1999 г.); Международный семинар "Система управления качеством подготовки специалистов в вузе. Оценка учебных достижений студентов при аттестации образовательных программ" (г. Москва, 11-13 мая 1999г.)

На проведение исследований совместно с Петропавловским М. В. в 1997 году был получен грант 97-28-3.9-155 по теме "Информационная технология оценки качества обученности и определения его соответствия Государственным образовательным стандартам".

Публикация результатов работы. По теме диссертации автором опубликовано 8 печатных работ, в том числе одно учебное пособие с грифом Госкомвуза России.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения, списка литературы и приложений. Список цитируемой литературы содержит 112 наименований.

Общий объем работы - 133 страницы печатного текста.

1. Повышение эффективности принятия решений в процедурах регламентации деятельности учреждений высшего образования на основе информационных технологий.

Структура Российской системы образования в течение последнего десятилетия претерпела значительные изменения. Произошла децентрализация системы образования, появились негосударственные учреждения высшего образования. Традиционные государственные вузы так же в своем большинстве претерпели значительные изменения, связанные, в частности, с открытием новых специальностей, с изменением государственного статуса, увеличением доли гуманитарных специальностей. В настоящее время на территории Российской федерации насчитывается 555 государственных вузов (университетов, академий, институтов) с 368 их филиалами и более 300 негосударственных образовательных учреждений высшего образования, в которых обучается около 10% от общего числа студентов [37, стр. 60].

Этот процесс потребовал реформирования системы управления высшим образованием, что привело к появлению и законодательному утверждению новых процедур регламентации деятельности учреждений высшего образования: лицензирования, аттестации и государственной аккредитации.

1.1. Информационные потоки в системе государственной аккредитации учреждений высшего образования.

Как было отмечено выше, существующую систему регламентации можно разбить на несколько этапов. В Табл. 1 описаны основные задачи, решаемые на каждом этапе, используемая при принятии решения информация и источники её получения.

Название жшаисю основные флнктш Пснолыуемая при припяиш решения информация ИСТ 0Ч11ММ1 информации

1. Лицензирование. Предоставление �