автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.12, диссертация на тему:Оптимизация государственной аккредитации образовательных организаций на основе интегрированной системы концептуального моделирования и принятия решений

и Ог

2 Нп-

К и Ш 2

На правах рукописи

Наводнов Владимир Григорьевич

ОПТИМИЗАЦИЯ ГОСУДАРСТВЕННОЙ АККРЕДИТАЦИИ ОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ НА ОСНОВЕ ИНТЕГРИРОВАННОЙ СИСТЕМЫ КОНЦЕПТУАЛЬНОГО МОДЕЛИРОВАНИЯ И ПРИНЯТИЯ РЕШЕНИЙ

Специальности 05.13.12 — 05.13.10 —

Системы автоматизации проектирования

Управление в социальных и экономических системах

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук

Воронеж -1997

Работа выполнена на кафедре прикладной математики и информац ных технологий Марийского государственного технического универ« и в Научно-информационном центре государственной аккредит. Минобразования России.

Официальные оппоненты: д-р техн. наук, проф. Зайцева Ж.Н.

д-р техн. наук, проф. Сахаров Ю.С. д-р техн. наук, проф. Юрочкин А.Г.

Ведущая организация — Исследовательский центр проблем

качества подготовки специалистов (г. Москва)

Защита диссертации состоится 19 декабря 1997 г. в И часов в ко ренц-зале на заседании диссертационного совета Д 063.81.02 при Воро ском государственном техническом университете по адресу: 394026, ] ронеж, Московский проспект, 14.

С диссертацией можно ознакомиться в библиотеке Воронежского дарственного технического университета.

Автореферат разослан 18 ноября 1997 г.

Ученый секретарь диссертационного совета

Львович Я.Е.

Общая характеристика работы

Актуальность темы исследования. Вышедший в 1992 году закон "Об образовании" закрепил процессы демократизации в области образования, в частности, отказ от жесткого централизованного регулирования всей сферы образования и переход к более демократичным процедурам управления системой образования — регламентации деятельности образовательных организаций (00) посредством их лицензирования, аттестации, общественной и государственной аккредитации.

Государственная аккредитация является завершающим этапом системы регламентации деятельности 00, определяющим его государственный акк-редитационный статус (тип и вид). В связи с этим возникает задача создания новой для российской системы образования технологии управления системой образования посредством государственной аккредитации 00.

Задачи управления системой образования как сложной социальной системой привлекали большое число исследователей:

• в области теоретического обоснования и построения концептуальной модели аккредитации: Казанович В.Г., Климин C.B., Коломи-ец Б.К., Коровин В.М., Куклин В.Ж., Кушель A.A., Литвак Б.Г., Мануйлов В.Ф., Мешалкин В.И., Савельев Б.А., Селезнева H.A., Субет-тоА.И. и др.;

• в области диагностики измерения учебных достижений обучаемых: Аванесов B.C., Беспалько В.П., Куклин В.Ж., Майоров А.Н., Макарова JI.B., Масленников A.C., Михеев В.И., Родионов Б.У., Татур A.B., Че-лышкова М.Б. и др.;

• в области экспертного оценивания деятельности 00: Киселев И.П., Литвак Б.Г., Титов A.B. и др.;

• в области построения информационных систем для оценивания качества подготовки специалистов: Ельцын A.B., Жуковская З.Д., Куклин В.Ж., Литвак Б.Г., Львович Я.Е., Петропавловский М.В., Рын-дин A.A., Фролов В.Н., Чулкова С.Э. и др.;

' в области сравнительных исследований систем оценивания качества образования: КуклинВ.Ж., Мотова Г.Н., Савельев Б.А., Цейкович К.Н. и др.

Вместе с тем, создание концептуальной модели государственной аккредитации образовательных организаций, реализующих программы высшего профессионального образования, и разработка информационной технологии ее сопровождения — актуальная проблема, требующая скорейшего решения и внедрения в практику работы органов управления образованием.

Особенно острой является проблема разработки и внедрения технологии государственной аккредитации негосударственных образовательных учреждений (НОУ). Учитывая, что в России имеют лицензию более 300 НОУ, где учится около 10% всех студентов вузов, указанная проблема приобретает социальный характер.

Решение этой проблемы было затруднено рядом причин:

• слабым исследованием опыта аккредитации в странах с давними демократическими традициями;

• слабой проработанностью методов оценивания деятельности 00;

■ отсутствием единой системы регламентации деятельности 00 и оценки качества образования;

• отсутствием современных технологичных методик массового оценивания учебных достижений обучаемых;

• отсутствием информационных технологий сопровождения процедур оценивания 00;

• низкой культурой сбора информации и интегрирования ее в единый банк данных.

Цель работы и задачи исследования заключаются в построении концептуальной модели процедуры государственной аккредитации образовательных организаций,реализующихпрограммы высшего профессионального образования, создании технологии государственной 1дасредитации и ее информационно-программного обеспечения.

Основными задачами работы являются:

1) проведение сравнительного анализа систем аккредитации образовательных организаций за рубежом. Определение основных закономерностей развития систем оценивания в развитых зарубежных странах как системы управления качеством в высшем образовании;

2) разработка формализованной обобщенной модели процедуры аккредитации. Выделение различных моделей государственной аккредитации организаций, реализующих программы высшего профессионального образования, как задачи оценивания деятельности. Выбор показателей и индикаторов оценивания;

3) проектирование технологии государственной аккредитации образовательных организаций и сопровождающего комплекса компьютерных систем;

4) разработка схемы проведения самообследования как процедуры рефлексии и самосовершенствования образовательной организации, а также системы мониторинга и стимулирования творческой активности преподавателей и студентов;

5) создание формализованного описания процедур проектирования педагогических измерительных материалов (ПИМ) и методов их генерации, обеспечивающих создание математического обеспечения процедур измерения уровня обученности;

6) разработка САПР ПИМ, позволяющая реализовывать различные режимы проектирования;

7) разработка интегрированной системы измерения обученности учащихся, включающей процедуры мониторинга баз тестовых заданий, проектирования ПИМ, (компьютерного) тестирования, обработки и анализа результатов педагогических измерений.

Предметом исследования является механизм управления системой высшего профессионального образования в Российской Федерации на основе процедур регламентации (регистрации, лицензирования, аттестации и государственной аккредитации) деятельности образовательных организаций.

В качестве объекта исследования рассматривалась система высшего профессионального образования.

Методы исследования—теория принятия решений, методы системного анализа, теория экспертного оценивания, теория управления сложными системами, методы квалиметрии, методы автоматизированного проектирования.

Научная новизна и практическая значимость состоит в следующем:

1) предложена формализованная обобщенная модель процедуры аккредитации, обеспечивающая эффективное информационное обеспечение для принятия управленческих решений по комплексу показателей;

2) сформирована концептуальная модель оценивания деятельности организаций, реализующих программы высшего профессионального образования, отличающаяся возможностью декомпозиции системы аккредитации с целью получения адекватного многокомпонентного описания;

3) предложено формализованное (математическое и алгоритмическое) описание процедур проектирования педагогических измерительных материалов и методов их генерации, обеспечивающее создание математического обеспечения процедур измерения уровня обученности;

4) создано алгоритмическое обеспечение САПР ПИМ, позволяющее реализовывать четыре режима проектирования: автоматический, автоматизированный, комбинированный и адаптивный;

5) сформирована оптимизационная модель проектирования ПИМ как задача обобщенного математического программирования, отличающаяся различными механизмами недоминирования (Паретовский механизм, механизм лексикографической оптимизации, механизм голосования и др.);

6) предложен механизм принятия управленческих решений, позволяющий визуализировать представление информации с целью выработки интегральной экспертной оценки;

7) разработана технология государственной аккредитации, основанная на комплексе компьютерных систем поддержки основных этапов процедуры (система ФОНД — на этапе самообследования, система ТестГен — на этапе проектирования ПИМ, система КАМЕРТОН — на этапе сбора, синтеза и анализа результатов измерений).

Внедрение результатов. Технология государственной аккредитация образовательных организаций, реализующих программы высшего профессионального образования, внедрена в практику работы Аккредитационной коллегии Министерства общего и профессионального образования Российской Федерации.

Апробация результатов исследования. Результаты исследований докладывались на международных конференциях и всероссийских семинарах: Проблемы качества высшего образования (Уфа, 1991, 1993-1996); Технология государственной аккредитации (Йошкар-Ола, 1994-1997); Научные проблемы тестового контроля знаний (Москва, 1994); Опыт и проблемы внедрения компьютерной техники в учебном процессе (Челябинск, 1990); Организация и методические аспекты модульного обучения и рейтингового контроля знаний студентов (Алчевск, 1992); Квалиметрия человека и образования: методология и практика. Национальная система оценки качества образования (Москва, 1996); Семинар проф. Van der Linden'a, The University of Twente (The Netherlands, 1996); Семинар по программе TASIS®DRUS 9511 "Assistance in Licensing, Accreditation and Certification in Business and Management Programmes in the Russian federation" (Москва, 1997) ; Технология государственной аккредитации образовательных организаций (Тольятти, 1997); Всероссийский семинар по вопросам аттестации образовательных учреждений (Санкт-Петербург, 1997); Аккредитационная коллегия Министерства общего и профессионального образования Российской Федерации (Москва, июль 1997).

Разработанные технологии апробировались и внедрялись в практику работы Государственной инспекции учебных заведений России при аттестации ряда государственных (Комсомольский-на-Амуре политехнический институт, Красноярский институт цветных металлов, Кубанский технологический университет, Липецкий политехнический институт, Ростовский институт автоматизации технологии машиностроения, Хабаровский технический университет и др.) и негосударственных (Международная академия туризма, Международный университет в г. Москве, Российский новый уни-

верситет, Ставропольский университет, Татарский институт содействия бизнесу, Южно-Сахалинский институт экономики, информатики и права и др.) высших учебных заведений.

Созданные модели тестирования учебных достижений легли в основу построения системы Единого экзамена в Республике Марий Эл. Технология тестирования передана для внедрения в отделы образования г. Ростова-на-Дону, Ростовской области и г. Рыбинска. Технология КАМЕРТОН передана для внедрения в десятки вузов России (Кубанский государственный технологический университет, Международный университет в г. Москве, Уфимский государственный авиационно-технологический университет, Хабаровский государственный технический университет и др.).

Публикации результатов работы. По теме диссертации опубликовано около 40 печатных работ, в том числе монография и два учебных пособия с грифами Госкомвуза России.

Структура работы. Диссертация состоит из введения, шести глав, списка обозначений и литературы.

Общий объем работы — 330 страниц.

Содержание работы

Во введении обосновывается актуальность темы диссертационной работы, формулируется цель, научная новизна и практическая значимость полученных результатов, дается краткое содержание диссертации по главам.

В первой главе рассматриваются вопросы эффективности процедуры аккредитации образовательных организаций на основе методов автоматизированного проектирования.

При проектировании технологии государственной аккредитации образовательных организаций как нового механизма воздействия (управления) на систему образования в целом и с учетом общих принципов теории управления сложными системами выделены основные этапы проектирования'.

1. Формулировка концепции оценивания.

2. Выделение объекта управления и роли функции оценивания в управлении.

3. Описание моделей оценивания объекта управления.

4. Описание моделей процедур оценивания.

5. Идентификация значимых параметров модели и их критериальных (допустимых) значений.

6. Проектирование системы измерителей состояния системы.

7. Проектирование системы переработки поступающей информации.

8. Определение механизма выработки управленческих решений.

9. Описание механизма реализации управленческих решений.

10. Проектирование системы мониторинга и коррекции.

На базе декомпозиции системы государственной аккредитации предложена формализованная обобщенная десятикомпонентная модель:

.....

где Л.—совокупность целей аккредитации, С — аккредитация как концепция управления, £ 0=1,....5) — модели оценивания, Р (7=/.....— модели процедур оценивания, 5"— модели процедур самообследования, О. — организационные модели, У 1 — совокупность значимых и измеримых показателей (индикаторов), М. — методология оценивания, Я. — результаты, £> — совокупность последействий.

Задача проектирования системы государственной аккредитации формулируется как задача оптимального выбора компонентов формализованной модели. Критерий эффективности спроектированной системы — общественная практика, экспертная оценка специалистов, сравнение с зарубежным опытом.

Процесс исследования и процесс оценивания — две формы познания, различные по целям, концептуальным основам, мотивации, методам и результатам. Если исследование, как правило, описывает явление, то необходимость в оценке возникает при наличии деятельности и осознании ее ценности. Целью процедуры оценивания является определение значимости явления и возможности его социального использования, результатом — принятие управленческих решений и программы планирования специфических действий.

Под моделью оценивания в работе понимается система значимых показателей, определяющих эффективность деятельности системы в целом. В качестве основных факторов классификации моделей оценивания выбраны: субъект-объектные отношения в процедуре оценивания, определяющие выбор показателей, влияние внешней среды на эффективность деятельности системы. Описаны пять моделей: модель оценки внутрисистемных показателей, модель оценки входных показателей, модель оценки по результатам деятельности, модель оценки комплексного оценивания, модель свободной оценки.

Для обоснования цели и содержания оценочных процедур в технологии государственной аккредитации выбрана модель комплексного оценивания.

Эта модель оценивания ориентирована на поддержку решения, результаты деятельности и сопоставление их целям и эффективности использования входных показателей. Процесс оценивания не только выявляет степень различия между целью и результатом, но и отслеживает показатели успешности в процессе деятельности. Цель оценивания — не фиксирование результатов, а их совершенствование.

Изучение моделей оценивания, в частности моделей, применяемых для нужд аккредитации, а также анализ опыта аккредитации позволяют выявить динамику процессов оценки качества образования и их явную тенденцию:

• к перемещению внимания к результатам деятельности образовательных организаций;

• к формированию внутреннего механизма оценки — самообследованию;

• к оценке результатов на соответствие целям образовательной организации.

Миссия,

- цели и задачи образовательной организации (Устав);

- структура подготовки кадров

- качество подготовки обучаемых;

- научные исследования;

- научно-методическая работа;

- довузовская подготовка и отбор абитуриентов;

- условия и возможности продолжения образования

- документально-содержательное обеспечение учебного процесса;

- информационное обеспечение учебного процесса;

- качественный состав научно-педагогических кадров

Рис. 1. Модель комплексного оценивания и показатели государственной аккредитации

- востребованность научных исследований;

- востребованность выпускников.

Разработано несколько моделей аккредитации. Выбор модели и показателей государственной аккредитации обсуждался на научных семинарах и на коллегии Госкомвуза России в марте 1996 года. Было принято решение о разработке технологии для модели "В".

Модель "В ": структурная

1) Совокупность целей аккредитации: защита прав граждан на получение образования в объеме и в сроки, предусмотренные государственными образовательными стандартами; установление государственного статуса образовательной организации; управление образовательными организациями, включая контроль за эффективностью образовательного процесса.

2) Концепция управления', управление по результатам деятельности каждой профессиональной образовательной программы (ПрОП) и образовательной организации (00) в целом.

3) Модель оценивания: комплексное оценивание.

4) Модель процедуры оценивания', цикличное оценивание.

5) Самообследование: в полном объеме (оценка результатов деятельности каждой ПрОП и 00 в целом).

6) Организационная модель: общественно-государственная.

7) Совокупность значимых показателей: документально-содержательное обеспечение учебного процесса, информационное обеспечение учебного процесса; качество подготовки обучаемых; структура подготовки кадров; условия и возможность продолжения образования; качественный состав научно-педагогических кадров; научные исследования; научно-методическая работа;^востребованность_научных_исследований; довузовская подготовка и отбор абитуриентов; востребованность выпускников.

8) Методология оценивания: смешанная. Метрические показатели — критериальный подход; экспертные показатели — бинарный подход (соответствует/не соответствует).

9) Механизм принятия решений:

а) Государственная аттестационная служба (ГАС) по результатам внешней экспертизы готовит заключение по аттестации каждой ПрОП;

б) по данным централизованного банка данных Научно-информационным центром государственной аккредитации готовится аналитическое представление к государственной аккредитации образовательной организации и реализуемых ею ПрОП;

в) Аккредитационная коллегия Минобразования РФ принимает решение.

10) Последействия: аккредитация (не аккредитация) ПрОП; государственный статус ОО (тип, вид), срок аккредитации.

Разработанная технология государственной аккредитации организаций высшего профессионального образования представлена в виде последовательности процедур на рис. 2. 8

ПО "Модуль ввода данных для БД «Лицензия*"

ЦБД

Ро^ле<тронный реестр ^ \!1£7Р0П, имеющих ли^Х

Электронный реестр_ ^^--¡«рееотр^

00

, БД "Мониторинг ,

-¿Р^3 обученности___

-__БД "Тесты"____

^—^ "Показатели ^

Ежегодное представление информации в Централизованный банк данных (ЦБД)

ПО 'Модуль ввода данных для ЦБД"

Программа

информационно-методической поддержки образовательных организаций по вопросам лицензирования образовательной деятельности:

1. Пакет информационно-методических материалов

2. Информационно-справочная система (раздел "Лицензирование "

3. Программное ОиЬСн&чениа "Модуль ввода данных

для БД «Лицензия-"

4. Представление оперативной информации через \VWW-cepBep

Рис. 2. Общая схема процедуры государственной аккредитации

Решение образовательной организации (учредителя) об аттестации и государственной аккредитации. Регистрация в качестве "кандидата на государственную аккредитацию"

Участие представителей руководства образовательной организации, ответственных за аккредитацию, в семинаре-совещании

1

Пакет информационно-методических и программных материалов:

1. Государствеиная аккредитация. Основные документы

2. Государствеиная аккредитация. Общие положения

3. Сравнительный анализ систем аккредитации

4. Руководство по аккредитации образовательной организации

5. Самообследование и внутренняя оценка

6. Формирование информационной базы. ПО "Модуль ввода'

7. Тестирование учебных достижений

8. Пакет тест-комплектов

9. Требования к ПИМ

10. Аттестация и внешняя экспертиза

11. Документация по использованию МММ-сервера государственной аккредитации

12. Информационная карта вуза (показатели вуза на фонд показателей однопрофильных вузов)

13. Лицензирование ПрОП (документация и программное обеспечение)_

Программа информационной и методической поддержки "кандидатов на аккредитацию":

1. Участие представителей руководства образовательной организации, ответственных за аккредитацию,

в школе-семинаре

2. Предоставление информационно-методических материалов и программного обеспечения

3. Консультационная поддержка (включая e-mail и Internet)

4. Обучение технологии разработки тестов и обработки результатов тестирования

5. Помощь в подборе тестов из ЦБД

6. Помощь в подборе экспертов из централизованной базы экспертов

Программа развития образсва тельной организации

Отчет о

самообследовании

- по каждой ПрОП

- по образовательной организации в целом

Самообследование и самооценка \ (ПО ФОНД,РИТМ,КАМЕРТОН) \

3

Научные исследования

Информационное Уровень

обеспечение образовательных

учебного процесса программ

Профессиональные ' образовательные программы

Рабочие учебные планы

доктора наук,

профессора с учеными *7 степенями / и званиями^/

Научные и педагогические кадры

описания лабораторных работ

учебно-лаЬора-торное обору- / дование /

Обеспеченность оборудованием

выпускников^

результатов научных исследований.

Дипломные работы (проекть^ ? Дисциплинарные и '

междисциплинарные педагогические измерения (тестирование, экзамены,.. /

Востребованность

Отчеты экспертной комиссии

1. Анализ выполнения лицензионных требований

2. Заключения по аттестации ПрОП

3. Анализ деятельности образовательной организации по показателям государственной аккредитации

Представляемые документы:

1. Заявление (с перечнем ПрОП) (бумажная и электронная форма)

2. Документы о регистрации

3. Программа развития ПрОП

4. Лицензия (копия)

5. Заключение по аттестации и приложения (информационная карта образовательной организации в целом и информационные карты образовательных программ)

6. Данные из ЦБД.

ЦБД i

Ежегодные

итоговые -

аналитические

отчеты

(по группам

вузов)

Представление к государ ственной аккредитации

Аттестация ПрОП и внешняя экспертиза образовательной организации (ПО КАМЕРТОН,ТестГен)

V

Представление документов на государственную аккредитацию. Выборочный аккредитационный визит (при необходимости)

Подготовка представления и проекта решения

4

5

ЦБД

Отчет о самообследовании

Отчет экспертной комиссии

Заключение по аттес■ тации

Предак-кредита-ционная информация

Анализ и оценка образовательной деятельности по показателям государственной аккредитации

Имфорыациотая база Содержание

учебного процесса

71

Рабочиеуч»биые планы (соответствие федерально«^ *аигом««Т ГОС. региональные «ом при виты ГОС)

Качеспо и объем

ннфо рма иконного

обслуживания

\ ОС^

Показатели аккредитации образовательных программ

Отзыв* потребит« л ей специалисте*

Диплом нме работу (проекты)

Дисциплинарные и меядисциплии арные госэсмиены

7

7 7 7

' Блок ' „

Блок гуманитарных и соцнелкио-

естест»енио-

/ / Качество Блок обще- Блок подготоем. образочтальмУ* специальны*

Аисцрплнн дисциплин

Показатели для определения статуса

образовательной организации

Научно-' Нлг+шв и Дсвуэовсхзи Востребованность методическая педагогические подготовке и результатов работа кадры отбор деятельности ^ абитуриентов_

6

Пакет документов для работы аккредитационной коллегии:

1. Аналитические отчеты по группам вузов

2. Представление к государств енной аккредитации

3. Проект решения коллегии

Свидетельство

нАЁЛАбАЕОнбМ

Приложение . к Свидетельству

хС

Подготовка материалов на аккредитационную коллегию. Знакомство вуза с проектом решения; возможность апелляции

Подготовка заседания аккредитационной коллегии

Аккредитационная коллегия

Выдача Свидетельства о государственной аккредитации. Ввод данных в реестр образовательных организаций, прошедших государственную аккредитацию (ПО ИСС "Государственная аккредитация 00")

8

Аккредитационное решение:

Установить (подтвердить) образовательной организации

на срок до_месяца_года

государственный аккредитационный статус

организации_

вида

с наименованием

. профессионального образования

и аккредитовать профессиональные образовательные программы, приведенные в Перечне.

Во второй главе рассматривается интегрированная система самообследования образовательных организаций.

Анализ опыта работы Государственной инспекции по аттестации учебных заведений России, а также аккредитационных агентств США, Западной и Восточной Европы показал, что глубокая и объективная оценка деятельности может быть дана только самой образовательной организацией. Очевидно, что осуществить внешнюю экспертизу системы самообследования значительно легче, чем провести в полном объеме внешнюю экспертизу деятельности образовательного учреждения в полном объеме. В некоторых странах метаоценка (оценка системы самообследования) вообще является определяющим фактором аккредитации.

Самообследование может стать стимулом совершенствования образовательной организации. На эффективность развития ОО значительно влияют следующие факторы:

• использование методов измерения и анализа;

• наличие в образовательной организации системы мониторинга своей деятельности;

• выбор схем самообследования и самооценки.

Под самооценкой понимают сбор и анализ информации с целью сравнения показателей, по которым проходит экспертиза образовательной организации, с установленными критериями.

Самообследование — более глубокая процедура. Это —систематическое изучение, самооценка и анализ состояния и деятельности образовательной организации и ее образовательных программ с целью повышения эффективности функционирования, самоорганизации и развития.

Задача самообследования — не зафиксировать результаты, а способствовать развитию организации.

Для мониторинга образовательной деятельности разработаны технологии ФОНД и РИТМ, одной из важных особенностей которых является создание механизма мотивации улучшения деятельности преподавателей и студентов.

ФОНД — система стимулирования творческой активности преподавателей и научных сотрудников образовательной организации.

Основные этапы технологии ФОНД:

1. В начале учебного или календарного года формируется дерево целей образовательной организации. Пример такого дерева приведен на рис. 3. Обычно его формированием занимается совет ФОНДа, состоящий из ректора, представителей руководства и общественности.

А

К К Р Е

д

и т

А

ц

И Я

Показатель 1. Документально-содержательное обеспеченна учебного процесса

Показатель 2. Информационное обеспечение учебного процесса

Показатель 3. Качество подготовки выпускников

Показатель 4. Структура подготовки кадров по основным образовательный программам

Показатель 5. Возможность продолжения образования по основном образовательным программам

Показатель 6. Научные исследования

Показатель 7. Научно-методическая работа

Показатель В. Качественный состав научно-педагогических кадров

Показатель 9. Довузовская подготовка и отбор абитуриентов

Разработка уч. метод■ комплексов специальностей (направлений подготовки) и дисциплин. Создание нормативной базы университетского компонента образовательного стандарта

2 Новые описании л/р. включенные а каталог библиотеки 234а

3 Создание новой информационной среды (сети на базе ВТ. глобальные компьютерные сети, информационные поисковые системы.БД...) 3354

Разработка тест-билетов для аттестации вуза 117432

Открытие специальностей основного высшего образования по новым группам

6 Новые специальности аспирантуры группы 05.00.00 679

7 Новые специальности дополнительного высшего образования 723

а Организация деятельности диссертационных Советов 1261

Финансируемые фундаментальные исследования

-1 10 | Финансируемые прикладные исследования [ 2057

-117 Финансируемые х/д темы \1449

| 12 Изданные монографии

Изданные учебники и учебные пособия (с грифом УМО, НМС, Минобразования РФ)

14 Защита кандидатских и докторских диссертаций 3052

15 Работа по приглашению кадров высшей квалификации 2036

16 I Работа а подшефных школах, круххи, клубы. Ор-[ ганизацип Единого республиканского экзамена

Показатель 10. Востребованность выпускников

И

I- 1Я

Заявки на специалистов

Количество выпускников, на правленных на работу

Самообследование университета

Работа в составе комиссий по самообследованию университета и специальностей, разработка отчетов

20 | Разработка плана развития университета

Рис. 3. Пример дереза целей з соответствии с показателями государственной аккредитации

2. Окончательное формирование дерева целей завершается после процедуры голосования. Каждый участник системы наделяется определенным количеством расчетных единиц (ресурсов) и распределяет их в соответствии со своими приоритетами. Ректорат распределяет свои ресурсы (обычно от 30% до 50%) в соответствии с задачами образовательной организации на

текущий год. По результатам суммирования итогов голосования определяется весовой коэффициент работ, выраженный в расчетных единицах.

Рассмотрены принципы распределения суммарного ресурса Ф, выделенного на выполнение работ:

• планирование "сверху-вниз" (директивное планирование и принцип плановых заявок);

• планирование "сверху-вниз и снизу-вверх" (принцип равномерного распределения, принцип иерархии, принцип распределения пропорционально полученному доходу за прошлый цикл).

3. В качестве временной единицы цикла системы обычно выбирается учебный или календарный год.

4. По результатам деятельности образовательной организации за текущий год дерево целей дополняется конкретными видами работ. Каждая работа оценивается в расчетных единицах в соответствии с количеством или качеством других работ, представленных в данном направлении, а также выделенных на этом направлении ресурсов. Индекс активности каждого участника системы формируется как сумма расчетных единиц за все представленные в системе результаты его деятельности.

Таким образом, каждый активный элемент образовательной организации (сотрудник, кафедра, факультет, ...) стремится максимизировать свои

доходы: ^ rjij -> max .

Поскольку наиболее важные работы, с точки зрения развития организации, являются наиболее "доходными", то они являются наиболее привлекательными для исполнителей. При этом цели и устремления каждого отдельного активного элемента совпадают с целями организации в целом.

По результатам деятельности системы ФОНД получается структурированный и оцененный перечень работ. Таким образом, формируется база для проведения самообследования и планирования развития организации.

Для сопровождения системы создано специализированное программное обеспечение FOND.

Основные функции ПО FOND:

• сопровождение процедуры формирования дерева целей;

• расчет весовых коэффициентов работ;

• сбор конкретных видов работ и наполнение дерева целей;

• расчет индексов активности участников системы (рис. 4) и формирование приказов об их поощрении;

• анализ деятельности образовательной организации по видам работ;

• мониторинг (по годам) деятельности как образовательной организации в целом, так и ее сотрудников, подразделений и т. п.

Программное обеспечение FOND реализовано в технологии клиент-сервер и состоит из двух программных модулей (модуля Администратора и модуля Пользователя) и базы данных, реализованной на реляционном сервере баз данных, поддерживающем SQL.

• Для функционирования модуля Пользователя необходим компьютер типа IBM PC AT с процессором 286 под управлением MS-DOS версии 3.0.

• Для функционирования модуля Администратора необходим компьютер типа IBM PC AT с процессором 486 и размером ОЗУ 8 Мб под управлением MS Windows версии 3.1.

• Для поддержки базы данных системы ФОНД модулю Администратора необходима возможность доступа к SQL-серверу через ODBC-интерфейс.

Удобной формой мониторинга результатов деятельности обучаемых является система РИТМ (рейтинговая информационная технология модульного обучения).

Рис. 4. Экран системы FOND с распределением участников по индексам активности

Суть системы РИТМ состоит в разбиении учебных курсов на ряд модулей, успешная сдача которых оценивается по многобалльной шкале. В качестве оценки результатов деятельности студента принимается его суммарная оценка (рейтинг). Разработаны методы оценивания модулей, процедуры свертывания рейтингов дисциплин в интегральный рейтинг, методы визуализации информации о деятельности студентов, учебных групп, пото-

ков. Для оперативной обработки информации разработано программное обеспечение RITM.

Одним из важнейших показателей при самооценке и аттестации образовательной организации является оценивание уровня обученности студентов, требующее использование большого и разнообразного количества педагогических измерительных материалов (тестов, контрольных заданий, комплексных контрольных заданий, опросников и т. п.). В связи с огромным количеством ПрОП, реализуемых в высшей школе, и необходимостью проверки соответствия уровня обученности студентов по каждой ПрОП требованиям ГОС возникает задача создания системы автоматизированного проектирования педагогических измерительных материалов (САПР ПИМ), не привязанной к какой-либо конкретной предметной области.

Третья глава посвящена описанию моделей, алгоритмов и программных средств автоматизации проектирования измерительных материалов.

Создание САПР ПИМ требует:

1) разработки структур баз заданий и формализованного описания их параметров;

2) формализованного (математического, алгоритмического) описания процедур проектирования (конструирования) педагогических измерительных материалов и методов их генерации, основанных как на классической, так и на современной (Item Responce Theory) теориях тестирования;--

3) создания специализированного программного обеспечения ТестГен на основе интеллектуального интерфейса и реализующего разнообразные процедуры проектирования и генерации ПИМ;

4) создания специализированного программного обеспечения Тест-Экзаменатор для компьютерного тестирования;

5) создания системы мониторинга результатов педагогических измерений и накопления статистики использованных ПИМ и тестовых заданий с целью повышения качества используемых ПИМ.

Отметим, что поскольку программные средства ТестГен и ТестЭкзаме-натор предназначены для массового использования, то разнообразное и неравномерное распределение вычислительной техники (по уровням и вычислительным возможностям) в вузах РФ потребовало решения задачи создания специализированного программного обеспечения на двух уровнях:

• для ПЭВМ массового класса (типа IBM PC АТ386);

• для компьютеров современного уровня, позволяющих использовать возможности средств multimedia, локальных и глобальных информационных сетей.

Интеллектуальные САПР ПИМ, обладающие широкими функциональными возможностями и базирующиеся на различных классах баз заданий, 18

предоставляют пользователям возможность самим формировать ПИМ под конкретные ПрОП с учетом специфики их реализации. Такой подход снимает многие вопросы, связанные с адаптацией, и обеспечивает высокое качество проектирования ПИМ.

Остановимся подробнее на этапах создания ПИМ:

1. Базы (тестовых) заданий (БЗ) являются основой для создания педагогических измерительных материалов: тестов, контрольных заданий и т.д. БЗ удобна на практике, поскольку из тестовых заданий можно оперативно проектировать ПИМ для тех или иных целей. Со все большим использованием объективных методов измерения обученности учащихся роль БЗ будет возрастать, поскольку именно создание тестовых заданий наиболее трудоемкая и дорогостоящая процедура при проектировании ПИМ.

Создание структуры БЗ потребовало формализованного описания параметров заданий. Выделены три типа параметров: технологические, экспертные и статистические.

К технологическим параметрам относятся параметры, описывающие задания с технологической (не содержательной) точки зрения. Ими являются: тип задания (закрытое, открытое); формы представления тестовой информации (текст, графика, аудио, видео, мультимедиа); время представления задания (для мультимедиа заданий) и др.

К экспертным относятся параметры, значения которых описываются экспертами. Это — количество учебных элементов в задании (р); время выполнения задания (/); экспертная трудность (у); сложность (а); ступень абстракции (Р); степень осознанности усвоения знаний (у).

К статистическим относятся параметры, значения которых вычисляются по результатам статистических испытаний ПИМ (так называемое пред-тестирование): коэффициент решаемости задания (трудность) (к)\ коэффициент селективности (г); коэффициент привлекательности дистракгоров (для заданий закрытого типа) (кр к},..., кт); параметры логистических кривых (а, Ъ, с).

В данной главе дано описание методов калибровки (оценивания) экспертных и статистических параметров.

Структуры БЗ удобно представить в виде иерархического дерева наборов файлов однородных заданий.

Пример часта БЗ Единого экзамена-96 по математике в Республике Марий Эл приведен в таблице (с. 20-21).

Пример описания банка заданий по математике

Название набора Типовой пример Технологические характеристики Экспертные характеристики

(файла) заданий/ адрес на сервере T:\Em1_96 \Basa_odn | тип задания (открытый, закрытый)| количество задач | в наборе I год использования число контролируемых элементов и их описание Р | среднее время выполнения | задания (в мин.) I уровень усвоения [ (по Беспалько)

1. Пропорция. Выполнение арифметических действий. 01.txt Вычислить X, если 5-0,8+8 _ 1х 2,5 + 3-1 О 5 1996 1 - действия с дробями 10 1

2. Алгебраические выражения. Преобразование алгебраических выражений. 02.txt Упростить: ¡ + а о- 12- 1996- 4- - сокращение алгебраических дробей, - приведение алгебраических дробей к общему знаменателю, - действия над алгебраическими дробями, - использование формул сокращенного умножения 10 1

3. Неравенства. Решение системы линейных неравенств с одной переменной. 03.txt Найти среднее арифметическое целых решений системы неравенств: Зж-2 л 4 + 2 < 2 О 12 1996 4 - использование свойств числовых неравенств, - решение линейных неравенств, - нахождение общего решения системы линейных неравенств, - умение относить число к заданному числовому множеству 10 1

(Единый экзамен в Республике Марий Эл, 1996)

Статистические характеристики

Классические

Item Responce Theory

к— коэффициент решаемости заданий

г — коэффициент селективности заданий

а — дифференцирующая способность Ь — уровень трудности задания «V — весовой коэффициент

графические характеристики:

характеристическая и информационная кривые

к=0,68±0,08

а=0,29 Ь=1,40 w=0,49

i 3 5 3 ? S г 7 I 9 IJ~*

r=0,28±0,11

4—I—I—1—!—5—i—7—i Tii"

k=0,65±0,09

a=Q,39 b=3,42 w=0,66

—i—<—п—a—n~

r=0,38±0,06

k=0,60±0,10

a=0,34 b=4,07 w=0,58

t— г"'ч—r~

=0,40±0,01

В качестве элемента БЗ выступает файл однородных заданий. Под однородными понимаются задания, близкие по своим технологическим, экспертным и статистическим параметрам.

. Мера "близости" — векторная метрика, введенная на пространстве параметров заданий V = (ук, ул, уэ ),

где У/с —составляющая классических статистических характеристик:

Ук{щ,иЛ =

-к+кв\г1 -г\я

Ул — составляющая латентных (ШТ) статистических характеристик:

•мАа.-аА +

™ь\Ь1 -Ь}\

Vэ — составляющая экспертных характеристик:

Уэ(иГ,и ■) =

м>,

Рг-РJ

А

2. Сопоставим с тест-билетом Т вектор Хс целочисленными координатами х,- = О V1, значения которых определяют: включено или нет задание с

номером I из банка заданий в тест-билет. Задавая целевую функцию ф (х), численно описывающую требуемое качество тест-билета, и задавая ограничения /; (х) < 0 на множество используемых заданий, приходим к задаче целочисленного программирования:

тЦф0{х%{х) < 0, ] = 1,...х; = О V1, г = 1,..., ы}. Вместе с тем только довольно простые случаи описываются с помощью одной целевой функции. В более сложных ситуациях качество тест-билета

описывается вектор-функцией Ф(х) = (Ф^х^-.^ФДх)).

Итерация "оптимального" решения описывается в терминах функции выбора, порожденной бинарными отношениями Я между значениями вектор-функций Ф(х) на множестве альтернатив.

Примерами функций выбора, отвечающих различным механизмам принятия решений, могут служить:

1) Паретовский механизм:

СЯ{Х) = {х е X\3y 6 X:Ф» > Фр(х),р = 1... Р],

2) Механизм лексикографической оптимизации, определяемый вектор-функцией критериев, упорядоченных по важности:

Сх(Х) = {* 6 Хр I х,. = Arg шах {Ф, е } J = L.. Р},

3) Механизм голосования (выбор по большинству):

СИ{Х) = \хеХ\Vy е Х:^1^(фр(х)-фр{у)))0 { р=1

Задача проектирования тест-билета Т(х) сформулирована как задача обобщенного математического программирования: Найти

x'QX:fs(x*)< 0,5 = 1...5; Ф(х')ЯФ{х)\/хe X: fs(х) <0,5 = 1...S.

В диссертации дано описание вычислительных методов решения задачи обобщенного математического программирования, основанных на идеях методов эллипсоидов, хорошо зарекомендовавших себя в математическом программировании.

Выделены четыре способа конструирования ПИМ: автоматический, автоматизированный, комбинированный и адаптивный.

Автоматический метод представляет собой компьютерную реализацию

задачи нахождения оптимального решения вектор-функции ПИМ Ф(х) при

заданных ограничениях на используемые параметры /(. (х) < 0.

Автоматизированный метод менее формализован. Он представляет собой процедуру диалогового конструирования, когда по мере добавления в ПИМ новых заданий из банка происходит перерасчет основных параметров и эксперт конструирует тест-билет путем последовательного приближения.

Комбинированный метод можно представить в виде последовательности шагов:

• формируется вектор-функция Ф(*) оценки значения критериев ПИМ

и множество ограничений {fj(x) < 0, j = 1,...,j} из предлагаемого списка;

• проектировщик задает функцию выбора и соответствующее ей бинарное отношение R;

• рассчитывается множество решений {Тк (х)}, лучших относительно заданной функции выбора;

• в интерактивном режиме проводится доработка ПИМ до полного удовлетворения требованиям проектировщика.

Адаптивный метод предназначен для выделения подбазы БЗ, которая является основной для реализации алгоритма адаптивного тестирования.

В зависимости от целей педагогических измерений формализован ряд процедур конструирования ПИМ: базовая процедура, классическая процедура, процедура В.П. Беспалью, процедура Лорда-Бирнбаума, процедура B.C. Ава-несова, многоцелевая процедура, процедура адаптивного тестирования.

3. Для поддержки процедуры проектирования педагогических измерительных материалов разработана САПР ПИМ ТестГен. Опыт многолетней эксплуатации первых версий программы при аттестации образовательных организаций показал ее удобство для формирования ПИМ при проведении массового тестирования. Разработаны третья (под DOS) и четвертая (под Windows'95) версии программы. Одновременная разработка двух версий обусловлена различным парком ПЭВМ, имеющимся в образовательных

организациях. Если основные требования к третьей версии--минималь-__

ные требования на ресурсное обеспечение компьютера (процессор 386 и т. п.), то для четвертой версии — максимальное использование современных возможностей вычислительной техники. Кроме того, за время эксплуатации первой версии программы накоплен значительный банк заданий в формате ASCII, отказ от которого (при переходе к четвертой версии под Windows'95) представляется экономически нецелесообразным.

Отличительными особенностями версии TestGen 3.0 являются:

• удобный для пользователя многооконный интерфейс;

• графическая среда (а, следовательно, возможность использования графиков, чертежей, математических и химических формул в типовых заданиях);

• полная поддержка одного из наиболее распространенных в России текстовых редакторов для DOS Лексикон 1.3;

• накопление и анализ параметров заданий и структур ПИМ (рис. 5).

Отличительными особенностями версии TestGen 4.0 (TestGenWin) являются (рис. 6):

• распределенное хранение базы заданий. С помощью подсистемы распределенного хранения можно организовать территориально раз-

Файлы Редактор Разное Поиоць

- Вмсмая нвт«мт»»<а - SM

► 1 .[Дифференцирование функции одной перемени

2.Дигебраические преобразования 3.Линейные операции над матрицами

4 .Бесконечная геометрическая прогрессия. 5.Интегрирование дробио-рациональнои функц 6.Двойной интеграл по прямоугольнику. ?.Вычисление пределов. I. (задача Коми) 9.Геометрический смысл производной . 10.Д^у I 11.Дифференциальные уравнения в частник про 12.Поверхности второго порядка 13.Опеределенный интеграл с переменным ееРХ 14.Классическое определение вероятности сиу 15.Интегрирование по частям в неопределенно

1Б.Реыение матричных уравнений 17.Намменьыее и наибольшее значения функции

18.Действия над комплексными числами

Всего вопросов : 53 Примерное время реиения 1 ч.16 мин .

Структурл теста // ^ Экран параметров ] \ Режим генерации {

Ins Вставить Bel Удалить Fl Помоць CShift+)F6 Окно FIO Меню

Рис. 5. Экран системы ТестГен со структурой ПИМ

деленные банки тестовых заданий. Такая организация представляется весьма удобной, учитывая, что разработчики различных баз находятся в разных городах и могут сопровождать лишь "свою" БЗ, а использовать посредством Internet многие БЗ;

Ië(tBiraJi<MWi

£«стема Ит>орм*ция Сервис Окнэ

Ст^т^ра "таста Обложка У' Генерация' |

Трехпараметрическая модель 8=0.3 Ь=5.3 с=0.0 Характеристическая кривая

0123456789 10 0 06^ Информационная кривая

Профиль решаемости теста

01 23456783 10 Уровень знании

Крмрые Щ Т м профиль решаемости Á Коз Фициеит решаемости /

\Основные/Экспертные сгрцктцре / *

Рис. 6. Экран системы ТсстГенУ/т с характеристиками теста

Вмецаа иатви&тн*л - 94

Зх-параметрическая IR1 модель теста Характерисгнч. кривая

Карга Ыухарта коз«. peu. заданий 1.00

Профиль решаемости теста, (в

—

9 10 10 11 w

_

Итоговой балл

_____ _ _ _ _ 'адмстичвскмв/*"

Структура теста J ^ па**аивтроаJ{ ^ Реким генерации"

Ins Вставить Dei Мяалить Fl Помоць (Shift«)f6 Окно FIB Иенв

Рис. 7. Экран системы ТестГен (статистические характеристики)

• хранение БЗ на SQL-серверах, что позволяет эффективно поддерживать целостность БЗ и использовать ее в многопользовательском режиме с синхронизацией доступа к данным;

»^поддержка OLE (Object Linking and Embedding) позволяет одновременно с TestGenWin использовать другие Windows-программы (в частности, Microsoft Office);

• возможность создания мультимедиа-тестов с использованием звука, анимации, видео в тестовых заданиях.

Выделены основные этапы проектирования ПИМ (тест-билетов) с помощью конструктора Test Gen:

1) определение целей педагогических измерений;

2) выбор модели и структуры тест-билета;

3) подготовка банков заданий (или отбор уже существующих);

4) создание структуры тест-билета по одной из выбранных процедур;

5) генерация необходимого количества вариантов тест-билетов;

6) предтестирование;

7) анализ и коррекция структуры тест-билета, селекция заданий;

8) оформление ПИМ.

Возможны три схемы проведения педагогических измерений (рис. 8):

• тестирование заданиями закрытого типа: обучаемому выдается тест-билет и специальный бланк для ответов, на котором он отмечает номера ответов, которые он считает верными. Эти ответы вводятся в

компьютер (подсистема сбора ТОСаШег) и передаются в систему анализа (КАМЕРТОН);

• тестирование заданиями открытого типа (требующие проверки экспертами): обучаемому выдается тест-билет с местом для решения и ответов. После завершения тестирования решения проверяются и оцениваются преподавателями по специальной методике (схема "ромашка");

• компьютерное тестирование.

Рис. 8. Схема проведения педагогических измерений

4. При наличии в образовательной организации определенного количества вычислительной техники и достаточной компьютерной подготовки обучаемых весьма эффективным является компьютерное тестирование, которое обладает рядом важных преимуществ:

• оперативностью проведения и обработки результатов, высокой технологичностью;

• использованием мультимедиа-возможностей представления тестовой информации, открывающим принципиально новые возможности в педагогическом измерении;

• игровой мотивацией, позволяющей повышать достоверность результатов и привлекательность процесса тестирования;

• возможностью реализации адаптивных алгоритмов тестирования.

Для реализации компьютерного тестирования разработаны оболочки ТестЭкзаменатор (для DOS) и ТестЭкзаменатор Win (для операционной системы Windows'95), цель которых — представление тестируемому тест-билетов, сгенерированных системой ТестГен, и передача результатов тестирования в систему КАМЕРТОН.

Программа ТестЭкзаменатор допускает использование закрытых и ряда открытых заданий.

Несмотря на то, что в настоящее время существует ряд оболочек для компьютерного тестирования ("Адонис", "Урок", "Кобра" и др.), разрабатываемая система в большей степени ориентирована на конструирование стандартизованных тестов, анализ полученных результатов, мониторинг банков заданий и результатов тестирования.

ТестЭкзаменатор предлагает три режима работы: тестирование, обучение, апелляция. Максимально упрощенный интерфейс и система интерактивных подсказок позволяют начать тестирование с минимальным участием преподавателя. Возможно проведение тестирования в сетевом варианте.

Для работы программы требуются IBM РС/АТ-286 (и выше) с видеоадаптером EGA, 500 Кб свободной оперативной памяти, 270 Кб дискового пространства.

-Особенностями ТестЭкзаменатор Win являются:

• возможность использования мультимедиа-тестов,----

• работа в среде Internet через протокол ТСРЯР.

Для работы программы требуются IBM РС/АТ-486 (и выше), Microsoft Windows 3.1 (и выше), 4 Мб ОЗУ, 2 Мб дискового пространства (без учета тестов).

Для информационного сопровождения процедуры массового тестирования, при проведении которой необходима оперативная обработка большого объема данных и быстрое представление результатов в сжатой и наглядной форме, разработан программно-методический комплекс КАМЕРТОН, описанию которого посвящена четвертая глава.

Общая схема технологии КАМЕРТОН представлена на рис. 9.

Система КАМЕРТОН включает в себя:

• модуль ввода результатов и ведения баз данных результатов тестовых испытаний;

• модуль анализа результатов и генерации выходных форм.

КАМЕРТОН обеспечивает информационную совместимость с системой

ТестГен: обрабатывает базы задач для экспорта структур тестов и накопления статистических характеристик использованных тестов и заданий. Для обеспечения максимально быстрого ввода результатов КАМЕРТОН поддер-

Банк заданий

Проектирование тест-билетов (ТестГен)

Мониторинг результатов тестирования

Тестирование

Ввод,обработка и анализ

Компьютерное тестирование (ТестЭкзаменатор)

(КАМЕРТОН)

Рис. 9

живает многопользовательский (сетевой) и локальный (на нескольких независимых компьютерах) режимы работы операторов.

Кроме того, реализованы режимы сканерного ввода и компьютерного тестирования, при котором тест выполняется непосредственно за дисплеем компьютера.

Все данные накапливаются в общей базе результатов тестовых испытаний и используются для проведения мониторинга результатов тестирований.

Ядром системы является модуль анализа результатов. Опыт применения различных статистических методов и форм визуального представления результатов позволил выделить из их огромного числа небольшое количество наиболее эффективных методов, использованных в японском статистическом стандарте качества ЛБ. Методы данного стандарта положены в основу модуля анализа КАМЕРТОНА для визуального представления результатов тестовых испытаний. Интегрировать и готовить для анализа информацию — основные задачи системы. В зависимости от степени интеграции в качестве объекта анализа могут выступать студент, студенческая группа, курс, специальность, образовательная организация в целом. Кроме того, КАМЕРТОН позволяет проводить анализ теста или группы вопросов.

К каждому из этих объектов может быть применен один из методов анализа ЛБ:

• гистограмма — позволяет получить объективное представление о совокупности результатов в целом, дающее общую картину уровня качества;

• расслоение — дает возможность сравнить результаты двух совокупностей между собой. Более того, возможно сравнение результатов тестирования со статистическим эталоном, который накапливается походу эксплуатации системы (рис. 10);

• диаграмма Парето — позволяет выявить наименее подготовленных студентов (группы, специальности, ...) или темы (вопросы) теста (рис.11);

• карта Шухарта — установив границы на карте Шухарта, можно выявить объекты, выпадающие из допустимой зоны результатов (рис. 12);

• поле корреляции — используется для изучения зависимости между парами переменных;

• контрольные листки — используются в системе для сбора данных (проставления баллов за решенные задания теста).

Модуль анализа системы под держивает многооконный интерфейс работы пользователя, позволяющий одновременно видеть на экране графические окна, отображающие одни и те же результаты в нескольких формах или отображающие различные результаты.

Система КАМЕРТОН предназначена для использования в среде MS-DOS на персональных компьютерах не ниже 386 под управлением СУБД FoxPro 2.6.

В пятой главе обсуждаются методы принятия решении о результатах аттестации образовательных программ и государственной аккредитации образовательных организаций, приведен сравнительный анализ систем оценки качества образования (стандартов, процедур обследования и принятия решений, использования результатов) в США, Великобритании и странах Западной Европы, а также практики освоения опыта аккредитации на примере Румынии, Гонконга и других стран мира. Анализ зарубежного опыта позволил выделить общие тенденции развития национальных образовательных систем:

• Государство и впредь будет стремиться определять политику в сфере образования. Позиция Государства, его стратегия в управлении привносит отличительные особенности в национальные системы оценки качества образования;

• аккредитация как новая система оценки качества образования понимается в качестве основополагающего принципа как для системы в целом, так и для ее структурных единиц;

• содержание процедур аккредитации имеет много общего для различных национальных систем;

• определены две процедуры аккредитации — аккредитация образовательных программ и аккредитация образовательной организации в целом. В последние годы наиболее характерно введение аккредитации образовательной организации в целом с целью повышения ее ответственности за качество образования;

• самообследование — одна из важнейших, определяющих процедур в процессе аккредитации;

• качество национальных систем образования обеспечивается многосторонним механизмом взаимодополняющих процедур, соотнесением выводов различных комиссий. Это позволяет обеспечить компетентность и объективность в принятиирешенияобаккредитации;

• аккредитационные службы представлены структурами, различающиг мися степенью зависимости от органов управления образованием. Наиболее действенны структуры, обеспечивающие сочетание государственной и общественной форм контроля;

• результаты оценивания и выводы комиссий — действенный рычаг управления. Они используются Государством в соответствии с целями аккредитации и интересами общественности.

На основе проведенных исследований для образовательных организаций, реализующих программы высшего профессионального образования, выделены десять показателей аккредитации:

1. Документально-содержательное обеспечение учебного процесса.

2. Информационное обеспечение учебного процесса.

3. Качество подготовки выпускников.

4. Структура подготовки кадров по основным образовательным программам.

5. Возможность продолжения образования по основным образовательным программам.

6. Научные исследования.

7. Научно-методическая работа.

8. Качественный состав научно-педагогических кадров.

9. Довузовская подготовка и отбор абитуриентов.

10. Востребованность выпускников.

количество учебников и учебных пособий (на ЮОчел. ППС)

направления {специальности)

естестаенмоивучного и

математического профиля я вузе к общему их числу в классификаторе

количество монографий (на T0Û чел. ППС)

Отношение объема научных исследований к общему объему

фунра мен тальн ык

дом »нешнлх исследований * обивму объему научных исследований

Основные обоаначени*:

• значения показателей

► университета; - пороговые значения показателей классических университетов; - • информационные показатели.

направление (специальности) социально-эконом и ч веко го и

гуманитарного профиля в вузе к общему их числу в классификаторе

контингент студентов направлений (специальноет®й) естественнонаучного и математического профиля

контингент студентов направлений (специальностей) социально-экономического и гуманитарного профиля

специальности аспирантуры естественнонаучного и математического профиля

доля заявок на выпускников от объема выпуска

доле в ППС докторов наук

специальности аспирантуры социально-экономического и гуманитарного профиля

Рис. 13. Метрические показатели и критерии государственной аккредитации

В шестой гчаве описаны разработанные методы визуализированного представления информации с целью принятия решения об аккредитации, обсуждается эффективность спроектированной системы государственной аккредитации образовательных организаций.

Рис. 14

Предложена схема принятия решения о государственной аккредитации организаций, реализующих программы высшего профессионального образования (определение типа, вида и срока аккредитации) (рис. 14).

• Основные научные результаты и выводы

1. Разработана формализованная обобщенная модель процедуры аккредитации. Выделены и проанализированы различные модели государственной аккредитации организаций, реализующих программы высшего профессионального образования, как задачи оценивания деятельности. Предложены показатели и индикаторы оценивания.

2. Проведен сравнительный анализ систем аккредитации образовательных организаций за рубежом. Определены основные закономерности развития систем оценивания в развитых зарубежных странах как системы управления качеством в высшем образовании.

3. Разработана технология государственной аккредитации образовательных организаций, реализующих программы высшего профессионального образования, основанная на комплексе компьютерных систем.

4. Предложен алгоритм принятия управленческих решений, позволяющий визуализировать представление информации с целью выработки интегральной экспертной оценки.

5. Предложена схема проведения самообследования как процедура рефлексии и самосовершенствования образовательной организации. Разработаны системы мониторинга и стимулирования творческой активности преподавателей (система ФОНД) и студентов (система РИТМ). Создано программное обеспечение FOND и RITM.

6. Предложено формализованное описание процедур проектирования педагогических измерительных материалов и методов их генерации, обеспечивающее создание математического обеспечения процедур измерения уровня обученности.

7. Сформулирована оптимизационная модель проектирования ПИМ как задача обобщенного математического программирования, отличающаяся различными механизмами недоминирования.

8. Создано алгоритмическое и программное обеспечение САПР ПИМ, позволяющее реализовывать четыре режима проектирования: автоматический, автоматизированный, комбинированный и адаптивный.

9. Разработана интегрированная система измерения обученности учащихся КАМЕРТОН, включающая процедуры мониторинга баз тестовых заданий, проектирования ПИМ, компьютерного тестирования, обработки и анализа результатов педагогических измерений.

Совокупность результатов исследования позволяет внедрить в практику работы Министерства общего и профессионального образования Российской Федерации технологию государственной аккредитации образовательных организаций, реализующих программы высшего профессионального образования.

По теме диссертации опубликованы следующие работы:

1. Наводнов В.Г., Молдавский М.А. О выделении множества недоминируемых альтернатив в задачах с бесконечномерным критерием // Автоматизированные подсистемы поискового конструирования: Сб. — Горький, 1981, —С. 108-114.

2. Наводнов В.Г., Молдавский М.А. О параметризации множества Па-рего в задачах с бесконечномерным критерием // Кибернетика. — Киев, 1984. № 1. — С. 120-121.

3. Наводнов В.Г. О совпадении пространства со смешанной нормой с пространством вектор-функций // Исследования по прикладной математике. Изд-во КГУ, Казань, 1985.—Вып. 13. —С. 148-151.

-4.—Куклин В.Ж., Наводнов В.Г. Система рубежного контроля текущей

успеваемости. Подсистема "ТЕСТ-ПРИЕМ" // Оптимизация учебного процесса: Тез. докл. VII региональной науч.-метод. конф. — Горький, 1990.

5. Куклин В.Ж., Наводнов В.Г. О системе независимого контроля учебной работы студентов // Опыт и проблемы внедрения компьютерной техники в учебном процессе: Тез. докл. науч.-пракгг. семинара. — Челябинск,

1990, — С. 50-51.

6. Куклин В.Ж., Малыцукова Л.И., Наводнов В.Г. О системе многобалльной аттестации знаний студентов "РИТМ" // Опыт и проблемы внедрения компьютерной техники в учебном процессе: Тез. докл. науч.-практ. семинара. — Челябинск, 1990. — С. 74-75.

7. Куклин В.Ж., Малыцукова Л.И., Наводнов В.Г. Программное и методическое обеспечение рейтинговой системы оценки знаний студентов // Проблемы качества высшего образования: Тез. докл. науч.-метод. конференции,—Уфа, 1991. —С. 161-162.

8. Куклин В.Ж., Наводнов В .Г. "ТЕСТ-ПРИЕМ" — система рейтинговой оценки знаний студентов на вступительных экзаменах // Проблемы качества высшего образования: Тез. докл. науч.-метод. конференции. —Уфа,

1991,—С. 162-163.

9. Наводнов В.Г. РИТМ в условиях новой концепции подготовки специалистов // Методика внедрения системы РИТМ в учебный процесс училища: Сб.—Голицино, 1991, — С. 3-11.

10. Наводнов В.Г. Внедрение Рейтинговой Интенсивной Технологии Модульного обучения в учебный процесс // Инициатива-92: Сб. — КХТИ, Казань, 1992, —С. 21.

11. Наводнов В.Г. Внедрение рейтинговой интенсивной технологии модульного обучения в учебный процесс // Организация и методические аспекты модульного обучения и рейтингового контроля знаний студентов: Тез. докл. — Алчевск, 1992. — С. 83-84.

12. Оценка качества знаний студентов при самообследовании и аттестации учебного заведения / Куклин В.Ж., Кушель A.A., Мешалкин В.И., Наводнов В.Г., Савельев Б.А. //Проблемы качества высшего образования: Тез. докл. Международной науч.-метод, конференции. — Уфа, 1993. — С. 64-65.

13. Варенова Л.И., Куклин В.Ж., Наводнов В.Г. Рейтинговая интенсивная технология модульного обучения. — М., РИТМ, 1993. — 67 с.

14. О компьютерной технологии оценки качества знаний / Куклин В.Ж., Мешалкин В.И., Наводнов В.Г., Савельев Б.А. //Высшее образование в России. — 1993. — № 3. — С. 146-153.

15. Куклин В.Ж., Наводнов В.Г., Савельев Б. А. Оценка достоверности результатов самообследования при аттестации учебного заведения // Проблемы качества высшего образования: Тез. докл. науч.-метод, конференции. — Уфа, 1994. — С. 48.

16. Преимущества применения технологии КАМЕРТОН для анализа показателей качества подготовки специалистов при проведении государственной аттестации вузов / Быстров В.В., Гафина Р.В., Куклин В.Ж., Кушель Т.А., Наводнов В.Г., Савельев Б.А. // Проблемы качества высшего образования: Тез. докл. науч.-метод. конференции. —Уфа, 1994. —С. 49.

17. Куклин В.Ж., Наводнов В.Г. О сравнении педагогических технологий// Высшее образование в России. — 1994. —№ 1. — С. 165-172.

18. Формирование педагогических испытательных материалов для диагностики качества подготовки / Куклин В.Ж., Мешалкин В.И., Наводнов В.Г., Савельев Б.А. // Научные проблемы тестового контроля знаний: Тез. докл. школы-семинара.—Москва, 1994. — С. 53-55.

19. Куклин В.Ж., Наводнов В.Г. Информационное сопровождение системы государственной аккредитации // Мешалкин В.И. Учреждения высшего и среднего профессионального образования. Аккредитация — самообследование— рейтинг. — М.: Изд-воРУДН, 1995. — С. 27-38.

20. TestGen—система формирования испытательных материалов / Ель-цын A.B., Куклин В.Ж., Масленников A.C., Наводнов В.Г. — Йошкар-Ола, 1995, —84 с.

21. Наводнов В.Г. Об информационных технологиях управления образовательным процессом // Гуманитарное образование полиэтнического района: проблемы, новации и оптимальные формы: Сб. — Йошкар-Ола, 1995, — С. 42-44.

22. Куклин В.Ж., Наводнов В.Г., Петропавловский М.В. КАМЕРТОН — технология проведения тестирования и анализа результатов. —Йошкар-Ола, 1995. —84 с.

23. Куклин В.Ж., Мотова Г.Н., Наводнов В.Г. Сравнительный анализ систем аккредитации за рубежом // Проблемы качества высшего образования: Тез. докл. науч.-метод. конференции. —Уфа, 1996.

-24.-Технология формирования централизованного банка данных государственной аккредитации / Егошин В.Е.7Куклин В.Ж., Наводнов В.Г, Петропавловский М.В. // Проблемы качества высшего образования: Тез. докл. науч.-метод. конференции. — Уфа, 1996.

25. Куклин В.Ж., Наводнов В.Г., Савельев Б.А. О моделях принятия решений при государственной аккредитации учреждений высшего профессионального образования // Проблемы качества высшего образования: Тез. докл. науч.-метод. конференции. — Уфа, 1996.

26. О применении картографического интерфейса информационных систем для управления в образовании / Карасев A.B., Куклин В.Ж., Наводнов В.Г., Петропавловский М.В. // Квалиметрия человека и образование: методология и практика: Тез. докл. — М., 1996. — С. 199-200.

27. Куклин В.Ж., Наводнов В.Г., Савельев Б.А. О классификации вузов по направленности подготовки И Квалиметрия человека и образование: методология и практика: Тез. докл. — М., 1996. — С. 198-199.

28. Единый экзамен как система мониторинга качества обучения выпускников общеобразовательных учреждений / Куклин В.Ж., Масленни-

ков A.C., Мотова Г.Н., Наводнов В.Г. // Квалимегрия человека и образование: методология и практика: Тез. докл. — М., 1996. — С. 152-153.

29. Об информационном сопровождении системы мониторинга качества образования в общеобразовательных учреждениях / Буркова О.Г., Кара-сев A.B., Куклин В.Ж., Мотова Г.Н., Наводнов В.Г. /У Квалиметрия человека и образование: методология и практика: Тез. докл. — М., 1996. — С. 135-137.

30. Информационно-справочная система "Средние учебные заведения" / Буркова О.Г., Карасев A.B., Куклин В.Ж., Наводнов В.Г. // Квалиметрия человека и образование: методология и практика: Тез. докл. —М., 1996. — С. 200-210.

31. Технология сбора информации доя управления в образовании / Его-шин В.Е., Куклин В.Ж., Наводнов В.Г., Савельев Б.А. // Квалиметрия человека и образование: методология и практика: Тез. докл. — М., 1996. — С. 195-196.

32. О сертификации педагогических испытательных материалов / Куклин В.Ж., Масленников A.C., Наводнов В.Г., Савельев Б.А. // Квалиметрия человека и образование: методология и практика: Тез. докл. — М., 1996. — С. 134-135.

33. Ельцын A.B., Куклин В.Ж., Наводнов В.Г. О подсистеме компьютерного тестирования в составе программного комплекса TestGen v3.0 // Квалиметрия человека и образование: методология и практика: Тез. докл. — М., 1996, — С. 150-152.

34. Куклин В.Ж., Масленников A.C., Наводнов В.Г. Технология разработки педагогических испытательных материалов // Прикладные исследования в электронике и новые технологии в обучении студентов: Сб. —Иош-кар-Ола, 1996. — С. 44-46.

35. Система "Фонд" в управлении учебной, методической и научной работой в МарГТУ / Логинов В.В., Наводнов В.Г., Ошепков Г.С., Шишкин Г.А. // Прикладные исследования в электронике и новые технологии в обучении студентов: Сб. —Йошкар-Ола, 1996. — С. 95-97.

36. Государственная аккредитация. Общие положения. — М.: Научно-информационный центр государственной аккредитации, 1997. — 41 с.

37. Наводнов В.Г., Паскаль А.П. Модели, процедуры и программные средства самообследования образовательной организации. Система ФОНД: Препринт № 3/97. — Йошкар-Ола, 1997. — 40 с.

38. Мотова Г.Н., Наводнов В.Г. Модели оценивания деятельности образовательных организаций: Препринт № 1/97. — Йошкар-Ола, 1997. —48 с.

39. Наводнов В.Г., Петропавловский М.В., Ельцын A.B. Автоматизированное проектирование педагогических измерительных материалов: Препринт № 2/97. — Йошкар-Ола, 1997. — 28 с.

40. Мотова Г.Н., Наводнов В.Г., Куклин В.Ж., Савельев Б.А. Аккредитация образовательных организаций за рубежом: Препринт № 5/97. — Йошкар-Ола, 1997. — 32 с.

41. Наводнов В.Г. Математические модели САПР ПИМ: Препринт № 4/97. — Йошкар-Ола, 1997. — 72 с.

ЛР № 020302 от 18.02.97. ПЛД № 2018 от 05.10.94. Подписано к печати 03.11.97. Усл. печ. л. 2,0. Тираж 100 экз. Заказ № 1650.

Отдел оперативной полиграфии МарГТУ. 424006 Йошкар-Ола, ул. Панфилова, 17