автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Формализованное описание комплексной модели оценки задач управления качеством

министерство/ общего и профессионального

образования российской федерации исследовательский центр проблем качества подготовки специалистов

На правах рукописи

Титов Андрей Валентинович

ФОРМАЛИЗОВАННОЕ ОПИСАНИЕ КОМПЛЕКСНОЙ МОДЕЛИ ОЦЕНКИ В ЗАДАЧЕ УПРАВЛЕНИЯ КАЧЕСТВОМ (НА ПРИМЕРЕ КВАЛИМЕТРИИ ВЫСШЕЙ ШКОЛЫ)

Специальность: 05.13.10. Управление в социальных и экономических системах.

Диссертация на соискание ученой степени кандидата технических наук.

Научный руководитель: Д.Э.Н., д.ф.н.. к. т.н.,

академик Петровской академии наук и искусств А.И.Субетто.

Москва - 1998.

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ ................................................5

Глава I. АНАЛИЗ ТЕХНОЛОГИИ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ СИСТЕМ И ПОДГОТОВКИ СПЕЦИАЛИСТОВ.......12

1.1. Анализ содержания и структуры квалиметрии высшей школы.................................................12

1.2. Анализ понятий "качество "качество образования ", "норма качества", "мера качества"......................16

1.3. Исследование процесса оценки качества образовательных систем ....................................... 21

1.4. Анализ процессов разработки моделей технологии оценки качества в сфере образования...................28

1.5. Анализ информационных технологий комплексной оценки качества подготовки специалистов и аттестации

вузов.................................................30

1.6. Выводы................................................37

Глава II.РАЗРАБОТКА ФОРМАЛИЗОВАННЫХ МОДЕЛЕЙ И МЕТОДОВ ФОРМИРОВАНИЯ СИСТЕМ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ СИСТЕМ....................................39

2.1. Разработка формализованных моделей пространства качеств и пространства свойств........................40

2.2. Разработка формализованных моделей и процедур формирования систем оценки качества......................49

2.3. Разработка принципов формирования оценочной системы...............................................67

2.4. Разработка структуры технологии проведения экспертного отбора критериев оценки образовательных систем и формирования оценок..........................70

2.5. Разработка принципов анализа оценочных систем.........74

2.6. Выводы................................................78

Глава III.РАЗРАБОТКА МОДЕЛИ ТЕХНОЛОГИИ ИТОГОВОЙ ОЦЕНКИ

УРОВНЯ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ СИСТЕМ..........80

3.1. Разработка структуры технологии оценки качества обазовательных систем...............................80

3.2. Анализ мультипликативных и аддитивных методов свертки критериев...................................86

3.3. Разработка стратегии агрегирования на основе нечетких множеств...................................91

3.4. Разработка алгоритма агрегирования с использованием

нечетких чисел.....................................100

3.5. Выводы..............................................112

ГЛАВА IV. ИНЖЕНЕРНАЯ РЕАЛИЗАЦИЯ МЕТОДОВ ФОРМИРОВАНИЯ ОЦЕНОЧНЫХ СИСТЕМ И ОЦЕНКИ УРОВНЯ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ СИСТЕМ...........................114

4.1. Предварительное ранжирование и формирование списка критериев (показателей) оценки.......................114

4.2. Определение типа шкалы для оценки образовательной системы по экспертным показателям....................124

4.3. Определение весовых коэффициентов показателей оценки качества образовательных систем......................125

4.4. Построение пороговых значений показателей-фильтров............................................128

4.5. Проведение оценок по экспертным показателям..........136

4.6. Учет нечеткостей в оценках экспертов при квалиметрии высших учебных заведений с использованием системы экспертного оценивания АСЭО - 5......................137

4.7. Классификация по уровням качества....................139

4.8. Разработка архитектуры системы компьютерной поддержки оценки качества образовательных систем различных уровней....................................140

4.9. Выводы...............................................148

5. ЗАКЛЮЧЕНИЕ.............................................149

6. БИБЛИОГРАФИЯ...........................................152

7. ПРИЛОЖЕНИЕ 1. Автоматизированная система комплексной

оценки выпускников и аккредитации вузов..162

8. ПРИЛОЖЕНИЕ 2. Категорный подход к описанию задачи ква-

лиметрии.................................170

9. ПРИЛОЖЕНИЕ 3. Пример "взвешивания" показателей оценки

образовательных систем...................177

10. ПРИЛОЖЕНИЕ 4. Пример нарушения изиморфизма относительно отношения порядка при оценке образовательных систем по методу Руссмана и с помощью средневзвешенной оценки......180.

ВВЕДЕНИЕ.

Актуальность темы исследования обусловлена актуальностью проблемы управления качеством подготовки специалистов и управления качеством педагогических систем в условиях высокой динамики конъюнктуры спроса на рынке образовательных услуг. На сегодняшний день не существует системы управления и оценки качества образования, удовлетворяющей мировое сообщество [72]. Процесс управления сложными объектами, к которым относятся и образовательные системы всех уровней,делится на ряд стадий [109]:

1) прогнозирование будущего;

2) определение целей;

3) формирование промежуточных задач;

4) определение программ действий;

5) выполнение планов и программ;

6) оценка результатов;

7) обеспечение обратной связи для корректировки процесса.

Важными звеньями цепи управления сложными объектами выступают стадии оценки результатов управления и обеспечения обратной связи.Таким образом, в управлении качеством образовательных систем одно из центральных мест занимает проблема оценки качества образовательных систем,от корректного решения которой зависит надежность функционирования всей системы управления качеством подготовки специалистов.

В настоящее время проблема эффективного управления качеством подготовки специалистов встает все более остро, что связано, с одной стороны, с изменением структуры потребностей общества в специалистах (например, потребность в инженерно -технических кадрах уже не носит ярко выраженного доминирующего характера,напротив, значительно выросла потребность общества в специалистах в области юриспруденции и финансов),с другой - с изменениями требований к специалистам по многим направлениям подготовки, особенно в области экономики, юриспруденции. Кроме того, новая экономическая ситуация вызвала потребность в специалистах по новым для отечественной системы образования специальностям (маркетолог, менеджер и т.д.). Динамичность ситуации предъявляет высокие требования

к системе управления качеством образовательных систем, надежное функцианирование которой должно обеспечиваться налаженной системой мониторинга и контроля за качеством подготовки специалистов различных направлений и уровней подготовки,что, в свою очередь, связано с необходимостью совершенствования методологии оценки качества образовательных систем (направлений подготовки, вуза в целом, специальности и т.д.), как степени их соответствия предъявляемым требованиям в реальном масштабе времени, наличием единой формальной базы (языка) разработки методик и методов оценки образовательных систем различного уровня и направлений подготовки специалистов.

Актуальность проблемы оценки качества подготовки специалистов и образовательных систем - важной составной части задачи управления качеством подготовки специалистов и качеством образовательных систем,- возрастает также в связи с ростом числа негосударственных учебных заведений, возросшей динамикой спроса на специалистов различных профилей, динамичностью структуры этого спроса - все это ведет к подвижности системы требований, которые предъявляются к специалистам.

При этом, следуя данному в работе [70] определению, управление качеством высшего образования понимается как управление качеством подготовки специалистов в высших учебных заведениях, включая: формирование оптимальной структуры целей высшего образования, в том числе, в области фундаментальной подготовки специалистов; обеспечение эквивалентности дипломов о высшем образовании в России и за рубежом; создание систем самоанализа эффективности управления качеством высшего образования в вузах и, сопряженного с ними, общественно-государственного института аттестации,аккредитации и лицензирования.

Степень эффективности системы управления качеством образовательных систем, не в последнюю очередь, связана с уровнем автоматизации процессов управления и оценки качества образовательных систем и, следовательно, с созданием эффективных средств математического моделирования образовательных систем как объектов управления.

Вместе с тем, технологии оценки, используемые в настоящее время в квалиметрии высшей школы, часто основаны на формальном аппарате, который не учитывает особенностей измерения качества

педагогических систем и предназначен для условий, достаточно далеких от тех, в которых решаются задачи квалиметрии высшей школы, что существенно снижает их эффективность.Например, широкое применение в квалиметрии высшей школы вероятностно-статистических методов не всегда корректно в условиях высокой динамики требований к объектам оценивания и отсутствия аналогов.Методы теории вероятностей и математической статистики распространяются лишь на стохастически устойчивые последовательности событий [17].

Следовательно, актуальность темы исследования обусловлена необходимостью повышения эффективности системы управления качеством подготовки специалистов за счет совершенствования формальных методов (языка) описания моделей различных стадий технологии оценки качества образовательных систем и,на этой основе, автоматизации проектирования оценочных систем и оценочной деятельности в сфере образования.

Совершенствование методов формального моделирования систем оценки качества подготовки специалистов должно осуществляться на основе принципов системности, формальных и экспертных процедур обработки информации;разработанных А.И.Субетто принципов синтетической квалиметрии; принципов общей, специальной и предметной квалиметрий [77-81].

Существующее положение дел не всегда удовлетворяет принципу соответствия уровней формализации оценки и модели объекта оценки [78], - часто строгость методов обработки оценок превышает строгость уровня описания объекта оценки, что снижает эффективность оценочной деятельности как инструмента управления качеством образования, приводит к недостаточно продуктивным процедурам синтеза технологий оценочной деятельности как сложных, многоуровневых процедур, объединяющих в единую систему все виды оценочной деятельности в сфере образования.

Применение методов теории нечетких множеств в квалиметрии высшей школы не носит в настоящее время систематического характера. При этом методы теории экспертных оценок и теории нечетких множеств в наибольшей степени удовлетворяют принципу соответствия уровней формализации оценки и объекта [78], их использование способно повысить степень корректности результатов оценки качества образовательных систем и ускорить темпы разработки и внедрения автоматизированных систем экспертной оценки качества образова-

тельных систем для различных видов объектов оценки, повысить достоверность результатов оценки.

По этой причине особое значение приобретают подходы к разработке комплексной модели оценочной деятельности в сфере образования на основе современных методов экспертной и нечеткой квалимет-рий, опирающихся на формальный аппарат теории сложности,теории нечетких множеств и экспертных оценок [91-101].

В диссертационном исследовании предложен новый подход к формальному описанию замкнутой технологии оценочной деятельности, основанный на использовании математических структур, моделируемых в теории нечетких множеств для описания сложных систем [26-30;32;52;88]; логических принципов, выходящих за рамки классической бинарной логики [31;48;68;112 ], которые позволяют создавать модели оценочной деятельности в условиях неопределенности и нечеткости.Внедрение этого формального аппарата должно способствовать разработке систем экспертного оценивания, обладающих достаточной эффективностью в реальных условиях оценки качества образовательных систем.

Особое внимание при разработке формального описания элементов базовой модели оценки уделяется формализованному описанию "пространства свойств" и "пространства баз сравнения" [77], которые составляют основу оценочных систем;разработке процедур их отображения в системы критериев качества образовательных систем ("пространство показателей качества" [77]); разработке процедур структурного обобщения и синтеза оценочной деятельности как сложного, многоуровневого процесса; формированию пространств "операторов оценивания" на различных уровнях процесса оценки.

Целью исследования является разработка формализованного описания элементов базовой модели оценки и процедур, составляющих основные этапы технологии оценки качества образовательных систем, в интересах унификации процесса создания информационных технологий оценки качества образовательных систем различного уровня и направлений подготовки.Реализация цели исследования опирается на раскрытые в работах А.И.Субетто [77-83] основные составляющие и системные принципы формирования и развития качества; концептуально - программный подход к проблеме качества высшего образования, изложенный в монографии [55], выпущенной Исследовательским цент-

ром проблем качества подготовки специалистов Министерства образования РФ под научной редакцией А.Н.Селезневой и А.И.Субетто; подходы к экспертному формированию оценочных систем, разрабатываемые под руководством Б.Г.Литвака;принципы обработки и анализа экспертной информации, изложенные в работах Б. Г.Литвака [40-43].

В соответствии с целью исследования в диссертационной работе решаются следующие задачи:

- анализ содержания и структуры оценочной деятельности в сфере образования как предметной квалиметрии, выявление особенностей оценочной деятельности в сфере образования;

- разработка рекомендаций по выбору аппарата формализованного описания основных этапов технологии оценки качества образовательных систем;

- разработка модели пространства качества и описание ее основных структурных свойств;

- разработка процедур формирования весовых коэффициентов показателей качества с учетом факторов нечеткости и неопределенности;

- разработка процедур формирования пороговых значений показателей качества с учетом факторов нечеткости и неопределенности;

- разработка методик учета факторов нечеткости и неопределенности в алгоритмах агрегирования значений показателей качества образовательных систем;

- проведение анализа особенностей методов агрегирования значений показателей качества образовательных систем;

- реализация методики учета факторов нечеткости в алгоритмах агрегирования при оценке качества образовательных систем.

Объектом исследования является квалиметрия высшей школы, предметом исследования - возможность совершенствования оценочной деятельности на основе разработки формальной модели замкнутой технологии оценочной деятельности в сфере образования, описание которой осуществлено с привлечением аппарата теории нечетких множеств, теории экспертных оценок и теории категорий.

Методы исследования.Методами исследования являются методы экспертной и нечеткой квалиметрий, системного анализа, теории измерений; методы обработки экспертной информации, теории нечетких

множеств, нечеткой логики, теории категорий.

Научная новизна и теоретическая значимость.На основе раскрытых и систематизированных А.И.Субетто [78] системных принципов формирования понятия "качество", разработана формализованная модель класса качеств в виде алгебры, базисом которой служит множество свойств (формальное определение). Описана модель "пространства свойств " как топологического пространства с определенными свойствами.Разработана система требований к структуре оценочной системы, отражающая особенности математической модели пространства качества.Впервые разработана процедура формирования пороговых значений показателей качества, учитывающая наличие факторов нечеткости и неопределенности, в виде нечетких чисел (Ь-Ю-типа. Разработан новый подход к определению весовых коэффициентов показателей качества с учетом факторов нечеткости и неопределенности. Разработана , методика учета факторов нечеткости и неопределенности в алгоритмах агрегирования значений показателей качества образовательных систем.Впервые проведен теоретический анализ особенностей методов агрегирования показателей качества образовательных систем.Реализована методика учета факторов нечеткости в алгоритмах агрегирования при оценке качества образовательных систем.

Практическая ценность и реализация результатов работы.Практическая ценность работы заключается в разработанных автором методиках и алгоритмах формирования систем оценки качества образовательных систем;построения оценок по показателям качества и решающих правил, которые составляют замкнутое описание технологии оценки качества образовательных систем разного уровня и позволяют пов�