автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Разработка экспертно-аналитического метода оценки качества образовательных систем

На правах рукописи

□0306214Э

МИЛОВА ВАЛЕНТИНА МИХАЙЛОВНА

РАЗРАБОТКА ЭКСПЕРТНО-АНАЛИТИЧЕСКОГО МЕТОДА ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ СИСТЕМ

Специальность 05 13 10 - управление в социальных и экономических системах

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва 2007

Работа выполнена на кафедре управления качеством высшего образования Исследовательского центра проблем качества подготовки специалистов Московского государственного института стали и сплавов (технологического университета)

Научный руководитель

доктор психологических наук, кандидат технических наук, профессор Добряков Анатолий Александрович

Официальные оппоненты

доктор технических наук, профессор Литвак Борис Григорьевич

кандидат технических наук, профессор Соловьев Виктор Петрович

Ведущая организация

Сапкт-Псюрбур!екни юа ырс ми-иш.ш

) 1ск1 роiсчничсскпп м11111|.|чпк1 «Л )1И>

Защита диссертации состоится «30 » мары 20(17 I к 14'"' чачш п.1 мч-дании диссертационного совета Д 212 132 10 в Исследован: н.ском ист ре проблем качества подготовки специалистов Московского государи ценною ннии-тута стали и сплавов (технологического университета) по адресу 105318, г Москва, Измайловское шоссе, 4

С диссертацией можно ознакомиться в библиотеке Исследовательского центра проблем качества подготовки специалистов Московского государственного института стали и сплавов (технологического университета)

Автореферат разослан «27» февраля 2007 г

Ученый секретарь диссертационного совета

Моргунов И Б

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. Участие России в Болоиском процессе, одним из основных требований которого является повышение качества образования стран - участниц, послужило мощным толчком к разработке вопросов управления качеством в образовательной сфере Но если в промышленной сфере методы управления качеством стали применяться уже достаточно давно, то в образовательной сфере, в силу целого ряда отличительных особенностей, одной из которых является экспертный способ получения информации, они практически не использовались

Решая задачи менеджмента, приходится оперировать данными различной природы Если в промышленности цели, критерии, различные ограничения задаются, как правило, четкими (числовыми значениями), то в образовательных системах это удается не часто Вместо количественных значений в ряде случаев могут быть использованы только вербальные оценки, формируемые экспертом-человеком, что и порождает наличие неопределенности при описании необходимых параметров системы Поэтому учет этих неопределенностей, разработка методов их измерения являются одними из важнейших задач в развитии и использовании методов менеджмента качества в образовательной сфере

Существующие методы внешней и внутренней оценки качества образовательных систем строятся в основном на моделях премий по качеству с заданным перечнем показателей и весов, при этом используется экспертный способ оценки и балльные шкалы Однако в условиях рынка желательно иметь гибкий инструментарий, адекватно отражающий характеристики образовательной системы (далее ОС), учитывающий ее особенности, изменения внешних и внутренних условий и позволяющий строить управление на основе данных, полученных с использованием более точных методов оценки Известно, что для решения задач, в которых исходные данные являются ненадежными и слабо формализуемыми, в промышленности и в военном деле с успехом применяется математический аппарат нечетких множеств, который использует язык, близкий к естественному, в то время как в образовательной сфере этот аппарат еще не нашел применения

В настоящее время необходимость совершенствования моделей самообследования и механизмов самооценки, использующих математическое моделирование процессов функционирования образовательных систем и способов их оценки

на основе методов системного анализа, стала совершенно очевидной

Использование теории нечетких множеств связано с определением функций принадлежности, описывающих входные и выходные параметры системы, которые выбираются субъективно и, таким образом, могут оказаться не вполне отражающими реальную действительность Однако построение адаптивных систем, корректируемых в процессе работы, позволяет итеративно уточнять значения параметров и, следовательно, принимать объективно-обоснованные управленческие решения, тем самым, повышая качество менеджмента и конкурентоспособность ОС

Актуальность настоящего исследования определяется необходимостью повышения качества управления ОС посредством разработки методов, позволяющих адекватно оценивать и целенаправленно проектировать улучшение характеристик ОС в условиях неполной и нечеткой исходной информации

Цель исследования. Основная цель исследования состоит в разработке экспертно-аналитического метода на основе теории нечетких множеств для повышения качества управления образовательными системами

Поставленная цель предопределила необходимость постановки и решения следующих задач:

1 Анализ основных подходов к оценке качества технических и экономических систем в условиях неопределенности Определение методов для поддержки процессов многокритериального выбора решений применительно к сфере образования

2 Разработка экспертно-аналитического метода (далее ЭАМ) для оценки и проектирования качества ОС и отдельных ее составляющих

3 Разработка алгоритма получения набора критериев, установление их значимости, с учетом требований всех заинтересованных сторон

4 Построение соответствующих формальных механизмов выбора решений, характеризующих этапы/шаги ЭАМ в условиях неопределенности

5 Апробация ЭАМ на различных объектах образовательной системы оценка процессов системы менеджмента качества (СМК) по требованиям ГОСТ Р ИСО 9001 2001, оценка показателей «результативность СМК», «воспитательная работа», «компетентность», выработка рекомендаций для специа-

листов, занимающихся проблемами качества

Объект исследования - системы качества / системы менеджмента качества образовательных систем

Предмет исследования - структура качества образовательных систем, критерии и методы его оценки, принципы формирования

Методы исследования методы системного анализа, исследования операций, теории нечетких множеств, многокритериальной оптимизации и экспертных оценок

На защиту выносятся

1 Формализованный экспертно-аналитический метод принятия решений в виде пятиэтапной модели в условиях частичной априорной неопределенности, включающий следующие составляющие

- алгоритм выбора критериев, позволяющий учесть требования всех заинтересованных сторон и оценку их значимости,

- формализованную модель оценки обобщенного показателя качества образовательной системы с учетом неопределенности,

- алгоритм выбора приемлемых альтернатив,

- модель многокритериальной задачи принятия решений при нечетких критериях и нечетких целях,

- алгоритм проектирования управляемых параметров системы с учетом выбранной альтернативы и фактического состояния системы

2 Технология оценки показателя «качество процесса», показателя «результативность СМК», показателей «компетентность» и «воспитательная работа»

Научная новизна диссертационного исследования

Предложен экспертно-аналитический метод оценки качества образовательных систем (далее ОС), учитывающий разные виды неопределенности нечеткость данных, лингвистическую неопределенность, неполноту информации

На основе теории нечетких множеств разработан алгоритм интегральной оценки качества ОС, учитывающий высказывания экспертов в нечетко-обусловленной форме Разработан классификатор качества ОС, характеризую-

щий уровни качества, позволяющий дать заключение о качестве и рекомендации по управляющим воздействиям на систему на основе полученной оценки

Предложен механизм самооценки организаций, учитывающий требования всех заинтересованных сторон Разработанный метод позволяет учитывать характерные особенности и реальные возможности образовательных систем, отслеживать динамику изменения базовых критериев и на этой основе целенаправленно улучшать характеристики системы Используемая в работе теория нечетких множеств представляет собой гибкий аппарат при выборе решений в случае нечеткой и неполной информации в исходных данных Поддержка решения ЛПР по проектированию улучшения показателей качества базируется не только на эмпирических данных, но и на значениях, полученных расчетным путем

Практическая значимость Практическая значимость результатов заключается в создании инструментария для решения задач оценки и проектирования качества как всей образовательной системы в целом, так и ее составляющих Разработанные модели и методы реализованы, внедрены и используются в практике НОУ «Невский институт языка и культуры», Брянского государственного технологического университета, на факультете управления РГПУ им А И Герцена

Апробация работы Основные результаты диссертационного исследования докладывались и обсуждались на II международном симпозиуме «Качество, инновации, образование и cals-технологии», Хургада, 2006, V, VI международных научно-практических конференциях «Менеджмент XXI века», С -Петербург, 2005, 2006, Международной научно-методической конференции «Управление качеством в современном вузе», С -Петербург-Калуга, 2003, IV российском семинаре по инженерному образованию «Многоуровневая подготовка специалистов в области ВПО в России», С -Петербург, 2003, международной научно-практической конференции «С -Петербург-полиэтнический мегаполис», 2003

Исследования по теме диссертационной работы проводились автором при разработке, внедрении и сертификации системы менеджмента качества НОУ «Невский институт языка и культуры» на соответствие требованиям стандартов ГОСТ Р ИСО 9001 2001, а также в рамках проектов

50/05 - РТП «Разработка механизмов экспертизы реализации комплексных

программ и проектов, направленных на развитие образования», ведомственная научная программа «Развитие научного потенциала высшей школы» (факультет управления РГПУ им А И Герцена),

П-178 «Апробация, доработка и внедрение в образовательных учреждениях ВПО типовой модели системы управления качеством образовательного учреждения» (государственный контракт от 19 августа 2006 г) (руководитель работ по проекту в НОУ «Невский институт языка и культуры» В М Милова)

Публикации. Основные результаты диссертационного исследования опубликованы в 10 печатных работах

Структура и объем работы Диссертация состоит из введения, пяти глав и заключения, списка использованных источников из 168 наименований Общий объем работы 157 страниц, в том числе 42 таблицы и 21 рисунок

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность исследования, сформулированы цели, задачи, научная новизна и определена практическая значимость полученных результатов, приведены сведения об апробации работы и сформулированы основные положения, выносимые на защиту

В первой главе проведен анализ отечественного и зарубежного опыта использования теоретико-методологических подходов к оценке качества ОС на основе обзора и анализа зарубежных и отечественных премий по качеству, требований к комплексной оценке высших учебных заведений, стандартов и директив ЕЫС)Л, положений Болонской декларации, требований, предъявляемых МС и ГОСТ Р серии ИСО 9000

Во второй главе рассмотрены особенности системного подхода к решению задач управления Проведено исследование особенностей применения нечетких множеств к техническим, экономическим и финансовым системам Исследованы возможности использования лингвистической переменной и получения составных термов посредством модификации первичных термов, выявлены подходы к выбору функций принадлежности и их аналитическому виду Сделан вывод о возможности использования формализма нечетких множеств при оценке образовательных систем, определена область исследования

В третьей главе в общем виде дано формализованное описание проблемной ситуации, определяющее структуру образовательной системы, которое представляется «кортежной» записью

< Я, Т, С/ 2Т\ БК, О, А, 0, ХП, Я>, где 77 = {Я,}, I е 7= {1,2, - множество объектов системы, Г - время, отводимое для изучения системы,

С= {С,}, у е .7= {1,2, ,/с} - средства/расчетные процедуры и методы,

2П - цель/совокупность целей,

БК = (7Ж"|, , БКГ) - вектор базовых критериев,

ХП= {ХП\, , ХП,.} — множество факторов, определяющих базовые критерии,

А = {А\, ,Ат} — множество альтернативных вариантов,

Q - интегральный/обобщенный критерий качества системы,

Ь = Ф(£2, А) - обобщенный критерий эффективности,

О =АБКТЗ, ХП) - функция связи,

0= {0\, , О,„} - множество ограничений,

Я-решение ЛПР (лицо, принимающее решение)

Процедура оценки и проектирования улучшений образовательной системы представляет собой процесс функционирования системы управления, состоящий из органа управления - ЛПР, объекта управления - ОУ и идеального объекта - ТЗ, связанных между собой прямыми и обратными связями Задача ЛПР состоит в том, чтобы с учетом поставленной цели преобразовать исходную информацию, характеризующую фактическое состояние ОС, так, чтобы показатели эффективности функционирования ОС максимально удовлетворяли поставленным целям Именно для этого и предложен разработанный автором экспертно - аналитический метод (ЭАМ), позволяющий непрерывно отслеживать и целенаправленно улучшать качество системы Отличительная особенность метода заключается в том, что его функциональная структура построена на антропоцентрическом подходе и представлена в виде кольцевых пентадно-структурированных опорных схем Это позволяет разбить процесс оценки и проектирования качества ОС на логически замкнутые пять этапов, каждый из которых состоит из пяти шагов Общая структурная схема ЭАМ приведена на рис 1

Гинрлши И|1Н1 м IIмм1 .ш.нрн.иин

I БК

Оире»е.1шне гребуечыч шачешш 1 !(нс к-и), лесов, обобщенною пик.шис ш

Весовой вектор

\{<л.т»ы» I ор<> 1 им

кр лин • \ *

\ *

►БК

— Р

I 1'Р> л < I >

7Г

»

/ ()л|)(1е.1СШ1е ч

'шмикчпц« покрь и принятие решений

М ! фПП;: М5ЧПОКр!Ч™риа,1Ъ юто выбора

БК

БК ~ Р ~

БКГ

I

'Л.Г ■

<Х,Т и,6 М>

БК, БК._ БК,

ТЗ ТЗ, ТЗ,

да, «г,

,2 <

X имя временной \ Т тесм «/ножестео \ и /к ивер^-льное «повесть л кси з срмз^ТГ?»™

ОСКБК'Л')

~ТБК, БК. 1 БКТ ^ ^ 1

'А ФЗ 1 ФЗ,

А ¡ФЗ. ФЗ, 1 ,

|

!

А, ФЗ, Ф3„, 1-1

ТЗ ТЗ, тз.

УУ 1

махЬ

\ еш-ттЬ^С-!,)

|е(| т)

/ (Г) Определение ' (м.и>вы\ критериев

о, ь

А

т ж.. —

ь„ л\

Р( - в у-

х7 К

•'5; Про« тпровлиие улучшений

Р~

~ Р~

Ь—1

'=1 о 3 о

( 3

} > \ 1

\ / \ ч]

\ 1 к 0

1 чп у'

I

Апр

Ах" Ат

Шзг 1 Шаг2

Ьизняс Л"зн се^еьо-и графь к

Г1 «аМУ/и? ип* М^а

Рис 1 Структура экспертно-зналитического метода оценки и проектирования качества ОС

Этап 1. На первом этапе определяется векторный критерий БК = (БК{, ,БКГ), адекватно отражающий проблемную ситуацию, который устанавливается на основе предпочтений ЛПР по методу анализа иерархий (МАИ) и определяются веса Для этого выявляется полный набор факторов Ь\, ,Ьп, характеризующих качество образовательной системы с учетом требований всех заинтересованных сторон, формируется матрица парных сравнений В = (ЬуХхп на основе шкалы возможных качественных признаков, где произвольный элемент Ьц выражает отношение предпочтения Ь, к Ьр вычисляется весовой вектор IV = (и'ь ,и'„), как собственный вектор матрицы В, отвечающий максимальному собственному значению Упорядочивание критериев производится по величине компонентов собственного вектора

Этап 2. На втором этапе устанавливаются или назначаются цели, которые могут принимать как количественные, так и качественные значения В связи с тем, что ОС характеризуется в основном качественными факторами и нечетко определенными целями, в методе применяется теория нечетких множеств Каждая компонента БК, векторного критерия характеризуется определенной целью/ТЗ для ЛПР, а достижение этой цели выражается в условиях максимизации компонент БК, Значения качественных критериев, выраженных в терминах цели, можно представить в виде нечетко определенных предпочтений, что гораздо проще, чем задание четкой целевой функции, т к в этом случае требуется не численная оценка конечного результата, а лишь его качественное ранжирование При назначении цели используется опыт, интуиция и здравый смысл людей, осуществляющих управление, а в качестве инструментария может применяться метод бенчмаркинга При реализации метода возникает необходимость решения сопутствующих задач на основе теории нечетких множеств определение лингвистических переменных, определение уровней и диапазонов изменения критериев, определение терм-множеств и функций принадлежности Для унифицированного описания критериев, поскольку они измеряются в разных единицах и/или шкалах, осуществляется переход к однонаправленным шкалам и проводится их нормализация путем сведения диапазона изменения значений к отрезку [0,1] При таком описании критериев появляется возможность сопоставления их значений со значениями функций принадлежности и безразмерны-

ю

ми значениями различных критериев

Для оценки качества ОС и ее объектов вводится обобщенный показатель качества, характеризующий интегральное качество системы () = Q{БK) = (¿(БК^Т), суть которого состоит в «свертке» многих оценок в единую оценку Вид синтезирующей функции может быть выбран в виде линейной свертки

г

0= X БКН, где м>, - «вес» БК^, БК! - критерий (1)

1=1

В случае нечетких значений критериев объединение нечетких множеств можно определить различными способами, при этом выбор конкретного способа зависит от смысла, вкладываемого в соответствующие операции в рамках рассматриваемой задачи Вычисленное значение обобщенного показателя Q интерпретируется по разработанному классификатору качества, который описывает различные установленные уровни качества системы

Этап 3. На третьем этапе осуществляется генерация множества приемлемых альтернатив и выделяется подмножество Парето А |, , А,„ Для этого из множества всех возможных вариантов исключаются заведомо неприемлемые, которые никогда не могут оказаться выбранными, если выбор осуществляется достаточно «разумно» и с учетом фактического ограничения -состояния системы ()„, х

При этом генерация альтернатив сводится к выбору приемлемого для практики набора значений ХПЧ - показателей нижнего уровня, где у для каждого / зависит от количества факторов, существенно влияющих на БК, Разложение базовых критериев БК, на характеристические параметры ХП,, предлагается делать, используя технологию развертывания функции качества (ОРБ)

Этап 4. На четвертом этапе решается задача выбора «лучшей» альтернативы, которая наиболее полно удовлетворяет целям ЛПР на основе целевой функции Ь (или О) Формально задача представляется в виде

существуют альтернативы Ац, к= 1, ,т, которые образуют множество решений А={Аь , А,„), существует векторный критерий БК = (БК\, ,БКГ), ЛПР необходимо выбрать альтернативу А* еА на основе определенной целевой функции

В качестве целевой функции принимается функционал суммарных взвешенных потерь Ц (или функция полезности О")

Ц - 5 ГДС (it'i, ,wr) - весовой вектор, /= 1, ,т, (2)

7 = 1

/„ = T3j - Ф3„ = T3j - ВК/А,) е Rr, i = 1, ,т, j = 1, ,r, Л,-1 - ая альтернатива, Поскольку в общем случае величины 73,11 ФЗи являются нечеткими, то последние разности вычисляются следующим образом

l„ = Р„ fe -'«и, ), (3)

где Ру— Евклидово расстояние между центрами тяжести (ЦТ) нечетких множеств T3j и EKj (га^ ,yJEsK ) и [тБК ,цЕЛ- jt которое вычисляется по формуле

h = "'»/./Л, kl',; J (4>

При этом координаты ЦТ нечетких множеств определяются па основе формул

f .rM(-Oi/v , [м(0/.....[иС X >>/МС Ж >

. Jhh , , ' _ «>А

"""Lmuw. I,.....Л

где nißh, Цел - координаты цсшрои ih<hi.uii. /""[р( *)] - ойрашаи фчпкннн к функции ц(х), Ае{ТЗ,ФЗ} В качестве «лучшего» решения выбнрасю! м .ыьирпапмм которая доставляет минимум значения функции Ц

А' = arg min Ц (Д) (6)

;е{|

Формальный подход к выбору решения с использованием функции полезности Q строится аналогично рассмотренному выше, на основе множества значений QW={Q", } критериев БК для альтернатив А={А\, , А,,,} При

этом агрегирование базовых критериев осуществляется согласно формуле (1) или в случае нечетких множеств, по ее аналогу

elr(A,) = (jWj£K/(A,), (7)

j-1

При этом функции принадлежности для обобщенного критерия вычисляются

} (8)

Для интерпретации результата вычисления обобщенного показателя в виде числа на отрезке [0,1] необходимо найти лингвистическое среднее результирующей функции принадлежности

Z

-> (9)

J' I

где х, - точки, полученные по центроидному методу (по формуле 5) для соответствующих функций принадлежности Q(A,) Таким образом, «лучшим» решением А" является

A' =argmaxg(/i,)= max т (10)

т) "Н1 «I О (4)

Этап 5. На пятом этапе проектируется реализация выбранной альтернативы Л*, коюрая становится целью системы - /4„p„lkt Сравнение проектной альтернативы I н фампчико! о юионнпн симемы f„l4 пошоляст установить отклонения по K.i/K 1ч\|\ Гмкжом\ крниршо IIdl ie itiio u допо иппельпыч ограничений («тру-иччмчш" и imcikiihm юк.1 ii.iiuv крнармен V\//,(, приоритета возможных из-

моюши iii> ikpiiiipiiiu) iti.ioiiji.icIя ранами минимизирующее целевую функцию 1 11.И.ПШМЧ .шоршмическн, как последовательность шагов) Данная процедура п|Х)нол111ся и ишсрлк-цшпом режиме При этом один из возможных вариантов преде ^тления L может быть задан формулой (11)

I > г т

¿ = И',А = (11) 1-1 /=1 1=1 )= 1

1 8L 1 8L

где ХП={ХП,^ - подкритерии, н>,= {wu } - весаХПУ, R, </ ~~дАхц >

ДЛ77 = xnnp0LK - A77Htx, t - время, Ф - финансы, Р - прочие ресурсы, Для реализации варианта составляется программа практических мероприятий, которая приводит к улучшению базовых характеристик системы, при целенаправленном изменении локальных параметров

В четвертой главе рассмотрено применение ЭАМ к оценке гипотетической ОС В рамках поставленной задачи проведен выбор показателей БК = (БК\ БК5), согласованных с показателями комплексной оценки и требованиями внешних и

внутренних потребителей, установлена их значимость, проведена декомпозиция критериев БК, на подкритерии ХП^, определены уровни качества Для каждого БК, / ХПЧ введены лингвистические переменные и определены функции принадлежности Степень оценочной уверенности для всех критериев выражена треугольными симметричными функциями принадлежности в пятиуровневой шкале качества на носителе [0,1], представленной в таблице 1

Таблица 1

Переменные (ЛП) Уровни Термы нечетких множеств Носитель Функции принадлежности на носителе

X, е[0,1] г= 1, ,5 1 «неудовлетворительно» 0 < х< 0,25 = -4х + 1 при 0 <х,< 0,25

2 «плохо» 0 <дг< 0,5 4х при 0<х,< 0,25 \-4х + 2 при 0,25<х,<0,5

3 «средне» 0,25 <а<0,75 Г 4х-\ при 0,25 < г, <0,5 \-4х + 3 при 0,5 <*,< 0,75

4 «хорошо» 0,5 <х< 1 _(4х-2 при 0,5<*,< 0,75 \-4х + 4 при 0,75 <х,<\

5 «отлично» 0,75 <х < 1 Ц5 = 4х-3 при 0,75 < x, < 1

Введен обобщенный критерий (¿¡¡ш,, представляющий собой набор нечетких значений по одному для каждого частного критерия Индексы г,/,/<:,/,/и е/={ 1,2, ,5} показывают уровни качества критериев На основе эмпирических данных получена оценка текущего состояния ОС и рассчитан обобщенный показатель Для нечетких значений критериев функция принадлежности обобщенного показателя „ определяется по формулам

г,у, к, I, т е [1, ,5] (12)

I

, (13)

о

Используя значения индекса соответствия аккредитационным показателям МОиН, который получен на основе статистических данных, и учитывая требования ГОСТ Р ИСО 9001 2001, был разработан пятиуровневый классификатор качества ОС, позволяющий установить уровень качества системы и на основе полученного заключения принять решение по управляющим воздействиям Дальнейшее улучшение

системы строится на основе выбора лучшей альтернативы В рассмотренном примере множество Парето включает варианты, интересные с точки зрения анализа ОС Для них вычислены значения (2,,ыт В качестве «лучшей» альтернативы выбрана эталонная 655555, тк ей соответствует максимальное значение =0,916, где Цб[0,1]

При этом нормализация значений ФЗЦ может осуществляться одним из способов по строкам, по столбцам, по матрице соответственно _ ФЗ,ГттФЗ _ ФЗи-ттФЗу _ ФЗ-щтФЗ

ФЗ,,=-1-,ФЗ=-1-,ФЗ =-Ч-, (14)

'■> тахФЗу-ттФЗу V тахФЗ(/-тт<М(/ У тахФ^-тш'/в(/ 11 J J и и

где ФЗ - исходная величина критерия, а ф^ - нормализованная

В главе 5 рассмотрены примеры использования ЭАМ к задачам, решающим частные вопросы оценки качества ОС показатель «результативность СМК» на основе показателей процессов, характеризующих их качество, показатель «компетентность», показатель «воспитательная работа»

Оценка качества процессов проведена на модели СМК НОУ «Невского институт языка и культуры» На основе фактических значений параметров ХПЦ и установленной значимости процессов рассчитаны обобщенные показатели качества процессов Сводные результаты приведены в таблице 2

Таблица 2

Сводные результаты оценки процессов ОС для текущего состояния £>34323

Процессы № п п Название процесса Обобщенный показатель процесса Значение показателя W( вес процесса)

1 Организационно-управленческий п - п0|'у !i|- ii 24534 0,620 5/15

2 Образовательный п _ пОЫ> li2— « 44323 0,503 4/15

3 Научно-исследовательски и 0 - г>мш> " 23344 0,356 3/15

4 Информатизационный г, _ оИНФ li4~ " 34344 0,565 2/15

5 Вспомогательный п - пис" "5 " 34344 0,565 1/15

Сбор и обработка данных осуществляются на основе «карт процесса», которые имеют вид матрицы, где по строкам расположены критерии и их составляющие, а по столбцам - их качественные уровни Результативность систем ка-

чества рассчитывается по формуле (9), а отклонения от целевых показателей оцениваются по формулам

П = АП = ^'п-Д,сх (15)

/=1

->ТЗ

где - вес процесса, £2, - обобщенный показатель процесса, ¿2 , £2,|СХ- требуемое и исходное состояния системы Определение лучшей, приемлемой в условиях конкретной ОС, альтернативы позволяет ставить вопрос о проектировании улучшения качества процессов как на уровне отдельных процессов, так и на уровне СМК в целом с учетом трудоемкости изменений каждого локального параметра ХП„ В рассмотренном примере, для улучшения характеристик ОС определилась следующая последовательность управляемых параметров ХП,, (статьи бюджета, стратегия, кадровая политика, социальные выплаты, рентабельность образовательной программы), на которые необходимо воздействовать

В диссертации предложен метод оценки покамтсчя «комисюипкки.» с использованием несимметричных функции ирмпи I юлпеч. ш мнкрмс про I-ставляют, с практической точки фсммя н.шоо м.шми ппнро. ( 1чк ш. -р ими тости» нечеткого мно/кесгва д 1я \.1р.1М(.ри 1\Ч1Я и |р 1м>. |р 1ми ,/ < !К пчк симметричной функции прима 1 южное ш </ < Д|я ни к ичииим шя! пиар вал [0,5 - Оз, 0,5 + с3] с узловой точкой 0 5 (абимны I 1С ц примим.ю! максимальное значение) и с функцией принадлежности, отражающем интегральное качество Ктп При этом обобщенный критерий «компетентность» для нечетких значений определяется по формуле (1), которая сводится к формуле

0,5(о3 + с3) + ^-(с,2 - а])

^ззззз =--2--(16)

аъ +с,

Для рассмотренного примера получен разброс возможных значений показателя К= 0 5 ± 0 083, зависящий от вида функции принадлежности и демонстрирующий возможность учета лингвистических особенностей высказываний эксперта в количественной оценке

В пункте 5 4 предложен метод оценки качества показателя «воспитательная работа» в вузе, основанный на критериях комплексной оценки МОиН, включающий одиннадцать подкритериев равной значимости (предпочтения не указаны)

На основе предложенного метода рассчитаны значения показателя «воспитательная работа» с использованием различных асимметричных треугольных функций принадлежности Расчеты показали, что для одних и тех же качественных уровней подкритериев базового показателя получен «размытый» результат, попадающий в интервал 0 42 < Р3 3 < 0,58, что соответствует трем оценкам качества (4, 5, 6 баллов) 10-балльной шкалы, предлагаемой МОиН Последнее позволяет сделать вывод о том, что на точность количественной оценки влияет не только метод оценки, но и исходные данные, характеризуемые в данном случае функцией принадлежности и размерностью задачи Поскольку функция принадлежности ц выбирается субъективно, то, частично, устранение этого недостатка возможно при систематическом мониторинге показателей, при уточнении и корректировке параметров р Набранная статистика ОУ позволит снизить неопределенности, обусловленные недостаточным количеством информации и ее недостаточной надежностью

В разделе 5 5 приведены общие рекомендации по использованию метода для специалистов, занимающихся проблемами оценки качества

Основные результаты и выводы

В диссертации предложены модели и алгоритмы многокритериальной оценки решений, учитывающие различные виды неопределенности лингвистическую неопределенность, нечеткость и неполноту информации Получены следующие основные научные и практические результаты

1 Разработан формализованный экспертно-аналитический метод в виде пятиэтаппой модели для оценки и проектирования качества образовательных систем

2 Для каждого последовательного этапа, направленного на решение практической задачи более высокого уровня, предложены конкретные механизмы, направленные на

выбор критериев и определение их значимости,

вычисление обобщенного показателя качества при нечетких значениях критериев и целей с использованием лингвистических переменных,

алгоритм выбора приемлемых альтернатив,

принятие решения в многокритериальной задаче выбора на основе суммарных взвешенных потерь или обобщенного показателя качества,

разработку алгоритма принятия решений по проектированию изменений локальных показателей на основе свойств системы,

3 Разработан алгоритм интегральной оценки качества менеджмента ОС, позволяющий обеспечить информационную поддержку принятия управленческих решений, а также алгоритмы и методы для решения задач нижнего уровня, где объектами оценки являются отдельные составляющие ОС

4 Разработаны рекомендации для специалистов, занимающихся проблемами качества, по использованию ЭАМ при мониторинге и оценке базовых показателей для принятия управленческих решений на основе полученных данных

5 Разработанный метод показал свою работоспособность и эффективность при многокритериальной оценке качества ОС в НОУ «Невский институт языка и культуры», Брянском государственном технологическом университете, на факультете управления РГПУ им А И Герцена

Основные положения диссертации опубликованы в следующих работах:

1 Добряков А А , Милова В М Экспертно-аналитический метод оценки качества образовательных систем на основе нечетко-множественного подхода // Качество Инновации Образование—2006-№6 -С 36-41

2 Добряков А А , Милова В М , Федорова Н А Экспертно-аналитический метод оценки качества образовательных систем // В сб «Качество, инновации, образование и cals-технологии» Материалы II международного симпозиума - 2006, Египет, г Хургада -М Фонд «Качество», 2006, С 51-55

3 Милова В М Опыт внедрения системы менеджмента качества на основе стандартов серии ИСО 9000 // В сб «Менеджмент XXI века управление образованием» - 2006 г Материалы VI международной научно - практической конференции» -СПб ООО «Книжный Дом», 2006, С 196-198

4 Милова В М , Шульгин Е А Использование результатов федерального экзамена профессионального образования в управлении качеством НИЯК // В сб «HOMO LUDENS как отражение национальной культуры и социального варьирования языка» Материалы международной научно-практической конференции СПБ Изд-во «Осипов», 2006, С 510-514

5 Милова В М Основные этапы разработки и внедрения системы менеджмента качества на основе стандартов серии ИСО 9000 и подходы к выделению процессов // В сб «HOMO LUDENS как отражение национальной культуры и социального варьирования языка» Материалы международной научно-практической конференции СПБ «Осипов», 2006, С 26-31

6 Милова В М Методика оценивания значимости критериев решения проблемы (на примере системы менеджмента качества вуза) //В сб «Менеджмент XXI века управление развитием» Материалы V международной научно-практической конференции СПб ООО «Книжный Дом»,2005 С 204-206

7 Милова В М , Федорова Н А Особенности экспертно-аналитического метода оценки качества // В сб «HOMO LUDENS как отражение национальной культуры и социального варьирования языка» Материалы международной научно-практической конференции СПб «Осипов», 2006 С 32 -36

8 Добряков А А , Милова В М , Чекмарева Н Н Особенности управления качеством подготовки в негосударственном гуманитарном вузе на примере Невского института языка и культуры Труды выпуск 1 международной научно-методической конференции «Управление качеством в современном вузе» Санкт-Петербург- Калуга, 2004, С 26-29

9 Милова В М , Чекмарева Н Н Подходы к оценке показателей деятельности гуманитарного негосударственного вуза в управлении качеством // В сб докладов «Многоуровневая подготовка специалистов в области ВПО в России Опыт, проблемы, перспективы» IV российского семинара по инженерному образованию СПб , 2004, С 120 -121

10 Милова В М , Кокорев В Ю , Шильникова JIА Особенности самооценки Невского института языка и культуры в процессе подготовки к конкурсу «Внутривузовские системы обеспечения качества подготовки специалистов» // В сб «Санкт-Петербург-полиэтнический мегаполис» Материалы международной научно-практической конференции посвященной 300-летию Санкт-Петербурга -СПб ООО «Теплосеть», 2003, С 7-12

Лицензия ЛР №020593 от 07 08 97

Подписано в печать 26 02 2007 Формат 60x84/16 Печать цифровая Уел печ л 1,0 Тираж 100 Заказ 1310Ь

Отпечатано с готового оригинал-макета, предоставленного автором, в Цифровом типографском центре Издательства Политехнического университета 195251, Санкт-Петербург, Политехническая ул , 29 Тел 550-40-14 Тел/факс 297-57-76

Глава 1. Анализ методических подходов к оценке качества организаций на основе обзора отечественной и зарубежной литературы.

1.1. Сравнительный анализ моделей премий по качеству.

1.2. Комплексная оценка высших учебных заведений.

1.3. Образовательная система качества в стандартах и Директивах ENQA.

1.4. Требования, предъявляемые к системам менеджмента качества международными стандартами серии ИСО 9000.

1.5. Место нечетко-множественного подхода при оценке качества образовательных систем 30 Выводы к Главе 1.

Глава 2. Анализ особенностей применения теории нечетких множеств для моделирования различных систем.

2.1. Особенности системного подхода к решению задач управления.

2.2. Некоторые основные положения теории нечетких множеств.

2.3. Представление качественных показателей через лингвистические переменные.

2.4. Применение нечетких множеств к описанию технических систем.

2.5. Применение теории нечетких множеств к экономическим и финансовым системам.

Выводы к Главе 2.

Глава 3. Экспертно-аналитический метод (ЭАМ) оценки качества

3.1 .Этап 1. Анализ проблемы и определение базовых критериев качества ОС.

3.1 .Этап 2. Установление нечетких целей. Формализация характеристик системы.

3.3. Этап 3, Генерация альтернатив.

3.4. Этап 4. Выбор альтернативы.

3.5. Этап 5. Проектирование улучшений.

Выводы к Главе 3.

Глава 4. Применение экспертно-аналитического метода к оценке образовательного учреждения.

4.1. Выбор базовых критериев.

4.2. Определение требуемых значений, весовых коэффициентов, вычисление обобщенного показателя.

4.3. Генерация приемлемых альтернатив.

4.4. Оценка качества и принятие решений.

4.5. Проектирование улучшений.

Выводы к Главе 4.

Глава 5. Экспериментальная апробация ЭАМ для оценки качества локальных показателей образовательного учреждения.

5.1. Оценка процессов оу.

5.2. оценка результативности СК в ОУ.

5.3. оценка показателя «компетентность».

5.4. оценка показателя «воспитательная работа».

5.5. Общие рекомендации по использованию экспертно-аналитического метода. выводы к главе 5.

Данная работа посвящена проблемам управления качеством в образовательных системах (далее ОС). Особое внимание уделяется важнейшим аспектам управления - всесторонней оценке и проектированию качества ОС. Исследования проведены в рамках специальности 05.13.10 «Управление в социальных и экономических системах».

Актуальность. В условиях современной мировой экономики встает вопрос о конкурентоспособности организаций и выборе инструментов для их эффективного управления. Анализ отечественного и зарубежного опыта успешного развития организаций показал, что для достижения поставленных целей в управлении организации используются методы менеджмента качества, внедряются и сертифицируются системы качества. Основной причиной внедрения систем качества в образовательные системы является повышение качества образования, как приоритетного направления модернизации российского образования в рамках Болонского процесса. При этом особое внимание уделяется оценке качества образовательных систем. Существующие методы оценки качества систем, в большинстве своем, строятся на моделях премий по качеству или моделях совершенства, в основе которых лежит перечень показателей и их весов, задаваемый внешней стороной, т.к. они ориентированы на выявление лидеров в определенной области и, безусловно, требуют одинаковых подходов ко всем участникам. Методики самооценки, предлагаемые в рамках комплексной оценки образовательных учреждений, также ориентированы на конечный результат и подтверждение среднестатистических значений аккредитаци-онных показателей. При этом перечень показателей не в полной мере может учитывать особенности конкретного образовательного учреждения и его разностороннюю деятельность. Однако деятельность любого предприятия осуществляется сегодня в условиях жесткой конкуренции и нестабильной внешней среды. Умение при таком управленческом «фоне» не просто «удержаться в седле», а «оседлать» поток проблем, обрушивающихся на руководителя, требует от него немало управленческого мастерства [145]. Разработка инструментария, позволяющего учитывать уникальность организации, гибко и оперативно реагировать на быстро меняющиеся условия на основе новых подходов, построенных с применением методов системного анализа к моделированию процессов функционирования образовательных систем (ОС) и способов их оценки, является очевидной необходимостью.

Однако оценка качества образовательных систем относится к классу трудноформализуемых и многофакторных задач. Отличительная особенность образовательных систем связана с экспертным способом получения информации, что на практике характеризуется наличием неопределенности в целях, критериях, ограничениях, уровнях качества. Поэтому становятся важными учет этих неопределенностей и методы их измерения.

Пожалуй, наиболее поразительным свойством человеческого интеллекта является способность принимать правильные решения в обстановке неполной и нечеткой информации. Построение моделей приближенных рассуждений человека представляет сегодня одну из проблем науки. Значительное продвижение в этом направлении сделано в связи с появившейся теорией нечетких множеств Лотфи Заде.( 1965г.)

Аппарат нечетких множеств с успехом применяется в промышленной сфере и военном деле для решения задач, в которых исходные данные являются ненадежными и слабо формализуемыми. Использование аппарата теории нечетких множеств для оценки качества образовательных систем, позволило бы учесть устранимые неопределенности, количественно их измерить, а, следовательно, получить более точную оценку. Таким образом, актуальность настоящего исследования определяется недостаточной разработанностью методов для целенаправленного непрерывного улучшения характеристик образовательной системы, учитывающих многокрите-риальность решаемых задач и присущую неопределенность данных.

Цель исследования. Основная цель исследования состоит в разработке экспертно-аналитического метода для оценки и проектирования качества образовательных систем на основе нечетко - множественного подхода.

Поставленная цель предопределила необходимость постановки и решения следующих задач:

1. Анализ основных подходов оценки качества технических и экономических систем в условиях неопределенности. Выделение методов для поддержки процессов многокритериального выбора решений применительно к сфере образования.

2. Разработка экспертно-аналитического метода (ЭАМ) для оценки качества образовательных систем и отдельных ее составляющих.

3. Разработка алгоритма получения набора критериев и установление их значимости, с учетом требований всех заинтересованных сторон.

4. Построение соответствующих формальных механизмов выбора решений, характеризующих этапы/шаги ЭАМ в условиях неопределенности.

5. Апробация ЭАМ на различных объектах образовательной системы и ее структурных элементах: оценка процессов системы менеджмента качества (СМК), построенной по модели ИСО 9001:2001; оценка показателя «результативность СМК»; оценка показателя «воспитательная работа»; оценка показателя «компетентность»; выработка рекомендаций для специалистов, занимающихся проблемами качества.

Объект исследования - системы качества / системы менеджмента качества образовательных систем.

Предмет исследования - структура, критерии и методы оценки качества образовательных систем; принципы их формирования.

Гипотеза исследования:

- концепция оценки системы качества ОС базируется на рекомендациях МОиН, на принципах TQM, ISO, ENQA;

- система менеджмента качества /система качества - является основой управления качеством;

- к исследованию образовательных систем применим формализм теории нечетких множеств.

Методические и теоретические предпосылки

Методологическими основаниями исследования послужила взаимосвязь системного, процессного и квалиметрического подходов.

Теоретико-методологической основой и источниками исследования являются работы многих отечественных и зарубежных авторов, раскрывающие различные аспекты проблемы.

Категорию качества и основные понятия, на основе которых формируются теоретико-методические основы качества высшего образования, исследовали: Ю.П.Адлер, В.Н.Азаров, Н.Н.Аниськина, В.А.Васильев, Е.А.Горбашко, М.Г.Круглов, В.В.Лившина, В.В.Окрепилов, Ю.П.Похолков, Н.А.Селезнева, А.И.Субетто, В.С.Соболев, С.А.Степанов, С.Ю.Трапицын Г.М.Шишков, Н.Нияц, Д.Р.Эванс, Г. Минсберг, Р. Котлер, и др.

Управленческий аспект: В.А.Абчук, В.Н.Бурков, В.И.Байденко, О.П.Глудкин, Л.А.Громова, А.А Добряков, Б.Г.Литвак, Н.А.Селезнева, А.И.Субетто, В.П.Соловьев, Д.А.Новиков, Т.М.Полховская, В.Н.Нуждин, Г.Г.Кадемцева, А.П.Панфилова, А.О.Недосекин, Ф.Котлера.

Технический аспект: А.Г.Варжепетян, В.В.Глущенко, А.А.Денисов, А.А.Добряков, Е.П.Попов, Д.Н.Колесников, Н.М.Тищенко, Т.Саати, К.Кернс,.

Квалиметрический аспект: Г.Г.Азгальдов, Н.А.Селезнева, И.А.Зимняя, А.И.Субетто, В.К.Федюкин, Х.Куме.

Математический: С. А. Айвазян, А. Кофман, B.C. Мхитарян, И. П. Макаров, С.А.Орловский, Л.А.Петросян, В.В.Подиновский, В. Д. Ногин, О. И. Ларичев, Б. Г. Литвак, А. П. Рыжов, А.С.Рыков, Ю.Н.Золотухин, Д.Н. Колесов, Н.А.Зенкевич, Н.В. Хованов, С.Д. Штовба, М.В. Семухин, А.П. Родштейн, Л.А. Заде, Р. Беллман, Т. Саати и др.

Поиск путей развития и совершенствования системы образования привел многих исследователей к выводу о том, что необходима серьезная работа по созданию более совершенных форм и методов управления образовательными системами, в том числе - методов оценки качества образования.

Методы исследования: системный анализ, исследование операций, теория нечетких множеств, методы линейной алгебры, математические методы многокритериальной оптимизации и методы экспертных оценок.

Научные положения, выносимые на защиту:

Формализованный экспертно-аналитический метод в виде пяти-этапной модели для оценки и проектирования качества ОС в условиях нечетких целей и неполных, неточных исходных данных, включающий следующие составляющие:

- формирование векторного критерия;

- формализацию нечетких целей;

- генерацию приемлемых альтернатив;

- выбор «лучшей» альтернативы;

- реализацию альтернативы путем целенаправленного изменения локальных параметров.

Технология оценки показателей качества образовательной системы: «результативность СМК» на основе оценки процессов; показатель «воспитательная работа»; показатель «компетентность».

Научная новизна диссертационного исследования:

Проанализированы существующие методы анализа и оценки качества технических, экономических систем в условиях неопределенности, что позволяет выявить проблемы, возникающие при оценке качества ОС, с использованием теории нечетких множеств.

Разработан экспертно-аналитический метод для оценки и проектирования качества ОС и отдельных ее составляющих на основе учета неопределенностей исходных данных, позволяющий научно-обоснованно снизить степень субъективизма экспертных оценок.

Предложен алгоритм получения набора критериев, учитывающий требования всех заинтересованных сторон.

Построены формальные механизмы, характеризующие этапы экспертно-аналитического метода и решающие самостоятельные практические задачи.

Проведена апробация ЭАМ на различных примерах, демонстрирующая возможности метода и область его применения. Объекты оценки: гипотетическое образовательное учреждение; показатель «результативность СМК» на основе оценки процессов; показатель «воспитательная работа»; показатель «компетентность». Разработана методика по использованию ЭАМ для специалистов, занимающихся проблемами качества.

Практическая значимость. Заключается в создании инструментария для решения задач оценки и проектирования качества как всей образовательной системы в целом, так и ее составляющих, применение которого позволяет повысить эффективность управления ОС. Применение теории нечетких множеств дает возможность углубить степень анализа качества ОС за счет получения количественных значений экспертных оценок, повысить наглядность полученных результатов и на этой основе осуществлять поддержку управленческих решений ЛПР.

Разработанные модели и методы реализованы, внедрены и используются в практике НОУ «Невский институт языка и культуры», ГОУ ВПО «Брянский государственный технологический университет», на факультете управления РГПУ им. А.И.Герцена.

Апробация работы. Основные результаты диссертационного исследования докладывались и обсуждались: на II международном симпозиуме «Качество, инновации, образование и cals-технологии», Хургада, 2006; VI международной научно-практической конференции. Менеджмент XXI века: управление образованием, С.-Петербург, 2006; V международной научно-практической конференции. Менеджмент XXI века: управление развитием, С.-Петербург, 2005; Международной научно-методической конференции «Управление качеством в современном вузе», С.-Петербург-Калуга, 2003; Четвертом российском семинаре по инженерному образованию «Многоуровневая подготовка специалистов в области ВПО в России», С.-Петербург, 2003; Международной научно-практической конференции «С.-Петербург-полиэтнический мегаполис»,2003.

Исследования по теме диссертационной работы проводились автором при разработке, внедрении и сертификации системы менеджмента качества НОУ «Невский институт языка и культуры» на соответствие требованиям стандартов ГОСТ Р ИСО 9001:2001, а также в рамках проектов:

50/05 - РТП «Разработка механизмов экспертизы реализации комплексных программ и проектов, направленных на развитие образования», ведомственная научная программа «Развитие научного потенциала высшей школы» (факультет управления РГПУ им. А.И. Герцена);

П-178 «Апробация, доработка и внедрение в образовательных учреждениях ВПО типовой модели системы управления качеством образовательного учреждения» в рамках выполнения работ по государственному контракту от 19 августа 2006 г в НОУ «Невский институт языка и культуры» (руководитель проекта В. М. Милова).

Публикации

1. Добряков А.А., Милова В.М., Федорова Н.А Экспертно-аналитический метод оценки качества образовательных систем // II международный симпозиум «Качество, инновации, образование и cals-технологии». Хургада. Материалы симпозиума. 2006. С. 51-55.

2. Милова В.М. Опыт внедрения системы менеджмента качества на основе стандартов серии ИСО 9000 // Менеджмент XXI века: управление образованием: Сб. научных статей [Материалы VI международной научно-практической конференции. - СПб.: ООО «Книжный Дом», 2006. С.196.

3. Милова В.М. Методика оценивания значимости критериев решения проблемы (на примере системы менеджмента качества вуза// Менеджмент XXI века: управление развитием. Материалы V международной научно-практической конференции. СПб.: ООО «Книжный Дом», 2005. С. 204.

4. Добряков А.А., Милова В.М., Чекмарева Н.Н., Особенности управления качеством подготовки в негосударственном гуманитарном вузе на примере Невского института языка и культуры// Международная научно-методическая конференция «Управление качеством в современном вузе» Труды: выпуск 1. Санкт-Петербург- Калуга, 2003. С. 26-29.

5. Милова В.М, Чекмарева Н.Н. Подходы к оценке показателей деятельности гуманитарного негосударственного вуза в управлении качеством// Четвертый российский семинар по инженерному образованию. Сборник докладов. Многоуровневая подготовка специалистов в области ВПО в России. Опыт, проблемы, перспективы. СПб., 2003. С. 120-124.

6. Милова В.М., Кокорев В.Ю., Шильникова JI.A. Особенности самооценки Невского института языка и культуры в процессе подготовки к конкурсу «внутривузовские системы обеспечения качества подготовки специалистов»// Санкт-Петербург - полиэтнический мегаполис. Материалы международной научно-практической конференции посвященной 300-летию Санкт-Петербурга. СПб., 2003. С. 7-12.

7. Милова В.М. Основные этапы разработки и внедрения системы менеджмента качества на основе стандартов серии ИСО 9000 и подходы к выделению процессов//НОМО LUDENS как отражение национальной культуры и социального варьирования языка. СПБ.: Изд-во «Осипов», 2006. С. 26-31.

8. Милова В.М., Федорова Н.А. Особенности экспертно-аналитического метода оценки качества// HOMO LUDENS как отражение национальной культуры и социального варьирования языка. СПБ.: Изд-во «Осипов», 2006. С. 32 -36.

9. Милова В.М., Шульгин Е.А., Использование результатов федерального экзамена профессионального образования в управлении качеством НИЯК// HOMO LUDENS как отражение национальной культуры и социального варьирования языка. СПБ.: Изд-во «Осипов», 2006. С. 510514.

10. Добряков А.А., Милова В.М. Экспертно-аналитический метод оценки качества образовательных систем на основе нечетко-множественного подхода// Качество. Инновации. Образование. 2006. №6, С.21-26.

Выводы к Главе 5

1. Предложен инструмент - «карта состояния процесса», для сбора данных по процессам, который наглядно визуализирует фактическое состояние процесса, т.к. отражает текущее состояние всех управляемых характеристик. При этом, является достаточно удобным (не требует больших временных затрат) и простым для оценки, т к. оценка проводится на языке, близком к естественному. По предложенной методике оценки процессов рассчитаны обобщенные показатели процессов.

2. Предложен алгоритм оценки показателя «результативность СМК», который включает: оценку процессов; расчет обобщенного показателя на основе выбранной модели СМК; установление качества результативности СМК на основе полученного значения обобщенного показателя; принятие решений по управляющим воздействиям (управление несоответствиями, корректирующие действия, коррекции в режиме регулирования).

3. Разработан классификатор состояний, отражающий характеристики процессов, значение обобщенного показателя конкретному уровню и рекомендации по управляющим воздействиям.

4. Проведен расчет базового показателя «компетентность» специалиста с использованием несимметричной функции принадлежности, учитывающей неопределенности в высказываниях эксперта относительно состояния качества локальных показателей.

5. Предложен метод оценки показателя «воспитательная работа» в ОУ на основе ЭАМ с использованием рекомендаций МОиН по наличию критериев и их значимости.

6. Изложены общие рекомендации по применению экспертно-аналитического метода для лиц, отвечающих за качество в образовательном учреждении.

Заключение

В диссертации предложены модели и алгоритмы многокритериальной оценки решений, учитывающие различные виды неопределенности: лингвистическую неопределенность, нечеткость и неполноту информации. Получены следующие основные научные и практические результаты.

1. Разработан формализованный экспертно-аналитический метод в виде пятиэтапной модели для оценки и проектирования качества образовательных систем.

2. Для каждого последовательного этапа, направленного на решение практической задачи более высокого уровня, предложены конкретные механизмы, направленные на: выбор критериев и определение их значимости; вычисление обобщенного показателя качества при нечетких значениях критериев и целей с использованием лингвистических переменных; алгоритм выбора приемлемых альтернатив; принятие решения в многокритериальной задаче выбора на основе суммарных взвешенных потерь или обобщенного показателя качества; разработку алгоритма принятия решений по проектированию изменений локальных показателей на основе свойств системы;

3. Разработан алгоритм интегральной оценки качества менеджмента ОС, позволяющий обеспечить информационную поддержку принятия управленческих решений, а также алгоритмы и методы для решения задач нижнего уровня, где объектами оценки являются отдельные составляющие ОС.

4. Разработаны рекомендации для специалистов, занимающихся проблемами качества, по использованию ЭАМ при мониторинге и оценке базовых показателей для принятия управленческих решений на основе полученных данных.

5. Разработанный метод показал свою работоспособность и эффективность при многокритериальной оценке качества ОС в НОУ «Невский институт языка и культуры», Брянском государственном технологическом университете, на факультете управления РГПУ им. А. И.Герцена.

Аппарат нечетких множеств и нечеткой логики уже давно с успехом применяется в промышленной сфере для решения задач, в которых исходные данные являются ненадежными и слабо формализованными. Сильные стороны такого подхода:

• описание условий и метода решения задачи на языке, близком к естественному;

• универсальность: согласно знаменитой теореме Б. Коско о том, что любая математическая система может быть аппроксимирована системой, основанной на нечеткой логике;

• эффективность (связана с универсальностью), которая позволяет задавать точность оценки используемого математического аппарата.

При работе с нечеткими экспертными системами необходимо учитывать следующие особенности:

1) исходный набор постулируемых нечетких правил формулируется экспертом-человеком и может оказаться неполным или противоречивым;

2) вид и параметры функций принадлежности, описывающие входные и выходные параметры системы, выбираются субъективно и могут оказаться не вполне отражающими реальную действительность.

1. Абчук В.А, Траицын С.Ю., Тимченко В.В. Менеджмент. -СПб.: ООО «Книжный дом», 2006.- 480с.

2. Аверин А.Н., и др. Нечеткие множества в моделях управления искусственного интеллекта /Под ред. Д. А Поспелова. -М.: Наука, 1986. 312 с.

3. Айвазян С.А., Мхитярян B.C. Прикладная статистика и основы эконометрики. Учебник для вузов. -М.: ЮНИТИ, 1998. 1022 с.

4. Акимова Т.А. Теория организации.-М.: ЮНИТИ-ДАНА, 2003. 367 с.

5. Алексеев А.В. Применение нечеткой математики в задачах принятия решений. В сб.: Методы и системы принятия решений. - Рига: РПИ, 1983. 38-42. с.

6. Алтунин А.Е., Семухин М.В. Тюмень: Модели и алгоритмы принятия решений в нечетких условиях: Монография. Издательство Тюменского государственного университета. 2000. 352 с.

7. Алтунин А.Е., Чуклеев С.Н., Семухин М.В., Крел Л.Д. Методические рекомендации по применению теории нечеткости в процессах контроля и управления объектами газоснабжения. -Тюмень, 1983. 136 с.

8. Алтунин А.Е., Востров Н.Н. Методы определения функций принадлежности в теории размытых множеств. Труды ЗапсибНИГНИ, -Тюмень, вып. 154, 1980. 62-72 с.

9. Ашихмин А.А. Разработка и принятие управленческих решений: формальные модели и методы выбора. -М.: МГТУ, 1995.

10. Байденко В.И. Болонский процесс: структурная реформа высшего образования Европы. -М.: Исследовательский центр проблем качества подготовки специалистов, Российский Новый Университет, 2003. 128 с.

11. Байденко В.И., Селезнева Н.А., Карачарова Е.Н. Концепция российского мониторинга Болонского процесса. -М.: Исследовательский центр проблем качества подготовки специалистов. 2004. 70 с.

12. Басовский Л.Е. Протасьев В.Б. Управление качеством Учебник. М.: ИНФРА, 2001.212 с.

13. Беллман Р., Заде JI. Принятие решений в расплывчатых условиях. Вопросы анализа и процедуры принятия решений. М.: Мир, 1976.172-215 с.

14. Беллман Р., Калаба Р. Динамическое программирование и современная теория управления. -М.: Наука, 1969. 120 с.

15. Бирман Г., Шмидт С. Экономический анализ инвестиционного проекта / Пер. с англ. М.: Биржи и банки; ЮНИТИ, 1997.

16. Бордовский Г.А., Нестеров А.А., Трапицин С.Ю. Управление качеством образовательного процесса: Монография. Издательство РГПУ им. А.И. Герцена, 2001. 359 с.

17. Борисов А.Н., Крумберг О.А., Федоров И.П. Принятие решений на основе нечетких моделей: примеры использования. Рига: Знание,1990. 184 с.

18. Брэддик У. Менеджмент в организации -М.: Инфа-М, 1997. 187 с.

19. Бурков В.Н., Новиков Д.А. Модели и механизмы теории активных систем в управлении качеством подготовки специалистов. -М.: Исследовательский центр проблем качества подготовки специалистов, 1998. 157 с.

20. Варжапетян А.Г., Балашов В.М., Варжапетян А.А.,Семенова Е.Г. Принятие решений о качестве, управляемом заказчиком. Под ред. Варжапе-тяна А.Г. -М.: «Вузовская книга»,2004.252с.

21. Варжапетян А.Г. Квалиметрия (учебное пособие).-СПб. 2004. 146 с.

22. Васильев В.В., Добряков А. А. и др. Основы проектирования и изготовления конструкций летательных аппаратов из композиционных материалов. -М.: МВО СССР, МАИ, 1985. 220 е., МАИ, 1985. 220с.

23. Васильев Ф.П. Методы оптимизации. -М.: Факториал Пресс, 2002.

24. Вениаминов В.Н. Качество в негосударственном вузе. -СПб.: Изд-во Политехи. Ун-та, 2005. 243 с.

25. Вентцель Е.С. Исследование операций: задачи, принципы, методология. -М.: Наука, 1988.206 с.

26. Вроейнстийн А.И. Оценка качества высшего образования М: Изд-во МНЭПУ, 2000. 180 с.

27. Глазов М.М. Диагностика предприятий. Новые решения. СПб.: СПбУ-ЭФ, 1997.28.29,30,31,32,33,34,35,36,37,38,39,40,41,

28. Глудкин О.П., Горбунов Н.М., Гуров А.И. Всеобщее управление качеством: Учебник для вузов. М.: Горячая линия -Телеком, 2001. 600 с. Годфруа Ж. Что такое психология в 2-х томах. -М.: Мир, 1992. 418 с.

29. Гончаров В.В. В поисках совершенства управления: Руководство для высш. управ, персонала. Опыт лучших промышленных фирм США. т. 1,2. -М.: МНИИПУ, 1996.

30. ГОСТ Р ИСО 9000:2001 Системы менеджмента качества. Основные положения и словарь. -М.: Изд-во Госстандарта, 2001. ГОСТ Р ИСО 9001:2001 Системы менеджмента качества. Требования. -М.: Изд-во Госстандарта, 2001.

31. ГОСТ Р ИСО 9004:2001 Системы менеджмента качества. Рекомендации по улучшению деятельности -М.: Изд-во Госстандарта, 2001. Гришилов А.А. Как принять наилучшие решения в реальных условиях. М.: Радио и связь, 1991.

32. Губанов В.А., Захаров В.В., Коваленко А.Н. Введение в системный анализ: Учеб. Пособие /Под ред. Л.А. Петросяна. Л.: Издательство Ленинградского университета, 1988. 232 с.

33. Гудушаури Г.В., Литвак Б.Г. Управление современным предприятием -М: Ассоциация авторов и издателей «Тандем», Издательство ЭКМОС, 1998.

34. Деминг Э.В. Выход из кризиса. -Тверь: Альба, 1994. 498 с. Денисов А.А., Колесников Д.Н. Теория больших систем управления. -М.: Энергоиздат, 1982. 288 с.

35. Добряков А.А. Обеспечение творческих форм проектно конструкторской деятельности в САПР силовых конструкций. -М.: ЦНИИНТИКПК, 1989. 204 с.

36. Добряков А.А. Методы интеллектуализации САПР. -М.: Наука, 1992. 287 с.

37. Добряков А.А. Психолого-педагогические основы подготовки элитных специалистов как творческих личностей (содержательные элементы субъект объектной педагогической технологии). -М.: Логос, 2001. 358 с.

38. Добряков А.А., Печников В.П. Высшие психические функции и функциональная структура гуманизированного образовательного стандарта (модели, методология, примеры): Учебное пособие. -М.: Логос, 2001. 248 с.

39. Добряков А.А. Соединение элементов // Бюллетень изобретений. -М.: ГК СМ СССР изобретений и открытий, 1978. № 7. 70 с.

40. Друкер П.Ф. Эффективное управление. М.: ФАИР-ПРЕСС, 2002. 288с.

41. Ефимова М.Р., Петрова Е.В., Румянцев В.Н. Общая теория статистики: Учебник Изд. 2-е, испр. И доп.- М.: ИНФРА-М,2000.-416с.

42. Заде Л. Понятие лингвистической переменной и ее применение к принятию приближенных решений. -М.: Мир, 1976. 165 с.

43. Заде Л.А. Размытые множества и их применение в распознавании образов и кластер-анализе. В сб.: Классификация и кластер. -М.: Мир, 1980. 208-247 с.

44. Зимняя И. А. Мониторинг качества и качество мониторинга в образовании/Жвал иметрия человека и образования: методология и практика: материалы Восьмого симпозиума-Ч.2. -М.: 1999.

45. Зоб А.Т., Маринко Г.И. Менеджмент: принятие решений и планирование: Учеб. пособ. М.: Изд-во МГУ, 1977.

46. Иняц Ненад Малая энциклопедия качества. Современная история качества. Часть 3. -М.: РИА Стандарты и качество. 2003. 224 с.

47. Исакава Каору Японские методы управления качеством. М.: Экономика, 1988.

48. Исследование операций: В 2-х томах. Пер. с англ./Под ред. Дж. Моуде-ра, С. Элмаграби. -М.: Мир, 1981. Т. 1.712 е., ил.56,57,58