автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Разработка моделей и алгоритмов оценки качества системы высшего образования

На правах рукописи

ЭТЕЗОВ Бектур Бахаутдинович

РАЗРАБОТКА МОДЕЛЕЙ И АЛГОРИТМОВ ОЦЕНКИ КАЧЕСТВА СИСТЕМЫ ВЫСШЕГО ОБРАЗОВАНИЯ

Специальность 05.13.17 - Теоретические основы информатики

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва-2006

Работа выполнена на кафедре информационных систем в Московском государственном университете печати

Научный руководитель: доктор технических наук, профессор

Васильев Владимир Иванович

Официальные оппоненты: доктор технических наук, профессор

Артамонов Евгений Иванович

Защита состоится « 27 » сентября 2006 г. в -14 час. 00 ' мин. на заседании диссертационного совета К 212.147.02 в Московском государственном университете печати по адресу: Москва, ул.Прянишникова, 2а.

С диссертацией можно ознакомиться в библиотеке МГУП.

кандидат технических наук, профессор Котиков Вячеслав Иванович

Ведущая организация: Московский государственный университет

экономики, статистики и информатики (МЭСИ)

Автореферат разослан «_2£}>

Ученый секретарь диссертационного совета К 212.147.02, д.т.н., профессор

Агеев В.Н.

Общая характеристика работы

Актуальность работы. Одним из ощутимых социальных последствий стремительных технологических перемен, особенно сильно проявивших себя в последние десятилетия XX в., стал общий кризис систем образования. Он охватил сегодня практически все страны мирового сообщества, в том числе и Россию. Вместе с тем существо этого кризиса отнюдь не ограничивается исключительно финансовой недостаточностью самой этой сферы (хотя важность этой проблемы тоже недооценивать нельзя). Главный источник кризиса — в неадекватности содержания образования, масштабов и уровня развития образовательных систем постиндустриальному направлению цивилизационного развития.

Специфика объекта управления, которым является образовательная деятельность, и слабое развитие методологической основы и технологической поддержки для образовательной отрасли делают актуальной задачу разработки научной основы для решения проблем в области оценки и управления качеством образовательной деятельности. Качество образования определяется как приоритетная задача в «Концепции модернизации Российского образования на период до 2010 года», принятой Минобразованием РФ (приказ МО РФ №393 от 11.02.02). Для успешного решения этих задач нужны как исследования методологических основ оценки качества, так и разработка практических методик анализа данных. При этом основным звеном в сфере образования без сомнения является система высшего образования, представленная субъектами предоставления образовательных услуг — высшими учебными заведениями. Вопросы оценки качества деятельности вузов и являются актуальной задачей настоящей диссертационной работы.

Целью диссертационной работы является разработка моделей и алгоритмов оценки качества деятельности учреждений системы высшего образования с точки Зрения системного анализа, на основе методов математической статистики и статистики качеств, непараметрических подходов и педагогической герменевтики. '

Задачи исследования. В соответствии с поставленной целью требуется решить следующие задачи:

■ провести критический анализ существующих моделей и технологий оценки качества объектов системы высшего образования;

• разработать инвариантную модель оценки качества деятельности вуза;

■ проанализировать применимость ранговых методов статистики в работе с факторами смешанной природы;

■ проанализировать существующие и разработать новые критерии выбора системного основания качества;

■ разработать топометрики в пространстве интенсивных величин;

■ разработать модели и алгоритмы решения практических задач оценки качества в системе высшего образования — ранжирование объектов, кластерный анализ, анализ динамики распределения;

■ разработать автоматизированную систему для решения комплекса

задач в области оценки качества деятельности образовательных

учреждений.

Объектом исследования является область теоретической информатики, связанная с разработкой моделей и алгоритмов оценки качества объектов произвольной природы и методологией анализа данных смешанной природы.

Методы исследования. Для достижения поставленной в работе цели и решения перечисленных задач использованы методы математической статистики, статистики качеств, герменевтики, элементы квалиметрии. Разработка программного обеспечения для реализации алгоритмов проведена в среде Borland Delphi (ver.7.0).

Методологической основой исследования являются работы в области оценки качества образования, анализа многофакторных объектов произвольной природы, статистики объектов нечисловой природы, теории информации (труды А.И.Субетго, Г.Г.Азгальдова, В.И.Васильева, Б.ГЛитвака, С.А.Айвазяна, В.В.Красильникова, А,И.Орлова и др.).

Достоверность полученных результатов подтверждается применением методов математической статистики, статистики качеств, моделированием и герменевтической интерпретацией результатов, практической реализацией и внедрением разработанных методов, моделей и алгоритмов.

Научная новизна полученных в данной работе результатов состоит в следующем:

1. Разработана инвариантная модель оценки качества деятельности вуза, ориентирующаяся на специфику сферы высшего образования, потребности личности и общества.

2. Показана неприменимость традиционных ранговых показателей связи в анализе качественных признаков.

3. Разработаны критерии выбора системного основания качества.

4. Получены модели расчета коэффициентов множественной и парной конкордации ■ в пространстве качеств и разработаны

■ соответствующие этим моделям алгоритмы обработки качественных данных.

5. Разработаны технологии ранжирования, кластерного анализа, анализа динамики распределения в пространстве интенсивных величин.

6. Разработан и внедрен программный комплекс оценки качества деятельности образовательного учреждения.

Оценка теоретической значимости результатов работы. Полученные концептуальные и математические модели и алгоритмы являются теоретической основой для оценки качества многомерных объектов произвольной природы, формируют базу для создания автоматизированных систем оценки качества.

Практическая ценность работы состоит в разработке технологий использования методов статистики качеств для оценки качества процессуальной стороны образования.

На защиту выносятся следующие положения:

■ инвариантная модель оценки качества деятельности вуза;

" методология качественного анализа данных — критерии выбора системного основания качества, вопросы перевода значений признаков к качественным аналогам; '

• модели и алгоритмы расчета топометрик сходства объектов сферы образования;

■ модели и алгоритмы кластеризации, ранжирования, оценки качества и анализа динамики распределения образовательных учреждений;

■ автоматизированная среда оценки качества деятельности образовательного учреждения на основе методов статистики качеств. Апробация результатов работы. Основные результаты

диссертационной работы доложены и обсуждены на Всероссийских конференциях «Развитие методов и средств компьютерного тестирования», Москва, 2003; «Развитие методов и средств компьютерного тестирования», Москва, 2004; «Инновационные методы и средства оценки качества образования», Москва, 2006.

Внедрение результатов. На основании предложенных моделей и алгоритмов создана автоматизированная программа «АСТ-ОКО — Экспертная оценка качества деятельности образовательного учреждения», успешно применяемая в ряде вузов РФ.

Публикации. Основные положения диссертации изложены в 17 научных публикациях.

Структура и объем диссертации. Диссертационная работа состоит из введения, 4-х глав, выводов по каждой главе, основных результатов, списка используемой литературы и приложений.

Диссертация изложена на 234 страницах, содержит 31 рисунок, 21 таблицу, 3 приложения. Список используемой литературы содержит 171 наименование.

Содержание работы

Во введении обоснована актуальность выбора темы, сформулированы цели и задачи диссертационного исследования, приведены положения, выносимые на защиту, обсуждены научная новизна и практическая значимость работы.

В первой главе анализируется содержательная сторона процедур оценки качества деятельности вузов. Исследуется вопрос «Что оценивать?» в условиях общественных ожиданий и развития индивидуальных компетенций личности.

Оценка качества деятельности образовательных учреждений есть отражение культуры конкретной эпохи. В наступившем XXI веке существующий подход не отвечает требованиям времени, поскольку она

построена на культурных доминантах прошлого — рациональном взгляде на систему образования и утилитарности. Соответствующая проекция этих принципов на педагогическую деятельность отодвигает знание о целостном мире выпускника - интеллигента и опыт деятельности участников образовательного пространства на задний план по сравнению с научной монокультурой. Односторонность оценки качества образования отчетливо проявляется в технократической перегрузке, в наполнении показателей качества подготовки выпускников и уровня образовательных услуг только количественными факторами.

Результат, качество образования следует оценивать (но не измерять) с учетом нормативной системы культуры, включающей в себя множество общезначимых и общепризнанных образовательных норм и стандартов. Поэтому, с точки зрения онтологии и гносеологии оценки результата подготовки студентов и качества образовательной деятельности, важнейшей представляется задача установления закономерностей и методологических правил, требований и норм, направленных на анализ и прогнозирование ожидаемых и желаемых результатов деятельности учебных заведений.

Концептуальный (логичный) подход к оценке качества деятельности образовательных учреждений лежит в основе установления существенных компонентов и релевантных факторов общей природы, составляющих ядро системы образования. Здесь нужен поиск таких смысловых инвариантов, которые бы, с одной стороны, не противоречили содержательным представлениям о системе образования, а, с другой, - позволяли бы выйти за круг неправомерных иллюзий, основанных на возможности применения методов параметрической (аналитической, традиционной) статистики к описанию поведенческих наук.

Процесс подготовки специалистов является многогранным, сложным процессом, эффективное управление которым возможно лишь при использовании системного подхода на всех этапах: изучение процесса, синтез эффективной системы управления, контроль за основными показателями деятельности вуза. Этот подход применительно к оценке деятельности высшего образования обосновывается в федеральном законодательстве. В соответствии с Федеральным Законом «Об образовании» качество высшего образования определяется как системная совокупность иерархически организованных, социально-значимых сущностных свойств высшего образования как результата, как процесса, как образовательной системы.

При семантической декомпозиции в центре внимания исследователя должен находится предмет педагогической науки - педагогическая деятельность. Предмет педагогики приобретает триединую сущность качеств (рис.1):

■ учебно-научно-воспитательного процесса;

■ образовательной деятельности;

■ управленческой деятельности.

Оценка качества деятельности образовательного учреждения

[

■

Учебно-воспитательная ' деятельность Образовательная деятельность Управление качеством образования

Образовательные факторы

Макроуроаень

Мезоурояень

- Микроуроввнь

Рис. 1. Декомпозиция системы оценки деятельности учебного заведения

Если рассмотреть различные теории и движения за качество, существующие в сфере материального и нематериального производства в США и Европе, то' их можно упорядочить по двум шкалам — ориентация на процесс/продукт, ориентация на администрирование/персонал (рис. 2).

Гупра»!

D

Г Научно*

LrsirzU

I Пмми* I

OlimwUM

( Оцм* 1_

I paiyn»tiTq§ I

Г 14 пункт«* I /—— Д«М>ЧГ* J Рч

СУпучшвни» J (

■■14 Г I

Г ----)

I стратегии I

Рис. 2. Обзор теорий и движений за качество

Модели оценки качества ВО, применяемые в настоящее время в вузах России, можно разбить на три группы, основывающиеся на следующих методах и подходах:

- оценочный метод управления качеством деятельности вуза (SWOT-анализ);

- концепция, основанная на принципах Всеобщего управления качеством (TQM, Total Quality Management);

- подход, основанный на требованиях международных стандартов качества серии ISO 9000.

В диссертационной работе подробно исследованы 12 наиболее известных моделей оценки качества вуза, оперирующих различными

наборами факторов. Рассматриваются как синтетические многофакторные модели, так и выделение концептуальных блоков признаков, а также модели оценки, используемые при построении рейтингов вузов в нашей стране и за рубежом. Основным недостатком подавляющего большинства моделей является неверное восприятие системы образования лишь как совокупности организаций, предоставляющих услуги или выпускающих «продукцию» -выпускников.

Управление

Педагогический принцип

Результат

Процесс 1

Ценность

Система

Рис. 3. Инварианты модели оценки качества образовательного учреждения

Предлагается концептуально новая модель оценки качества образовательного учреждения, основанная на глубоком анализе факторов и процессов, изначально присущих системе образования, а не навязанных экономико-ориентированным видением проблемы' (рис.3). Ключевым моментом здесь является ориентация на личность обучаемого, а не восприятие его лишь как потребителя образовательных услуг, а также использование понятия компетенции в анализе результатов образовательной деятельности.

Развернутая модель оценки имеет следующий вид:

1. Педагогический принцип

1.1. Личностный; 1.2. Диалогичный; 1.3. Деятелъностный; ¡.4. Культурологический; 1.3. Антропологический.

2. Ценность (свобода)

2.1. Объективная свобода; 2.2. Субъективная свобода; 2.3. Свобода выбора и реализации решения.

3. Система

3.1. Открытость; 3.2. Гибкость; 3.3. Вариативность и т.д.

4. Процесс

4. /. Учебная деятельность

4.1.1. Цели; 4.1.2. Содержание обучения; 4.1.3. Методы; 4.1.4. Средства; 4.1.5. Формы

4.2. Научная деятельность

4.3. Воспитательная деятельность

4.4. Характеристика педагогической системы

4.5. Вспомогательные процессы

5. Результат (компетенция выпускников)

5.1. Профессиональная

5.1.1. Общее развитие индивидуальных психических качеств

5.1.2. Профессиональные знания и умения

5.1.3. Готовность к профессиональной деятельности

5.1.4. Профессиональное самосознание

5.1.5. Готовность к коллективной профессиональной деятельности

5.1.6. Компьютерная грамотность

5.2. Гуманистическая

5.2.1. Воспитанность;

5.2.2. Нравственность

5.2.3. Культура

5.2.3.1. Культурологическая ориентация

5.2.3.2. Система ценностей

5.2.3.3. Языковая культура

5.3. Социально-правовая

5.3.1. Социальная

5.3.1.1. Общесоциальные знания; 5.3.1.2. Социальная ориентация

5.3.2. Правовая

5.3.2.1. Правовая информированность

5.3.2.2. Правовая убежденность

5.3.2.3. Правовая активность

5.4. Экономическая

5.4.1. Общая информированность

5.4.2. Финансовая грамотность

5.4.3. Ориентирование на рынке труда

5.4.4. Хозяйственность

5.4.5. Навыки использования современных информационно-экономических средств и технологий

5.4.6. Основы рыночной экономики и предпринимательства в малом бизнесе

5.4.7. Деловая мораль

5.5. Политическая

5.5.1. Политическая информированность

5.5.2. Политические убеждения

5.5.3. Политическая деятельность 6. Управление

6.1. Целеполагание; 6.2. Планирование; 6.3. Организация; 6.4. Координация; 6.5. Мотивация; 6.6. Контроль; 6.7. Анализ

С точки зрения содержания оценивания эта модель является моделью комплексного оценивания, сочетающая в себе целеориентированный, нормоориентированный и ценностноориентированный подходы. С процедурной стороны наиболее перспективной видится модель циклического оценивания:

Synp

Oynp>Ow

s~s

Sy

С — коррекция

(Л С}

Рис.4. Модель процедуры циклического оценивания.

Модель циклического оценивания представляет собой процедуру последовательного внутреннего и внешнего оценивания. Модель предполагает субъект-субъектные трехсторонние отношения, прямые и

обратные информационные потоки, совершенствование самой системы оценивания по завершению каждого цикла, наличие последействия и коррекции в системе.

Во второй главе анализируются методические принципы многомерного анализа данных в пространстве качеств. При исследовании объектов произвольной природы единственно верным представляется путь сведения признаков различной природы к одному основанию, и этим основанием является качество. В работе предлагаются следующие формулы перехода от количественных к качественным аналогам:

к, = 1 + гоипа\ —--5112- (для признаков-стимуляторов),

V. *mex ~*тт )

kt = 1 + round, (Хт™——Ц 1 (ддЯ признаков-дестимуляторов). \ ^тод "*mio J

где х, - исходная количественная величина или качественное значение фактора;

" максимальное и минимальное граничное значение*;

К - системное основание качества (число интервалов квантования);

round() - операция арифметического округления. На полуинтервале [АГ,-0,5; Ki+0,5) ее математическое ожидание равно К„ а следовательно такое преобразование не вносит систематических ошибок (сдвигов) и позволяет выделить факт попадания объекта в интервал качества.

Исходя из факта, что на внутренних интервалах качественной шкалы происходит равномерное квантование, становится возможным оценить статистические характеристики ошибки, вносимой дискретизацией исходных значений. Ошибка или шум квантования имеет вид:

4(x) = k,-x,=iAt-x„ (1)

где Ах - длина интервала (шага) квантования. Причем

(2)

Учитывая разложимость зависимости ошибки квантования от квантуемой величины в гармонический ряд, можно оценить математическое ожидание шума квантования:

JKBM] = )^x)^xdx < , (3)

я- Й к Д,

где сг - среднеквадратичное отклонение величины х,

а - погрешность дискретности при квантовании величины, равной математическому ожиданию: -Аг/2 < а <, Д,/2.

При этом с увеличением числа уровней квантования математическое ожидание ошибки квантования практически сводится к нулю. Дисперсия шума квантования при большом числе уровней практически не зависит от распределения величины х и равна:

Здесь же анализируется вопрос выбора числа интервалов квантования исходных признаков - системного основания качества. Проанализированы существующий вероятностный подход (А.И.Орлов), а также подход на основе теории нечетких множеств (Д.А.Поспелов). Оба подхода предполагают довольно большой объем предварительных исследований распределения экспертных оценок. В данной работе предлагаются следующие критерии выбора системного основания качества

Кумулятивный критерий. Базовая длина качественного уровня-интервала равна:

а = = (6)

к-\ К—\

где £> — длина интервала возможных экстенсивных величин или интенсивных значений признака х. Рассмотрим абсолютное изменение величины <1 при переходе от основания К к основанию К+1:

V ) к к+1 к_г к К(К~\) К(К-\) к)

Выразим эту величину в процентах от длины всего интервала:

М^).,оо% = —1--100%. (8)

И К(К -1) '

Накопление значений

23456789 10 Переход от К к К+1

Рис. 5. Кумулятивная кривая накопления значений Ас! при переходе от основания качества К к основанию ЛГ+1

Таким образом, максимальное значение К может быть установлено в зависимости от степени неопределенности оценки исходных данных в конкретном эксперименте, либо от целесообразности увеличения вычислительной сложности и смысловой нагрузки без должного увеличения точности, теряя при этом сам смысл качественной оценки.

Квантование на основе понятия информационной емкости шкалы.

Исходными положениями здесь являются следующие моменты. Важной характеристикой оценочной шкалы является ее информационная емкость, изменяющаяся по логарифмическому закону. С другой стороны, увеличение числа качественных уровней шкалы приводит к ошибкам в оценке. Здесь в качестве величины, характеризующей ошибки в определении качества оцениваемого объекта, мы предлагаем неточность шкалы, обратную количеству градаций.

Таким образом, в качестве характеристики системного основания качества К, учитывающего информационную емкость и неточность шкалы, предлагается оценка:

Оценка как характеристика системного основания качества, отражает мультипликативный характер комбинации указанных факторов, и позволяет сравнить преимущества выбора того или иного значения К.

(1 — неточность шкалы, 2 - информационная емкость шкалы, 3 - 0.

Предлагается ограничиться диапазоном значений до К=7 (горизонтальная линия на рис.6). Это количество не превышает рекомендуемый психологами максимальный объем единовременно обрабатываемых сознанием единиц информации, позволяет подобрать осмысленные семантические конструкции в естественном языке, а также допускает выделение «нейтрального» центрального значения за счет нечетности К.

Алгоритм оценки значения признака при К - 7 можно разбить на два этапа следующим образом (рис. 7):

Уроеень-

Паремнм Утамм**к» итврмл

оценка оц«мы мчвстм

Рис. 7. Этапы оценивания при К=7

На первом этапе производится первичная оценка признака у данного объекта по псевдошкале из трех семантических значений качества -{выше среднего; среднее; ниже среднего}. Если первичная оценка не является нейтральной, то процедура проводится еще раз для уточнения интервала качества.

Далее в работе методы статистики качеств соотносятся с ранговыми методами статистики. Показывается несостоятельность использования традиционных ранговых показателей статистической связи между объектами (признаками).

Для признаков, измеренных в шкале отношений, применим коэффициент линейной корреляции К.Пирсона [Кендэл М. Дж., Стьюарт А. Статистические выводы и связи. — М.: Наука, 1973, с.390], который можно записать в виде:

п

rv= 1„'" (Ю)

V 1-1 '-I

Приведем все условия правомерности толкования коэффициента корреляции как показателя тесноты связи между случайными величинами:

а) случайные величины X и Y могут считаться выборками из двумерной генеральной совокупности, распределенной по нормальному закону;

б) отдельные измерения или наблюдения случайной величины стохастически независимы;

в) дисперсия случайной величины X остается постоянной при изменении Y или пропорциональна некоторой известной функции;

г) если случайная величина X приняла определенное значение, то математическое ожидание случайной величины Y можно выразить в виде линейной функции Y = f(X).

В 1904 г. К. Спирмен предложил показатель [Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Исследование зависимостей. -М.: Финансы и статистика, 1985, с. 106]:

п - « „1

названный впоследствии ранговым коэффициентом корреляции Спирмена. Многими исследователями до сих пор разделяется мнение, что этот показатель был выведен для признаков с произвольным законом распределения. Однако путем преобразований выражение для коэффициента Спирмена можно привести к виду:

•= И1РГ

откуда ясно видно, что коэффициент ранговой корреляции Спирмена - на самом деле лишь коэффициент линейной корреляции Пирсона, вычисленный на рангах. А следовательно, для того, чтобы значения коэффициента Спирмена имели смысл тесноты связи, для признаков должны выполняться условия применимости коэффициента корреляции Пирсона.

Для случая нескольких (более двух) переменных обычно используется коэффициент конкордации Кендэла (т.н. дисперсионный коэффициент конкордации):

Можно показать, что для случая двух переменных этот показатель можно привести к виду:

"Ч2)Л(г£+1), (14)

т.е. наблюдается линейная зависимость от коэффициента Спирмена. В общем случае для т переменных можно доказать следующий факт:

^ = (15)

т г./-1

т.е. коэффициент конкордации Кендэла является средним по всей совокупности коэффициентом ранговой корреляции Спирмена. А это значит, что и для коэффициента Кендэла должны выполняться условия применимости коэффициента Спирмена, а по цепочке — коэффициента Пирсона.

Третья глава посвящена вопросам измерения близости объектов в пространстве качеств, разработке топометрик качественной конкордации.

Для измерения сходства группы объектов по совокупности общих для них признаков предлагается коэффициент множественной качественной конкордации:

¡у (5^1 ' • 1_

* Mx.Nx(N-l)x(K-í) '

где Л' — число объектов,

М— число характеризующих их признаков, К— основание качества системы признаков, К,/, Кр — значения качественного признака / для объектов / и}. Частным случаем множественной качественной конкордации объектов является случай оценки согласованности двух объектов. При этом коэффициент парной качественной конкордации объектов имеет вид:

1\х,-У,\ (17)

Л/х(л-1)

Областью значений обоих коэффициентов является отрезок [0, 1]. Значению 0 соответствует максимальная несогласованность, значению 1 — полная согласованность. При анализ более двух объектов теоретический ноль согласованности недостижим, т.к. три точки на одном отрезке не могут быть максимально удалены друг от друга.

В качестве меры важности объекта в сложной системе можно предложить показатель, основанный на изменении согласованности системы объектов при включении в нее данного референта. Формализуем эту

ситуацию. Пусть 5 = {5,,52.....5,} — система и многомерных объектов,

характеризуемых набором из т качественных признаков X = {х1,х2,...,хт}, оцененных в шкале с системным основанием качества К. Степень согласованности (коэффициент конкордации) данной системы референтов равна

N N М

.X и

1-1 ]т I 1ж 1__^ (18)

Исключим из системы объект с номером /. Для оставшейся системы из (и-1) объектов коэффициент качественной конкордации будет иметь значение

ЕЕЕк*-*/ а«)

* М(ЛГ-1)(^-2)(Л:-1)'

В качестве внутрисистемной согласованности объекта 5, (в системе 5) предлагается использовать абсолютное изменение коэффициента множественной качественной конкордации при включении (исключении) объекта 5, в систему:

Я, =9(5,) = ^(5) (20)

Теоретически, границами изменения нормы важности ¿¡V являются значения — т.к. значения коэффициента конкордации

принадлежат отрезку [0,1].

Положительным значениям нормы важности объекта соответствуют ситуации, когда данный референт играет важную роль в связывании других объектов. Теоретически можно предположить, что максимальные значения коэффициента важности достигаются в том случае, когда новый объект попадает в «центр тяжести» имеющейся системы (или в случае наличия объекта в центре масс всей системы — в центр тяжести самой крупной подсистемы). Отрицательным значениям соответствуют случаи, когда значения признаков (интенсивности) сильно отличаются от средних значений по оставшимся объектам системы, т.е. включение данного референта в систему приводит к уменьшению общей внутренней согласованности объектов, дезорганизует систему.

В четвертой главе исследуются практические вопросы применения статистики качеств в задачах оценки качества деятельности образовательных учреждений.

Подробно анализируются следующие методы агрегирования данных, нахождения интегральных оценок качества и ранжирования: метод суммирования значений признаков, суммы мест, суммы баллов, метод расстояний, таксонометрический метод, метод многомерной средней, метод «Паттерн», оценка трудности достижения наилучшего значения. Показаны ограничения использования каждого метода в пространстве качественных признаков.

Предлагается введение комплексного показателя качества объекта, основанного на объективной значимости каждого фактора - интегрального качества объекта.

где ЩБ} — интегральное качество объекта 5,;

М— количество объектов;

Ы- количество признаков;

Л)- — значимость у-го признака;

к,у — качественная оценкау'-го признака для /'-го объекта. В качестве меры значимости фактора предлагается использовать значение энтропии признака (по К. Шеннону) как объективную меру неопределенности значений признака. В этом случае признаки большую значимость будут иметь признаки с большей степенью «разброса» значений в анализируемой выборке. Формула (1) в этом случае принимает вид:

где К— системное основание качества;

ру, — вероятность (частота) встречаемости качественной оценки ку = / в распределении значений 7-го признака.

(21)

(22)

Приведем обобщенный алгоритм ранжирования объектов системы высшего образования.

Шаг 1. Выбор системного основания качества К.

Шаг 2. Выбор параметров преобразования исходных величин и интенсивностей к качественным аналогам — максимального и минимального значения каждого признака. Это могут быть абсолютные значения (устанавливаются нормативно либо из теоретических предпосылок) или локальные (максимальное и минимальное значение в анализируемой выборке). Применение локальных (частных) минимумов/максимумов не рекомендуется в условиях малого объема исходных данных.

Шаг 3. Перевод исходных данных в качественные аналоги по формуле (например, для признаков-стимуляторов):

к,, = 1 + round —---- ,

X — X ■ \ Jrmx >min у

где Ху - исходная количественная величина или качественное значение j-ro фактора для /-го объекта;

jcy mi„, jry „мх - максимальное и минимальное значенияу-го признака;

К— системное основание качества;

rouncl( ) — операция арифметического округления.

Шаг 4. Нахождение энтропии Ilj каждого признака.

Шаг 5. Вычисление интегрального качества каждого объекта:

/-1

Шаг 6. Ранжирование набора объектов по найденным значениям интегрального качества.

Шаг 7. Анализ полученных результатов и принятие управленческих решений для коррекции состояния и координации дальнейшего развития.

Шаг 8. В случае анализа подсистем макрообъекта - нормирование полученных показателей интегрального качества по максимально возможному теоретическому значению и передача данных на более высокий уровень. Максимально возможное теоретическое значение интегрального качества объекта зависит от максимального значения энтропии, которая в ситуациях практических исследований не всегда достигает значения log2 К. Данное значение достижимо только в том случае, когда количество объектов N кратно К. В общем случае же максимальная энтропия для произвольного N равна:

"m„ (N, К) = (ЛГ mod К) ■ (^ div K + l)-logj 1 +

+ (К - N mod К) • (N div К) ■ log2

JVdivK + l

I

NdivK'

где операции div и mod являются частным и остатком от деления нацело соответственно.

Таким образом, нормирование интегрального качества объекта должно проводиться по значению:

^ =М-К-Н_ = М ■ К |(ATmod£) • (N divAT +1) • log2 + ^ +

(24)

+ (K-N mod K) ■ (N div K) ■ log,--

Задача классификации исходного набора данных является одной из наиболее часто встречающихся. Выделение «сгустков» позволяет отделить классы однородных объектов, что облегчает дальнейший анализ и направленное корректирующее воздействие. Традиционные методы кластерного анализа опираются на выбор меры сходства объектов, однако классические меры близости не учитывают всю специфику пространства качественных значений. В работе показано, что применение в качестве меры сходства введенных коэффициентов множественной и парной качественной конкордации объектов позволяет использовать разработанную методологию кластеризации для анализа интенсивных величин.

Предлагаются также дополнительные инструменты анализа свойств кластеров. Для характеристики плотности и дисперсии кластера рекомендуется использование коэффициента Красильникова:

ш =1--(25)

* п(К-1)2 к '

где 5(1') — сумма дисперсий признаков по всем объектам кластера.

Для анализа размеров кластера мы предлагаем рассматривать их в направлении конкретных осей факторов. Это более общая характеристика, которая позволит вычислить как размеры кластера, так и его форму (через соотношение размеров по осям). В качестве размера кластера Б, по оси признака к предлагается брать величину

¿У = _й. (26)

А'-1

В этом случае размеры кластеров по каждой оси будут удовлетворять неравенствам 0 2 0'к <. 1.

Для оценки степени отделимости двух кластеров предлагается использовать среднюю величину внутрисистемной согласованности объектов первого кластера по совокупности объектов второго кластера. Т.е. для двух кластеров 5, = {*,,л:2,...*„,} и 52 = О^.зъ»...^,} находим величину

\) = -—-- -. ( '

При высокой степени отделимости кластера S¡ от кластера S2 выражение SEP(S¡\S2) будет иметь устойчивое положительное значение, т.к. поочередное включение объектов одного кластера в другой при хорошей различимости кластеров будет приводить к ухудшению внутренней согласованности объектов S2.

Как дополнительный инструмент в задачах оценки динамики изменений предлагается использовать .условную энтропию распределения:

1-1 Ро\Х!>

где ра , р\ — распределение признака х, в моменты времени t = ¡o и t — t\ соответственно.

Показатель характеризует «силу» изменений (без учета направления изменений) в распределении признака относительно некоторого ключевого состояния р0.

Основные результаты и выводы

В процессе выполнения диссертационной работы были решены научные задачи по разработке моделей и алгоритмов оценки качества деятельности учреждений системы высшего образования с точки зрения системного анализа, на основе методов математической статистики и статистики качеств, непараметрических подходов и педагогической герменевтики.

На основании полученных результатов можно сделать следующие выводы:

1. Проведенный критический анализ существующих моделей оценки качества деятельности образовательных учреждений показал их неприменимость в задачах комплексной оценки качества.

2. Разработанная инвариантная модель оценки качества деятельности образовательного учреждения охватывает все релевантные факторы образовательной действительности (числовой и нечисловой природы), учитывая действующие нормы в сфере образования и направляя ее в сторону гармоничного развития личности обучаемых.

3. Теоретические и практические исследования показали неприменимость ранговых методов анализа данных в отрыве от всестороннего изучения характеристик распределения образовательных признаков.

4. Предложены критерии выбора системного основания качества в условиях отсутствия априорных сведений о характере распределения признаков.

5. Разработанные топометрики множественной и парной качественной конкордации обладают большим научным потенциалом, и по сути являются единственным аппаратом, позволяющим

герменевтическую интерпретацию результатов анализа многомерных объектов смешанной природы.

6. Предложенная интегральная характеристика качества объекта на основе энтропии значений признаков представляет собой мощный инструмент анализа качественных данных, свободный от субъективного выбора весовых коэффициентов.

7. Применение топометрик множественной и парной качественной конкордации позволяет использовать аппарат кластерного анализа в пространстве качественных значений. Впервые предложены модели описания свойств полученных кластеров в пространстве качественных признаков.

8. Разработанная автоматизированная система оценки качества деятельности образовательных учреждений является гибким и мощным средством анализа объектов произвольной природы, покрывая весь спектр задач исследования характеристик качества.

Основные публикации по теме диссертации

1. Этезов Б.Б., Узденов Д.М. К вопросу об определении числа заданий в тесте: Сб. мат.: Всерос. науч.-практ. семинар «Автоматизированные системы управления учебным процессом в вузе: опыт, проблемы, возможности» / Южно-Рос. гос. ун-т экономики и сервиса. - Шахты, 2003. - с.60-63.

2. Этезов Б.Б., Узденов Д.М. Методика определения количества студентов, подлежащих тестированию: Сб. мат.: Всерос. науч.-практ. семинар «Автоматизированные системы управления учебным процессом в вузе: опыт, проблемы, возможности» / Южно-Рос. гос. ун-т экономики и сервиса. - Шахты, 2003. — с.63-64.

3. Этезов Б.Б. Методологические функции форм взаимосвязи статистик: Сб. мат.: 2-я Всерос. науч.-метод. конф. «Развитие методов и средств компьютерного тестирования» / Моск. гос. ун-т печати, 2004. - с. 131 -134.

4. Этезов Б.Б., Узденов Д.М. Концепция оценок в теории тестовых проверок: Сб. мат.: 2-я Всерос. науч.-метод. конф. «Развитие методов и средств компьютерного тестирования» / Моск. гос. ун-т печати, 2004. - с.114-115.

5. Этезов Б.Б., Узденов Д.М., Тягунова Т.Н. Идеальный объект в тестологии и тестометрии: Сб. мат.: 2-я Всерос. науч.-метод. конф. «Развитие методов и средств компьютерного тестирования» / Моск. гос. ун-т печати, 2004. - с. 11 б-123.

6. Этезов Б.Б., Алексеенко A.C., Сапарова А.Т., Попова Е.Д. Анализ оценки качества системы образования: Сб. мат.: 2-я Всерос. науч.-метод. конф. «Развитие методов и средств компьютерного тестирования» / Моск. гос. ун-т печати, 2004. - с.135-136.

7. Этезов Б.Б., Тягунова Т.Н. Моделирование в образовании: Сб. мат.: 2-я Всерос. науч.-метод. конф. «Развитие методов и средств

компьютерного тестирования» / Моск. гос. ун-т печати, 2004. — с.137-138.

8. Этезов Б.Б., Тягунова Т.Н. Эвристический подход к оценке качества образования: Сб. мат.: 2-я Всерос. науч.-метод. конф. «Развитие методов и средств компьютерного тестирования» / Моск. гос. ун-т печати, 2004. - с.139-140.

9. Этезов Б.Б. Анализ различных подходов к переводу количественных показателей в качественные аналоги: Сб. мат.: 3-я Всерос. науч.-метод. конф. «Развитие методов и средств компьютерного тестирования» / Моск. гос. ун-т печати, 2005. - с.252-254.

Ю.Этезов Б.Б. Вывод формулы коэффициента множественной конкордации: Сб. мат.: 3-я Всерос. науч.-метод. конф. «Развитие методов и средств компьютерного тестирования» / Моск. гос. ун-т печати, 2005. - с.254-256.

11.Этезов Б.Б. Информационная энтропия: Сб. мат.: 3-я Всерос. науч.-метод. конф. «Развитие методов и средств компьютерного тестирования» / Моск. гос. ун-т печати, 2005. — с.256-258.

12.Этезов Б.Б. К вопросу о выборе основания системы качества: Сб. мат.: 3-я Всерос. науч.-метод. конф. «Развитие методов и средств компьютерного тестирования» / Моск. гос. ун-т печати, 2005. -с.259-260.

13.Этезов Б.Б. Кластерный анализ в тестометрии: Сб. мат.: 3-я Всерос. науч.-метод. конф. «Развитие методов и средств компьютерного тестирования» / Моск. гос. ун-т печати, 2005. — с.260-264.

14.Этезов Б.Б. Новый подход к оценке качества высшего профессионального образования: Сб. мат.: 3-я Всерос. науч.-метод. конф. «Развитие методов и средств компьютерного тестирования» / Моск. гос. ун-т печати, 2005. - с.264-268.

15.Этезов Б.Б. Алгоритм ранжирования объектов системы высшего образования: Сб. мат.: 4-я Всерос. науч.-метод. конф. «Инновационные методы и средства оценки качества образования» / Моск. гос. ун-т печати, 2006. - с.342-345.

16.Этезов Б.Б. Алгоритмы кластерного анализа в задачах оценки качества: Сб. мат.: 4-я Всерос. науч.-метод. конф. «Инновационные методы и средства оценки качества образования» / Моск. гос. ун-т печати, 2006. - с.346-353.

17.Этезов Б.Б. Нормальное распределение в задачах оценки качества: Сб. мат. Междунар. науч.-тех. конф. «Диалог общества и власти в образовательном пространстве СНГ» - М., 2006.

Подписано в печать 21.06.06 г. Объем 1,25 п.л. Тираж 100 экз. Заказ №246/189

Московский государственный университет печати 127500, Москва, ул. Прянишникова, 2а Отпечатано в ИПК МГУП

Общая характеристика работы.

Глава I. Модели оценки качества в системе образования.

1.1. Онтология и гносеология оценки качества образования

1.2. Системный анализ релевантных факторов

1.3. Существующие модели оценки качества высшего образования

1.4. Новая модель оценки качества деятельности образовательных учреждений.

1.5. Модели содержания и процедур оценивания объектов системы высшего образования

1.6. Выводы по главе.

Глава II. Методологические принципы многомерного анализа

2.1. Исходные позиции.

2.2. Ранги и семантическая шкала качеств.

2.3. Анализ традиционных подходов к оценке статистической связи.

2.4. Выбор системного основания качества.

2.5. Классические методы многомерного анализа данных

2.6. Выводы по главе

Глава III. Топометрики статистики качеств.

3.1. Понятие топометрики.

3.2. Первичные данные в качественных исследованиях

3.3. Меры сходства в пространстве признаков.

3.4. Коэффициенты множественной и парной качественной конкордации

3.5. Внутрисистемная согласованность объекта

3.6. Алгоритмы оценивания.

3.7. Выводы по главе.

Глава IV. Практические задачи оценки качества объектов системы высшего образования

4.1. Основные задачи анализа интенсивных значений.

4.2. Энтропия значений как показатель ценности фактора.

4.3. Ранжирование объектов системы высшего образования

4.4. Кластерный анализ в задачах оценки качества.

4.5. Условная энтропия распределения в анализе динамики качества

4.6. Разработка программы для решения комплекса задач по оценке качества деятельности образовательных учреждений

4.7. Выводы по главе.

Актуальность работы. Одним из ощутимых социальных последствий стремительных технологических перемен, особенно сильно проявивших себя в последние десятилетия XX в., стал общий кризис систем образования. Он охватил сегодня практически все страны мирового сообщества, в том числе и Россию. Вместе с тем существо этого кризиса отнюдь не ограничивается исключительно финансовой недостаточностью самой этой сферы (хотя важность этой проблемы тоже недооценивать нельзя). Главный источник кризиса - в неадекватности содержания образования, масштабов и уровня развития образовательных систем постиндустриальному направлению цивилизационного развития.

Специфика объекта управления, которым является образовательная деятельность, и слабое развитие методологической основы и технологической поддержки для образовательной отрасли делают актуальной задачу разработки научной основы для решения проблем в области оценки и управления качеством образовательной деятельности. Качество образования определяется как приоритетная задача в «Концепции модернизации Российского образования на период до 2010 года», принятой Минобразованием РФ (приказ МО РФ №393 от 11.02.02) [65]. Для успешного решения этих задач нужны как исследования методологических основ оценки качества, так и разработка практических методик анализа данных. При этом основным звеном в сфере образования без сомнения является система высшего образования, представленная субъектами предоставления образовательных услуг -высшими учебными заведениями. Вопросы оценки качества деятельности вузов и являются актуальной задачей настоящей диссертационной работы.

Целью диссертационной работы является разработка моделей и алгоритмов оценки качества деятельности учреждений системы высшего образования с точки зрения системного анализа, на основе методов математической статистики и статистики качеств, непараметрических подходов и педагогической герменевтики.

Задачи исследования. В соответствии с поставленной целью требуется решить следующие задачи: провести критический анализ существующих моделей и технологий оценки качества объектов системы высшего образования; разработать инвариантную модель оценки качества деятельности вуза; проанализировать применимость ранговых методов статистики в работе с факторами смешанной природы; проанализировать существующие и разработать новые критерии выбора системного основания качества; разработать топометрики в пространстве интенсивных величин; разработать модели и алгоритмы решения практических задач оценки качества в системе высшего образования - ранжирование объектов, кластерный анализ, анализ динамики распределения; разработать автоматизированную систему для решения комплекса задач в области оценки качества деятельности образовательных учреждений. Объектом исследования является область теоретической информатики, связанная с разработкой моделей и алгоритмов оценки качества объектов произвольной природы и методологией анализа данных смешанной природы.

Методы исследования. Для достижения поставленной в работе цели и решения перечисленных задач использованы методы математической статистики, статистики качеств, герменевтики, элементы квалиметрии. Разработка программного обеспечения для реализации алгоритмов проведена в среде Borland Delphi (ver.7.0).

Методологической основой исследования являются работы в области оценки качества образования, анализа многофакторных объектов произвольной природы, статистики объектов нечисловой природы, теории информации (труды А.И.Субетто, Г.Г.Азгальдова, В.И.Васильева, Б.Г.Литвака, С.А.Айвазяна, В.В.Красильникова, А.И.Орлова и др.).

Достоверность полученных результатов подтверждается применением методов математической статистики, статистики качеств, моделированием и герменевтической интерпретацией результатов, практической реализацией и внедрением разработанных методов, моделей и алгоритмов.

Научная новизна полученных в данной работе результатов состоит в следующем:

1. Разработана инвариантная модель оценки качества деятельности вуза, ориентирующаяся на специфику сферы высшего образования, потребности личности и общества.

2. Показана неприменимость традиционных ранговых показателей связи в анализе качественных признаков.

3. Разработаны критерии выбора системного основания качества.

4. Получены модели расчета коэффициентов множественной и парной конкордации в пространстве качеств и разработаны соответствующие этим моделям алгоритмы обработки качественных данных.

5. Разработаны технологии ранжирования, кластерного анализа, анализа динамики распределения в пространстве интенсивных величин.

6. Разработан и внедрен программный комплекс оценки качества деятельности образовательного учреждения.

Оценка теоретической значимости результатов работы. Полученные концептуальные и математические модели и алгоритмы являются теоретической основой для оценки качества многомерных объектов произвольной природы, формируют базу для создания автоматизированных систем оценки качества.

Практическая ценность работы состоит в разработке технологий использования методов статистики качеств для оценки качества процессуальной стороны образования.

На защиту выносятся следующие положения: ■ инвариантная модель оценки качества деятельности вуза; методология качественного анализа данных - критерии выбора системного основания качества, вопросы перевода значений признаков к качественным аналогам; модели и алгоритмы расчета топометрик сходства объектов сферы образования; модели и алгоритмы кластеризации, ранжирования, оценки качества и анализа динамики распределения образовательных учреждений; автоматизированная среда оценки качества деятельности образовательного учреждения на основе методов статистики качеств. Апробация результатов работы. Основные результаты диссертационной работы доложены и обсуждены на Всероссийских конференциях «Развитие методов и средств компьютерного тестирования», Москва, 2003; «Развитие методов и средств компьютерного тестирования», Москва, 2004; «Инновационные методы и средства оценки качества образования», Москва, 2006.

Внедрение результатов. На основании предложенных моделей и алгоритмов создана автоматизированная программа «ACT-ОКО - Экспертная оценка качества деятельности образовательного учреждения», успешно применяемая в ряде вузов РФ.

Публикации. Основные положения диссертации изложены в 17 научных публикациях.

Структура и объем диссертации. Диссертационная работа состоит из введения, 4-х глав, выводов по каждой главе, основных результатов, списка используемой литературы и приложений.

Основные результаты и выводы

В процессе выполнения диссертационной работы были решены научные задачи по разработке моделей и алгоритмов оценки качества деятельности учреждений системы высшего образования с точки зрения системного анализа, на основе методов математической статистики и статистики качеств, непараметрических подходов и педагогической герменевтики.

На основании полученных результатов можно сделать следующие выводы:

1. Проведенный критический анализ существующих моделей оценки качества деятельности образовательных учреждений показал их неприменимость в задачах комплексной оценки качества.

2. Разработанная инвариантная модель оценки качества деятельности образовательного учреждения охватывает все релевантные факторы образовательной действительности (числовой и нечисловой природы), учитывая действующие нормы в сфере образования и направляя ее в сторону гармоничного развития личности обучаемых.

3. Теоретические и практические исследования показали неприменимость ранговых методов анализа данных в отрыве от всестороннего изучения характеристик распределения образовательных признаков.

4. Предложены критерии выбора системного основания качества в условиях отсутствия априорных сведений о характере распределения признаков.

5. Разработанные топометрики множественной и парной качественной конкордации обладают большим научным потенциалом, и по сути являются единственным аппаратом, позволяющим герменевтическую интерпретацию результатов анализа многомерных объектов смешанной природы.

Предложенная интегральная характеристика качества объекта на основе энтропии значений признаков представляет собой мощный инструмент анализа качественных данных, свободный от субъективного выбора весовых коэффициентов. Применение топометрик множественной и парной качественной конкордации позволяет использовать аппарат кластерного анализа в пространстве качественных значений. Впервые предложены модели описания свойств полученных кластеров в пространстве качественных признаков.

Разработанная автоматизированная система оценки качества деятельности образовательных учреждений является гибким и мощным средством анализа объектов произвольной природы, покрывая весь спектр задач исследования характеристик качества.

1. Аберкромби Н., Хилл С., Тернер Б.С. Социологический словарь. М.: Экономика, 1999.-428 с.

2. Адамова Е.В. Применение кластерного анализа при изучении успеваемости студентов // Математико-статистические исследования в экономике. Под ред. Дуброва A.M. М.: МЭСИ, 1983. - с.28-31.

3. Азгальдов Г.Г., Райхман Э.П. О квалиметрии. М.: Издательство стандартов, 1972,- 172 с.

4. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичной обработки данных. Справочное издание. М.: Финансы и статистика, 1983. - 471 с.

5. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Исследование зависимостей. М.: Финансы и статистика, 1985. - 487 с.

6. Айвазян С.А., Мхитарян B.C. Теория вероятностей и прикладная статистика, т. 1. М.: ЮНИТИ, 2001.

7. Ангелопуло O.K., Виноградов В.Н., Моисеев С.Г. и др. Методика определения потенциала вуза в качественной подготовке специалистов. М.: МИНиГ им. И.М.Губкина, 1988. - 38 с.

8. Андерсон Т. Введение в многомерный статистический анализ. М.: Финансы и статистика, 1982.

9. Андреев А.А. Педагогика высшей школы. Новый курс М.: Московский международный институт эконометрики, информатики, финансов и права, 2002. - 264 с.

10. Аптон Дж. Анализ таблиц сопряженности. М., 1982.

11. Межвузовский сборник научных трудов. Под ред. Гребенькова В. И. М.: ВЗМИ, 1985. -с.17-35.

12. Батышев С.Я., Романцев Г.М., Гершунский Б.С. и др. Профессиональная педагогика. М.: Изд-во АПО, 1997. - 511 с.

13. Бешкинская Е.В., Иоффе М.Я. Образовательные услуги вуза (методология и практика исследования рынка). М.: Изд-во Рос. экон. акад.,2000. 142 с.

14. Битинас Б. Алгоритм конструирования одномерной психодиагностической шкалы. Вильнюс: НИИ ШМП ЛитССР, 1968. 26 с.

15. Бойко В.В. и др. Аттестация, аккредитация высших учебных заведений. М.: ВБКИ, 1993.- 152 с.

16. Болч Б.У., Хуань К.Д. Многомерные статистические методы для экономики. М.: Статистика, 1979. ,

17. Вальтух К.К. Общественная полезность продукции и затраты труда на ее производство. М.: Мысль, 1965.

18. Васильев В.И., Красильников В.В., Плаксий С.И., Тягунова Т.Н. Оценка качества деятельности образовательного учреждения. М.: Изд-во «ИКАР», 2005 г.-320 с.

19. Васильев В.И., Красильников В.В., Плаксий С.И., Тягунова Т.Н. Статистический анализ многомерных объектов произвольной природы. М.: Изд-во «ИКАР», 2004 г.

20. Васильев В.И., Тягунова Т.Н. Основы культуры адаптивного тестирования. М.: ИКАР, 2003. - 584 с.

21. Вассоевич Н.Б. и др. Коэффициент ранговой корреляции Спирмена. -М.: Изд-во МГУ, 1980. 29 с.

22. Вентцель Е.С. Исследование операций // «Наука и жизнь», №12,1968.

23. Вентцель Е. С. Теория вероятностей: Учеб. для вузов. М.: Высшая школа, 1999. - 576 с.

24. Вильсон А.Дж. Энтропийные методы моделирования сложных систем. М.: Наука, 1978. - 248 с.

25. Волков Н.И., Голоскоков П.Г. Статистическая обработка экспериментальных данных. Л.: ЛИВТ, 1984. - 116 с.

26. Волохин С.Б. Инновации в образовании: управление и мониторинг качества // Методологические проблемы профессиональной подготовки специалистов в вузе. Тезисы докладов межвузовской научно-методической конференции. Тольятти: ПТИС МГУС, 2001. - С. 129-133.

27. Гессен С.И. Основы педагогики. М.: Школа-Пресс, 1995.

28. Гладких Б.А., Сущенко С.П. Концепция автоматизированной системы поддержки типовых управленческих решений вуза // Вестник Томского гос. ун-та, 2000, № 269.- С.150-156.

29. Гомоюнов К.К. Самостоятельная работа студентов: Методические рекомендации / ЛПИ. JL, 1988. - 24 с.

30. Горбовцев Г.Я. Классификация и шкалирование // Математико-статистические исследования в экономике. Под ред. Дуброва A.M. М.: МЭСИ, 1983. -с.26-28.

31. ГОСТ 23554. 2-81 «Экспертные методы оценки качества промышленной продукции. Обработка значений экспертных оценок качества продукции».

32. Грабарь М.И., Краснянская К.А. Применение математической статистики в педагогических исследованиях. Непараметрические методы. -М.: Педагогика, 1977. 136 с.

33. Дегтярев Г.П. Построение типологии с помощью латентных классов // Математические методы в социологическом исследовании. М., 1983.

34. Джонсон H., Лион Ф. Статистика и планирование эксперимента в технике и науке: Методы планирования эксперимента. М.: Мир, 1981. -520 с.

35. Динес В.А., Прокофьев В.А., Богданов P.P. Рейтинг объектов высшей школы. Саратов: СГСЭУ, 2001.- 92 с.

36. Дубров A.M., Мазуров М.Е. Анализ статистических связей в одномерном и многомерном анализе. -М.: МЭСИ, 1980. 105 с.

37. Дубров A.M. Математико-статистическая оценка эффективности в экономических задачах. -М.: Финансы и статистика, 1982. 176 с.

38. Ефимов А.Н. Порядковые статистики их свойства и приложения. -М.: Знание, 1980.-64 с.

39. Жамбю М. Иерархический кластер-анализ и соответствия. М.: Финансы и статистика, 1988. - 343 с.

40. Жуковская В.М., Мучник И.Б. Факторный анализ в социально-экономических исследованиях. М., 1976.

41. Закон Российской Федерации «О высшем и послевузовском профессиональном образовании» от 22 августа 1996 г. № 125-ФЗ.

42. Закс Л. Статистическое оценивание. -М.: Статистика, 1976. 598 с.

43. Захаров И.С., Попов В.М., Дроздов В.И., Чемыхин В. А. Экономическая теория. Результаты самообследования студентов третьегокурса специальности «Финансы и кредит» на ноябрь 2004/05 учебного года. -Курск: Курский гос. техн. ун-т, 2005. 52 с.

44. Зборовский Г.Е., Орлов Г.П. Социология. М.: Интерпракс, 1995.320 с.

45. Илышева Н.Н., Илышев A.M. Система аналитических показателей инновационной деятельности организации // «Качество. Инновации. Образование», №2,2004. С.26-30.

46. ИСО 9000: 2000. Системы менеджмента качества. Основные положения и словарь. М.: ВНИИС, 2001.

47. Катковник В.Я. Непараметрическая идентификация и сглаживание данных: Методы локальной аппроксимации. М.: Наука, 1985. - 336 с.

48. Кемени Дж., Снелл Дж. Кибернетическое моделирование. М.: «Сов. радио», 1972. 164 с.

49. Кендэл М. Дж., Стьюарт А. Многомерный статистический анализ и временные ряды. М.: Наука, 1976. - 736 с.

50. Кендэл М. Дж., Стьюарт А. Статистические выводы и связи. М.: Наука, 1973. - 899 с.

51. Ким Дж.-О. и др. Факторный, дискриминантный и кластерный анализ. М.: Финансы и статистика, 1989. - 216 с.

52. Классификация и кластер. Под ред. Дж.Райзина. М.: Мир, 1980.

53. Клишина Ю.Н. Применение анализа соответствий в обработке нечисловой информации // Социология: 4М (методология, методы, математические модели), 1991, № 2. С. 105-118

54. Колин К. Информатизация образования: новые приоритеты // Alma mater. М„ 2002. - N 2. - С. 16-22.

55. Конти Тито. Самооценка в организациях. Перевод с англ. М.: Стандарты и качество, 2000.

56. Концепция модернизации российского образования на период до 2010 г. / Распоряжение Правительства РФ от 29 декабря 2001 г. № 175б-р, приказ МО РФ №393 от 11.02.02. 28 с.

57. Коротков Э.М. Качество образования: формирование, факторы и оценка, управление. М.: ГУУ, 2002. - 83 с.

58. Коршунов С. В. Вливаясь в Болонский процесс. Ж-л «Инженерное образование», №2-3, март 2004 г.

59. Костенко К.И., Некрасов С.Д. Моделирование информационной системы оценки качества образования // Университетское управление: практика и анализ. 2003. - № 3(26). - С.77-83.

60. Кравченко А.И. Социология: Общий курс. М.: ПЕР СЭ, 2000. - 640с.

61. Красильников В.В. Статистика объектов нечисловой природы. Наб. Челны: Изд-во Камского политехнического института, 2001. - 144 с.

62. Крыштановский А.О. Ограничения метода регрессионного анализа // Социология: 4М. 2000. - № 12. - С.96-112.

63. Ладыжец Н.С. Университетское образование: идеалы, цели, ценностные ориентации: Монография. Ижевск: Филиал изд-ва Нижегородского ун-та при УдГУ, 1992. - 236 с.

64. Лазарев С.С. Онтология точности и практичности // «Вопросы философии», №1,2004 г.

65. Лбов Г.С. Методы обработки разнотипных экспериментальных данных. Новосибирск: Наука, 1981. - 160 с.

66. Лившиц К.И. Идентификация. М.: Наука, 1987.

67. Литвак Б.Г. Автоматизированные системы экспертного оценивания и аккредитации. М.: Исследовательский центр проблем качества подготовки специалистов, 1993. - 142 с.

68. Литвак Б.Г. Об упорядочении объектов по предпочтениям // Математические вопросы управления производством. Под ред. Люстерника Л.А. М.: Изд-во МГУ, 1973. - Вып. 5. - с.47-59.

69. Лихолетов В. Инвариантные компоненты деятельностных знаний в профессиональном образовании // Alma mater. М., 2002. - N 2. - С. 10-16.

70. Мандель И.Д. Кластерный анализ. -М.: Финансы и статистика, 1988. -168 с.

71. Маринеску И. и др. Основы математической статистики и ее применение. М.: Статистика, 1970. - 223 с.

72. Месарович М., Мако Д., Такахара И. Теория иерархических многоуровневых систем. М.: Мир, 1973. - 344 с.

73. Месарович М., Такахара Я. Общая теория систем: математические основы.-М.: Мир, 1978.-312 с.

74. Методологические проблемы профессиональной подготовки специалистов в вузе. Тезисы докладов межвузовской научно-методической конференции. Тольятти: ПТИС МГУС, 2001.

75. Миркин Б.Г. Анализ качественных признаков. М.: Статистика, 1976. -166 с.

76. Миркин Б.Г., Высоцкая Н.В., Куперштох B.JI. и др. Шкалы упорядочения // Моделирование в экономических исследованиях. Отв. ред. Берлянд E.JL, Миркин Б.Г. Новосибирск: Наука, Сибирское отделение, 1978. -с.109-120.

77. Миркин Б.Г. Группировки в социально-экономических исследованиях. -М.: Финансы и статистика, 1985.

78. Миркин Б.Г. Модели эмпирического агрегирования социально-экономической информации // Модели агрегирования социально-экономической информации. Под ред. Миркина Б.Г. Новосибирск: ИЭиОПП СО АН СССР, 1978.-c.3-16

79. Мотова Г.Н., Наводнов В.Г. Модели оценивания деятельности образовательных организаций: Препринт. Йошкар-Ола: НИЦ ГА, 1997. -48 с.

80. Национальная доктрина образования в Российской Федерации. М.:2000.

81. Нискина Н.П., Тейман А.И., Шмерлинг Д.С. Непараметрические методы статистики, основанные на рангах, и их применение. Препринт. М.: ВНИИСИ, 1986.-60 с.

82. Новак Э., Залески С. Группировка социально-экономических объектов по уровню их развития // Математико-статистические исследования в экономике. Под ред. Дуброва A.M. М.: МЭСИ, 1983. - с.31-33.

83. Окрепилов В. В. Управление качеством. М.: Экономика, 1998. - 640с.

84. Олдендерфер М.С., Блэшфилд Р.К. Кластерный анализ. В кн.: Факторный, дискриминантный и кластерный анализ. Под ред. Дж.-О.Кима, Ч.У.Мьюллера и У.Р.Клекка. М.: Наука, 1984.

85. Орлов А.И. В кн. Прикладной многомерный статистический анализ. -М.: Наука, 1978.-С.68-138.

86. Орлов А.И. Устойчивость в социально-экономических моделях. М.: Наука, 1979.-296 с.

87. Пестова Н.Ф. О сочетании объяснительно-иллюстративного и проблемного методов обучения // Повышение эффективности и качества обучения в вузе. / Под ред. А.М.Трубицына. Томск: Изд-во Том. ун-та, 1986. -С. 81-85.

88. Петропавловский М.В. Классификация учреждений высшего профессионального образования методами дискриминантного анализа: Научное издание. Йошкар-Ола: Научно-информационный центр государственной аккредитации, 1999.-23 с.

89. Плаксий С. И. Качество высшего образования. М.: Национальный институт бизнеса, 2003. - 654 с.

90. Плюта В. Многомерный сравнительный анализ в экономических исследованиях (методы таксономии и факторного анализа). М.: Статистика, 1980.

91. Попов Ю.В., Подлеснов В.Н. и др. Многоуровневая структура образования: научно-методические основы и практика. Волгоград: Политехник, 1999. - 173 с.

92. Поспелов Д. А. Логико-лингвистические модели в системахiуправления. -М.: Энергоиздат, 1981.-232 с.

93. Практикум по теории статистики. Под ред. Р.А.Шмойловой. М.: Финансы и статистика, 2001.-416 с.

94. Проектирование, обеспечение и контроль качества образования и образовательных услуг. Материалы Третьей Всероссийской конференции по качеству образования и Пятой Международной конференции «Развитие через качество». Москва-Тольятти: Изд-во ТолПИ, 2000.

95. Рабинович П.М. Некоторые вопросы теории многомерных группировок // Вестник статистики, №7,1976. С.52-63.

96. Рабинович П.М. Экономический анализ методом многомерных группировок // Экономика сельского хозяйства, №9, 1973. С.60-64.

97. Рабочая книга социолога. Отв. ред. Осипов Г.В. М.: Наука, 1983.478 с.

98. Радаев В.В. Экономическая социология. М.: Аспект Пресс, 1997.368 с.

99. Региональная статистика: Учебное пособие. Самарск. гос. экон. акад. - Самара, 1999. - 384 с.

100. Рябцев В. М. О многомерных средних и группировках // Вестник статистики, №8,1976. С.43-45.

101. Селезнева Н.А. Качество высшего образования как объект системного исследования. Доклад. - Воронеж: ВГТУ, 2001. - 28 с.

102. Серов А.В. Образовательный процесс современные тенденции // Методологические проблемы профессиональной подготовки специалистов в вузе. Тезисы докладов межвузовской научно-методической конференции. -Тольятти: ПТИС МГУС, 2001. - С. 148-151.

103. Сибирская М. Профессиональная компетентность новое требование качества профессиональной подготовки // Молодежь. Цифры. Факты. Мнения. СПб., 1995, №2-3.

104. Сидоренко Е.В. Методы математической обработки в психологии. СПб.: ООО «Речь», 2000. 350 с.

105. Симаганова Л.Б. Инновационные формы и методы образовательного процесса // Методологические проблемы профессиональной подготовкиспециалистов в вузе. Тезисы докладов межвузовской научно-методической конференции. Тольятти: ПТИС МГУС, 2001. - С. 124-129.

106. Система оценки деятельности кафедр университета / В. Ковалев, А. Ледяев, С. Микони, П. Якубчик // Alma mater. М., 2002. - N 1. - С. 17-23.

107. Сквирский В.Я. Системный подход к анализу учебно-воспитательного процесса и определению путей его совершенствования. М.: МАДИ, 1986.- 106 с.

108. Смирнов С.Б. Стратегическое и оптимальное планирование развития высших учебных заведений. Препринт. СПб.: Изд-во СПбГУЭФ, 2002.-25 с.

109. Солдатов А.В. Информационная система как основа эффективного управления вузом // Университетское управление: практика и анализ. 2004. -№2(30). С. 116-119.

110. Сошникова Л.А., Тамашевич В.Н., Уебе Г., Шеффер М. Многомерный статистический анализ в экономике: Учеб. пособие для вузов / Под ред. Тамашевича В.Н. М.: ЮНИТИ-ДАНА, 1999. - 598 с.

111. Строителев В.Н. Статистические методы основной инструментарий специалиста в области качества // «Качество. Инновации. Образование», №1,2002. - с. 11-17.

112. Субетто А.И. Введение в квалиметрию высшей школы. В 4 кн. М.: Исслед. центр Гособразования СССР по проблемам управления качеством подготовки специалистов, 1991.

113. Татарова Г.Г. Качественные методы в структуре методологии анализа данных // Социология: 4М. 2001. - № 14. - С.33-52.

114. Темников Ф.Е., Афонин В.А., Дмитриев В.И. Теоретические основы информационной техники. -М.: Энергия, 1971 -424 с.

115. Тинтнер Г. Введение в эконометрику. М., 1965.

116. Толстова Ю.Н. Анализ социологических данных. М.: Научный мир, 2000.

117. Тощенко Ж.Т. Социология: Общий курс. М.: Юрайт-М, 2001.527 с.

118. Тюрин Ю.Н. Непараметрические методы статистики. М.: Знание, 1978.-64 с.

119. Фано Р. Передача информации. Статистическая теория связи. М.: Мир, 1965.-438 с.

120. Фролов С. С. Социология. М.: Гардарики. - 344 с.

121. Хакен Г. Синергетика: Иерархия неустойчивостей. -М., 1985.

122. Хан Г., Шапиро С. Статистические модели в инженерных задачах. -М.: Мир, 1969.-396 с.

123. Хеттманспергер Т.П. Статистические выводы, основанные на рангах. М.: Финансы и статистика, 1987. - 333 с.

124. Холлендер М., Вулф Д. Непараметрические методы статистики. -М.: Финансы и статистика, 1983. 518 с.

125. Чесноков С.В. Детерминационный анализ социально-экономических данных в режиме диалога. М., 1980.

126. Четырбоцкий А.Н. Методы и алгоритмы решения задач снижения размерности пространства описания. Владивосток: ДВО АН СССР, 1991. -94 с.

127. Шишкин И.Ф. Контроль: Учебное пособие. СПб.: СЗПИ, 1992.62 с.

128. Шишкин И.Ф., Станякин В.М. Квалиметрия и управление качеством. М.: Изд-во ВЗПИ, 1992. - 255 с.

129. Шишкин И.Ф. Теоретическая метрология. М.: Издательство стандартов, 1991.-471 с.

130. Эйтингон В.Н., Рисин И.Е. Проблемы совершенствования организации управления высшими учебными заведениями // Управление качеством подготовки специалистов в высшей школе. Под ред. Кабакова B.C. -Л.: ЛИЭИ, 1978. -с.74-84.

131. Экономический анализ: ситуации, тесты, примеры, задачи, выбор оптимальных решений, финансовое прогнозирование. Под ред. Баканова М.И. Шеремета А.Д. М.: Финансы и статистика, 2004. - 656 с.

132. Экспертные оценки в управлении. Научно-методический отдел Института управления народным хозяйством. М., 1977. - Ч. 1-6.

133. Энциклопедия кибернетики. В 2-х т. Под ред. В. М. Глушкова. -Киев: Гл. ред. Украинской Советской энциклопедии, 1975. Т.1. - 608 с. - Т.2. - 620 с.

134. Яглом A.M., Яглом И.М. Вероятность и информация. М.: Наука, 1973.-512 с.

135. Якобсон П.М. Психологические компоненты и критерии становления зрелой личности. // Психология личности в трудах отечественных психологов СПб: «Питер», 2000 - с. 188-192.

136. Яковлев И.П. Синтез, знаний как методологическая основа совершенствования подготовки специалистов широкого профиля // Управление качеством подготовки специалистов в высшей школе. Под ред. Кабакова B.C. Л.: ЛИЭИ, 1978. - с.110-125.

137. Качалов В.А. Стандарты ИСО 9000 и проблемы управления качеством в вузах. -М., 2001. 126 с.

138. Савельев А., Романкова JI. О будущей Доктрине высшего образования // «Высшее образование в России», №3, 1998.

139. Красноженова Г. Самооценка вузовской элиты // «Высшее образование в России», №3,1998.

140. Соколов В.М. Основы проектирования образовательных стандартов (методология, теория, практический опыт). М.: Исследовательский центр проблем качества подготовки специалистов, 1996.

141. Журнал «Америка», сентябрь 1996 г. Стр.6.

142. Дерек Бок. Университеты и будущее Америки. М.: Изд-во Московского гос. университета, 1993.

143. Материалы 43-го Европейского Конгресса качества «Качество: выбор для XXI века», Мадрид, 9-11 июня 1999 г.

144. Сергеев И. Не до ранжиру, быть бы живу // «Московский Комсомолец», 06.06.2005.

145. Михайлова Э. Рейтинг российских университетов // Журнал «Карьера», №2,1998.

146. Allen М. The goals of universities. Philadelphia: Open univ. press,1988.

147. Atkin R. Mathematical Structure of Human Affairs. London: Heinemann,1974.

148. Barnet R. The Limits of Competence: Knowledge, High Education and Society. Bristol USA: The Society for Research into Higher Education and Open University Press, 1994.

149. Jarvis P. Professional education. L.; Sydney; New Hampshire: Croom Helm, 1981.

150. McDaniel 0. The Direction of Higher Education: Short Report of a Delphy-Study. Zoetermeer, 1992.

151. Reichardt C.S., Cook Th.D. Beyond Qualitative Versus Quantitative Methods // Qualitative and Quantitative Methods in Evoluation Research. London, 1979.

152. Strauss A.L. Qualitative analysis for social scientists. Cambridge, 1987.

153. Wasserman S., Faust K. Social Network Analysis: Methods And Applications. New York: Cambridge University Press, 1994.170. www.rbc.ru (Раздел «Рейтинги» rating.rbc.ru)171. www.tqm.spb.ru