автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка математического и программного обеспечения независимой системы оценивания деятельности вуза для поддержки принятия управленческих решений

На правах рукописи

ПРОНИЧКИН СЕРГЕЙ ВАСИЛЬЕВИЧ

разработка математического и программного обеспечения независимой системы оценивания деятельности вуза для поддержки принятия управленческих решений

Специальность 05.13.01 - «Системный анализ, управление и обработка информации (в социальной сфере)»

автореферат 4856443

Диссертации на соискание ученой степени кандидата технических наук

о з [,;др ¿он

Москва 2011

4856443

Работа выполнена на кафедре инженерной кибернетики Федерального государственного образовательного учреждения высшего профессионального образования «Национальный исследовательский технологический университет «МИСиС» (НИТУ «МИСиС»)

Научный руководитель: Крапухина Нина Владимировна

кандидат технических наук, профессор, НИТУ «МИСиС», г. Москва

Петровский Алексей Борисович доктор технических наук, профессор, Учреждение Российской академии наук Институт системного

анализа РАН, г. Москва Фомин Станислав Яковлевич доктор технических наук, профессор, НИТУ «МИСиС», г. Москва Государственное образовательное учреждение дополнительного профессионального образования «Академия стандартизации, метрологии и сертификации

(учебная)», г. Москва

Защита состоится «25» марта 2011 года в 1530 на заседании диссертационного совета Д 212.132.10 при Федеральном государственном образовательном учреждении высшего профессионального образования «Национальный исследовательский технологический университет «МИСиС» по адресу: 105318, Москва, Измайловское шоссе, д.4.

С диссертацией можно ознакомиться в библиотеке Исследовательского центра проблем качества подготовки специалистов НИТУ «МИСиС» по адресу: 105318, Москва, Измайловское шоссе, д.4. Автореферат разослан «22» февраля 2011 года.

Официальные оппоненты:

Ведущая организация:

Ученый секретарь совета Д 212.132.10, кандидат технических наук, доцент

И.Б. Моргунов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Высшее образование считается сегодня важнейшим фактором, обеспечивающим развитие современного общества. Темпы и сущность глобальных перемен требуют постоянного совершенствования образовательной и научно-исследовательской деятельности вузов. Работа в этих направлениях должна осуществляться более целенаправленно и масштабно с тем, чтобы предвосхитить завтрашние потребности национальной экономики. Именно поэтому необходимо постоянно улучшать деятельность вузов, последовательно приближаясь к «совершенству» за счет распознавания, предвосхищения и понимания потребностей заинтересованных сторон.

Требовательность заинтересованных сторон постоянно растет, поэтому любой вуз, независимо от его размеров, культуры, традиций и истории, должен им предоставить совершенную по всем показателям продукцию и/или услуги. В первую очередь для этого необходимо более эффективное управление вузом. Необходимым условием принятия эффективных стратегических и тактических решений руководством вуза является адекватная система оценивания вуза на основе всестороннего обследования его деятельности с привлечением независимых экспертов с целью обеспечения беспристрастности и объективности оценки. Принятие вузами такого условия ставит перед ними задачу создания и применения независимой системы оценивания своей деятельности по общепринятым критериям.

Существенный вклад в решение данной задачи внесли A.B. Блинкова, В.В. Бринза, И.Т. Заика, А.И. Кочетов, H.A. Селезнева, В.П. Соловьев, А.И. Субетто, В.Д. Шадриков. В рамках исследований данных ученых рассматривался вопрос управления сложными социально-экономическими системами - вузами. Одним из результатов их исследований в данной области стала модель и критерии, положенные в основу конкурса Минобрнауки России «Системы качества подготовки выпускников образовательных учреждений профессионального образования», проводимого с 2000 года. В основу конкурса положен механизм самооценки с привлечением независимых экспертов.

Однако данная модель и критерии самооценки были построены без достаточного учета российского и международного опыта аккредитации и составления рейтинга вузов, а также программ создания и развития национальных исследовательских университетов (НИУ) международного уровня. Слабо формализована процедура определения компетенции и компетентности экспертов и формирования экспертных групп. Не было уделено достаточного внимания математическому и программному обеспечению процесса самооценки, иными словами, в существующих работах больше внимания уделялось разработке теоретических основ управления вузами, а не прикладным вопросам разработки математических моделей, методов и алгоритмов для поддержки процесса управления вузами.

Система оценивания деятельности вуза нужна, прежде всего, для поддержки принятия стратегических и тактических решений в процессе управления деятельностью вуза. Решения, принимаемые на основе усредненных, некомпетентных заключений могут привести к ошибкам в управлении. Ошибки в стратегических и тактических решениях могут привести не столько к замедлению развития вуза, сколько к необратимым последствиям. Таким образом, разработка математического и программного обеспечения независимой системы оценивания деятельности вуза является актуальной задачей, для решения которой возникает необходимость в использование методов системного анализа (Ю.П. Адлер, В.М. Курейчик, О.И. Ларичев, Б.Г. Литвак, В.Б. Мелас, А.И. Орлов, А.Б. Петровский, В.В. Подиновский, A.C. Рыков, В.Г. Тоценко, D.E. Goldberg, J.H. Holland, C.L. Hwang), в совокупности с методами разработки и проектирования программного обеспечения, которые позволят принимать эффективные управленческие решения на основе адекватной информации о деятельности вуза.

Объект исследования - процесс оценивания образовательной и научно-исследовательской деятельности вуза.

Предмет исследования - математическое и программное обеспечение независимой системы оценивания деятельности вуза.

Целью исследования является разработка математического и программного обеспечения независимой системы оценивания деятельности вуза, позволяющего получить адекватную, всестороннюю информацию для поддержки принятия стратегических и тактических решений в вузе.

Гипотеза исследования - процесс поддержки принятия управленческих решений в вузе будет более эффективным, если использовать разработанное математическое и программное обеспечение независимой системы оценивания деятельности вуза.

Задачи исследования. Для достижения поставленной цели необходимо решить следующие задачи:

1. Разработка критериальной модели оценки деятельности вуза.

2. Разработка метода формализации информации о деятельности вуза.

3. Разработка математической модели предпочтений лица, принимающего решения (ЛПР -менеджер по качеству) по комплексной оценке деятельности вуза.

4. Разработка методики определения компетенции экспертов и их отбора.

5. Разработка алгоритмов обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов.

6. Разработка базы данных и программного обеспечения для независимой системы оценивания деятельности вуза.

Методы исследования. В работе использованы методы теории принятия решений, методы векторной оптимизации, методы теории измерений, методы обработки экспертной информации, методы оценки компетенции и компетентности экспертов, методы оценки согласованности мнений экспертов, методы дискретной математики, методы глобальной оптимизации, методы математической статистики, методы планирования эксперимента, методы функционального моделирования, методы разработки программного обеспечения, баз данных. На защиту выносятся:

1. Критериальная модель оценки деятельности вуза.

2. Метод формализации информации о деятельности вуза.

3. Математическая модель предпочтений ЛПР по комплексной оценке деятельности вуза.

4. Модели определения компетенции экспертов и алгоритм их отбора для независимой оценки деятельности вуза.

5. Алгоритмы обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов.

6. Программное обеспечение и база данных для независимой системы оценивания деятельности вуза.

Достоверность полученных результатов. Достоверность разработанных в рамках диссертационного исследования моделей, метода и алгоритмов обеспечивается использованием методов планирования эксперимента и математической статистики для оценивания статистической достоверность результатов. Результаты расчетов разработанных алгоритмов проверяются в сравнение с результатами расчетов алгоритмов других авторов. Разработанная критериальная модель основан на многократно апробированной модели конкурса Минобрнауки России «Системы качеств подготовки выпускников образовательных учреждений профессионального образования» и моделя аккредитации и рейтингования вузов в России и за рубежом. Достоверность экспериментальны данных, полученных в рамках экспертиз деятельности вузов, обеспечивалась применение?, апробированных методов определения качества эксперта, повторяемостью результатов. Научная новизна результатов диссертационной работы состоит в следующем:

1. Разработана критериальная модель оценки деятельности вуза, которая в отличие о существующих моделей разработана на основе критериальной модели конкурса Минобрнаук России «Системы качества подготовки выпускников образовательных учреждени профессионального образования» и программ создания и развития НИУ, учитывающ; российский и международный опыт аккредитации и составления рейтинга вузов.

2. Впервые разработан метод формализации информации о деятельности вуза на основ системного подхода к управлению, в виде унифицированной информации - «подход результат», позволяющий дать системное представление о деятельности вуза, как дл; руководства вуза, так и для экспертов, осуществляющих оценку деятельности вуза.

3. Впервые разработана математическая модель предпочтений ЛПР по комплексной оценк деятельности вуза, учитывающая индивидуальные и «естественные» предпочтения ЛПР, также концепцию, заложенную в предлагаемую критериальную модель и метод формализацш информации о деятельности вуза - сбалансированность подходов и результатов.

4. Разработаны модели определения компетенции экспертов и алгоритм их отбора для независимой оценки деятельности вуза, учитывающие достоинства и недостатки существующих моделей и алгоритмов.

5. Улучшены существующие алгоритмы обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов, за счет использования методов многокритериального принятия решений.

6. Разработано программное обеспечение и база данных, которое в отличие от существующих программных систем, позволяет на основе интернет-технологий удаленно осуществлять ввод, хранение, обработку и визуализацию информации, необходимой для независимой системы оценивания деятельности вуза.

Практическая значимость. Метод описания и критерии оценивания деятельности вуза, модель, формализующая предпочтения ЛПР и алгоритмы обработки экспертных оценок позволяют эффективно принимать управленческие решения на основе анализа компетентных обобщенных оценок, сильных сторон и областей для улучшений деятельности вуза в виде «подход-результат». Предлагаемые модели определения компетенции и алгоритм отбора экспертов позволяют принимать обоснованные решения по включению того или иного эксперта в экспертную группу, учитывая компетенцию эксперта и предпочтения ЛПР. Разработанный программный комплекс позволяет автоматизировать трудоемкие процессы оценивания и поддержки принятия решений для экспертов и ЛПР. Разработанное математическое и программное обеспечение может использоваться Федеральной службой по надзору в сфере образования и науки в процедуре государственной аккредитации вузов, Федеральным агентством по техническому регулированию и метрологии в рамках конкурса на соискание премии Правительства Российской Федерации в области качества, а также для целей общественно-профессиональной аккредитации.

Апробация работы. Материалы диссертационной работы докладывались и обсуждались на:

- Международном конгрессе: «Роль бизнеса в трансформации российского общества», Москва, 2010.

- Международных конференциях: «Системный анализ и информационные технологии», Киев, 2008; «Кибернетика и высокие технологии XXI века», Воронеж, 2008; «Разработка и реализация системы управления качеством подготовки специалистов на основе компетентностного подхода: теория и практика», Донецк, 2009; «Международные стандарты, аккредитация и сертификация технического образования и инженерной профессии», Москва, 2010.

- Всероссийских конференциях: «Повышение качества высшего профессионального образования», Санкт-Петербург, 2007; «Управление образовательным процессом в современном вузе», Красноярск, 2007; «Технологии Microsoft в теории и практике программирования», Москва, 2008; «Технологии Microsoft в теории и практике программирования», Москва, 2009; «Менеджмент качества в образовании», Санкт-Петербург, 2009; «Технологии Microsoft в теории и практике программирования», Москва, 2010.

- Региональной конференции: «Системы качества в учреждениях высшего и среднего профессионального образования», Екатеринбург, 2009- Межвузовской конференции: «Современные проблемы менеджмента», Санкт-Петербург, 2010.

- Внутривузовских конференциях: «63-е дни науки студентов МИСиС», Москва, 2008; «64-е дни науки студентов МИСиС», Москва, 2009; «65-е дни науки студентов МИСиС», Москва, 2010.

Внедрение результатов. Результаты диссертационной работы используются в Уральском федеральном университете (УрФУ), Национальном исследовательском Томском политехническом университете (ТПУ), Рязанском государственном радиотехническом университете (РГРТУ), Московском государственном университете природообустройства (МГУП), что подтверждается актами о внедрении. Разработанные модели, алгоритмы и модули программного обеспечения используются техническим секретариатом конкурса Минобрнауки России «Системы качества подготовки выпускников образовательных учреждений профессионального образования», что подтверждается соответствующим актом. Отдельные результаты исследования получены при выполнении работ по следующим научным программам:

1. Аналитическая ведомственная целевая программа Федерального агентства по образованию «Развитие научного потенциала высшей школы (2006-2008 годы)». Проект «Разработка

организационного, методического и математического обеспечения независимой системы оценки и мониторинга качества образования», 2006-2008 гг.

2. Программа создания и развития федерального государственного образовательного учреждения высшего профессионального образования "Национальный исследовательский технологический университет "МИСиС" на 2009 - 2017 годы. Проект «Разработка информационной модели системы принятия решений и модели управления образовательным учреждением высшего профессионального образования НИТУ», 2009 г.

3. Федеральная целевая программа развития образования на 2006-2010 годы. Проект «Совершенствование механизмов оценки качества образовательной и научной деятельности научных организаций и учреждений профессионального образования для обеспечения отрасли высококвалифицированными и востребованными кадрами», 2010 г.

Публикации. По теме диссертационного исследования опубликовано 23 печатные работы, в том числе 6 в изданиях, рекомендованных ВАК РФ для публикации основных результатов диссертационных исследований.

Структура и объем диссертационной работы. Диссертационная работа состоит из введения, 4 глав, выводов по каждой главе, основных результатов, списка используемой литературы и приложений.

Диссертация изложена на 204 страницах основного текста, содержит 45 рисунков, 26 таблиц, 49 формул, 14 приложений. Список используемой литературы содержит 155 наименований.

СОДЕРЖАНИЕ РАБОТЫ Во введении обоснована актуальность диссертационного исследования, поставлены цель и задачи исследования, сформулированы основные положения, выносимые на защиту, раскрыта научная новизна и практическая значимость работы.

В первой главе анализируется состояние проблемы принятия управленческих решений в вузе в аспекте информационной подготовки управленческого решения. Данная проблема разделена на составные части в виде следующих системообразующих подпроблем:

1. Критериальное описание деятельности вуза.

2. Формализация информации о деятельности вуза.

3. Формализация информации о предпочтениях ЛПР по комплексной оценке деятельности вуза.

4. Определение компетенции экспертов и их отбор.

5. Обработка индивидуальных оценок, вычисление компетентности и получение групповых оценок экспертов.

6. Автоматизация процессов оценивания, позволяющая осуществлять ввод, хранение, обработку и визуализацию информации, необходимой для независимой системы оценивания деятельности вуза.

Анализ предшествующих работ, связанных с решением данных подпроблем, показал:

1. Существующие критериальные модели построены без учета российского и международного опыта аккредитации и составления рейтинга вузов, программ создания и развития НИУ, а также имеют три уровня иерархии, что существенно затрудняет работу экспертов.

2. В существующих моделях оценивания деятельности вузов информация о вузе представляет собой «линейный» текст (отчет), структурированный только по критериям моделей. Обилие собираемой вузом информации с явными и неявными связями делает существующую технологию разработки и сопровождения отчета для оценивания деятельности вуза чрезвычайно трудоемким и неэффективным процессом.

3. В существующих моделях вычисления общей оценки вуза в рамках аккредитации вузов, определения их рейтинга, определения уровня совершенства задача разработки функции предпочтений по комплексной оценке вуза подменяется выбором наиболее популярной линейной свертки («среднее по больнице»), которая дает неадекватную комплексную оценку вуза, имеющего крайние показатели по критериям. Таким образом, большую важность при построении независимой системы оценивания вуза приобретает вопрос получения информации о предпочтениях ЛПР и построения обоснованной математической модели комплексной оценки деятельности вуза.

4. Существующие подходы к определению компетенции экспертов для независимого оценивания деятельности вуза в рамках проведения конкурса Минобрнауки России «Системы качества подготовки выпускников образовательных учреждений профессионального образования», Премии Правительства РФ в области качества и др. основаны на документационном методе. Такой подход является несколько ограниченным, поскольку не учитывает такие составляющие компетенции эксперта, как нонконформизм, коллективизм и др. Совсем необязательно, что эксперт, удовлетворяющий документационным требованиям, будет востребован в качестве независимого эксперта вузами. Важно отметить, что процесс формирования экспертных групп ни в одной из указанных моделей не формализован.

5. В существующих моделях независимо от количества экспертов вузу по критерию выставляется одна общая оценка на консенсусном совещании на основе индивидуальных оценок экспертов, участвующих в экспертизе. Декларируется, что общая оценка выставляется при полном согласии с каждой оценкой всех без исключения экспертов комиссии. Такой подход не свободен от недостатков, поскольку процесс определения общей оценки не формализован: при определении общей оценки по критерию на основе индивидуальных оценок экспертов не вычисляется и не учитывается компетентность эксперта; теряется информация об индивидуальных оценках экспертов; эксперты подвержены влиянию авторитета. Важно отметить, что проведение консенсусного совещания не всегда возможно, поскольку внешние эксперты территориально распределены.

6. Существующие программные комплексы для ввода, хранения, обработки и визуализации информации, необходимой для оценки деятельности вуза разработаны как ОевкЬр-приложения. Этот подход не свободен от недостатков; распространение новых версий ОезкШр-приложения довольно трудоемкий процесс; эксперт, осуществляющий оценку деятельности вуза, не имеет возможности работать с системой удаленно.

Во второй главе описана разработанная критериальная модель оценки деятельности вуза м. Рисунок 1). _ _

||^итерий|1||Кцитерии'.3!|(Критерий ■ [Критерий 7; ■ Критерий 8 ■ Критерий 11

Подходы Результаты

Рисунок 1 - Предлагаемая критериальная модель оценки деятельности вуза

Предлагаемая критериальная модель имеет иерархическую структуру. Критерии разбиты на е группы:

- критерии, описывающие подходы вуза по обеспечению требуемого качества подготовки шускников и научной продукции;

- критерии, характеризующие достигнутые вузом результаты.

Первая группа критериев оценивает «подходы» вуза к обеспечению качества его деятельности, ресурсный потенциал вуза, его поддержку и совершенствование со стороны вуза. Где «подходы» это формы или методы работы для достижения целей в рамках деятельности, которую характеризует критерий.

Вторая группа критериев «результаты» показывает, насколько результативно используется потенциал вуза в образовательной, научной и других областях деятельности. Где «результаты» это показатели, которыми вуз оценивает результаты своей деятельности, в рамках соответствующего критерия.

Каждый критерий оценивается по ряду аспектов в дополненной шкале интервалов Премии Правительства РФ в области качества.

Предлагается в качестве эффективного инструмента управления использовать метод самооценки по разработанным критериям (см. Рисунок 2).

Рисунок 2 - Предлагаемая схема самооценки деятельности вуза

Этапы проведения самооценки:

1. Ежегодно вуз проводит самооценку своей деятельности, и направляет отчет независимым экспертам (заочная независимая экспертиза). Эксперты подготавливают обратные отчеты, где отмечают сильные стороны и области для совершенствования деятельности вуза, выставляют оценки.

2. Раз в 5 лет с учетом ежегодных самооценок и на их базе вуз направляет отчет (с динамикой по годам) на экспертизу (очная независимая экспертиза). В этом случае заключение экспертов составляется после анализа отчетов за пять лет и обследования вуза на месте.

Описаны разработанные модели процессов самооценки деятельности вуза, используя нотации ГОЕРО и ГОЕРЗ.

Также во второй главе описан разработанный метод формализации информации о деятельности вуза, в основу которого положен системный подход к управлению на основе унифицированной информации, когда решения принимают, ориентируясь не только на те или иные достигнутые количественные или качественные показатели - результаты, но также учитывая анализ применяемых вузом подходов для их достижения.

Для хранения унифицированной информации о деятельности вуза по разработанным критериям предлагается использовать концепцию единого источника. Согласно концепции единого

источника вся необходимая информация храниться в виде единой совокупности без дублирований. Эта совокупность образует базу данных. В качестве логического формата базы данных используется XML. Таким образом, фрагментами базы данных являются сущности «подход» и «результат» с набором атрибутов, для которых могут быть указанны ссылки см. рисунок 3.

Рисунок 3 - Предлагаемая логическая модель представления унифицированной информации о деятельности вуза в виде «подход-результат»

Предлагаемый метод формализации информации о деятельности вуза позволяет дать системное представление о деятельности вуза, как для руководства вуза, так и для экспертов, поскольку в нем большое значение уделяется взаимосвязям между подходами и результатами. Что обеспечивает единство в оценке как средств и методов достижения цели, так и результатов.

Проанализированы существующие подходы к построению математической модели предпочтений ЛПР по комплексной оценке деятельности вуза, которая необходима для решения задачи ПР - определение степени достижения системной цели ЛПР, на основе многокритериальных оценок вуза, полученных в разные периоды времени. Такая оценка во времени показывает тренд достижения цели - всестороннее совершенство деятельности вуза.

Существующие подходы к построению математической модели предпочтений ЛПР основаны на том, что ЛПР в диалоге выбирает постулируемый принцип оптимальности, отражающий систему его предпочтений. Однако ЛПР может не владеть инструментарием постулируемых принципов оптимальности. Многие из принципов требуют от ЛПР дополнительной информации, которую ему обычно трудно предоставить априори. Отмеченные факторы определяют целесообразность построения гибкой математической модели предпочтений ЛПР, учитывающей:

1. «Естественные» предпочтения ЛПР - многокритериальная оценка вуза должна быть как можно ближе к максимально возможной оценке и как можно дальше от минимально возможной.

2. Концепцию, заложенную в разработанную критериальную модель, а именно сбалансированность подходов и результатов, при которой оценки по критериям должны иметь равномерное распределение. Концепция основана на проведенном в рамках данной диссертационной работы исследовании оценок участников конкурса Минобрнауки России «Системы качества подготовки выпускников образовательных учреждений профессионального образования» (далее - Конкурс) за 10 лет. Исследование показало, что распределение оценок лауреатов Конкурса подчиняется равномерному закону распределения, а для остальных участников Конкурса такого распределения нет. Гипотеза о равномерности распределения оценок по критериям Конкурса проверялась, используя критерий Пирсона

(уровень значимости а = 0.05). На рисунке 4 представлены распределения средних оценок по критериям участников Конкурса, где N - число вузов.

а) Вузы лауреаты Конкурса

б) бузы не лауреаты Конкурса

J738 29.04 30.42

432 22,01 I ■ ■ |

11 И 1111

Кр Кр. М2 Кр. >*2 Кр. N14 Кр. NtS Кр. N>8 Кр. N>7 Кр. та Кр, №9 Критерий

■■ Условны« обозначения.........

Кр. N01 — Роль руководства в организации рвбот по обеспечению качества подготовки вькгускниизв.

Кр. №2 - Политика и стратегия в области качества подготовки выпускников.

Кр. Ne3 - Использование потенциала преподавателей, сотрудников и обучающихся.

Кр. №4 - Рациональное использование ресурсов (материальных, финансхзвык и людских).

Кр. N«5 — Управление процессами обеспечении качества подготовки выпускников.

Кр, N«6 - Удоапетворенноеть работодателей качеством подготовки выпусогивов.

Кр N«7 - Удовлетворенность преподавателей, сотрудников и обучающийся работпЛ и учебой

Кр. N»8 - Впияние сйраэоватвльного учрездания на общество.

Кр. №9 - Результаты, которых добилось образовательное учреждение е отношении запланированных цепей

Кр. Nil Кр M2Kp.Nt3 Кр. NM Ко WS Ко. №6 Кр.№7 Кр. №8 Kp.N>9 Критерий

подготовки выпускников.

Рисунок 4 - Гистограмма распределения средних оценок по критериям для участников Конкурса

3. Индивидуальные предпочтения ЛПР по комплексной оценке вуза.

Для формализации «естественных» предпочтений ЛПР предлагается использовать метод TOPSIS (C.L. Hwang), в диссертационной работе предложено расширить его за счет введения различных норм.

Для формализации концепции предлагается использовать дисперсию. Поскольку аналитическое выражение концепции должно принимать значение равное нулю в случае для одинаковых оценок по критериям, а в случае максимального отличия оценок по критериям принимать максимальное значение. Одной из функций, удовлетворяющей этим требованиям, является дисперсия. Индивидуальные предпочтения ЛПР, учитываются за счет параметризации математической модели предпочтений ЛПР.

Структура предлагаемой математической модели, учитывающей описанные выше свойства имеет следующий вид (1).

DJ'(a„) Dm°*-D(aJ

/(я,) = (1-Я).„. ,+А-

(1)

где ар = - многокритериальная оценка вуза по результатам р -ой экспертизы;

- оценка вуза по результатам р -ой экспертизы по / -му критерию, /' = 1.....1, 7 = 12;

£>'"" (ар) = — " ^ ^ - Расстояние многокритериальных оценок вуза по результатам р -

ой экспертизы от антиидеальной точки;

Вы(ар) = - •>)*' | ' - расстояние многокритериальных оценок вуза по результатам р •

ой экспертизы от идеальной точки;

-рг)

й(а ) = --дисперсия многокритериальных оценок вуза по результатам р -ой

экспертизы;

£>"'и - максимальное значение дисперсии равное 2500 при _ = ГО, / 6 10 = {/,е {1,..., 1),} <= {1,...,, /у * /Л, у, 6 {1,..., \ у}.

{ю0,;е{1,...,/}\1(, к,, кг - показатель нормы, кх, кг е {1,2,3,4,со}; у, - важность 1-го критерия;

- идеальная точка, максимально возможное значение оценки по /-му критерию, = 100;

антиидеальная точка, минимально возможное значение оценки по / -му критерию, = 0;

1

г, =--среднее значение оценок по критериям по результатам р -ой экспертизы;

Л - параметр модели, X е [0,1].

Параметры Л, А, и кг задают различные варианты модели (1) и таким образом, обеспечивают гибкость математической модели (I), позволяют учесть индивидуальные предпочтения ЛПР по комплексной оценке деятельности вуза.

В рамках диссертационного исследования были определены оценки численных значений параметров Я, и кг математической модели (1). Для этого был спланирован эксперимент -построен Э-оптимальный сверхнасыщенный план. Полученный план (число точек равно 48) был разбит на две равные группы точек: первая группа использовалась для оценки параметров и объяснительного свойства модели (1); вторая группа использовалась для оценки предсказательного свойства модели (1).

Оценка «отклика» для модели (1) осуществлялась с привлечением представителей (менеджеров по качеству) всех категорий вузов (НИТУ «МИСиС», ТПУ, УрФУ, РГРТУ, МГУП). Была проведена проверка выполнения предпосылок регрессионного анализа. Оценка параметров математической модели (1) осуществлялась, используя МНК. Получены следующие оценки параметров А = 0.117, = 2 и кг-3. Построены доверительные области для оценок параметров математической модели (1). Гипотеза об адекватности модели (1) не была отвергнута для каждой из групп точек в построенном плане эксперимента. Коэффициент детерминации, рассчитанный на основе первой группы точек плана (объяснительное свойство модели) равен 0.86, для второй группы точек плана (предсказательное свойство модели) равен 0.83.

Определена мера чувствительности математической модели (1) предпочтений ЛПР по комплексной оценке деятельности вуза.

Третья глава посвящена разработке моделей оценки компетенции экспертов и алгоритма формирования экспертных групп для независимой оценки деятельности вуза. Рассмотрены существующие модели оценки компетенции, в которых учитываются отдельные личностные качества, знания, умения и навыки, которыми должны обладать аудиторы. Важно отметить, что деятельность независимого эксперта шире, чем аудитора и не сводится к поиску соответствия критериям аудита. Эксперт осуществляет всесторонний анализ, оценку не только процессов, как это принято при аудите, но и результатов деятельности вуза. Таким образом, разработана модель компетенций эксперта, осуществляющего экспертизу деятельности вуза с учетом сильных и слабых сторон существующих моделей.

В предлагаемой модели оценки деятельности вуза (см. Рисунок 2) эксперт осуществляет два вида деятельности: экспертиза отчета по самооценке, обследование вуза на месте. Исходя из этого, выделено две группы компетенций эксперта общие и специальные (см. Рисунок 5).

В группу общих компетенций входят: социально-личностные, инструментальные, управленческие, предметные. В группу специальных компетенций входят социально-личностные и инструментальные. Каждая из компетенций имеет составляющие характеризующие её с точки зрения двух видов деятельности эксперта, обозначенных выше.

Оценка важности компетенций эксперта осуществлялась с привлечением представителей (менеджеров по качеству) всех категорий вузов (НИТУ «МИСиС», ТПУ, УрФУ, РГРТУ, МГУП), эти же эксперты принимали участие в оценке важности разработанных в диссертационной работе

критериев (см. Рисунок 1, Рисунок 5, Рисунок 6, Таблица 1), а также в количественной оценке параметров и адекватности структур разработанных в диссертационной работе математических моделей (2)-(16). Оценивание осуществлялось в согласованных шкалах, используя метод Дельфи. В общей сложности для оценки важности критериев было получено и обработано 966 индивидуальных оценок ЛПР, для оценки значений параметров 649 оценок, а для проверки адекватности моделей 589 оценок ЛПР, с учетом обратной связи, основанной на проверке согласованности и воспроизводимости.

1 оргзнизоеуалу

Умение проверить постоев с нос тъ данных представленных ь оме№ по самооценке, а том числе, используя математи1

а

«игги »узе. с но очппидиую »п самооценке

Умение псдгвевдмгь д ос точное 1ь и приемлемость деяхгиьносги вуза и результатов этой нчете г» самооценке дли подкрепления выводов экспертиза

Ж

Умение оавкить факторы. влияющие из достоверна выводов и »ключений по результатам желе цт мы отчет по самооценке /т

Умгиио выделить сильные и слпбып стороны деятельности вуза, и еформупирсвагь области д£ улучшения Я

■ /'"Ч,.....

/ ;у! ® Л*' \

и / /

1&1

Умении использовать рабочие до «.уметы Аеягепьност вуза и реаулыагоа -лой ДВЯТвЛЬИОСТИ При[ обследовании ¿4ЭД

Умение собирать данные посредством

зульт»1И8но1о опроса инкарвыоированик, наблюдений и анализ-* докумвигоа, записей и данных ^

Уминиа подтвердить достаточность и приемхтмпсть сендвмпьств обследования вум на иеов а ли подкрепления пыоодоа л&г^лгтмы и га кл имении /Я

достов^рносгь данных представленным в ответе ги самоицение, посредство» обследованиявуза и» мест«

Умение оценить факторы, влияющие достоверность выводов

результатам обследомнии ну»

приоритеты и вы, г.ущл.стпвниио момсм обслйлоплиии вум XI

Рисунок 5 - Предлагаемая модель компетенций эксперта и схема расчета интегрированной оценки

компетенции эксперта

Проведен анализ существующих методов, позволяющих с тех или иных позиций оценивать эксперта: документационный метод, самооценка, взаимооценка, положительная и отрицательная обратная связь. Показаны достоинства и недостатки этих методов применительно к оценке компетенции эксперта, осуществляющего экспертизу деятельности вуза. Для нивелирования их слабых сторон предлагается использовать сочетание этих методов.

Сущность используемого метода самооценки (взаимооценки) состоит в том, что эксперту предлагается оценить уровень составляющих собственных компетенций и/или компетенций других экспертов. Оценка компетенций осуществляется в разработанной шкале интервалов. Уровень отдельной компетенции эксперта по результатам самооценки (взаимооценки) определяется как значение некоторой свертки.

Предложено для определения уровня отдельной компетенции эксперта в случае самооценки использовать в качестве свертки принцип оптимальности «идеальная точка» (Евклидова норма) с учетом важности составляющих компетенций (2).

^ = = 1.....0,д = 1,...,д, (2)

где - уровень д -ой компетенции для с! -го эксперта по результатам самооценки;

V/ - относительный коэффициент важности г -ой составляющей д -ой компетенции;

М- максимальное значение g-ой составляющей д-ой компетенции, М!Ч = 100, g = l,...,nl|,

9 = 1,....е;

пч - число составляющих ц -ой компетенции;

ла- оценка уровня д -ой компетенции по g-ой составляющей (1 -м экспертом;

£> - число экспертов в реестре;

<2 - число компетенций эксперта, 2 = 6. Проведены исследования, показывающие, что такая свертка более чувствительна к оценкам составляющих компетенций эксперта имеющего крайние оценки, чем линейная свертка, проверена адекватность такой свертки (2) в случае самооценки в равноотстоящих точках для каждого узла дерева компетенций (см. Рисунок 5), величина коэффициента детерминации изменяется от 0.78 до 0.94 в зависимости от узла дерева.

Предложено для определения обобщенной оценки составляющих компетенции эксперта в случае взаимооценки, использовать разработанный коэффициент осведомленности (3), имеющий субъективную и объективную составляющие.

= ¿,и = \,...,й, 8=1.....»,,9=1.....е, (3)

где - степень осведомленности и-м экспертом g-oií составляющей <7-ой компетенции с/ -го

эксперта;

К* - объективная осведомленность и-м экспертом об уровне компетенции с! -го эксперта; К'/^и ~ субъективная осведомленность и-м экспертом об уровне £-ой составляющей 9-ой компетенции с! -го эксперта;

, - относительные коэффициенты важности объективной и субъективной составляющей. Получены оценки коэффициентов важности объективной и субъективной составляющей = 0.74, = 0.26. Проверена адекватность модели (3) в равноотстоящих точках II2 = 0.93. Объективная осведомленность эксперта об уровне компетенций другого эксперта определяется по формуле (4).

гДе ^и ~ число экспертиз, проведенных и- ми й -м экспертом вместе.

Субъективная осведомленность и-м экспертом об уровне £-ой составляющей 17-ой

компетенции -го эксперта определяется как нормализованная оценка для составляющих компетенций, измеренная в разработанной шкале интервалов.

Обобщенная оценка уровня составляющей компетенций эксперта по результатам взаимооценки вычисляется по следующей формуле (5).

С-1

га.

:2^«¡иЛет»' ^ = £ = 9 = 1,.-.О, (5)

где - уровень q -ой компетенции по ё -ой составляющей <1 -го эксперта;

аФ,» ~ оценка и -м экспертом уровня § -ой составляющей 9 -ой компетенции с! -го эксперта.

Проверена адекватность модели (5) в равноотстоящих точках И.2 = 0.77.

Уровень 9 -ой компетенции для -го эксперта по результатам взаимооценки У^ определяется как значение свертки по принципу «идеальной точки» (Евклидова норма) с учетом важности составляющих компетенции (2), проверена адекватность такой свертки для случая вазимооценки в равноотстоящих точках, установлено, что она не отличается от случая самооценки.

Представлено определение уровня составляющих компетенций эксперта с использованием документационного метода. Проанализированы различные модели критериев, допускающих документальное подтверждение. Сформировано множество критериев, учитывающих сильные и слабые стороны существующих критериальных моделей. Разработанная критериальная модель представлена на рисунке 6.

Критериям модели определения уровня компетенций эксперта с использованием документационного метода присвоены соответствующие веса для каждой 9-ой компетенции (см. Таблица 1), на основе показателей критериев последовательно (снизу-вверх) с нормализацией рассчитывается результирующая оценка уровня 9 -ой компетенции для с1 -го эксперта по результатам документационного метода Ос^, как значение свертки по принципу «идеальной точки» (Евклидова норма) (2). Проверена адекватность такой свертки для каждого узла дерева критериев (см. Рисунок 6)

13

в равноотстоящих точках, величина коэффициента детерминации изменяется от 0.79 до 0.96 в зависимости от узла дерева критериев документационного метода.

I Компетенция </

Рисунок 6 - Предлагаемая критериальная модель определения уровня компетенций эксперта с использованием документационного метода

Таблица 1 - Важность критериев модели определения уровня компетенций эксперта

Компетенция q Коэффициенты важности критериев

Щ (?)

Общие компетенции

Социально-личностные 0,11 0,12 0,19 0,18 0,21 0,19

Инструментальные 0,20 0,18 0,11 0,17 0,17 0,17

Управленческие 0,12 0,14 0,06 0,23 0,34 0,11

Предметные 0,15 0,17 0,08 0,21 0,26 0,13

Специальные компетенции

Социально-личностные 0,07 0,09 0,23 0,15 0,25 0,21

Инструментальные 0,13 0,15 0,10 0,25 0,22 0,15

Сущность используемого метода обратной связи состоит в том, что инициаторы экспертизы (руководство вуза) осуществляют оценку независимых экспертов на предмет результативности, проведенной экспертизы. Причиной низкой результативности может быть принятие на основе результатов независимой экспертизы неэффективных управленческих решений со стороны руководства вузов. Оценка компетенций осуществляется в разработанной шкале интервалов. Уровень q -ой компетенции для й? -го эксперта по результатам обратной связи О^ определяется, как значение свертки по принципу «идеальной точки» (Евклидова норма) с учетом важности составляющих компетенции (2), проверена адекватность такой свертки для случая обратной связи в равноотстоящих точках, установлено, что она не отличается от случая самооценки.

Сформирован реестр экспертов численностью 65 человек из специалистов ведущих вузов и представителей бизнес-сообщества, имеющих опыт экспертизы в рамках Конкурса.

В таблице 2 представлены коэффициенты парной корреляции (полужирным шрифтом выделены значимые коэффициенты при а - 0.05) между коэффициентами компетенции, рассчитанными на основе: документационного метода, самооценки, взаимооценки, обратной связи.

Таблица 2 - Коэффициенты парной корреляции коэффициентов компетенции

гч Самооценка Взаимооценка Документационный метод Обратная связь

Самооценка 1,00 0,43 0,64 0,47

Взаимооценка 0,43 1,00 0,43 0,82

Документационный метод 0,64 0,43 1,00 0,48

Обратная связь 0,47 0,82 0,48 1,00

Разработана математическая модель определения компетенции экспертов и формирования экспертной группы, которая имеет следующий содержательный вид. Имеется множество независимых экспертов (Э = {3d}ljsl, где D - число экспертов в реестре), каждый из которых описывается набором интегрированных оценок компетенций эксперта (3d = Интегрированная оценка компетенции эксперта (UJq)- это взвешенная свертка («принцип идеальной точки») оценок уровня компетенции эксперта по результатам самооценки (Säq), взаимооценки (Vdl)), документационного метода (Deи обратной связи (Oilq). Проверена адекватность такой свертки в

равноотстоящих точках R2 = 0.91. Схема расчета интегрированной оценки компетенции эксперта представлена на рисунке 5.

Для определения коэффициента компетенции эксперта Kd предлагается использовать комбинацию принципов оптимальности, а именно принципа «главного критерия» и принципа «идеальной точки». Согласно принципу «главного критерия» все компетенции разбиваются на две группы. На основе первой группы компетенций эксперта конструируется функция определения коэффициента компетенции эксперта (6), а на основе второй группы компетенций - конструируется ограничение (7). Для формирования функции и ограничения используется принцип «идеальной 10чки». Проверена адекватность такой свертки в равноотстоящих точках R2=0.82. В рамках

недрения было получено и использовалось следующее значение параметра модели (7) Кг' = 0.9.

(6)

D' = :: * KS'j (7)

де U' = min U, - идеальная точка;

' de{ 1.....D> '

Kgr - граничное значение коэффициента компетенции для критериев Q"; wq - относительный коэффициент важности q -ой компетенции;

Q' - множество общих компетенций, в случае заочной экспертизы, иначе множество специальных компетенций;

Q" — множество специальных компетенций, в случае заочной экспертизы, иначе множество общих компетенций.

Требуется из множества независимых экспертов выделить группу экспертов заданного размера w<|ß*|), обладающих максимальной компетенцией так, чтобы компетенции в группе не сильно

тличались и стоимость участия в экспертизе выделенных экспертов не превышала бюджета (Ь).

Для реализации задачи предложена целевая функция (8) как параметрическая свертка среднего начения и среднего квадратического отклонения коэффициентов компетенции экспертов {Kd). исло экспертов т и бюджет Ъ образуют ограничения (9).

g(3) = (1 - Л) ^-+ Л --> min

т У т -1

где э = (э,( - группа экспертов;

Э" = {3,,} . - множество независимых экспертов; il, если d - ый эксперт участвует в экспертизе

э„= п ;

[и в противном случае

К = —--среднее значение компетенции экспертов;

т

X - параметр модели, X е [0,1].

5>

dsD"

de D'

(9)

</е/>

где СА - стоимость участия с1 -го эксперта в экспертизе V; у - вид экспертизы (1 - заочная, 2 - очная).

Сформулированная задача (8), (9) является задачей нелинейного программирования с булевыми переменными с ограничениями типа равенства и неравенства, для решения которой разработан алгоритм, в основу которого положен подход эволюционных вычислений - генетические алгоритмы. Генетические алгоритмы позволяют получить сравнительно быстро (за конечное число шагов) «хорошее» решение в задачах глобальной оптимизации. Предлагаемый алгоритм состоит из следующих основных операций: генерация начальной популяции; выбор родительских пар; применение операторов кроссинговера; вычисление функции приспособленности (8); селекция; проверка условия вырождения популяции, если оно выполнено применить оператор инверсии; проверка условия останова, если оно не выполнено перейти в выбору родительских пар. Формальное описание алгоритма решения поставленной задачи (8), (9).

1. Задать Т - число итераций, т, Ь, е, Е - размер популяции, Я = 0.

2. / = 0. Сгенерировать (равномерное распределение) начальную популяцию Р' = {р[,...,р'Е}, где р\ = (р'ы^"} - ~ е-ая хромосома популяции, е - \,Е, удовлетворяющая (9). Вычислить

\>(р') = (\>Лр',),\Лр')) = \ — , 5' - число применений операторов

Iх. < )

Г1 П «г с

кроссинговера для е -ой хромосомы на итерации (,при ( = 0, у(р[) = 1 —], 5, 1 =0.

3. Вычислить Р' ={/,',/;=£(/>;). е = ГЁ по (8).

4. Провести сортировку Р', р'1 = {// : /е' < /Д,, е = \,Е-\). Найти квартили /¡¡, : р(/,' < /у) = — и

3 —

/>/ : />(/' < /'/) = ~. е = \,Е. Выбрать случайным образом (равномерное распределение) /, а 4

р'.х : и: 2 е(р> < /¿], р.Уг ■■ и\А * л'к и% < ^) * /п.«=й «з ?. найти

р'. = а^(гшпЕ>И(р' р[)), р'. =ъщ(ттОИ{р', ,р',)), р'. = а^(тах(V ,р',)),

'у, • А 'у, > У у ' У

р'. = а^тах £>,,(// ,р',)), где £>,, - расстояние Хэмминга. •у, ■ У.

5. Для /Л , р[- , р'. , р[- выбрать случайным образом с вероятностью х, е '

X К К X

оператор С,, или С2 с вероятностью v2(^^), дг, е В случае выбора одноточечного

операторакроссинговера С,(р'^.р,), где лс, е ], е {, сгенерировать л

1., . Ь-| . [р'Х1,, если с/ < г

(равномерное распределение (1, 0 )), вычислить р' , где р^ = ^ 1

р'^,,если(1 <г с

, = ' +1. В случае выбора р'хЛ,если (1 ¿г ' '

<'=<'' +1. и Р^^М, где двухточечного оператора кроссинговера С2{р'х ,р'х1), где х1 е \ хг е

сгенерировать/-, и г, (равномерное распределение (1,|о'|)), пусть г, >г2, вычислить рХ: = (р'х^°}, р'^.если <1<г,

где рх

р'Х!„, если г, £ с/ 5 г2, = +1,иЛ',= (^, где

еС7ш ^ <1 ■если г\ — ^ — , р',еслиг2>с!

р'Х11, если г, > с/ ^ = +1.

6. Проверить для р'Х1 и где дг, е ], х2 е %у,'еу,<еу,}выполнение (9). Добавить в Р' = {/?,',...,/>£}, д новых хромосом и р^ где х, е }, х2 е -удовлетворяющих (9). Вычислить Г' = {/,',..

7. Провести сортировку У7', /•" = {/,': /,' < /Д.,, е = 1, £+-1}. Провести «элитный отбор» взять первые £ особей.

8. Проверить выполнение условий и ?+1<Т.Если условия не выполнены, то перейти к п. 10.

9. Задать £. Выбрать случайным образом (равномерное распределение) р'е, р'^,..., р'ч из Р'\{р\], где /,' = g(p'í.). Цпя р' х} =(е1,е2,...,е1) применить оператор «инверсии» Я{р'Хг), а именно

сгенерировать г, и г2 (равномерное распределение (1,|о"|)), вычислить рх> = где

р'х^,если<1*г1,г2

р'х,а=' р'хл >если ^ = г\ .заменить р'Хъ на р'Хг, х, = (е,,е2.....ед) в Р'\{р[-}, в случае если р'н,

р'хл,еслис1 = г2 х, =(е,,е2.....е^) удовлетворяют (9).

10. / = < + 1.

11. Проверить условие / <Т, условие выполнено перейти к п. 3.

12. Запомнить Я и /Л,такое что $(р[.) = /,', Я = Я + 0.1.

13. Проверить условие Л <1, условие выполнено перейти к п. 2.

14. В случае если решение не найдено перейти к п. 1.

Основным отличием предлагаемого генетического алгоритма от существующих генетических алгоритмов является шаг 3 - «выбор родительской пары». Предлагается при выборе «родительских пар» совместно использовать аутбридинг и инбридинг, причем использование квартилей делает выбор «родительских пар» робастным к распределению хромосом. Проведен вычислительный эксперимент, который показал, что такой подход позволяет более эффективно осуществлять поиск в локальных оптимумах, что фактически приводит к разбиению популяции на отдельные локальные группы, вокруг подозрительных на экстремум сочетаний экспертов со смещением к глобальному

17

оптимуму. В тоже время предлагаемый подход в совокупности с параметризацией (I) операции «инверсии» направлен на предупреждение сходимости алгоритма к уже найденным локальным решениям и позволяет в диалоге с ЭВМ, просматривать новые, неисследованные сочетания.

Параметризация (Я) целевой функции (8) позволяет ЛПР в диалоге с ЭВМ изучать решения, соответствующие различным постановкам задачи, тем самым более ясно формулировать свои требования, сравнивая различные решения.

В рамках внедрения были получены и использовались следующие значения параметров модели (8)-(9): Т = 3000, т = 7, 6, = 25, £ = 0.00001, £ = 150, Я = 0.7, ¿ = 10. Проверена

адекватность функции (8) в равноотстоящих точках Я2 = 0.96.

В четвертой главе решается задача обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов.

Проанализированы существующие подходы к обработке оценок экспертов. Анализ показал, что существующие алгоритмы выделения подгрупп экспертов с согласованными мнениями не позволяют: выделять подгруппы экспертов так, чтобы объем подгруппы не зависел от порядка ей выделения; учитывать диапазон изменения значений коэффициента конкордации для подгрупп экспертов, иначе согласованность одной подгруппы может сильно отличаться от согласованности другой; выделять подгруппы экспертов с учетом согласованности мнений экспертов по многим критериям, что затрудняет оценку и сопоставление согласованности групп экспертов в рамках экспертиз в целом.

Предлагается использовать совместно значения коэффициентов конкордации для оценки согласованности подгрупп экспертов, и стремиться к суммарной максимизации коэффициентов конкордации. При этом обеспечить, чтобы согласованность в подгруппах экспертов не сильно отличалась. Деятельность вуза оценивается каждым экспертом по многим критериям, поэтому целесообразно выделение подгрупп экспертов с согласованными мнениями по всем критериям с учетом их важности. Для формализации описанных выше свойств решения задачи выделения подгрупп экспертов с согласованными мнениями построена целевая функция для одного критерия как свертка среднего значения и среднего квадратического отклонения коэффициентов конкордации (10).

где IVУ = (с,),..., (с,)) - вектор коэффициентов конкордации, полученных для разбиения

исходной группы экспертов на * подгрупп Э(,) =(Э|,...,Э .....Эс)для ;-го критерия,

количество и состав экспертов в подгруппах одинаковый для всех критериев; Щ (су) - коэффициент конкордации, подсчитанный для оценок су экспертов, входящих в у -ю подгруппу для I -го критерия;

Я, - параметр (весовой коэффициент) для / -го критерия.

Тогда для оценки согласованности групп экспертов по множеству критериев построена целевая функция (11) как свертка среднего значения и среднего квадратического отклонения значений целевой функции (10), сконструированной для одного критерия.

где = - векторы коэффициентов конкордации полученные для разбиения исходной

группы экспертов на I подгрупп Э(,) = (Э,,...,Э,...,Э ,,...,

18

(10)

^(0 =

- среднее значение коэффициентов конкордации для / -го критерия;

(И)

5>,/(и7°)

/(^(,>) = —--средневзвешенное значение функций (10);

/

IV, - важность критериев, / = 1.....1, ^и», = 1;

¿=1

Я - параметр (весовой коэффициент).

Задача выделения подгрупп экспертов с согласованными мнениями формализована в виде целевой функции (12).

шах П7ч

где И7,'",, - множество значимых коэффициентов конкордации,

= Шс,):Щсу)^„(с,),у = 1.....Л' = 1...../);

\У.п{су) - теоретическое значение коэффициента конкордации для подгруппы экспертов у.

Необходимо найти решение , которому соответствует , из условия (12). Формальное описание алгоритма решения поставленной задачи (12).

1. Задать р„ш(0 - вероятность ошибки, Я,., / = 1,...,/.

2. Я = 0, /, =1.

3. Полные матрицы рангов Цг^Ц, ¿ = р = \,...,Р, / = 1,...,/ последовательно в разных

сочетаниях делить на групп строк, строк в группе су = 2.....от - 2(/, -1), у = 1,..., г,, если от - 2г, > 1,

>1

то =т-\,т, иначе ^су = ш. Для каждого набора строк вычислить И'/'1' = (^(с,),...,^^)),

1 = 1,...,/ и сравнить ¡У,(с ) с ), если ^.(с^,) > , = 1,., г = 1,...,/, то вычислить

Найти /Г(1К"1') с максимальным значением

5. Проверить условие I, <

условие выполнено перейти к п. 3.

т

7.

6. Найти с максимальным значением Запомнить Я, (, = (1Г,т',...,1Г,и)') и соответствующие матрицы рангов Цг^Ц., с1 = 1,...,с......Цт^Ц, <1 = 1,...,с,, р = \,...,Р, 1 = 1,...,/ с

согласованными мнениями экспертов.

7. Я = Я + 0.1.

8. Проверить условие Я < 1, условие выполнено перейти к п. 3.

9. В случае если решение не найдено перейти к п. 1.

Величину шага изменения параметра Я, Лд задает ЛПР, затем ЛПР изучает полученные решения (12) при Я = {0;ЛД;...;1} и выбирает Я соответствующие его представлению о качестве решения.

В рамках внедрения были получены и использовались следующие значения параметров

модели (10)-(11): рош0) = 0.05, Я, = 0.5, / = 1.....12, Я = 0.7 . Проверена адекватность функций (10) и

(11) коэффициенты детерминации равны соответственно 0.97 и 0.95.

Показано, что существующие алгоритмы определения групповой обобщенной оценки объектов в выделенных подгруппах экспертов (с согласованными мнениями) с учетом их компетентности имеют ряд недостатков, поскольку не позволяют осуществлять анализ групповых обобщенных оценок вуза и компетентности экспертов в рамках экспертиз в целом по многим критериям.

В работе предлагается компетентность эксперта для заданного критерия вычислять, учитывая оценки по всем критериям, для этого разработаны алгоритмы, основанные на итеративной процедуре корректировки критериальных коэффициентов компетентности Кгл, 1 = 1,...,1, с1 = , г = 0,1,2,... - номер итерации, сч - количество экспертов в подгруппе д (д = 1,...,(), полученной из решения задачи (12). На каждой итерации г вычисляется взвешенная групповая оценка :гр1 каждого объекта (многокритериальная оценка вуза) (р = \,...,Р) по всем критериям (;' = 1,...,/). Затем вычисляются специальные поправочные коэффициенты для каждого критерия ДКгл, их величина обратно пропорциональна значению целевой функции, сконструированной на основе принципа оптимальности или комбинации принципов оптимальности. Значение целевой функции зависит от вектора пгл, компонентами которого являются значения ¿,,-нормы я, (г,',определяющей величину отклонения вектора экспертных оценок гЛ = ("л,, >••■>-,«>,,) от вектора средних групповых оценок объектов = (гц,...,гр,.) по /', критерию (/, =1.....1) на г -й итерации (13), (14).

1

= Х^-^Г Л^' (13)

(<Лу) = тахИ,', -'М\> К =00 (14)

После вычисления поправочных коэффициентов с их помощью корректируются критериальные коэффициенты компетентности. Корректировка возможна в аддитивной или в мультипликативной форме. После корректировки проводится нормализация коэффициентов и проверка правила останова. Вычисления прекращаются, когда значения коэффициентов перестают меняться.

В зависимости от выбора корм, способа корректировки критериального коэффициента компетентности и принципа оптимальности (например, «идеальная точка» (15), (16)) или их комбинации порождается соответствующий вариант алгоритма.

)

А»'аЛ) = тах<и< -и )), к = т (16)

'I

Формальное описание алгоритма получения групповых оценок (принцип оптимальности -«идеальная точка» (15), (16)).

1. Задать к, е > 0, е, > 0, к¥, /, =1,...,/, / = 1,...,/.

2.? = 1.

3. г = 0, начальные значения критериальных коэффициентов компетентности: К^ = —, с! = 1.....с ,

с,

; = 1,...,/.

4. г = г + 1.

с,

5. Вычислить средние групповые оценки: :'р1 = ^К^'г^,, р = I.....Р, ; = 1,...,/.

1

6. Вычислить поправочные коэффициенты: Д К'л =---, ¿ = 1,...,с ¡ = 1,...,/.

7. Скорректировать критериальные коэффициенты компетентности: для аддитивного варианта К'л = К^' + ДКгл, с! = I,..., сч, 1 = 1,...,/;

для мультипликативного варианта Кгл = -АК^, с1 = \,...,с^, / = 1,...,/.

20

8. Нормализовать критериальные коэффициенты компетентности: К'л =

9. Проверить выполнение условий останова: тах|/^( -Кгл '| < е,, = 1,...,/. Если условия не выполнены, то перейти к п. 4

10. Запомнить полученные значения критериальных коэффициентов компетентности К^, с! = 1,..., с , / = 1,...,/ и средние групповые оценки ггр,, р = \,...,Р, / = 1,...,/.

И. 9 = 9 + 1.

12. Проверить условие <7 < I, условие выполнено перейти к п. 3.

Свойства алгоритма, включая его сходимость, зависят от целевой функции, параметров и способа корректировки критериальных коэффициентов компетентности. Выбирая значения ки, I, = 1,...,/, ( = 1,...,/, можно по-разному описывать понятие расстояния между оценками, тем самым адаптировать постановку задачи вычисления критериальной компетентности и получения групповых оценок экспертов к системе индивидуальных предпочтений ЛПР.

В рамках внедрения были получены и использовались следующие значения параметров

адекватность функций (13)-(15) коэффициенты детерминации равны соответственно 0.98 (при ktl = 2), 0.98 (при k,it = 4) и 0.89 (к = 2).

В работе предложено уровень компетентности эксперта вычислять как значение свертки критериальных коэффициентов компетентности по принципу «идеальной точки» (Евклидова норма) с учетом важности критериев оценки деятельности вуза (см. Рисунок 1). Проверена адекватность такой свертки в равноотстоящих точках R2 = 0.90.

Описано разработанное программное обеспечение для ввода, хранения, обработки и визуализации информации, необходимой для независимой системы оценивания деятельности вуза (см. рисунок 7).

Структура программного обеспечения реализована как веб-приложение, т.е. функционирует при наличии и как составная часть веб-сервера (IJS). Кроме этого, в ее работе используется SQL-сервер базы данных (MS SQL Server 2005). Для создания динамических веб-страниц использовалась технология ASP.NET, язык программирования С#. В качестве технологии доступа к данным использовалась ADO.NET. Программное обеспечение разработано в интегрированной среде Microsoft Visual Studio 2005.

Приводятся данные внедрения всех результатов диссертационной работы (независимой системы оценивания) в УрФУ, ТПУ, РГРТУ, МГУП, в рамках которого была формализована информация о деятельности вузов, отобрана из сформированного реестра группа независимых экспертов (7 человек), ими выделены сильные стороны и области для улучшения в деятельности вузов, выставлены оценки. На основе индивидуальных оценок экспертов были выделены две группы экспертов с согласованными мнениями: первая группа - 4 человека, вторая группа - 3 человека. Определены обобщенные оценки каждого вуза на основе индивидуальных оценок экспертов в выделенных подгруппах, с учетом вычисленных критериальных коэффициентов компетентности экспертов, вычислены коэффициенты компетентности, осуществлена ранжировка вузов (см. Рисунок 8).

В рамках данной диссертационной работы впервые были обработаны оценки участников Конкурса за 10 лет, вычислены коэффициенты корреляции критериев модели Конкурса, проведен сравнительный анализ корреляций с критериями предлагаемой модели (см. Рисунок 9, полужирным шрифтом выделены значимые коэффициенты корреляции при а = 0.05).

Приведены результаты сравнения эффективности процесса поддержки принятия управленческих решений до внедрения разработанной системы и после её внедрения, результаты не отвергают гипотезу диссертационного исследования.

модели (13)-(15): к = 2, г = 1, е, = 0.01,

Проверена

Рисунок 7 - Примеры интерфейсов разработанного программного обеспечения

Коэффициенты компетенции Коэффициенты компетенции

Рисунок 8 - Ранжировки, коэффициенты компетентности, компетенции и обобщенные оценки вузов

по критериям предлагаемой модели

Кр. №2 Кр. №3 Кр. №4 Кр. №5

0,87 0,54 0,48 0,43

0,72 0,68 0,53

; 0,66 0,72

V А А 0,70

Кр. №2 0,82 V у А

Кр. №3 0,77 0,78

Кр. №4 0,61 0,71 0,71 V

Кр. №5 0,63 0,69 0,63 0,61

Кр. №6 0,62 0,62 0,61 0,52

Кр. №7 0,53 0,5 0,54 0,37

Кр. №8 0,49 0,57 0,6 0,57

Кр. №9 0,59 0,65 0,66 0,63

À Кр. №1 Кр. №2 Кр. №3 Кр. №4

Кр. №6 Кр. №7 Кр. №8 Кр. №9 Кр. №10 Кр. NJ11 Кр. №12

0,62 0,41 -0,21 0,27 0,43 0,68 0,49 Кр. N»1

0,63 0,54 -0,19 0,28 0,34 0,79 0,57 Кр. №2

0,45 0,74 0.23 0,45 0,53 0,84 0,76 Кр. №3

0,42 0,61 0,18 -0,03 0,15 0,59 0,50 Кр. №4

0.01 0,87 0,49 0,41 0,51 0,72 0,77 Кр. №5

ь -0,02 -0,25 -0,13 0,05 0,46 0,24 Кр. №6

k 0,46 0,47 0,52 0,71 0,77 Кр. №7

У * 0,24 0,34 0,16 0,52 Кр. №8

0,7 Т 0,81 0,56 0,49 Кр. №9

0,53 0,71 * 4 0,55 0,59 Кр. №10

0,54 0,64 0,58 Г 0,81 À Кр.N811

0,69 0,64 0,52 0,74

Кр. №5 Кр. №6 Кр. №7 Kp.NsE

Рисунок 9 - Коэффициенты корреляции критериев модели Конкурса и предлагаемой модели

критериев

Используя разработанный метод формализации информации о деятельности вуза, впервые формализована система «Лучших практик» деятельности всех категорий вузов (ТПУ, УрФУ, РГРТУ, МГУП), которая представлена в приложении к диссертации.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработана критериальная модель оценки деятельности вуза на основе критериальной модели конкурса Минобрнауки России «Системы качества подготовки выпускников образовательных учреждений профессионального образования» и программ создания и развития НИУ, учитывающая российский и международный опыт аккредитации и составления рейтинга вузов.

2. Разработан метод формализации информации о деятельности вуза на основе системного подхода к управлению в виде унифицированной информации - «подход-результат», позволяющий дать системное представление о деятельности вуза, как для руководства вуза, так и для экспертов, осуществляющих оценку деятельности вуза.

3. Разработана математическая модель предпочтений ЛПР по комплексной оценке деятельности вуза, учитывающая индивидуальные и «естественные» предпочтения ЛПР, а также концепцию, заложенную в предлагаемую критериальную модель и метод формализации информации о деятельности вуза - сбалансированность подходов и результатов.

4. Разработаны модели определения компетенции экспертов и алгоритм их отбора для независимой оценки деятельности вуза, позволяющие принимать обоснованные решения по включению того или иного эксперта в экспертную группу, учитывая компетенцию эксперта и предпочтения ЛПР.

5. Улучшены существующие алгоритмы обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов, за счет использования методов многокритериального принятия решений.

6. Разработано программное обеспечение и база данных, позволяющие на основе интернет-технологий удаленно осуществлять ввод, хранение, обработку и визуализацию информации, необходимой для независимой системы оценивания деятельности вуза.

7. Показано, что разработанное математическое и программное обеспечение независимой системы оценивания деятельности вуза позволяет эффективно принимать управленческие решения.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Публикации в изданиях, рекомендованных ВАК РФ

1. Соловьев В.П., Кочетов А.И., Крапухина Н.В., Проничкин C.B. Независимая система оценивания вузов для совершенствования их деятельности. Открытое образование. - 2009. - №6. - С. 105-116.

2. Круглов В.И., Соловьев В.П., Кочетов А.И., Проничкин C.B. Разработка критериальной модели для независимой оценки деятельности вуза категории «Национальный исследовательский университет». Высшее образование сегодня. -2010. - №7. - С. 6-16.

3. Соловьев В.П., Кочетов А.И., Проничкин C.B. Разработка независимой системы оценивания образовательной деятельности вуза с целью обеспечения качества подготовки специалистов. Известия вузов. Черная металлургия. - 2009. -№3. - С. 62-64.

4. Кочетов А.И., Крапухина Н.В., Проничкин C.B. Разработка систем поддержки принятия решений для управления качеством деятельности вуза. Экология человека. - 2009. - №9. - С. 39-45.

5. Соловьев В.П., Кочетов А.И., Крапухина Н.В., Проничкин C.B. Критериальная модель независимой оценки деятельности вуза. Известия вузов. Черная металлургия. -2009. - №5. - С. 61-65.

6. [Рыков A~Cj Крапухина Н.В., Проничкин C.B. Формирование подгрупп экспертов с согласованными мнениями и определение групповой обобщенной оценки многопризнаковых объектов. System Research & Information technologies. - 2010. -№2. - С. 72-79.

Статьи, материалы конференций

7. Соловьев В.П., Корнева Е.Ю., Проничкин C.B. Направления мониторинга деятельности вуза. Сборник материалов Всероссийской межвузовской научно-методической конференции "Повышение качества высшего профессионального образования", 19-21 апреля 2007 года, ГОУ ВПО "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" имени В.И. Ульянова (Ленина)". - Санкт-Петербург: ЛЭТИ, 2007, С. 3-4.

8. Корнева Е.Ю., Соловьев В.П., Проничкин C.B. Обеспечение системы мониторинга показателей деятельности вуза. Сборник материалов I Всероссийской научно-методической конференции "Управление образовательным процессом в современном вузе", 17-18 апреля 2007 года, ГОУ ВПО "Красноярский государственный педагогический университет им. В.П. Астафьева". - Красноярск, 2007. С. 27-30

9. Проничкин C.B. Разработка математического и программного обеспечения для комплексной оценки и мониторинга качества образования в вузе. Сборник материалов Международной, межвузовской и институтской научно-технической конференции «63-е дни науки студентов МИСиС», 14-21 апреля 2008 года, ГТУ ВПО «Московский институт стали и сплавов «МИСиС». - М: МИСиС, 2008, С. 310-312.

10. Проничкин C.B. Компьютерная система мониторинга удовлетворенности студентов качеством преподавания. Труды V Всероссийской конференции студентов, аспирантов и молодых учёных «Технологии Microsoft в теории и практике программирования», 1-2 апреля 2008 года, ГТУ ВПО «Московский авиационный институт «МАИ». - М: Вузовская книга, 2008, С. 172-173.

11. Крапухина Н.В., Проничкин C.B. Формирование подгрупп экспертов с согласованными мнениями и определение групповой обобщенной оценки объектов на примере оценки компетенций студентов по многим критериям. Сборник материалов X международной научно-технической конференции «Системный анализ и информационные технологии», 20-24 мая 2008 года, НТУУ «Киевский политехнический институт «КПИ». -К.: НТУУ «КПИ», 2008, С. 93.

12. Крапухина Н.В., Проничкин C.B. Алгоритмы обработки экспертных оценок многопризнаковых объектов. Сборник материалов IX международной научно-технической конференции «Кибернетика и высокие технологии XXI века», 13-15 мая 2008 года, ГУ ВПО «Воронежский государственный университет «ВГУ». -Воронеж.: ВГУ, 2008, С. 230-236.

13. Крапухина Н.В., Кочетов А.И., Проничкин C.B. Методика определения компетентности экспертов и формирования экспертных групп для независимой оценки образовательной деятельности вузов. Сборник материалов второго Международного научно-практического семинара «Разработка и реализация системы управления качеством подготовки специалистов на основе компетентностного подхода: теория и практика», 22-24 апреля 2009 года, Донецкий национальный медицинский университете им. М. Горького (ДонНМУ). - М.: Исследовательский центр проблем качества подготовки специалистов, ДонНМУ, 2009, С. 57-60.

14. Проничкин C.B. Компьютерная система определения компетентности экспертов и формирования экспертных групп для независимой оценки образовательной деятельности вузов. Труды VI Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования», 1-2 апреля 2009 года, ГТУ ВПО «Московский авиационный институт «МАИ». - М: Вузовская книга, 2009, С. 128-129.

15. Проничкин C.B. Разработка компетентностной модели эксперта для независимой оценки образовательной деятельности вузов. Сборник материалов Международной, межвузовской и институтской научно-технической конференции «64-е дни науки студентов МИСиС», 14-21 апреля

2009 года, ГТУ ВПО «Московский институт стали и сплавов «МИСиС». - М: МИСиС, 2009, С. 399400.

16. Кочетов А.И., Крапухина Н.В., Проничкин C.B. Интерпретация результатов мониторинга для управления качеством деятельности вуза. Сборник материалов второй Всероссийской научно-практической конференции «Менеджмент качества в образовании», 21-22 мая 2009 года, ГОУ ВПО "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" имени В.И. Ульянова (Ленина)". - Санкт-Петербург: ЛЭТИ, 2009, С. 116-118.

17. Кочетов А.И., Крапухина Н.В., Проничкин C.B. Разработка внутренних документов вуза на основе единого источника. Сборник материалов второй Всероссийской научно-практической конференции «Менеджмент качества в образовании», 21-22 мая 2009 года, ГОУ ВПО "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" имени В.И. Ульянова (Ленина)". - Санкт-Петербург: ЛЭТИ, 2009, С. 118-119.

18. Проничкин C.B. Разработка информационной модели системы принятия решений и модели управления вузом категории НИТУ. Сборник материалов Международной, межвузовской и институтской научно-технической конференции «65-е дни науки студентов МИСиС», 8-15 апреля

2010 года, ГТУ ВПО «Национальный исследовательский технологический университет «МИСиС». -М: МИСиС, 2010, С. 579-580.

19. Проничкин C.B. Разработка механизмов информационной поддержки принятия управленческих решений в вузе категории НИУ. Труды V Международного научного конгресса «Роль бизнеса в трансформации российского общества», 12-16 апреля 2010 года, «Московская финансово промышленная академия «МФПА». - М: ООО «Global Conferences», 2010, С. 607-609.

20. Круглое В.И., Соловьев В.П., Кочетов А.И., Проничкин C.B. Самооценка как инструмент оценки и совершенствования образовательной деятельности вуза. Сборник материалов Региональной научно-практической конференции УрФО «Системы качества в учреждениях высшего и среднего профессионального образования», 4 декабря 2009 года, ГОУ ВПО «УГТУ-УПИ имени первого Президента России Б.Н. Ельцина». - Екатеринбург: УГТУ-УПИ, 2010, С. 6-24.

21. Проничкин C.B., Крапухина Н.В. Разработка методов и средств решения коммуникационных задач для вуза категории НИУ. Труды Межвузовской научно-практической конференции студентов и аспирантов «Современные проблемы менеджмента», 29 апреля 2010 года, ГОУ ВПО "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" имени В.И. Ульянова (Ленина)". - СПб.: СПбГЭТУ «ЛЭТИ», 2010, С. 53-54.

22. Проничкин C.B. Информационная система «Мониторинг» для поддержки принятия управленческих решений в вузе. Труды VII Всероссийской конференции студентов, аспирантов и молодых учёных «Технологии Microsoft в теории и практике программирования», 21-22 апреля 2010 года, ГТУ ВПО «Московский авиационный институт «МАИ». - М: Вузовская книга, 2010, С. 133-135.

23. Проничкин C.B. Применение системного подхода к оцениванию деятельности вуза для обеспечения гарантий качества образования. Материалы международной научно-практической конференции «Международные стандарты, аккредитация и сертификация технического образования и инженерной профессии», 19-21 октября 2010 года, НИТУ «МИСиС». - М: Изд. Дом «МИСиС», 2010, С. 77-84.

Подписано в печать 14.02.2011 г. Усл. печ. л. 1,5. Тираж 100 экз. Заказ №3 Отпечатано в типографии «Реглет» Тел. (495) 363-78-90 www.reglet.ru

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИТИЧЕСКИЙ ОБЗОР СУЩЕСТВУЮЩИХ МОДЕЛЕЙ И МЕТОДОВ ПОДДЕРЖКИ ПРИНЯТИЯ УПРАВЛЕНЧЕСКИХ РЕШЕНИЙ В ВУЗЕ

1.1. Проблема поддержки принятия управленческих решений в вузе.

1.2. Внутренние системы информационной поддержки принятия управленческих решений в вузе.

1.3. Внешние системы информационной поддержки принятия управленческих решений в вузе.

1.4. Сравнительный анализ существующих систем оценивания деятельности вуза

Выводы по первой главе.

ГЛАВА 2. РАЗРАБОТКА МАТЕМАТИЧЕСКОЙ И КРИТЕРИАЛЬНОЙ МОДЕЛИ КОМПЛЕКСНОЙ ОЦЕНКИ ВУЗА И МЕТОДА ФОРМАЛИЗАЦИИ ИНФОРМАЦИИ О ДЕЯТЕЛЬНОСТИ ВУЗА.

2.1. Предлагаемый подход к оцениванию деятельности вуза.

2.2. Критериальная модель оценки деятельности вуза.

2.3. Метод формализации информации о деятельности вуза.

2.4. Математическая модель предпочтений ЛПР по комплексной оценке деятельности вуза.

Выводы по второй главе.

ГЛАВА 3. РАЗРАБОТКА МОДЕЛЕЙ ОЦЕНКИ КОМПЕТЕНЦИИ ЭКСПЕРТОВ И АЛГОРИТМА ФОРМИРОВАНИЯ ЭКСПЕРТНЫХ ГРУПП ДЛЯ НЕЗАВИСИМОГО ОЦЕНИВАНИЯ ДЕЯТЕЛЬНОСТИ ВУЗА.

3.1. Проблема определения качества эксперта и формирования «хорошей» экспертной группы.

3.2. Модель компетенций независимого эксперта.

3.3. Методика оценки компетенции независимого эксперта.

3.4. Алгоритм формирования экспертной группы для независимого оценивания деятельности вуза.

Выводы по третьей главе.

ГЛАВА 4. РАЗРАБОТКА АЛГОРИТМОВ ОБРАБОТКИ ЭКСПЕРТНЫХ ОЦЕНОК, ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ДЛЯ НЕЗАВИСИМОГО ОЦЕНИВАНИЯ ДЕЯТЕЛЬНОСТИ ВУЗА И РЕЗУЛЬТАТЫ ЕГО ВНЕДРЕНИЯ.

4.1. Алгоритмы обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов.

4.2. Программное обеспечение и база данных для независимого оценивания деятельности вуза.

4.3. Результаты внедрения разработанного математического и программного обеспечения независимой системы оценивания деятельности вуза.

Выводы по четвертой главе.

Актуальность темы. Высшее образование считается сегодня важнейшим фактором, обеспечивающим развитие современного общества. Темпы и сущность глобальных перемен требуют постоянного совершенствования образовательной и научно-исследовательской деятельности вузов. Работа в этих направлениях должна осуществляться более целенаправленно и масштабно с тем, чтобы предвосхитить завтрашние потребности национальной экономики. Именно поэтому необходимо постоянно улучшать деятельность вузов, последовательно приближаясь к «совершенству» за счет распознавания, предвосхищения и понимания потребностей заинтересованных сторон.

Требовательность заинтересованных сторон постоянно растет, поэтому любой вуз, независимо от его размеров, культуры, традиций и истории, должен им предоставить совершенную по всем показателям продукцию и/или услуги. В первую очередь для этого необходимо более эффективное управление вузом. Необходимым условием принятия эффективных стратегических и тактических решений руководством вуза является адекватная система оценивания вуза на основе всестороннего обследования его деятельности с привлечением независимых экспертов с целью обеспечения беспристрастности и объективности оценки. Принятие вузами такого условия ставит перед ними задачу создания и применения независимой системы оценивания своей деятельности по общепринятым критериям.

Существенный вклад в решение данной задачи внесли A.B. Блинкова, В.В. Бринза, И.Т. Заика, А.И. Кочетов, H.A. Селезнева, В.П. Соловьев, А.И. Субетто, В.Д. Шадриков. В рамках исследований данных ученых рассматривался вопрос управления сложными социально-экономическими системами — вузами. Одним из результатов их исследований в данной области стала модель и критерии, положенные в основу конкурса Минобрнауки России «Системы качества подготовки выпускников образовательных учреждений профессионального образования», проводимого с 2000 года. В основу конкурса положен механизм самооценки с привлечением независимых экспертов.

Однако данная модель и критерии самооценки были построены без достаточного учета российского и международного опыта аккредитации и составления рейтинга вузов, а также программ создания и развития национальных исследовательских университетов (НИУ) международного уровня. Слабо формализована процедура определения компетенции и компетентности экспертов и формирования экспертных групп. Не было уделено достаточного внимания математическому и программному обеспечению процесса самооценки, иными словами, в существующих работах больше внимания уделялось разработке теоретических основ управления вузами, а не прикладным вопросам разработки математических моделей, методов и алгоритмов для поддержки процесса управления вузами.

Система оценивания деятельности вуза нужна, прежде всего, для поддержки принятия стратегических и тактических решений в процессе управления деятельностью вуза. Решения, принимаемые на основе усредненных, некомпетентных заключений могут привести к ошибкам в управлении. Ошибки в стратегических и тактических решениях могут привести не столько к замедлению развития вуза, сколько к необратимым последствиям. Таким образом, разработка математического и программного обеспечения независимой системы оценивания деятельности вуза является актуальной задачей, для решения которой возникает необходимость в использование методов системного анализа (Ю.П. Адлер, В.М. Курейчик, О.И. Ларичев, Б.Г. Литвак, В.Б. Мелас, А.И. Орлов, А.Б. Петровский, В.В. Подиновский, A.C. Рыков, В.Г. Тоценко, D.E. Goldberg, J.H. Holland, C.L. Hwang), в совокупности с методами разработки и проектирования программного обеспечения, которые позволят принимать эффективные управленческие решения на основе адекватной информации о деятельности вуза.

Объект исследования - процесс оценивания образовательной и научно-исследовательской деятельности вуза.

Предмет исследования - математическое и программное обеспечение независимой системы оценивания деятельности вуза.

Целью исследования является разработка математического и программного обеспечения независимой системы оценивания деятельности вуза, позволяющего получить адекватную, всестороннюю информацию для поддержки принятия стратегических и тактических решений в вузе.

Гипотеза исследования - процесс поддержки принятия управленческих решений в вузе будет более эффективным, если использовать разработанное математическое и программное обеспечение независимой системы оценивания деятельности вуза.

Задачи исследования. Для достижения поставленной цели необходимо решить следующие задачи:

1. Разработка критериальной модели оценки деятельности вуза.

2. Разработка метода формализации информации о деятельности вуза.

3. Разработка математической модели предпочтений лица, принимающего решения

ЛПР - менеджер по качеству) по комплексной оценке деятельности вуза.

4. Разработка методики определения компетенции экспертов и их отбора.

5. Разработка алгоритмов обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов.

6. Разработка базы данных и программного обеспечения для независимой системы оценивания деятельности вуза.

Методы исследования. В работе использованы методы теории принятия решений, методы векторной оптимизации, методы теории измерений, методы обработки экспертной информации, методы оценки компетенции и компетентности экспертов, методы оценки согласованности мнений экспертов, методы дискретной математики, методы глобальной оптимизации, методы математической статистики, методы планирования эксперимента, методы функционального моделирования, методы разработки программного обеспечения, баз данных.

На защиту выносятся:

1. Критериальная модель оценки деятельности вуза.

2. Метод формализации информации о деятельности вуза.

3. Математическая модель предпочтений ЛПР по комплексной оценке деятельности вуза.

4. Модели определения компетенции экспертов и алгоритм их отбора для независимой оценки деятельности вуза.

5. Алгоритмы обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов.

6. Программное обеспечение и база данных для независимой системы оценивания деятельности вуза.

Достоверность полученных результатов. Достоверность разработанных в рамках диссертационного исследования моделей, метода и алгоритмов обеспечивается использованием методов планирования эксперимента и математической статистики для оценивания статистической достоверность результатов. Результаты расчетов разработанных алгоритмов проверяются в сравнение с результатами расчетов алгоритмов других авторов. Разработанная критериальная модель основана на многократно апробированной модели конкурса Минобрнауки России «Системы качества подготовки выпускников образовательных учреждений профессионального образования» и моделях аккредитации и рейтингования вузов в России и за рубежом. Достоверность экспериментальных данных, полученных в рамках экспертиз деятельности вузов, обеспечивалась применением апробированных методов определения качества эксперта, повторяемостью результатов.

Научная новизна результатов диссертационной работы состоит в следующем:

1. Разработана критериальная модель оценки деятельности вуза, которая в отличие от существующих моделей разработана на основе критериальной модели конкурса Минобрнауки России «Системы качества подготовки выпускников образовательных учреждений профессионального образования» и программ создания и развития НИУ, учитывающая российский и международный опыт аккредитации и составления рейтинга вузов.

2. Впервые разработан метод формализации информации о деятельности вуза на основе системного подхода к управлению, в виде унифицированной информации -«подход-результат», позволяющий дать системное представление о деятельности вуза, как для руководства вуза, так и для экспертов, осуществляющих оценку деятельности вуза.

3. Впервые разработана математическая модель предпочтений ЛПР по комплексной оценке деятельности вуза, учитывающая индивидуальные и «естественные» предпочтения ЛПР, а также концепцию, заложенную в предлагаемую критериальную модель и метод формализации информации о деятельности вуза -сбалансированность подходов и результатов.

4. Разработаны модели определения компетенции экспертов и алгоритм их отбора для независимой оценки деятельности вуза, учитывающие достоинства и недостатки существующих моделей и алгоритмов.

5. Улучшены существующие алгоритмы обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов, за счет использования методов многокритериального принятия решений.

6. Разработано программное обеспечение и база данных, которое в отличие от существующих программных систем, позволяет на основе интернет-технологий удаленно осуществлять ввод, хранение, обработку и визуализацию информации, необходимой для независимой системы оценивания деятельности вуза. Практическая значимость. Метод описания и критерии оценивания деятельности вуза, модель, формализующая предпочтения ЛПР и алгоритмы обработки экспертных оценок позволяют эффективно принимать управленческие решения на основе анализа компетентных обобщенных оценок, сильных сторон и областей для улучшений деятельности вуза в виде «подход-результат». Предлагаемые модели определения компетенции и алгоритм отбора экспертов позволяют принимать обоснованные решения по включению того или иного эксперта в экспертную группу, учитывая компетенцию эксперта и предпочтения ЛПР. Разработанный программный комплекс позволяет автоматизировать трудоемкие процессы оценивания и поддержки принятия решений для экспертов и ЛПР. Разработанное математическое и программное обеспечение может использоваться Федеральной службой по надзору в сфере образования и науки в процедуре государственной аккредитации вузов, Федеральным агентством по техническому регулированию и метрологии в рамках конкурса на соискание премии Правительства Российской Федерации в области качества, а также для целей общественно-профессиональной аккредитации.

Выводы по четвертой главе

Проведен анализ существующих алгоритмов обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов. Анализ показал, что существующие алгоритмы обработки индивидуальных оценок, а именно выделение подгрупп экспертов с согласованными мнениями не позволяют: выделять подгруппы экспертов так, чтобы объем подгруппы не зависел от порядка её выделения; учитывать диапазон изменения значений коэффициента конкордации для подгрупп экспертов, иначе согласованность одной подгруппы может сильно отличаться от согласованности другой; выделять подгруппы экспертов с учетом согласованности мнений экспертов по многим критериям, что затрудняет оценку и сопоставление согласованности групп экспертов в рамках экспертиз в целом.

Предложено использовать совместно значения коэффициентов конкордации для оценки согласованности подгрупп экспертов, и стремиться к суммарной максимизации коэффициентов конкордации. При этом обеспечить, чтобы согласованность в подгруппах экспертов не сильно отличалась. Деятельность вуза оценивается каждым экспертом по многим критериям, показана целесообразность выделения подгрупп экспертов с согласованными мнениями по всем критериям с учетом их важности. Таким образом, построена целевая функция для одного критерия как свертка среднего значения и среднего квадратического отклонения коэффициентов конкордации. Тогда для оценки согласованности групп экспертов по множеству критериев построена целевая функция как свертка среднего значения и среднего квадратического отклонения значений целевой функции, сконструированной для одного критерия. Разработан точный алгоритм определения оптимума описанной выше целевой функции.

Проведен анализ существующих алгоритмов определения групповых обобщенных оценок объектов, на основе их многокритериальных оценок множества экспертов. Показано, что существующие алгоритмы определения групповой обобщенной оценки объектов в выделенных подгруппах экспертов (с согласованными мнениями) с учетом их компетентности имеют ряд недостатков, поскольку не позволяют осуществлять анализ групповых обобщенных оценок вуза и компетентности экспертов в рамках экспертиз в целом по многим критериям.

Предложено компетентность эксперта вычислять, учитывая оценки по всем критериям, для этого разработаны алгоритмы, основанные на итеративной процедуре вычисления коэффициентов компетентности.

Разработано программное обеспечение и база данных, позволяющие на основе интернет-технологий удаленно осуществлять ввод, хранение, обработку и визуализацию информации, необходимой для независимой системы оценивания деятельности вуза.

Показано, что разработанное математическое и программное обеспечение независимой системы оценивания деятельности вуза позволяет эффективно принимать управленческие решения.

ЗАКЛЮЧЕНИЕ

Разработана критериальная модель оценки деятельности вуза на основе критериальной модели конкурса Минобрнауки России «Системы качества подготовки выпускников образовательных учреждений профессионального образования» и программ создания и развития НИУ, учитывающая российский и международный опыт аккредитации и составления рейтинга вузов.

Разработан метод формализации информации о деятельности вуза на основе системного подхода к управлению в виде унифицированной информации — «подход-результат», позволяющий дать системное представление о деятельности вуза, как для руководства вуза, так и для экспертов, осуществляющих оценку деятельности вуза.

Разработана математическая модель предпочтений ЛПР по комплексной оценке деятельности вуза, учитывающая индивидуальные и «естественные» предпочтения ЛПР, а также концепцию, заложенную в предлагаемую критериальную модель и метод формализации информации о деятельности вуза - сбалансированность подходов и результатов.

Разработаны модели определения компетенции экспертов и алгоритм их отбора для независимой оценки деятельности вуза, позволяющие принимать обоснованные решения по включению того или иного эксперта в экспертную группу, учитывая компетенцию эксперта и предпочтения ЛПР.

Улучшены существующие алгоритмы обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов, за счет использования методов многокритериального принятия решений.

Разработано программное обеспечение и база данных, позволяющие на основе интернет-технологий удаленно осуществлять ввод, хранение, обработку и визуализацию информации, необходимой для независимой системы оценивания деятельности вуза.

Показано, что разработанное математическое и программное обеспечение независимой системы оценивания деятельности вуза позволяет эффективно принимать управленческие решения.

По мнению автора, разработанные модели, метод и алгоритмы в совокупности с реализацией предлагаемой процессной модели оценки деятельности вуза позволит обеспечить механизм для демонстрации уровня совершенства деятельности вуза перед заинтересованными сторонами и соответственно повысить степень доверия со стороны представителей надзорных органов и, уменьшить объем инспекционных проверок, проводимых в рамках государственной аккредитации вуза.

1. Кочетов А.И., Крапухина Н.В., Проничкин C.B. Разработка систем поддержки принятия решений для управления качеством деятельности вуза. Экология человека. 2009. - №9. -С.38-43.

2. Зимняя И. А. Общая культура и социально-профессиональная компетентность человека / И. А. Зимняя // Высшее образование сегодня. — 2005. № 11. - С. 14-20.

3. Айнштейн В. Г. Преподаватель и студент: искусство общения / В. Г. Айннггейн // Высшее образование в России. 2000. — № 6. - С. 85-91.

4. Приказ Рособрнадзора от 30.09.2005 № 1938 «Об утверждении показателей деятельности и критериев государственной аккредитации высших учебных заведений».

5. Приказ Минобразования России от 10.11.2002 № 3906 «Об утверждении перечня документов и материалов, представляемых к лицензионной экспертизе при проведении комплексной оценки деятельности высшего учебного заведения».

6. Приказ Минобразования России от 26.02.2001 № 631 «О рейтинге высших учебных заведений».

7. Приказ Минобразования России от 19.02.2003 № 593 «О внесении изменений в приказ Минобразования России от 26.02.2001 N 631 «О рейтинге высших учебных заведений».

8. Приказ Минобрнауки России от 12.04.2007 г. № 110 «О приказах Минобразования России от 26 февраля 2001 г. № 631 и от 19 февраля 2003 Г. № 593».

9. Методические рекомендации по составлению заявок на участие в конкурсном отборе программ развития университетов, в отношении которых устанавливается категория "национальный исследовательский университет".

10. Программа создания и развития Национального исследовательского технологического университета "МИСиС" на 2009-2017 годы.

11. Приказ Минобрнауки России от 29.07.2009 № 276 «О перечне показателей, критериях и периодичности оценки эффективности реализации программ развития университетов, в отношении которых установлена категория «национальный исследовательский университет».

12. European Foundation for Quality Management, http://wwl.efqm.org.

13. Конти Т. Самооценка в организациях. М: РИА «Стандарты и качество», 2000. 328 с.

14. Шайнберг С. Крах «потемкинских деревень»: история нескольких российских организаций на пути к достижению мировых стандартов управления / С. Шайнберг. Гетебург: Elanders, 2002. 348 с.

15. Салимова Т.А., Еналеева Ю.Р. Самооценка деятельности организации: Учебное пособие. -М.: Академический Проект, 2006. 279 с.

16. Engineering Program Rankings Methodology. http://www.usnews.com/articles/education/best-graduate-schools/2009/04/22/engineering-program-rankings-methodology.html.

17. Council for Higher Education Accreditation, http://www.chea.org.

18. New England Association of Schools and Colleges, http://www.neasc.org.

19. Massachusetts Institute of Technology, http://web.mit.edu.

20. Times Online. The Good University Guide, http://www.timesonline.co.uk.

21. Quality Assurance Agency for Higher Education, http://www.qaa.ac.uk.

22. Руководство для организаций-участников конкурса на соискание Премии Правительства РФ в области качества 2007 года. М.: ВНИИС, 2007. 27 с.

23. Деминг Э. Выход из кризиса: Новая парадигма управления людьми, системами и процессами / Пер. с англ. М.: Альпина Бизнес Букс, 2007. - 370 с.

24. Каплан Роберт С, Нортон Дейвид П. Сбалансированная система показателей. От стратегии к действию. — 2-е изд., испр. и доп. / Пер. с англ. — М.: ЗАО «Олимп-Бизнес», 2003, 320 с.

25. Adam F., Humphreys P. Encyclopedia of Decision Making and Decision Support Technologies. -NY.: Information Science Reference, 2008. 1064 p., Vol. 1, 2.

26. Vira Chankong, Yacov Y. Haimes Multiobjective Decision Making: Theory And Methodology. North-Holland.: Elsevier. 1983,213 p.

27. Drummond H. The Art of Decision Making. Chichester: John Wiley & Sons. 2001.

28. Новиков Д.А. Теория управления организационными системами. М.: МПСИ. 2005. -534 с.

29. Литвак Б.Г. Разработка управленческого решения: Учебник. — 3-е изд., испр. — М.: Дело, 2002. —392 с.

30. Литвак Б.Г. Экспертная информация: Методы получения и анализа. — М.: Радио и связь, 1982. — 184 с, ил.

31. Миллер Г. Магическое число семь плюс или минус два // Инж. Психология. — М.: Прогресс, 1964.

32. Тоценко В.Г. Методы и системы поддержки принятия решений. Киев: Наукова думка. 2002.-381 с.

33. Блинкова А.В. Разработка модели и критериев самооценки вузов для совершенствования их деятельности: Дис. канд. техн. наук: 05.13.10 / М.: МИСиС, 2006. 177 с.

34. Заика И.Т. Разработка модели и технологии оценки системы менеджмента качества вуза и ее применение для целей государственной аккредитации: Дис. канд. техн. наук: 05.02.23 / М.: РГУНГ им. Губкина, 2007.234 с.

35. Этезов Б.Б. Разработка моделей и алгоритмов оценки качества системы высшего образования: Дис. канд. техн. наук: 05.13.17 / М.: МГУП, 2006. 234 с.

36. Радченко Ю.В. Система поддержки принятия решений для управления деятельностью вуза: Дис. канд. техн. наук: 08.00.13 / Ростов-на-Дону: РИНХ, 2003. 163 с.

37. European Association for Quality Assurance in Higher Education (ENQA): Standards and Guidelines for Quality Assurance in the European Higher Education Area. // www.enqa.eu/files/ESG3edition%20(2).pdf.

38. Method for Quality Improvement of Higher Education, TRIS EFQM - model version 4.2, May 2003, TRIS - group Электронный ресурс.: официальный сайт Europees Platform Onderwijs Kwaliteit (EPOK).- Режим ограниченного доступа: www.epok.org

39. Методика самооценки вуза на базе модели Внутривузовской системы менеджмента качества высшего профессионального образования ЛЭТИ. http ://www.tqm. spb.ru/smkpage. shtml

40. Методические рекомендации по внедрению типовой модели системы качества образовательного учреждения / В.В. Азарьева, В.И. Круглов, Д.В. Пузанков и др. СПб.: ПИФ.сот, 2007. 408 с.

41. Материалы проекта MANRU «Повышение качества управления в российском университете», JEP 24090 Электронный ресурс.: сайт консорциума вузов Образовательной сети совершенствования. - Режим доступа: www.manru.uniyar.ac.ru

42. Орлов А.И. Теория принятия решений. Учебное пособие / А.И.Орлов.- М.: Издательство «Экзамен», 2005. 656 с.

43. Адлер Ю.П. «Факты, факты, верти их так и сяк ты!» // Методы менеджмента качества. -2006 г. -№ 6.-С. 38-40.

44. Лалидус В.А. Всеобщее качество (TQM) в российских компаниях / Гос. ун-т управления; Нац. фонд подготовки кадров. М.: ОАО «Типография «Новости», 2000. -432 с.

45. Маслов Д.В., Мазалецкая A.JL, Стид К. Модель EFQM в российском университете. // Методы менеджмента качества. — 2005 г. — № 12. С. 21-25.

46. Roy В. Decisions Avec Critères Multiples. Problèmes et méthodes // Metra Int. 1972. -11, N l.-P. 121-151.

47. Руа Б. Классификация и выбор при наличии нескольких критериев (метод ЭЛЕКТРА) // Вопросы анализа и процедуры принятия решений: Сб. переводов. М.: Мир, 1976. - С. 80-107.

48. Roy В. ELECTRE III: Un Algorithme de Classement Fonde sur une Representation Floue des Préférences en Présence de Critères Multiple // Cah. Cent. Etud. Recherché Oper. 1978. - 20. -P. 3-24.

49. Ларичев О.И., Зуев Ю.А., Гнеденко Л.С. Метод ЗАПРОС (ЗАмкнутые Процедуры у Опорных Ситуаций) решения слабо структурированных проблем выбора при многих критериях / АН СССР. ВНИИСИ. Препр. - М.: 1979. - 75 с.

50. Saaty T.L. The Analytic Hierarchy Process. -N.Y.: McGraw-Hill, 1980.

51. Hwang C.L., Yoon K.L. Multiple Attribute Decision Making: Methods and Applications. Springer Yerlag. - New York, 1981.

52. Кини P.Л., Райфа X. Принятие решений при многих критериях предпочтения и замещения / Пер. с англ. под ред. Шахнова И.Ф. М.: Радио и связь, 1981.

53. Макаров И.М., Виноградская Т.М., Рубчинский А.А., Соколов В.Б. Теория выбора и принятия решений. -М.: Наука, 1982.

54. Емельянов C.B., Ларичев О.И. Многокритериальные методы принятия решений. М.: Знание, 1985.

55. Brans J.P., Vincke Ph. A Preference Ranking Organization Method. The PROMETHEE Method // Manag. Sci. 1985. - 31. - P. 647-656.

56. Korhonen P., Laakso J. A Visual Interactive Method for Solving the Multiple Criteria Problem // Eur. J. Oper. Res. 1986. - 4, N 2. - P. 277-287.

57. Koksalan M.M. Identifying and Ranking a Most Preferred Subset of Alternative in Presence of Multiple Criteria // Naval Res. Log. 1989. - 36. - P. 359-372.

58. Kami R., Sanchez P., Tummala V. A Comparative Study of Multiattribute Decision Making Methodologies // Theory and dec. 1990. - 29. - P. 203-222.

59. Lotfi V., Stewart T.J., Zionis S. An Aspiration-Level Interactive Model for Multiple Criteria Decision-Making // Сотр. and Oper. Res. 1992.

60. Hobbs В .J., Chankong V., Hamaden W., Stakniv E. Does Choice of Multicriteria Method Matter? An experiment in Water Resource Planning // Water Resour. Res. 1992. - 28. - P. 1767-1779.

61. Zankis S., Mandakovic Т., Gupta S., Sahay S., Hong S. A Review of Program Evaluation and Fund Allocation Methods within the Service and Government Sectors // Socio-Econ. Plann. Scic. -1995.-29.-P. 59-79.

62. Olson D.L., Mochkovich H.M., Schellenberger R., Mechitov A.I. Consistency and Accuracy in Decision Aids: Experiments with Four Multiattribute Systems // Decision Sci. 1995. - 26. -P. 723-748.

63. Saaty T.L. Decision Making with Dependence and Feedback // The Analytic Network Process. Pittsburgh: RWS Publications, 1996.

64. Ларичев О.И., Мошкович E.M. Качественные методы принятия решений. Вербальный анализ решений. М.: Наука; Физматлит, 1996.

65. Zankis S.H., Solomon A., Wishart N., Dublish D. Multi-Attribute Decision Making: A Simulation of Select Methods // Eur. J. Oper. Res. 1998. -107. - P. 507-529.

66. Миркин Б.Г. Проблема группового выбора. М.: Наука, 1974.

67. Saaty T.L. Decision Making for Leaders. Pittsburgh: RWS Publications, 2000.

68. Ларичев О.И. Прохоров A.C. и др. Опыт планирования фундаментальных исследований на конкурсной основе // Вестн. АН СССР, 1989. №7. - С. 5-61.

69. Lipovetsky S., Tishler A., Dvir D., Shenhar A. The Relative Importance of Project Success Dimensions // R&D Manag. 1997. - Vol. 27, N 2. - P. 97-106.

70. Daellenbach H., McNickle D. Decision making through systems thinking. Christchurch: Macmillan. 2005.

71. Теория систем и системный анализ в управлении организациями: Справочник: Учеб. пособие/Под ред. В.Н. Волковой и А. А. Емельянова. М.: Финансы и статистика, 2006. — 848 с.

72. Ларичев О. И. Теория и методы принятия решений: Учебник. М.: Логос, 2000. - 296 с: ил.

73. Многокритериальные задачи принятия решений / Под ред. Д.М. Гвишиани и С.В. Емельянова. М.: Машиностроение, 1978.

74. Соболь И.М., Статников Р. Б. Выбор оптимальных параметров в задачах со многими критериями. М.: Наука, 1981.

75. Евланов Л.Г. Теория и практика принятия решений / Редкол.: Е.М. Сергеев и др. М.: Экономика, 1984. -176 с.

76. Парето-оптимальные решения многокритериальных задач. Подиновский В.В., Ногин В.Д. М.: Наука. Главная редакция физико-математической литературы, 1982. — 256 с.

77. Ларичев О.И. Новое направление в теории принятия решений: вербальный анализ решений // Новости искусственного интеллекта. 2001. №3. С. 26-31.

78. Черноруцкий И.Г. Методы принятия решений. СПб.: БХВ-Петербург, 2005. - 416 с.

79. Петровский А.Б. Упорядочение и классификация объектов с противоречивыми признаками. // Искусственный интеллект. 2003. №4. С. 34-43.

80. Múltiple criteria decisión analysis: state of the art surveys. / Ed. by Figueira J., Greco S., Ergott M. -NY.: Springer, 2005, 1085 p.

81. Кини Р. Л. Размещение энергетических объектов: выбор решений. М.: Энергоатомиздат, 1983.

82. Пфанцагль И. Теория измерений. / Пер. с анг. Кузьмина В.Б. М.: Мир, 1976. - 248 с.

83. Рыков А.С. Модели и методы системного анализа: принятие решений и оптимизация; Учебное пособие для вузов. М.: Издательский дом «Руда и металлы», 2005. - 352 с.

84. Ковалев И.В., Смолин В.В., Царев Р.Ю. Система поддержки принятия решений по выбору состава отказоустойчивых систем управления. // Программные продукты и системы. 2007. № 3. С. 71-72.

85. Regenwetter М., Grofman В. Approval votxng. Borda Winners and Condorcet Winners: Evidence from seven Elections// Management Science. 1998. V44. № 4,

86. Литвак Б.Г. Автоматизированные системы экспертного оценивания и аккредитация. -М.: Исследовательский центр проблем качества подготовки специалистов, 1993. 142 с.

87. Литвак Б.Г. Экспертные оценки и принятие решений. М.: Патент, 1996. - 271 с.

88. Многокритериальная оптимизация: Математические аспекты / Б.А. Березовский, Ю.М. Барышников, В.И. Борзенко, Л.М. Кемпнер. -М.: Наука, 1989. 128 с.

89. Айзерман М.А., Алескеров Ф.Т. Выбор вариантов: основы теории. — М.: Наука, 1990. -240 с.

90. К.Н. Spencer Pickett. The essential handbook of internal auditing. -USA: John Wiley & Sons, 2005.

91. ГОСТ P ИСО 19011-2003 «Руководящие указания по аудиту систем менеджмента качества и/или систем экологического менеджмента» —М.: Изд-во стандартов, 2004.

92. Макет федерального государственного образовательного стандарта высшего профессионального образования. // http://www.edu.ru/db/portal/spe/3v/220207m.htm

93. Панкова Л.А., Петровский А.М., Шнейдерман М.В. Организация экспертизы и анализ экспертной информации. М.: Наука, 1984, 120 с.

94. Адамов А.П., Гаджиев У.А., Пирбудагов Г.М., Сотская А.Н. Об определении компетентности экспертов методом взаимооценки. // Автоматика и телемеханика. 1989. ~№ 3. - С. 185-189.

95. Шибанов Г.П. Порядок формирования экспертных групп и проведения коллективной экспертизы. // Информационные технологии. — 2003. № 12. - С. 19-22.

96. Wootton С. Developing Quality Metadata. -NY.: Elsevier, 2007. 545 p.

97. Чамберс Д., Уилер Д. Статистическое управление процессами: Оптимизация бизнеса с использованием контрольных карт Шухарта / Пер. с англ. М.: Альпина Бизнес Букс, 2008.-409 с.

98. Кагарлицкий Ю.В. Разработка документации пользователя программного продукта. Методика и стиль изложения. М.: ООО «Философт Сервисы», 2008. - 210 с.

99. Гарольд Э., Мине С. XML. Справочник. Пер. с англ. - СПб: Символ-Плюс, 2002. -576 с.

100. Рыков A.A., Рыков A.C. Алгоритмы обработки экспертной информации для оценки качества информационных систем. // Экономика, информационные технологии и управление в металлургии. Сборник научных трудов. -М.: МИСиС, 2003. С. 86-90.

101. Якобсон А., Буч Г., Рамбо Дж. Унифицированный процесс разработки программного обеспечения. СПб.: Питер, 2002. - 496 с.

102. Фаулер М„ Скотт К. UML. Основы. Пер. с англ. - СПб: Символ-Плюс, 2002. - 192 с.

103. Трофимов С.А. CASE-технологии: практическая работа в Rational Rose. Изд. 2-е. М.: Бином-Пресс, 2002 г. - 288 с.

104. Трахтенгерц Э.А. Компьютерная поддержка принятия решений: Научно-практическое издание. Серия «Информатизация России на пороге XXI века». М.: СИН'ГЕГ, 1998. - 376 с.

105. Трахтенгерц Э.А. Компьютерная поддержка переговоров при согласовании управленческих решений. Серия "Системы и проблемы управления". М.: СИНТЕГ, 2003. 284 с.

106. Лисичкин В.А. Отраслевое научно-техническое прогнозирование. — М.: Экономика, 1971.

107. Гладков JI.А., Курейчик В.В., Курейчик В.М/ Генетические алгоритмы / Под ред. В.М. Курейчика. 2-е изд., испр. и доп. - М.: ФИЗМАТЛИТ, 2006. - 320 с.

108. Haupt R., Haupt S. Practical genetic algorithms. Hoboken: John Wiley & Sons, 2004.

109. Батищев Д.И., Исаев С.А. Оптимизация многоэкстремальных функций с помощью генетических алгоритмов // Межвузовский сборник научных трудов «Высокие технологии в технике, медицине и образовании». Воронеж: ВГТУ, 1997. С. 4-17.

110. Исаев И.А. Разработка и исследование генетических алгоритмов для принятия решений на основе многокритериальных нелинейных моделей: Дис. . канд. техн. наук: 05.13.17 //Н. Новгород: НГТУ, 2000. 131 с.

111. Круглов В.И., Соловьев В.П., Кочетов А.И., Проничкин C.B. Разработка критериальной модели для независимой оценки деятельности вуза категории «Национальный исследовательский университет». Высшее образование сегодня. — 2010. — №7.-С. 6-16.

112. Растригин Л.А. Современные принципы управления сложными объектами. М.: Сов. радио, 1980.-232 с.

113. Салуквадзе М.Е. Задачи векторной оптимизации в теории управления. Тбилиси: Мецниереба, 1975.-201 с.

114. Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование эксперимента при поиске оптимальных условий. — М.: «Наука». 1976. — 278 с.

115. Большее Л.Н., Смирнов Н.В. Таблицы математической статистики. М.: Наука, 1983. -416с.

116. Федоров В.В. Теория оптимального эксперимента. М.: «Наука», 1971. - 312 с.

117. Dette H., Mêlas V.B., Wong W.K. Locally D-optimal Designs for Exponential Regression // Statistica Sinica, Vol. 16.2006. P. 789-803.

118. Старосельский Ю.М. Исследование оптимальных планов эксперимента для нелинейных по параметрам регрессионных моделей: Дис. канд. физ.-мат. наук: 05.13.18 / СПб.: СПбГУ, 2008.109 с.

119. Draper N.R., Smith H. Applied regression analysis. 3rd ed. - NY.: Wiley., 1998. - 706 p.

120. Налимов B.B., Чернова H.A. Статистические методы планирования экстремальных экспериментов. М.: Наука, 1965. - 340 с.

121. Grunig R., KuhnR. Successful Decision-making. Heidelberg: Springer-Verlag, 2005.

122. Васильева Е.Ю. Рейтинг преподавателей и кафедр в вузе. // Университетское управление: практика и анализ. 2007. №3. С. 39-48.

123. Иванов Б.С. Оценка образовательного процесса на кафедре. // Стандарты и качество. 2003. №8 С. 94-95.

124. Кадочников H.A. Корпоративный имидж как фактор конкурентоспособности высшего профессионального учебного заведения: Диссертация . кандидата экономических наук: 08.00.05 / М.: ВГУЭС, 2005. 130 с.

125. Лоскутов А.Ю., Михайлов A.C. Введение в синергетику: Учеб. руководство. — М.: Наука, 1990.-272 с.

126. Азгальдов Г.Г. Теория и практика оценки качества товаров. Основы квалиметрии. -М.: Экономика, 1982.

127. Азгальдов Г.Г. Построение деревьев показателей свойств объекта // Стандарты и качество. 1996. - №¡11.

128. Азгальдов Г.Г. Определение значений коэффициентов важности // Стандарты и качество. 2000. -№2.

129. Андреева Г.М. Социальная психология. Учебник для вузов. — М.: Аспект Пресс, 2008. -363 с.

130. Майерс Д. Социальная психология. 7-е изд. - СПб.: Питер, 2007. - 794 с.

131. Субетто А.И. Компетентностный подход: онтология, эпистемология, системные ограничения, классификация — и его место в системе ноосферного императива в XXI веке.

132. М.: Уфа: Исследовательский центр проблем качества подготовки специалистов, 2007. — 96 с.

133. Воспитательная деятельность как объект анализа и оценивания. Труды Исследовательского центра / Под общ. ред. профессора Зимней И.А. — М.: Исследовательский центр проблем качества подготовки специалистов, 2003. — 85 с.

134. Twizell E.H. Higher education in the twenty-first century: issues and challenges. NY.: CRC Press, 2008. - 198 p.

135. Соловьев В.П., Бринза B.B. Стратегия управления вузом // Университетское управление: практика и анализ. 2002. №2.

136. Селезнева H.A., Субетто А.И. Теоретико-методологические основы качества высшего образования (научный доклад), http://www.trinitas.ru/rus/doc/0012/001a/00120115.htm.

137. Соловьев В.П., Кочетов А.И., Шестаков А.Л., Шадриков В.Д., Богданова О.В. Стимул и инструмент повышения качества деятельности вузов. //Стандарты и качество, 2002. №4.- С. 52-56.

138. Шадриков В.Д. Образовательный аудит и консалтинг // Качество образования. 2008. №4.-С. 4-17.

139. Scott М. Le Grand, Kenneth М. Merz Jr. The Application of the Genetic Algorithm to the Minimization of Potential Energy Functions // Journal of Global Optimization. Vol. 3. 1993. P. 49-66.

140. Hussain M.F., Al-Sultan K.S. A Hybrid Genetic Algorithm for Nonconvex Function Minimization//Journal of Global Optimization. Vol. 11. 1997. P. 313-324.

141. Haslinger J., Jedelsky D., Kozubek Т., Tvrdik J. Genetic and Random Search Methods in Optimal Shape Design Problems // Journal of Global Optimization. Vol. 16. 2000. P. 109-131.

142. Maaranen H., Miettinen K., Penttinen A. On initial populations of a genetic algorithm for continuous optimization problems // Journal of Global Optimization. Vol. 37. 2007. P. 405-436.

143. Zabinsky Z., Bulger D. Stopping and restarting strategy for stochastic sequential search in global optimization // Journal of Global Optimization. Vol. 46. 2010. P. 273-286.

144. Wall B.J., Conway B.A. Genetic algorithms applied to the solution of hybrid optimal control problems in astrodynamics // Journal of Global Optimization. Vol. 44. 2009. P. 493-508.

145. Иванов Б.Н. Дискретная математика. M.: Лаборатория Базовых Знаний, 2002 - 288 с.

146. Управление качеством как процесс: типовая модель системы качества образовательных учреждений / В.И. Круглов, В.М. Кутузов, Д.В. Пузанков, С.А. Степанов // Аккредитация в образовании. — 2006. № 7. - С. 21-23.

147. Томович Р., Вукобратович М. Общая теория чувствительности. Пер. с сербск. и с англ., под ред. Цыпкина Я. 3., М. Изд-во «Советское радио», 1972. - 240 стр.

148. Сергеев А.Г. Метрология: Учебник. М.: Логос, 2005. - 272 стр.