автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Мониторинг результативности образовательной деятельности вуза на основе инженерии знаний

□□3475248

На правах рукописи

2 О АВГ 2009

ЗОЛОТЬКО Кирилл Николаевич

МОНИТОРИНГ РЕЗУЛЬТАТИВНОСТИ ОБРАЗОВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ ВУЗА НА ОСНОВЕ ИНЖЕНЕРИИ ЗНАНИЙ

Специальность 05.13.10 -Управление в социальных и экономических системах

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Астрахань, 2009

003475248

Работа выполнена в ГОУ ВПО «Саратовский государственный технический университет»

Научный руководитель:

доктор технических наук, профессор Большаков Александр Афанасьевич

Официальные оппоненты:

доктор экономических наук, профессор Бережнов Геннадий Викторович

кандидат технических наук, доцент Аниськина Нина Николаевна

Ведущая организация:

Институт проблем точной механики и управления РАН (г. Саратов)

Защита состоится «11» сентября 2009 года в 15 часов 00 минут на заседании диссертационного совета Д 307.001.06 при Астраханском государственном техническом университете по адресу: 414025, г. Астрахань, ул.Татищева, 16, гл. корп., ауд. 305.

Отзывы на автореферат в двух экземплярах, заверенные гербовой печатью организации, просим направлять по адресу: 414025, г. Астрахань, ул. Татищева, 16, ученому секретарю диссертационного совета Д.307.001.06

С диссертацией можно ознакомиться в научно-технической библиотеке Астраханского государственного технического университета

Автореферат разослан « » июля 2009 г.

Ученый секретарь

диссертационного совета

И.Ю. Квятковская

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы определяется рядом аспектов, из которых основными являются переход к комплексной оценке деятельности образовательного учреждения, совмещающей процедуры лицензирования, аттестации и аккредитации; усиление конкуренции на рынке образовательных услуг; широкое распространение практики по созданию, внедрению и сертификации систем менеджмента качества в соответствии со стандартами серии ISO 9001:2008 и др.

Способность вуза обеспечивать высокое качество подготовки специалистов определяет его конкурентоспособность на рынке образовательных услуг. В связи с этим необходимо формирование такой системы управления качеством образовательных услуг, которая ориентирована на удовлетворение требований потребителей, выпуск продукции, адекватной требованиям рынка, и позволяющей занять лидирующие позиции в усиливающейся конкурентной борьбе на рынке образовательных услуг.

Для решения стратегических и оперативных задач управления качеством подготовки специалистов необходимо наличие объективной информации о ресурсах, процессах и результатах деятельности вуза, что, в свою очередь, требует создания и поддержки в актуальном состоянии системы мониторинга и оценки качества образовательных услуг. На этапе создания такой системы важно определить приоритетные объекты мониторинга, информация о которых может существенным образом повлиять на управленческие решения. К таким объектам, в первую очередь, относятся качество подготовки специалистов, потребности и удовлетворенность потребителей образовательных услуг.

Российский опыт исследований в области управления качеством образования отражён в трудах Адлера Ю.П., Байденко В.И., Зимней И.А., Никитиной Н.Ш., Селезнёвой H.A., Скок Г.Б., Соловьёва В.П., Субетто А.И. и других авторов. Значительный вклад в исследования в этом направлении внесли зарубежные ученые Ан-софф И., Котлер Ф., Ламбен Ж.Ж., Маршалл А. и др. Важная роль в этих исследованиях отводится мониторингу и оценке качества образования. Однако отсутствует комплексное решение задачи, которое включает полный необходимый набор методического, алгоритмического и программного обеспечения. Это связано с объемностью и многогранностью темы, каждый из аспектов которой требует глубоких самостоятельных и тщательных исследований.

Существующие методы внешней и внутренней оценки качества образовательных систем основаны на моделях премий по качеству с заданным перечнем показателей и весов. При этом используются экспертный способ оценки и балльные шкалы. Однако в условиях рынка необходим гибкий инструментарий, адекватно отражающий характеристики образовательной деятельности, учитывающий ее особенности, изменения внешних и внутренних условий и позволяющий формировать управление на основе данных стратегических и оперативных задач.

В процессе создания системы мониторинга и оценки качества образовательных услуг требуется создание методов, алгоритмов и соответствующих средств информационной поддержки.

Целью диссертационной работы является повышение результативности управления качеством образовательного процесса вуза на основе создания информационной системы мониторинга и поддержки принятия решений.

Задачи исследования. Для достижения поставленной цели потребовалось решение следующих задач, определивших логику диссертационного исследования и его структуру:

- провести аналитическое исследование вопросов, связанных с оценкой качества образования, организацией системы мониторинга качества в вузе;

- определить количественные и качественные показатели, характеризующие качество образовательного процесса и его результатов, а также методы их измерения;

- разработать структуру системы мониторинга и анализа ключевых показателей результативности процессов системы менеджмента качества на основе инженерии знаний;

- предложить алгоритмы определения и анализа требований потребителей к качеству образовательных услуг и уровню их удовлетворенности;

- апробировать систему мониторинга и оценки качества на различных объектах образовательной деятельности: оценка качества процессов системы управления по требованиям ГОСТ Р ИСО 9001:2001.

Предметом исследования являются теоретические, методические и практические аспекты формирования систем управления качеством в образовательных организациях, методы экспертно-статистического анализа для задач исследования, системы хранения, анализа и обработки информации.

Объектом исследования является система управления качеством образования в вузе.

Методы исследований основываются на теории систем управления, стратегического менеджмента, основных положениях системного анализа, методов искусственного интеллекта, экспертных оценок и объектно-ориентированного программирования.

Научная новизна диссертационного исследования состоит в следующем:

■ предложена и формализована сбалансированная система показателей и целей в качестве управленческого мониторинга, отличающаяся объединением финансовых и нефинансовых индикаторов, учетом специфики и фазы жизненного цикла образовательного учреждения, что позволяет учесть взаимное влияние показателей, а также вычислить интегральную оценку показателей и процессов на различных уровнях;

■ предложена методика построения системы мониторинга, отличающаяся наличием процесса поддержки принятия решений в области управления качеством образования, основанная на показателях результативности стратегического и оперативного планирования, что позволяет своевременно проводить анализ и улучшение деятельности вуза;

■ сформулированы критерии оценки качества процессов вуза, отличающиеся наличием нескольких степеней градации, что позволяет повысить эффективность управляющих и предупреждающих воздействий;

■ предложена модель интегрированной информационной системы мониторинга и поддержки принятия решений, поддерживающая адеЬ-интерфейс, отличающейся наличием объектов с задаваемыми признаками и свойствами, что позволяет осуществлять анализ и измерение по различным характеристикам объектов предметной области вуза.

Практическая значимость работы. Практические рекомендации применимы в образовательных учреждениях при создании системы менеджмента качества образования, ориентированной на требования потребителей. Организационная про-

цедура является практическим руководством при осуществлении мероприятий по разработке и внедрению системы менеджмента качества образования, позволяющей предоставлять образовательные услуги, соответствующие требованиям современного рынка. Разработанная программа для ЭВМ, защищенная свидетельством Роспатента РФ, может бьгть использована для автоматизации мониторинга деятельности различных вузов.

Реализация и внедрение результатов работы. Результаты диссертационной работы использованы при создании системы мониторинга деятельности вуза, его структурных подразделений и организационных единиц, основанной на сбалансированной системе показателей, внедренной в Саратовском государственном техническом университете (СГТУ).

Апробация работы. Основные положения и результаты исследования доложены на Международных научных конференциях (г. Саратов) «Логистика и экономика ресурсосбережения в промышленности» (МНПК «ЛЭРЭП-2-2007») (20 - 23 сентября 2007 г.), «Математические методы в технике и технологиях» (27 - 30 мая 2008 г.), «Интернет - на службу обществу» (20 - 23 октября 2008 г.), «Интернет и инновации. Практические вопросы информационного обеспечения инновационной деятельности» (20 - 23 ноября 2008 г.), а также отражены в ряде научных публикаций. Практические результаты исследования использовались при создании системы менеджмента качества образования в СГТУ.

Публикации. Основные выводы и положения нашли отражение в 9 публикациях общим объемом 1,25 пл., в т.ч. 1 в издании из списка, рекомендованного ВАК РФ.

Структура работы отражает логику, порядок исследования и решения поставленных задач. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованной литературы и приложения. Работа изложена на 141 странице, содержит 42 рисунка, 8 таблиц, 3 приложения.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность рассматриваемой темы; определены цели, задачи, предмет, объект исследования, раскрыта его теоретическая и практическая значимость, приведена характеристика научной новизны и практической значимости.

В первой главе рассмотрено понятие качества образования с позиций его управления и оценки. Качество образования - это многомерное понятие, включающее результаты деятельности вуза и собственно организацию его деятельности, направленную на удовлетворение потребностей клиентов.

С учетом специфики предметной области определена процессная модель создаваемой системы мониторинга качества образования (рис. 1), выделены основные процессы деятельности образовательных учреждений, в т.ч. процессы управления качеством образования.

На основе обзора существующих систем мониторинга качества образования сделаны выводы о необходимости разработки системы мониторинга качества образования.

Проанализированы позиции ряда авторов относительно содержания ключевых понятий управления качеством образовательных услуг. Рассмотрены достоинства и недостатки существующих систем мониторинга и управления качеством образования. К последним относятся отсутствие информационной поддержки, обеспечивающей автоматизированный процесс принятия управленческих решений на

всех уровнях организационной структуры и позволяющей объективно оценить качество образовательного процесса; а также моделей и методов представления знаний в едином информационном пространстве характеристик учебной, научно-исследовательской и инновационной деятельности образовательного учреждения (ОУ), позволяющих объективно оценить качество образовательного процесса.

Планирование Организация Оценка резуль- Информи-

татов рование

Мониторинг основных процессов

Образовательная деятельность

Воспитательная деятельность

Научно-исследовательская деятельность

Мониторинг процессов обеспечения

Информационно-образовательная среда Материально-техническая база

Рис. 1. Процессная модель управления комплексным мониторингом в вузе

Для устранения выявленных недостатков предложено использовать систему поддержки принятия решений при управлении качеством образования на основе инженерии знаний. Сформулирована постановка задачи создания системы управления качеством образования и приведена ее декомпозиция на подзадачи для достижения поставленной цели - повышения результативности решения задач управления качеством образования.

Во второй главе рассмотрена классификация процессов вуза и модель системы управления качеством образовательных услуг в вузе (рис. 2), основанная на процессном подходе. Выбран метод по выявлению и описанию процессов, непосредственно влияющих на качество образования.

Для реализации стратегического планирования задач, связанных с управлением качеством образования, предложена формализованная процедура идентификации и определения процессов управления качеством образования и их ключевых показателей результативности, основанная на применении сбалансированной системы показателей (ССП). Основная идея формирования ССП заключается в преобразовании стратегических целей вуза в оперативные на основе системы показателей эффективности достижения целей по заданным направлениям.

Концепция ССП предусматривает использование финансовых и нефинансовых, а также краткосрочных и долгосрочных показателей, установление причинно-следственных связей между ними. К недостаткам использования ССП можно отнести следующие: слабо формализуемая математическая модель методики; отсутствие методов обеспечения результативности процессов.

Специфика применения ССП в вузе состоит в том, что образовательные учреждения оценивают эффективность не по финансовым результатам, а по выполнению требований клиентов, т.е. социальной эффективности.

ГОСТ ИСО Законодательство Миссия и цели Гос.обр.спшдарт

водство по СМК исполнители организации база

Рис. 2. Процессная модель системы управления качеством образования

Для каждой из перспектив определен набор целей, и связанной с ней совокупности показателей и мероприятий для их достижения. Цикл управления достижением целей процессов замыкается применением корректирующих и предупреждающих действий, которые направлены на устранение причин несоответствий продукции и процессов.

При построении сбалансированной системы показателей предлагается методика, состоящая из этапов:

1. Анализ сильных и слабых сторон вуза (SWOT-aнaлиз).

2. Определение перспектив, целей и мероприятий по их достижению стратегического развития вуза на основе созданной стратегической карты вуза.

3. Построение причинно-следственных связей между целями.

4. Анализ приоритетов направлений развития и совершенствования качества образования.

Для определения перспектив развития вуза и построения стратегии проведен анализ его текущего состояния и окружающего воздействия с использованием методики БУ/ОТ-анализа. Необходимо отметить, что эта методика слабо формализована и в большинстве источников литературы не содержит конкретных действий для ее реализации на практике.

В качестве объектов 8\УОТ-анализа выбраны вуз в целом и кафедры факультетов. На первом этапе анализа определена оценка сил и слабостей объектов. Ранг каждой характеристики определяется как

Д,*=П ОСкгОУ,, (1)

где ОС/?, - оценка внутренних характеристик вуза, ОК, - вес характеристики, /= 1,... ДД - количество характеристик.

На основе вычисленных рангов характеристик определяется интегральная оценка конкурентоспособности вуза

(2)

На втором этапе произведен анализ характера и степени влияния внешней среды на ОУ.

Ранг каждого внешнего фактора определяется по формуле

Д1&"=ПСЛ<'К<> (3)

где СИ, — оценка внешних характеристик вуза, У, - вес характеристики.

На основе вычисленных рангов внешних факторов определяется интегральная оценка благоприятности или неблагоприятности внешней среды:

. (4)

Заключительный этап SWOT-aнaлизa заключается в сопоставлении сильных и слабых сторон и факторов внешней среды, на основе которого определяются основные стратегические действия, актуальные для различного сочетания сил, слабостей, возможностей и угроз. Так, анализ сильных и слабых сторон СГТУ показал необходимость изменения политики в области управления качеством образования вуза.

Результаты состояния SWOT-aнaлизa используются при формировании миссии, видения, стратегии ОУ и следующих из нее положений политики в области качества.

Для построения причинно-следственных связей ССП автором предложен метод факторного анализа, в котором степень влияния заранее известных целей (показателей) качественно оценивается по 3-балльной шкале - «не влияет», «косвенно влияет», «непосредственно влияет» (см. табл. 1). Показатели, непосредственно не влияющие на результат, отбрасываются, а оставшиеся исследуются экспертами для определения веса. При этом применяется правило Парето, т.е. совокупность показателей, имеющая суммарный вес 20% и менее, исключается из дальнейшего рассмотрения.

Таблица 1

Пример построения причинно-следственных связей ССП

Внутренние процессы Клиенты

Растущее количество клиентов Развитие рынка Увеличение кол-ва коммерческих работ Эффективная ценовая политика

Эффективная работа с клиентом + — — —

Развитие корпоративной информационной системы Д д — —

Совершенствование мат.-техн. базы Д д — —

Развитие научных исследований д + Д —

+ - прямое влияние А - косвенное влияние --не влияет

При составлении табл. 1 применен причинно-следственный метод Исикавы, который используется для исследования показателей, влияющих на желаемый результат.

При установлении степени важности этих процессов в системе процессов вуза использовалась диаграмма Парето. После определения количественного отклонения показателей каждого процесса вуза от идеального с использованием программного пакета 8гаг1з11са 6.0 построена диаграмма Парето. Эта диаграмма показала, что про-

цессы, относящиеся к критерию «Клиенты вуза», являются ключевыми, т.е. существенно влияют на показатели результативности менеджмента в вузе.

Анализ заинтересованных сторон осуществляется с использованием социологического мониторинга, основанного на мониторинге удовлетворенности потребителей образовательной деятельности вуза. В рамках социологического мониторинга рассмотрены процессы анализа удовлетворенности заинтересованных сторон и разработаны диаграммы их функционирования.

Пример описания процесса мониторинга анализа удовлетворенности потребителей приведен в табл. 2.

Таблица 2

Общие сведения о процессе анализа удовлетворенности потребителей

Цель процесса Постоянное улучшение СМК

Последующие процессы Планирование. Управление проектированием и разработкой. Улучшение.

Потребитель Заинтересованные стороны.

Требования Внешние нормативные документы, ИСО 9001, ГОС ВПО, Положения

Ресурсы Персонал с требуемой компетентностью. Финансы. Необходимые информационные ресурсы и программное обеспечение. Необходимая инфраструктура и производственная среда. Расходные материалы.

Входные данные Информация от гос.органов, потребителей и др. заинтересованных сторон, распоряжения руководства вуза и заинтересованных сторон.

Выходные данные Отчеты для руководства, информация потребителям, отчеты по результатам анкетирования и социологических исследований. Планы мероприятий по повышению степени удовлетворенности персонала и студентов. Отчеты с исходными данными для определения рейтингов, аттестационных, аккредитацион-ных показателей. Планы корректирующих и предупреждающих действий.

Критерии оценки Установленные требования заинтересованных сторон, цели деятельности по реализации требований и их выполнение. Критерии самооценки. Результаты оценки удовлетворенности заинтересованных сторон.

Количественные показатели Процент охвата потребителей Количество выданных рекомендаций Количество выполненных рекомендаций Количество принятых корректирующих и предупреждающих решений Количество улучшений в процессах Степень удовлетворенности/неудовлетворенности

Методы измерения и мониторинга Мониторинг и измерение со стороны ответственного за процесс. Внутренние и внешние аудиты. Проверки со стороны руководства и надзорных органов.

Пример алгоритма подпроцесса «Мониторинг восприятия студентами деятельности вуза» представлен на рис. 3.

По результативности функционирования предложены корректирующие и предупреждающие действия, а также действия, направленные на улучшение процессов.

Кроме этого, в главе разработана содержательная часть системы менеджмента качества, удовлетворяющая требованию международного стандарта серии 180 9001:2008.

В третьей главе рассмотрены ключевые показатели результативности ССП, методы их измерения и вычисления интегральных значений.

На основе анализа структуры вуза выделены наиболее часто используемые группы показателей, основными из которых являются процесс управления образованием в вузе, деятельность преподавателей, функционирование кафедр и факультетов, компетенции студентов.

Приказ ректора о проведении анкетирования. Анкета «Удовлетворенность студентов обучением в вузе»

| Анкс

Анкета (не согласованная)

Анкета (согласованная). Заявка на тираж Анкет

График анкетирования. Анкета.

Заполненная анкета

Отчет по результатам анкетирования

Отчет по результатам социологических исследований. Положение о ректорате. Положение о Совете по качеству

Рис. 3. Алгоритм мониторинга восприятия студентами деятельности вуза

Анализ показателей стратегического планирования проводился в рамках системы сбалансированных показателей с вычислением интегрального значения по каждо-

ставляются в виде групп диаграмм Парето. Анализ этих диаграмм показывает оценку функционирования процессов вуза на основе взаимного сравнения, в т.ч. в динамике.

Ниже описывается разработанный автором алгоритм определения значений степени реализации составляющих ССП.

Состояние сбалансированной системы показателей описывается вектором

х = {х1,х2,х3,хА,х!) - значения степени реализации составляющих ССП, измеряемые по относительной шкале от 0 до 1. При расчете значений степени реализации составляющих х = (х1,х2,х3,х),х,) сделано предположение о том, что каждая составляющая имеет множество целей от с/ до ст, где т - количество целей в составляющей х/, а / -номер составляющей ССП.

Достижение каждой из целей с,/, где } - номер цели, ССП определяется состоянием показателей Фу, которые поддерживают заданную цель, а также степенью выполнения целей нижнего уровня. В общем виде взаимосвязь между показателями, целями и составляющими ССП можно описать следующим образом: Фу —> с,; —^ X/. Для каждой цели задаются три возможных состояния: 51/ - не достигнута; достигнута частично; ^-достигнута.

Таким образом, состояние цели будет определяться из значения степени её реализации сц, следующим образом:

и

с,' = ' (5)

где Ру - значение итогового показателя, которое определяется из значений показателей Ф,р поддерживающих у-ю цель, чц - коэффициент, отражающий степень влияния нижерасположенных целей на искомую и определяемый исходя из состояния рассматриваемой, п - количество показателей, поддерживающих цель, / -номер показателя.

В работе определено, что состояние для цели устанавливается в случае, если > 0,9; состояние 5? - если 0,5 < с7/ < 0,9; 5; - если с;( < 0,5.

Каждая цель ССП характеризуется несколькими показателями. Показатели одной цели могут иметь различную значимость при определении степени достижения цели. Для того, чтобы учесть различие в степени влияния показателя на цель экспертно определен вес каждого из показателей ку. С его учетом итоговый показатель рассчитывался по формуле р-у= куФу/ П1р где ру - взвешенное значение показателя; Фу-текущее значение показателя; Пу - плановое значение показателя.

При определении степени результативности функционирования процессов разработана процедура, которая позволяет определить критерии процессов с учетом особенностей вуза и осуществляется на основе реализации следующих этапов.

1. Регистрация фактических значений критериев, по которым осуществляется вычисление результативности.

2. Определение суммы фактических значений по каждому критерию в рамках заданного процесса:

(6)

1-1

где Кф - фактическое значение критерия, И-количество критериев по /-му показателю.

3. Определение суммы плановых значений по каждому критерию:

П,=1*Л(. (7)

м

где КП1 - плановое значение критерия, количество критериев по /-му показателю.

4. Вычисление результативности процесса Р„ как отношение между фактическим и плановым значением по каждому критерию Р„~ Ф¡/ Пц.

5. Оценка результативности по шкале значимости процесса (рис. 4) с учетом следующих условий:

• Р„ = 0 - процесс не функционирует и требует разработки;

• 0<Р„<0,33- процесс требует разработки его владельцем корректирующих действий;

• 0,33 < Р„ < 0,66 - процесс требует разработки его владельцем предупреждающих действий;

• 0,66 < Р„ < 1 - процесс функционирует результативно, однако требует разработки его владельцем незначительных предупреждающих действий;

Красная зона \ /" Желтая зона \ Зеленая зона \

Н-НН-НН-гН

О 0.05 0.31 0.33 0.61 0.66 0.95 1

Рис. 4. Сигнальная шкала значимости процесса

• Р„ = 1 - процесс функционирует результативно и не требует разработки каких-либо действий.

Разработка корректирующих и/или предупреждающих действий выполняется по результатам проведенной оценки с учетом вычисленных отношений между фактическим и плановым значением по каждому критерию в соответствии со следующими условиями:

• 0<Кф/КП1 < Р„ , необходимо уделить внимание критерию при разработке корректирующих действий по управлению процессом;

• Рп < Кф1 / К П1 <1, необходимо уделить внимание критерию при разработке

предупреждающих действий по управлению процессом;

• Кф !КЛ1=\, нет необходимости уделять внимание данному критерию.

Значения, определяющие состояние показателей, определялись экспертно и могут изменяться. Для расчета значения коэффициента влияния нижележащих целей у,; необходимо определить количество целей, имеющих состояние Я/ и

Пусть Ы/ - число целей имеющих состояние £7, а - количество целей, имеющих состояние тогда значение коэффициента V/.

V,-/ = 1 - (0,01 N1 + 0,02 N2).

Коэффициенты 0,01 и 0,02 определены экспертно и могут быть изменены.

Итоговое значение степени реализации составляющей вычислено как сумма значений степеней реализации целей:

яг

*,=!>;,. (8) №

где т - количество целей в составляющей х/.

В качестве фактора поддержки принятия решения использовался алгоритм определения процесса с минимальной результативностью функционирования, влияющего на составляющую ССП и предложения по корректирующим действиям с целью улучшения показателей данного процесса. В качестве организационных

показателей выбраны ППС, кафедр и факультетов, причем в примере - характеристики СГТУ.

Для оценки результативности процессов ССП предложены критерии и алгоритмы необходимости определения разработки соответствующих корректирующих и/или предупреждающих действий и процедуры их проведения.

В четвертой главе на основе сбалансированной системы показателей разработана модель информационной автоматизированной системы, которая позволяет реализовать процедуру мониторинга и формировать управленческие решения на основе анализа данных.

Автором предложена архитектура информационной системы мониторинга качества образования с поддержкой принятия решений (см. рис. 5), с возможностью ввода организационных объектов со свойствами, которые необходимы при анализе качества системы как в целом, так и по объектам.

Для семантического представления предметной области в систему введены следующие модули: списки системных объектов, перечислений, организационных объектов, процессов, показателей, фильтрации, алгоритмы расчета интегрального показателя и поддержки принятия решений, интерпретации результатов.

В качестве объектов образовательного учреждения приняты вуз (филиал), структурное подразделение, сотрудник подразделения, преподаватель, процесс, показатель, аспект деятельности вуза, стратегическая цель вуза.

Рис. 5. Архитектура системы мониторинга

При построении информационной системы выполнена формализация сбалансированной системы показателей, описаны правила анализа, измерения и улучшения значений ключевых показателей соответствующих целей. Для формализации используются семантические сети.

Выделены следующие основные информационные объекты стратегического управления: аспекты деятельности, цель, показатель и его значение, мероприятия; ответственный за измерение, исполнители, источник данных, методика измерения, сотрудники вуза, отчеты.

В качестве отношения выбраны следующие типы: «целое-часть» (раЛ-о^ и включения, принадлежности (¡Б-а), а остальные представляют собой события между объектами, описанные соответствующими глаголами (рис. 6).

Математическая модель предложенной семантической сети описывается выражением

Источник данных

Определяет

*

Цель Part-of Показатель

Измеряет

Текущее значение

Контрольное значение

>л

Part-of

Периодичность измерения

Мероприятия

Организуют

ТЕ

Корректирующие и предупреждающие действия

Pan-of

Сотрудники вуза + ~

Сравнивает *

Ответственный за измерение

Использует i

Методика измерения

Математическая модель предложенной семантической сети описывается выражением

S=(O.Rh R2,...,Rk>, (9)

где О - множество объектов конкретной предметной области; R, - множество отношений между объектами; i - тип отношений.

Каждой цели стратегической карты соответствует семантическая подсеть. Объединение семантических сетей производится согласно установленным причинно-следственным связям между показателями в разработанной стратегической карте.

Информационная система способна учитывать возможные изменения в методике расчета и достижения показателя, а также предоставляет гибкую и масштабируемую надстройку. Система поддерживает дополнительные требования: конфигурируемость, масштабируемость, безопасность и надежность. Для этого используется принцип организации информационной системы, основанный на трехзвенной архитектуре клиент-серверного приложения. В предложенной архитектуре введено разграничение по функционально выполняемым операциям по обработке запросов к базе данных и к сетевому серверу, что обеспечивает требуемое быстродействие и корректную организацию запросов к базе знаний. Для реализации интерфейса информационной системы выбрано программное средство IntraWeb, входящее в состав среды разработки Borland Delphi 7.0. Для организации базы данных в качестве сервера используется СУБД Flash Filer 2.13.

Макетный вариант информационной системы содержит функции по работе с системой мониторинга показателей, вычислению основных рейтинговых значений, по авторизации пользователей и их должностных инструкций в соответствии с описанием системы менеджмента качества образования.

Внедрение и использование разработанной информационной системы осуществлено на одном из факультетов СГТУ. При этом выявлены области для улучшения по основным характеристикам профессорско-преподавательского состава, сформированы корректирующие действия по управлению качеством образования на уровнях факультета и кафедр.

Получают

Данные, отчеты

Рис. 6. Часть семантической сети измерения ключевого показателя

В заключении подведены итоги проведенного исследования, сформулированы основные выводы и обобщены рекомендации по формированию системы мониторинга при управлении качеством в образовательных учреждениях.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИОННОЙ РАБОТЫ

В процессе диссертационного исследования сделаны следующие выводы и получены результаты:

1. Обоснована актуальность разработки информационной системы для управления качеством образования. Предложена модель системы мониторинга и поддержки принятия решений на основе сбалансированного управления качеством образовательного процесса, которая использует методы инженерии знаний в области управления качеством образовательного процесса, что позволяет аккумулировать и анализировать знания вуза.

2. Разработана процессная модель системы менеджмента качества, соответствующая требованиям ISO 9001:2008. На ее основе созданы концептуальные, функциональные и информационные модели управления деятельностью подразделений вуза по обеспечению качества образования, отличающиеся применением международных стандартов системного струюурного анализа IDEF0.

3. Построена система показателей, характеризующая качество образовательного процесса и его результатов, организационной структуры на примере рейтинга преподавателей, определены критерии и методы их измерения, необходимые для стратегического и оперативного планирования. На основе предложенной совокупности критериев качества разработан алгоритм поддержки принятия решений с использованием корректирующих и предупреждающих действий, содержащихся в процессах управления качеством образования.

4. Предложена модель информационной автоматизированной интеллектуальной системы, которая использует сбалансированную систему показателей и целей и позволяет осуществить процедуру мониторинга, а также сформировать управленческие решения на основе анализа полученных данных.

5. Выполнена оценка результативности функционирования информационной системы мониторинга и поддержки принятия решений при управлении качеством образовательного процесса на основе процессного подхода. Выявлен социальный эффект от предложенной технологии управления требованиями к оценке бизнес-процессов и бизнес-единиц.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в изданиях, рекомендованных ВАК РФ

1. Золотько К.Н. Создание системы управления качеством образования вуза с использованием сбалансированной системы показателей и интеллектуальных методов / A.A. Большаков, К.Н. Золотько // Вестник Саратовского государственного технического университета. 2008. №2(33). Вып. 2. С.234-344.

Публикации в других изданиях

2. Золотыео К.Н. Разработка интеллектуальной информационной модели системы управления качеством образования в вузе / A.A. Большаков, К.Н. Золотько // Техн.кибернетика, радиоэлектроника и системы управления: материалы VIII Всерос. науч. конф. студентов и аспирантов. -Таганрог: ТГТУ, 2006. С.85-86.

3. Золотько К.Н. Интеллектуальная система управления факультетом на основе ключевых показателей / К.Н. Золотько // Математические методы в технике и технологиях: материалы XX Междунар. науч. конф. Ярославль: Яросл. гос. техн. ун-т, 2007. Т.2. С.85-86.

4. Золотько К.Н. Использование ARIS-технологий для разработки системы качества и сертификации вузов / A.A. Большаков, К.Н. Золотько I/ Логистика и экономика ресурсосбережения в промышленности: материалы Междунар. науч. конф. Саратов: СГТУ, 2007.

5. Золотько К.Н. Построение интегрированной системы менеджмента качества в образовательном учреждении / К.Н. Золотько // Математические методы в технике и технологиях: материалы XXI Междунар. науч. конф. Саратов: Сарат. гос. техн. ун-т, 2008. Т.8. С.74-76.

6. Золотько К.Н. Формализация сбалансированной системы показателей на основе семантических сетей / К.Н. Золотько // Математические методы в технике и технологиях: материалы XXI Междунар. науч. конф. Саратов: Сарат. гос. техн. ун-т, 2008. Т.8. С.230-231.

7. Золотько К.Н. Использование Интранет-технологии для поддержки системы управления качеством образования / К.Н. Золотько // Технологии Интернет - на службу обществу: материалы Всерос. науч.-практ. конф. - Саратов: СГТУ, 2008. С.27-28.

8. Золотько К.Н. Мониторинг сбалансированной системы показателей вуза с использованием Интранет-технологии / К.Н. Золотько // Интернет и инновации: практические вопросы информационного обеспечения инновационной деятельности: материалы Междунар. науч.-практ. конф. - Саратов: СГТУ, 2008.С.151-152.

9. Мониторинг деятельности вуза / К.Н. Золотько, A.A. Большаков; Свидетельство Роспатента об офиц. регистр, программы для ЭВМ. - № 2009611411. - 2009.

С.359-360.

ЗОЛОТЬКО Кирилл Николаевич

МОНИТОРИНГ РЕЗУЛЬТАТИВНОСТИ ОБРАЗОВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ ВУЗА НА ОСНОВЕ ИНЖЕНЕРИИ ЗНАНИЙ

Автореферат

Корректор Л.А. Скворцова

Подписано в печать 23.07.09 Бум .офсет. Тираж 100 экз.

Формат 60x84 1/16 Усл.печ.л. 1,0 Уч.-изд.л. 1,0 Заказ 327 Бесплатно

Саратовский государственный технический университет

410054, Саратов, Политехническая ул., 77 Отпечатано в РИЦ СГТУ. 410054, Саратов, Политехническая ул., 77

ВВЕДЕНИЕ.

ГЛАВА 1. ПОСТАНОВКА ЗАДАЧИ СОЗДАНИЯ СИСТЕМЫ МОНИТОРИНГА В ОБЛАСТИ УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАНИЯ.Li./.

1.1. Понятие качества образования.

1.2. Краткая характеристика системы управления качеством образования

1.3. Выбор концепции модели системы управления качеством образования

1.4. Описание и анализ систем мониторинга качества образования.

1.5. Постановка задачи исследования.29!

Актуальность темы определяется рядом аспектов, из которых основными являются переход к комплексной оценке деятельности образовательного учреждения, совмещающей процедуры лицензирования, аттестации и аккредитации; усиление конкуренции на рынке образовательных услуг; широкое распространение практики по созданию, внедрению и сертификации систем менеджмента качества в соответствии со стандартами серии ISO 9001:2008 и др.

Способность вуза обеспечивать высокое качество подготовки специалистов определяет его конкурентоспособность на рынке образовательных услуг. В связи с этим необходимо формирование такой системы управления качеством образовательных услуг, которая ориентирована на удовлетворение требований потребителей, выпуск продукции, адекватной требованиям рынка, и позволяющей занять лидирующие позиции в усиливающейся конкурентной борьбе на рынке образовательных услуг.

Для решения стратегических и оперативных задач управления качеством подготовки специалистов необходимо наличие объективной информации о ресурсах, процессах и результатах деятельности вуза, что, в свою очередь, требует создания и поддержки в актуальном состоянии системы мониторинга и оценки качества образовательных услуг. На этапе создания такой системы важно определить приоритетные объекты мониторинга, информация о которых может существенным образом повлиять на управленческие решения. К таким объектам, в первую очередь, относятся качество подготовки специалистов, потребности и удовлетворенность потребителей образовательных услуг.

Российский опыт исследований в области управления качеством образования отражён в трудах Адлера Ю.П., Байденко В.И., Зимней И.А., Никитиной Н.Ш., Селезнёвой Н.А., Скок Г.Б., Соловьёва В.П., Субетто А.И. и других авторов. Значительный вклад в исследования, в этом? направлении внесли: зарубежные ученые Ансофф <Ш, Котлер Ф., Ламбен Ж.Ж., Маршалл А. и др. Важная роль в этих исследованиях отводится мониторингу и оценке качества образования; Однако отсутствует комплексное'решение задачи; которое включает; полный > необходимый; набор, методического; алгоритмического и программного обеспечения. Это связано с объемностью и многогранностью' темы, каждый, из аспектов которой требует глубоких самостоятельных: и тщательных исследований.

Существующие; методы внешней и внутренней? оценки качества образовательных систем; основаны на; моделях премию по качеству с 'заданнымшеречнемгпоказателей- ивесов. Ири этом, используются экспертный способ оценки^ и: балльные шкалы. Однако в условиях рынка необходим гибкий инструментарий, адекватно отражающий? характеристики образовательной? деятельности^ учитывающий ее особенности,., изменения внешних^ и- внутренних условий; и позволяющий! формировать .управление . на;; основе данных стратегических и оперативных задач.

Для автоматизации; . работы: системы управления качеством образования необходима информационная система- которая сочетает, несколько' способов оценки качества' образования, в различных аспёктах деятельности? образовательного; учреждения, а также; поддерживает процесс принятия решений; по управлению качеством; образовательных: услуг, предоставляемых вузом.

В процессе создания- системы управления, мониторинга- и оценки : качества.образовательных услуг требуется разработка методик, алгоритмов и соответствующих средств информационной поддержки. •

Целью диссертационной работы является повышение результативности управления качеством образовательного процесса университета на основе создания информационной; системы мониторинга и поддержки принятия решений.

Предметом исследования являются теоретические, методические и практические аспекты формирования систем управления качеством в образовательных организациях, методы и алгоритмы мониторинга качества, методы экспертно-статистического анализа применительно к задачам исследования, системы хранения, анализа и обработки информации.

Объектом исследования являются системы управления и мониторинга качества образования вузов.

Теоретической и методологической основой исследования послужили концепции менеджмента в сфере образования, представленные в классических и современных трудах ученых в области экономики, менеджмента и организации образования; работы ведущих исследователей и специалистов по направлениям совершенствования организационно-экономических механизмов образовательной деятельности; нормативно-методические материалы и документы по данной проблеме; материалы международных, всероссийских и региональных научно-практических конференций.

Научная новизна диссертационного исследования состоит в следующем: предложена и формализована сбалансированная система показателей и целей в качестве управленческого мониторинга, отличающаяся объединением финансовых и нефинансовых индикаторов, учетом специфики и фазы жизненного цикла образовательного учреждения, что позволяет учесть взаимное влияние показателей, а также вычислить интегральную оценку показателей и процессов на различных уровнях; предложена методика построения системы мониторинга, отличающаяся наличием процесса поддержки принятия решений в области управления качеством образования, основанная на показателях результативности стратегического и оперативного планирования, что позволяет своевременно проводить анализ и улучшение деятельности вуза; сформулированы критерии оценки качества процессов вуза, отличающиеся наличием нескольких степеней градации, что позволяет повысить эффективность управляющих и предупреждающих воздействий; предложена модель интегрированной информационной системы мониторинга и поддержки принятия решений, поддерживающая web-интерфейс, отличающейся наличием объектов с задаваемыми признаками и свойствами, что позволяет осуществлять анализ и измерение по различным характеристикам объектов предметной области вуза.

Теоретическая и практическая значимость работы. Теоретическая значимость диссертационного исследования заключается в том, что полученные результаты расширяют и углубляют теоретическую и методическую базу по формированию системы менеджмента качества образования. Практические рекомендации применимы в образовательных учреждениях при создании систем управления и мониторинга качества образования, ориентированных на требования потребителей. Организационная процедура является практическим руководством при осуществлении мероприятий по разработке и внедрению системы менеджмента качества образования, позволяющей предоставлять образовательные услуги, адекватные требованиям современного рынка. На основе проведенных исследований по апробации разработанной модели выявлена возможность ее применения в качестве инструмента для совершенствования качества образовательной деятельности вузов, а также использование ее как составной частью системы менеджмента качества образования. Создана система мониторинга ключевых показателей результативности, системы управления качеством образования, основанной на критериальном подходе, отличающаяся использованием интеллектуальных методов анализа, что позволит реализовывать процесс принятия правильных управленческих решений. Разработанная программа для ЭВМ, защищенная свидетельством Роспатента РФ, может быть использована для автоматизации мониторинга деятельности различных вузов.

Реализация и внедрение результатов работы. Результаты диссертационной работы использованы при создании системы мониторинга деятельности вуза, его структурных подразделений и организационных единиц, основанной на сбалансированной системе показателей, внедренной в Саратовском государственном техническом университете (СГТУ).

Апробация работы. Основные положения и результаты исследования доложены на Международных научных конференциях (г. Саратов) «Логистика и экономика ресурсосбережения в промышленности» (МНПК «ЛЭРЭП-2-2007») (20 - 23 сентября 2007 г.), «Математические методы в технике и технологиях» (27 - 3 0 мая 2008 г.), «Интернет - на службу обществу» (20 - 23 октября 2008 г.), «Интернет и инновации. Практические вопросы информационного обеспечения инновационной деятельности» (20 -23 ноября 2008 г.), а также отражены в ряде научных публикаций. Практические результаты исследования использовались при создании системы менеджмента качества образования в СГТУ.

Публикации. Основные выводы и положения нашли отражение в 9 публикациях общим объемом 1,25 п.л., в т.ч. 1 в издании из списка, рекомендованного ВАК РФ.

Структура работы отражает логику, порядок исследования и решения поставленных задач. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованной литературы и приложения. Работа изложена на 141 странице, содержит 42 рисунка, 8 таблиц, 3 приложения.

Выход:

Информационный аналитический отчет с рекомендациями

Ресурсы:

1. Информационный коммуникационный ресурс

2. Персонал

3. Техническая база

4. Финансы

Вход в процесс

Процесс менеджмента, Анализ требований потребителей

Рис. 2.10. Процесс анализа удовлетворенности требований потребителей Выделим общие сведения о процессе в табл. 2.4.

ЗАКЛЮЧЕНИЕ

В процессе диссертационного исследования сделаны следующие выводы и получены результаты:

Обоснована актуальность разработки информационной системы для управления качеством образования. Предложена модель системы мониторинга и поддержки принятия решений на основе сбалансированного управления качеством образовательного процесса, которая использует методы инженерии знаний в области управления качеством образовательного процесса, что позволяет аккумулировать и анализировать знания вуза.

2. Разработана процессная модель системы менеджмента качества, соответствующая требованиям ISO 9001:2008. На ее основе созданы концептуальные, функциональные и информационные модели управления деятельностью подразделений вуза по обеспечению качества образования, отличающиеся применением международных стандартов системного структурного анализа IDEF0.

3. Построена система показателей, характеризующая качество образовательного процесса и его результатов, организационной структуры на примере рейтинга преподавателей, определены критерии и методы их измерения, необходимые для стратегического и оперативного планирования. На основе предложенной совокупности критериев качества разработан алгоритм поддержки принятия решений с использованием корректирующих и предупреждающих действий, содержащихся в процессах управления качеством образования.

4. Предложена модель информационной автоматизированной интеллектуальной системы, которая использует сбалансированную систему показателей и целей и позволяет осуществить процедуру мониторинга, а также сформировать управленческие решения на основе анализа полученных данных.

5. Выполнена оценка результативности функционирования информационной системы мониторинга и поддержки принятия решений при управлении качеством образовательного процесса на основе процессного подхода. Выявлен социальный эффект от предложенной технологии управления требованиями к оценке бизнес-процессов и бизнес-единиц.

1. Басовский JI.E. Протасьев В.Б. Управление качеством: Учебник. — М. .2002.-С. 50-53.

2. Плаксий С.И. Качество высшего образования — М.: 2003. С 30-32.

3. Шкарин В., Буланов Г. Внутривузовское управление качеством обучения. / Высшее образование в России. № 5, 2002. -с. 43-44.

4. Управление качеством: Учебник для вузов / С.Д. Ильенкова, Н. Д. Ильенкова, В.С.Мхитарян и др. Под ред. С.Д. Ильенкова М., 2003. -с. 23-26.

5. Куртон Е.Б. Управление образованием в условиях рынка. М.: Новая школа, 1997. - 144 с.

6. Адлер Ю., Кочетов А., Косырев К., Полховская Т., Соловьев В. МИСиС: повышение качества подготовки специалистов //Образование. 2000.-№2. -с. 68-72.

7. Качалов В., Прудковский Б. По поводу оценки качества //Высшее образование в России. №2. - 1999. - с. 54-58.

8. Качалов В.А. Проблемы управления качеством в вузах // Стандарты и качество, 2000. №5. - С. 82-85; №6. - С. 43-49; №7. - С. 68-73, №9. -С. 84-88; №10. - С. 96-100; №11. - С. 82-91.

9. Коротков Э. Система комплексной оценки качества образования специалиста //Высшее образование в России. 1995. - №2. - С. 72-78.

10. Ю.Соколов В.М. Основы проектирования образовательных стандартов (методология, теория, практический опыт) М., 1996. — С. 70-75.

11. П.Субетто А. Качество образования: проблемы оценки и мониторинга //Образование. 2000.-№2. - С. 62-66.

12. Адлер Ю. Восемь принципов, которые меняют мир // Стандарты и качество-2001 -№5,6.

13. Лапидус В.А. Всеобщее качество (TQM) в российских компаниях. — М., 2000.-С. 10-13.

14. ГОСТ Р ИСО 9004 2001 Системы менеджмента качества. Рекомендации по улучшению деятельности.

15. Международный стандарт ISO 9004:2000 Системы менеджмента качества. Рекомендации по улучшению деятельности.

16. Международный стандарт ISO 9000: 2000.Системы менеджмента качества. Основные положения и словарь.

17. Международный стандарт ISO 9001: 2000.Системы менеджмента качества. Требования.

18. Руководство по применению стандарта ISO 9001: 2000 в области обучения и образования. Пер. с англ. A.JI. Раскина.- М., 2002.

19. Пузанков Д.В., Олейник А.В., Соболев B.C., Степанов С.А. Методические рекомендации по применению стандартов серии ГОСТ Р ИСО 9001-2001 в высших учебных заведениях. -СПб.

20. Международный стандарт ISO 19011 Руководящие указания по аудиту систем менеджмента качества и/или систем экологического менеджмента.

21. Положение о премиях Правительства Российской Федерации в области качества.

22. Статистические методы повышения качества / Под ред. Хитроси Куэ.- М.,1990. — С. 50-53.

23. Федеральный закон от 27 декабря 2002 г. № 184-ФЗ «О техническом регулировании».

24. Система качества. Методическая документация. М.: МИСиС, 1999.25.СпбГТУ, СМК

25. Аниськина Н.Н., Белкова Е.А., Васильков Ю.В., Ковалева Л.Э., Справочник разработчика системы менеджмента качества. Ярославль: Изд-во ГОУ ДПО ЯрИПК, 2005. - 56с.

26. Аниськина Н.Н., Васильков Ю.В., Системы менеджмента качества. Справочник руководителя. — Ярославль: Изд-во ГОУ ДПО ЯрИПК, 2005.-52с.

27. Бабенко Е. И. Система менеджмента качества в вузе / Е. И. Бабенко // Методы менеджмента качества. 2006. — N 7. - С. 28-32 .

28. Бельтюкова С. С. Определение удовлетворенности потребителей в системе менеджмента качества вуза с использованием метода диагностики / С. С. Бельтюкова // Университетское управление: практика и анализ. 2006. - № 2. - С. 30-32.

29. Внутривузовская система менеджмента качества образования : сб. норматив, док. / М-во образования и науки Рос. Федерации, Федер. Агентство по образованию, Сарат. гос. техн. ун-т; под общ. ред. Ю. В. Чеботаревского. Саратов : СГТУ, 2005.

30. ГОСТ Р ИСО 9000-2001 Системы менеджмента качества. Основные положения и словарь. М: ИПК Издательство стандартов, 2001. 25 с.

31. Иняц Н. Малая энциклопедия качества. Часть 3. Современная история качества/Под общей ред. Ю.В. Василькова и Н.Н. Аниськиной. М: РИА «Стандарты и качество», 2003. - 224с.

32. Методика описания процесса СМК в соответствии с требованиями стандарта ГОСТ Р ИСО 9001-2001. М: ИПК Издательство стандартов, 2001.25 с.

33. Никитина Н. ILL, Университетское управление: практика и анализ. -2003. № 2(25). - С. 70-78.

34. Переверзев В. Формирование СМК вуза на основе концепции сбалансированных показателей / В. Переверзев, С. Фомин // Высшее образование в России. 2007. — № 6. — С. 18-25.

35. Мазур И.И. Управление качеством: учеб.пособие для студентов вузов, обучающихся по специальности «Упр. качетсвом». -М.: Омега-JI, 2005. -400 с.

36. Калейчик М.М. Квалиметрия: Учебное пособие. 4-е изд., стереотипное. М.: МГИУ, 2006. - 200 с.

37. Управление качеством/ Е.И. Семенова, В.Д. Коротнев и др.; Под ред. Е.И. Семеновой. -М.: Колос, 2003. 184 с.

38. Басовский JI.E., Протасьев В.Б. Управление качеством: Учебник М.: ИНФРА-М, 2005 - 212 с. - (Высшее образование).

39. Juran J. Quality Planning & Analysis, New York McCraw-Hill, 1983.

40. A. Фейгенбаум. Контроль качества продукции. — М.: Экономика, 1986. 472 с.

41. Назаров Н.Г. Метрология. Основные понятиями математические модели: учеб.пособие для вузов. Mi: Высш.шк., 2002, глава 7.

42. Квитко А. В. Управление качеством: учебное пособие. Московский государственный университет экономики, статистики и информатики. -М., 2005, 157 с. ISBN 5-7764-0542-4.46.0крепилов В. В. Управление качеством. М.: Экономика, 1998.

43. Розова Н.К. Менеджмент качества. СПб.: «Вектор», 2005. — 192 с. (ISBN 5-9684-0026-9). стр.78-82.

44. Никитин В.А., Филончева В.В. Управление качеством на базе стандартов ИСО 9000:2000. 2-е изд. СПб.: Питер, 2005. - 127 е.: ил. ISBN 5-94723-567-6.

45. Мишин В.М. Исследование систем управления: Учебник. М.: ЮНИТИ-ДАНА, 2003.

46. Современная прикладная теория управления: Оптимизационный подход в теории управления/Под ред. А.А. Колесникова. Таганрог: Изд-во ТРТУ, 2000. Ч. I - 400 с.

47. Сбалансированная система показателей. // М.Г. Браун. Москва 2005. -226с.

48. ССП. Практическое руководство по использованию. // Н.Г. Ольве, Ж.Рой; М.Веттер, Москва, 2006. 304с.

49. Универсальная система показателей. // Х.Рамперсад, К.Туоминен, Москва, 2006.-148с.

50. Разработка ССП. // Под ред. A.M. Гершуна, Ю.С. Нефедьевой, Москва 2005.-128с.

51. В.А. Королев «О природе принципа Парето», http:// certicom.kiev.ua/info/Pareto .htm.

52. Р. Кох «Закон Парето или Принцип 80\20», http ://www. elitarium.ru/print.php?id=1995&npage= 1.

53. В. Eisenberg «Принцип Парето: применение правила 80/20 в Вашем бизнесе», http://www.e-management:ru/2-dev-pareto.htm.

54. Васильева Е. Ю. Подходы к оценке качества деятельности преподавателя вуза / Е. Ю: Васильева // Университетское управление: практика и анализ. 2006. - № 2. - С. 67-70:*

55. Кузнецов И.П. Механизмы обработки семантической информации. -М.: Наука, 1978.- 115 с.

56. Кузнецов И.П. Расширенные семантические сети для представления и обработки знаний // Системы и средства информатики: Ежегод. Вып. 4 / РАН. Ин-т проблем информатики М., 1993. С. 70-83.

57. Лозовский B.C. Сетевые модели // Искусственный интеллект. — ВЗх кн. Кн.2. Модели и методы: Справочник / Под ред. Д.А. Поспелова. М.: Радио и связь, 1990^ - С. 28-49.

58. Перминов И:А. Нечеткая объектно-ориентированная семантическая сеть // Международный форум информатизации — 99: Доклады международной конференции «Информационные средства и технологии». Т.З., — С. 37-40.

59. Селезнев К., Борисов В., Визуализация^семантической сети. Открытые системы, М.: Наука, 2001. С. 28-49.

60. Башмаков А.И., Башмаков И.А. Интеллектуальные информационные технологии. М.: Изд-во МГТУ им.Баумана, 2005. — 304 с.

61. Введение в разработку онтологий 101: руководство по созданию Вашей первой онтологии. Наталья Ф. Ной и Дэбора JI. МакГиннес. Стэндфорский Университет, Стэндфорд, Калифорния, 2001.

62. Арсеньев Ю.Н., Шелобаев С.И., Давыдова Т.Ю. Принятие решений. Интегрированные интеллектуальные системы. М. ЮНИТИ-ДАНА, 2003.-270 с.

63. Андрейчиков А.В., Андрейчикова О.Н. Интеллектуальные информационные системы: Учебник. — М.: Финансы и статистика, 2004. 424 с.

64. Финн В.К. Интеллектуальные информационные системы. //Итоги науки и техники. Сер. Информатика. Т. 15. М.: ВИНИТИ. 1991.

65. Макаров И.М. Теория выбора и принятия решений. М: Наука, 1982.

66. Смелянский Р.Л. Модель функционирования распределённых вычислительных систем// Вестник МГУ, сер. 15, Вычислительная математика и кибернетика, 1990. — Вып. 3.

67. Каримов Р. Н. Обработка экспериментальной информации. 4.4. Анализ случайных процессов / Р. Н. Каримов. Саратов: Изд-во Сарат. гос. техн. ун-та, 2001. - 101 с.

68. Каримов Р. Н. Обработка экспериментальной информации. 4.2. Регрессионный анализ. / Р. Н. Каримов. Саратов: Изд-во Сарат. гос. техн. ун-та, 2002. - 113 с

69. Каримов Р. Н. Обработка экспериментальной информации. Ч.З. Многомерный анализ. / Р. Н. Каримов. Саратов: Изд-во Сарат. гос. техн. ун-та, 2003. - 113 с

70. Гаврилова Т.А., Червинская К.Р. Извлечение и структурирование знаний для экспертных систем. М., Радио и связь. -1992. — 200с.

71. Частиков А.П., Гаврилова Т.А., Белов Д.Л. Разработка экспертных систем. Среда CLIPS. -СПб, «БХВ-Петербург», 2003. 606с. (Часть I -«Экспертные системы»).

72. Каримов Р. Н. Обработка экспериментальной информации. 4.1. Разведочный анализ. Анализ качественных данных / Р. Н. Каримов. -Саратов: Изд-во Сарат. гос. техн. ун-та, 2002. 112 с

73. Цвиркун А.Д., Акинфиев В.К. и др. Имитационное моделирование в задачах синтеза структуры сложных систем: Оптимизационно-имитационный подход. -М.: Наука, 1985. 173 с.

74. Цвиркун А.Д. Основы синтеза структуры сложных систем. М.: Наука, 1982.-200 с.

75. Вермишев Ю.Х. Методы автоматического поиска решений при проектировании сложных технических систем. М.: Радио и связь, 1982.- 152 с.

76. Гаврилова Т.А., Червинская К.Р. Извлечение и структурирование знаний для экспертных систем. — М.: Радио и связь, 1992. 198 с.83.3митрович А.И. Интеллектуальные информационные системы. Мн.: НТООО «ТетраСистемс», 1997. - 368 с.

77. Лорьер Ж.-Л. Системы искусственного интеллекта. М.: Мир, 1991. -586 с.

78. Сильдмяэ И., Кяй Р. Знания, мышление и искусственный интеллект // Всесоюз. конф. по искусственному интеллекту, 21-25 нояб. 1988 г., Переславль-Залесский: Тез. докл. — М.,1988.

79. Экспертные системы: Состояние и перспективы / Под ред. Д.А. Поспелова. -М.: Наука, 1989. 152 с.

80. Экспертные системы: Принципы работы и примеры / Под ред. Р.Форсайта. М.: Радио и связь, 1987. - 224 с.

81. Астанин С.В., Берштейн Л.С., Захаревич В.Г. Проектирование интеллектуального интерфейса «человек-машина», Ростов-на-Дону: Изд.РГУ, 1991.-110с.

82. Алексеева Е.Ф., Стефанюк B.JI. Экспертные системы — состояние и перспектива// Изв. АН СССР: Техническая кибернетика. — 1984. № 5. -С. 153-167.

83. Представление знаний в человеко-машинных и робототехнических системах. Т.А. Фундаментальные исследования в области представления знаний. -М.: ВИНИТИ, 1984.

84. Клещев А.С. Представление знаний. Методологические формализмы, организация вычислений и программная поддержка// Прикладная информатика. 1983. - Вып.1. - С. 49-94

85. Молокова О.С. Формирование индивидуального объяснения в экспертных системах// Изв. АН СССР: Техническая кибернетика. 1985.5. — С. 103-114.

86. Молокова О.С. Формирование индивидуального объяснения в экспертных системах// Изв. АН СССР: Техническая кибернетика. 1985.5. — С. 103-114.

87. Осипов Г.С. Построение моделей предметных областей. 41. Неоднородные семантические сети// Известия РАН. Техническая кибернетика, 1990, №5, С.32-45.

88. Лозовский B.C. Сетевые модели // Искусственный интеллект. В Зх кн. Кн.2. Модели и методы: Справочник / Под ред. Д. А. Поспелова. - М.: Радио и связь, 1990. - С. 28-49.

89. Кузнецов И.П. Механизмы обработки семантической информации. -М.: Наука, 1978.- 115с.

90. Золотько К.Н. Использование Интранет-технологии для поддержки системы управления качеством образования / К.Н. Золотько // : материалы Междунар. науч.-практ. конф. Саратов: СГТУ, 2008.

91. Мониторинг деятельности вуза / К.Н. Золотько, А.А.Большаков; Свидетельство Роспатента об офиц. регистр, программы для ЭВМ. — № 2009611411.-2009.