автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Методы и алгоритмы мониторинга и оценки качества образовательных услуг вуза

На правах рукописи

Бурмистрова Евгения Владимировна

МЕТОДЫ И АЛГОРИТМЫ МОНИТОРИНГА И ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ УСЛУГ ВУЗА

Специальность 05 13 10 - Управление в социальных и экономических системах

Автореферат

диссертации на соискание ученой степени кандидата технических наук

- ¿ич/

Новосибирск - 2007

003059371

Работа выполнена на кафедре вычислительной техники Новосибирского государственного технического университета

Научный руководитель кандидат технических наук,

доцент Никитина Н Ш

Официальные оппоненты: доктор технических наук,

профессор Молотков Ю И

кандидат технических наук, доцент Марусин В В

Ведущая организация: Исследовательский центр проблем ка-

чества подготовки специалистов Московского государственного института стали и сплавов (технологического университета)

Защита состоится 31 мая 2007 г в 16 00 часов на заседании диссертационного совета Д 212 174 03 при Новосибирском государственном университете по адресу 630090, г Новосибирск, ул ГТирогова, 2, аудитория а 317

С диссертацией можно ознакомиться в библиотеке Новосибирского государственного университета

Автореферат разослан «¿У» (хп^лх^_2007 г

Ученый секретарь диссертационного совета, кандидат технических наук

Еремин Ю И

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В настоящее время вопросам управления качеством образования уделяется значительное внимание на разных уровнях управления федеральном, ведомственном, отдельного вуза, образовательной программы Особую актуальность эта деятельность приобретает в свете усиливающейся международной интеграции в сфере образования Основное содержательное управление качеством подготовки специалистов осуществляется на уровне учебно-методического объединения и конкретного вуза

Для решения стратегических и оперативных задач управления качеством подготовки специалистов необходимо наличие объективной информации о ресурсах, процессах и результатах деятельности вуза, что в свою очередь требует создания и поддержания в актуальном состоянии системы мониторинга и оценки качества образовательных услуг На этапе создания такой системы важно определить приоритетные объекты мониторинга, информация о которых может существенным образом повлиять на управленческие решения К таким объектам в первую очередь относится качество подготовки специалистов, потребности и удовлетворенность потребителей образовательных услуг Исследование мнений потребителей является особенно актуальным в силу его длительного игнорирования, что привело к ряду проблем, стоящих в настоящее время перед российскими вузами и системой образования в целом На рынке труда наблюдается очевидный дисбаланс спроса и предложения по отдельным специальностям, а также сложилось несоответствие между высокой динамикой потребностей рынка труда в специалистах с определенными профессиональными компетенциями и инерционностью системы высшего образования с точки зрения своевременного обновления образовательных программ

Российский опыт исследований в области управления качеством образования отражен в трудах Адлера Ю П , Байденко В И, Зимней И А , Никитиной Н Ш , Селезневой Н А , Скок Г Б, Соловьева В П, Субетто А И и других авторов Важная роль в этих исследованиях отводится мониторингу и оценке качества образования Однако на сегодняшний день не разработано комплексного решения данной задачи, которое бы включало весь необходимый набор алгоритмического, методического и программного обеспечения Это связано с объемностью и многогранностью темы, каждый из аспектов которой требует глубоких самостоятельных исследований и тщательной проработки

В процессе создания системы мониторинга и оценки качества образовательных услуг встает задача разработки алгоритмов, методик и соответствующих средств информационной поддержки

Цель и задачи работы Целью исследования является разработка алгоритмического, методического и информационного обеспечения задач мониторинга и оценки качества образовательных услуг вуза

Для достижения поставленной цели сформулированы следующие задачи • провести аналитическое исследование вопросов, связанных с качеством образования, выбрать адекватные методы и разработать алгоритмы решения задач мониторинга и оценки качества образовательных услуг вуза,

• разработать методическое обеспечение таких задач как исследование мнений потребителей на этапе проектирования образовательной услуги или изменений в ней, формирование модели профессионального портрета специалиста, оценка удовлетворенности потребителей,

• разработать систему информационной поддержки задач мониторинга и оценки качества образовательных услуг.

Предмет исследования. Предмет исследования включает в себя методы и алгоритмы мониторинга и управления качеством, методы экспертно-статистического анализа применительно к задачам исследования, системы хранения, анализа и обработки информации

Объект исследования. Объектом исследования является качество образовательной услуги вуза с позиции разных заинтересованных сторон

Методы исследования. Методы исследования включают методы системного анализа, экспертного оценивания, прикладной статистики и эконометрики, многомерного статистического анализа данных, педагогических и социально-психологических измерений, методы менеджмента качества и другие

Обоснованность и достоверность выдвигаемых и использованных в диссертации научных положений, выводов и рекомендаций подтверждается теоретическим обоснованием, опытом их применения для решения практических задач, перспективой дальнейшего их развития и использования

Научная новизна. Научная новизна результатов диссертационного исследования заключается в следующем

• предложена уровневая модель управления качеством образовательных услуг вуза, в модели выделены объекты мониторинга, определено необходимое алгоритмическое, методическое и информационное обеспечение задач мониторинга и оценки качества образовательных услуг,

• разработан алгоритм исследования мнений потребителей на этапе проектирования образовательной услуги на основе метода QFD (Quality Function Deployment — структурирование функции качества) и конкретизирующая алгоритм методика,

• предложен алгоритм управления качеством образовательной услуги на основе модели профессионального портрета специалиста, разработана инвариантная методика формирования модели,

• предложен новый подход к оценке удовлетворенности потребителей образовательных услуг, разработаны алгоритм и методика расчета удовлетворенности на основе экспертно-статистического инструментария,

• разработана система информационной поддержки мониторинга и оценки качества образовательных услуг вуза.

Практическая ценность работы. Практическая значимость результатов исследования определяется следующим

• алгоритм исследования мнений потребителей (модифицированный метод QFD) позволяет выявлять приоритетные требования потребителей к процессу и результату образовательной деятельности вуза, получать содержатель-

ные рекомендации по совершенствованию образовательной программы и образовательного процесса,

• разработанная инвариантная методика формирования модели специалиста может применяться для любых направлений подготовки (специальностей), в свою очередь модель позволяет рассчитывать интегральные показатели качества и делать выводы о соответствии результатов обучения нормам качества,

• алгоритм и методика оценки удовлетворенности потребителей позволяют получать количественные оценки удовлетворенности различных категорий целевых групп результатом обучения по отдельным дисциплинам, циклам дисциплин, образовательной программе и образованию в целом,

• разработанная информационная система обеспечивает автоматизацию расчетов, связанных с созданием модели профессионального портрета специалиста и оценкой удовлетворенности потребителей образовательных услуг, обеспечивает полный спектр информационной поддержки деятельности Регионального центра трудоустройства и адаптации выпускников к рынку труда, включая хранение данных, многокритериальный поиск, формирование отчетов, сбор информации о потребителях образовательных услуг

Результаты, выносимые на защиту:

• уровневая модель управления качеством образовательных услуг вуза,

• алгоритм и методика исследования мнений потребителей образовательной услуги на этапе ее проектирования или модификации,

• алгоритм управления качеством образовательной услуги на основе модели профессионального портрета специалиста, инвариантная методика формирования модели,

• методика оценки удовлетворенности потребителей,

• система информационной поддержки мониторинга и оценки качества образовательных услуг

Апробация результатов исследования Результаты, полученные в диссертационном исследовании, докладывались

• на Международной научно-методической конференции «Качество образования достижения, проблемы». Новосибирск, НГТУ, 2001,

• Межрегиональной научно-практической конференции «Проблемы повышения конкурентоспособности трудовых ресурсов» Бийск, 2002,

• II межвузовской научно-практической конференции «Проблемы трудоустройства выпускников учреждений профессионального образования пути решения» Красноярск, СибГТУ, 2003,

• Региональной научно-методической конференции «Современное образование интеграция учебы, науки и производства» Томск, Томск гос ун-т систем управления и радиоэлектроники, 2003,

• IV международной научно-методической конференции «Качество образования менеджмент, достижения, проблемы» Новосибирск, НГТУ, 2005

Информационная система поддержки функционирования Регионального центра трудоустройства и адаптации выпускников к рынку труда (РЦТ) вне-

дрена в промышленную эксплуатацию, активно используется и совершенствуется в связи с расширением функций и практических потребностей центра

Публикации Основные положения диссертационнои работы опубликованы в 12 работах 5 материалах конференций и 7 статьях, в том числе 3 - из перечня журналов, рекомендованных ВАК

Личный вклад автора. Результаты, составляющие основное содержание диссертации, получены автором самостоятельно либо совместно с научным руководителем В опубликованных работах личный вклад автора составляет 45100%

Внедрение и использование результатов работы. Результаты работы внедрены и используются в Новосибирском государственном техническом университете и Сибирском государственном технологическом университете

Гранты и НИР:

• Договор субзайма №Е/А 48/01 от 20 Об 2001 г «Разработка и реализация автоматизированной административно-управленческой системы, обеспечивающей эффективное управление вузом и повышение качества образования»,

• НТП «Создание системы открытого образования» по проекту «Концептуальное, учебно-методическое и информационное обеспечение повышения квалификации специалистов в области открытого образования» / Проект «Концептуальное, учебно-методическое и информационное обеспечение повышения квалификации специалистов в области открытого образования» (код 1 2 3 4 (138) 541) / Н рук Г Б Скок, 2002 г ,

• Программа ЕС «Развитие образовательных связей и инициатив в области высшего и профессионального образования - этап II (Делфи II)» / Микропроект «Формирование портфолио рабочих профилей специалистов открытого и дистанционного обучения, основанных на компетенциях» / Н рук Н Ш Никитина, 2005 г,

• Договор №361 от 01 11 2005 г между Новосибирским государственным техническим университетом и ЗАО «Новосибирский электродный завод» о проведении корпоративного обучения кадрового резерва,

• Соглашение о сотрудничестве от 30 06 2006 г между Новосибирским государственным техническим университетом и Фолькуниверситетом (Швеция) о реализации проекта «Развитие рынка труда на благо экономического роста Новосибирской области»

Объем и структура диссертации Диссертация состоит из введения, четырех глав, заключения, списка литературы из 133 источников и 9 приложений Материал изложен на 180 страницах, содержит 45 таблиц, 27 рисунков

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертационной работы, проводится краткий анализ научных задач, формулируются цель и задачи исследования, приводятся сведения о практической ценности диссертации и результатах ее внедрения и апробации

В первой главе проведено аналитическое исследование вопросов управления качеством образования и установлено, что одним из приоритетных направлений деятельности образовательного учреждения является мониторинг потребностей и удовлетворенности потребителей образовательных услуг Текущие и потенциальные требования потребителей являются основой для проектирования образовательной услуги (продукции), оценивания показателей качества и внедрения изменений, обеспечивающих реализацию принципа постоянного совершенствования В главе разработана «уровнепая» модель управления качеством образовательных услуг в вузе, приведенная на рисунке 1 и представляющая деятельность вуза с точки зрения управления качеством как совокупность процессов, распределенных по уровням управления и циклам модели Де-минга (Planning, Doing, Checking, Acting)

В уровневой модели исследование мнений потребителей проводится на этапах проектирования образовательной услуги и ее оценки. На первом этапе применяется метод, позволяющий получить качественные {содержательные) рекомендации, на втором - количественные оценки Качественные рекомендации дают подробную информацию описательного характера о тех или иных требованиях к образовательной программе или образовательному процессу

Количественные оценки, предусмотренные в уровневой модели управления качеством образовательных услуг в вузе, представляются двумя видами оценкой соответствия профессиональных компетенций и личностных качеств выпускников нормам модели профессионального портрета специалиста и оценкой удовлетворенности потребителей образовательных услуг Качественно и количественно выраженные результаты мониторинга мнений потребителей и оценки качества образовательных услуг должны дополнять друг друга Преимущество содержательных рекомендаций состоит в том, что они более конкретно отражают важные с точки зрения управления качеством компоненты образовательной программы или образовательного процесса Количественные оценки содержат информацию о том, насколько соответствует норме тот или иной компонент

На основе анализа уровневой модели определено алгоритмическое, методическое и информационное обеспечение, подлежащее разработке для решения задач мониторинга и оценки качества образовательных услуг

Во второй главе проведен анализ и выбор методов решения поставленных задач, выполнена классификация показателей качества по совокупности критериев, проанализированы типы измерительных шкал применительно к образовательной услуге, отмечено, что характеристики образовательных услуг вуза, в частности потребности и удовлетворенность потребителей, часто представлены порядковыми или нечеткими показателями Проанализирована возможность использования QFD-метода для проектирования и мониторинга качества образовательной услуги Проведено исследование применимости методов экспертного оценивания, факторного и кластерного анализа, методов построения интегрированных показателей качества, нормирования и нечеткой логики, диаграмм афинности для мониторинга и контроля качества образовательных услуг

Исполнительный уровень кафедры факулььтегы учебный отдел

Проектировочный уровень учебный отдел | Управленческий научно методический центр кадровый I уровень ректорат центр отдел качества, ценр маркетинга I деканаты

тэ

55

О

о ю я

8 о

п> ы ег

V:

я >а р

Г5

х к

а, СП

о о

й а О

а 3 £ ,

8* ж А ю «Ра о* 3 1 а1 г ™ О! л Й о ' 5 ? § 5

Я * 1 3 •

*

5 X |11§ | ® ? 5 I § г ^ о з 5 ч * Ж

* 0» ф э [

£ с У 6 !

■Е *

Н _ О ТЗ Г

Ф I Ф о *

о\ гс Ф 5 х I

н 5 я » § »11 %

а> о ы

5 с ° (бос

Щ

< » 5 -5 " 5 I | 3 Е ? 1 ™

! I ж

э о

•о о»

О -О

¿= ш

(В у

О О

о а

ш а>

э о "О ^ СП ф

о -о ^ ^

■3 2 й 2

с »

31 5 »

О 3

С проектированные ОП и ОПроц

О

! I. § 8 Я »

Утвержденные ОП и ОПроц

о*

г

I 2 5 % 5 5 о?* х Зй •о Ф

« л х Ф

Н Я О 2 о о •о

е

о о

й

2

X

V:

а

3 Р т

= за з

2 % о

3 я ё

■8 5 я

з ов-о;

3 8 = ¡5 5 £ 3 ®

; < ? г о

г г " 4 о х ™ л

? § I э 31 а ?

I а в х о а

4 -О -Ч

■о о о

Ф I в> О

Оои а г

Ч 5 о о а

¡5 О Н I

5 * 9 2

Ж "О 8

Я -о о ь « г л

* 3 ? 2

. 2 О 09

{ э

\ та а -о тз *о

\ о» -о о ® А»

о * Р "2

а Н Р $ ■о х -О -

5 ТЗ О I

а *< * 1 И*'

В третьей главе на основе (¿РО-метода разработан алгоритм исследования мнений потребителей на этапе проектирования (модификации) образовательной услуги, приведенный на рисунке 2.

_с................. —

Сегментирование рынка и выделение целевых групп потребителей (лрздлегае«« выделить следую щи в группы: студент последних курсов и работодатели-потре&ьгтелк сп ецкал истов}

Выя вление требоианн ¡1 потребителе N

Заполнение таблицы «Голоса потребителей» для каждой целевой группы . . J ■ ■ ■ • -:

Формирование сямска требований к продукту/услуге, выраженных в термина* потребителей

* '

Переформулировка исходных «голосов* потребителей & простые предложения при максимальном сохранении лексики и фразеологии

+

Классификация мнений потребителей (& соответствии с адаптированны и и к образовательной специфике категориями классификации)

*

нормирование требований потребителей о »■ окончательном варианте

:

Обобщение и структурирование требований потребителей

— = ' : —11 Ранжирование требований потребителей

Принятие управленческих решений

Рисунок 2 - Алгоритм QFD исследования мнений потребителей на этапе проектирования образовательной услуги

На основе предложенного алгоритма проведено исследование мнений потребителей образовательных услуг вуза с целью модификации образовательной программы и образовательного промесса. Целевые группы мониторинга - студенты выпускных курсов (180 респондентов) и работодатели - потребители специалистов (66 респондентов). В качестве иллюстрации работы метода в таблице 1 приведены результаты исследования мнений студентов выпускных курсов.

Таблица I - Общие по вузу требования студентов выпускных курсов к образовательной услуге вуза

1. Образовательная ирограмма:

а. Дисциплины содержат больше практических аспектов (примеры из реальной практики, с применением соответствующего оборудования).

Ь. Дисциплины актуально отражают современные достижения наухи и прои зводства в соответствующей области.

с. Уделяется больше внимания дисциплинам, связанным непосредственно со специальностью.

4 При решении прикладных задач профессионально применяется ПК.

е. Иностранный язык изучается в течение всего периода обучения.

f. Существует возможность выбора предметов.

2. Организация учебного процесса:

а Организуются учебно-познавательные экскурсии на предприятия

Ь В начале обучения студентов цолно и точно знакомят со специальностью

с Улучшено качество и увеличено количество часов производственной практики

(1 Учебный процесс обеспечен современным оборудованием и демонстрационным материалом

е В учебном процессе для обеспечения наглядности материала используются мультимедиа-технологии (слайд-презентации, видео)

Г Некоторые занятия проводятся в тренинговой форме

g К знаниям студентов предъявляются более высокие требования

3 Ориентация на требования рынка труда:

а Учитываются потребности рынка труда

Ь Организуются встречи студентов с потенциальными работодателями по специальности подготовки

с Организуются занятия но адаптации молодого специалиста к современным условиям и требованиям рынка труда

<1 На этапе поступления и выбора специализации проводится проверка на профессиональную пригодность

е Студенты вовлекаются в обсуждение проблем в области профессиональной деятельности

Г Организуются «Круглые столы» с преподаватепями и выпускниками, работающими по специальности, для формирования более широкого и четкого видения работы и карьеры в сфере профессиональной подготовки

4 Кадровое обеспечение:

а Привлекаются талантливые и квалифицированные преподаватели

Ь Налажен процесс оценки качества профессиональной деятельности преподавателей, их коммуникативных качеств и действует соответствующая система административного воздействия

с Налажена гибкая система повышения квалификации преподавателей в соответствии с темпами изменений научных и производственных технологий

Проведенное исследование мнений работодателей и студентов выпускных курсов позволило выявить как общие, так ряд конкретных требований к образовательной услуге со стороны таких категорий потребителей, как работодатели и студенты выпускных курсов Их требования оказались во многих суждениях близки В качестве общего вывода можно отметить явно выраженную потребность в адаптации специалистов к рынку, особенно актуальную в ситуации отсутствия условия гарантированной занятости

На этапе контроля качества образования в соответствии с уровневой моделью мониторингу и оценке подвергаются два параметра соответствие показателей качества нормам и удовлетворенность потребителей В качестве такой нормы в работе предлагается использовать модель профессионального портрета специалиста

Модель профессионального портрета специалиста представляет собой совокупность профессиональных характеристик, соответствующую им систему показателей, методы их измерения и нормы качества

Формально модель профессионального портрета специалиста (для любой специальности или однородной группы специальностей) можно записать в виде

М = {Р,0,У,Щ, (1)

где М - условной обозначение модели специальности или группы специальностей, Р - набор компетенций, О - набор показателей для оценки компетенций, групп компетенций, V - индикаторы важности (весовые коэффициенты) показателей, N - нормы (нормативные значения показателей)

Алгоритм формирования модели профессионального портрета специалиста приведен в таблице 2

Таблица 2 - Алгоритм формирования модели профессионального портрета Специалиста

Этап Содержание этапа Используемые методы

1 Исследование требований потребителе! Предварительный анализ (выбор специальности или группы специальностей, выделение групп потребителей, формирование первичного набора профессиональных характеристик и разработка анкет для опроса каждой группы потребителей), Экспертное оценивание (формирование экспертной грурпы для каждой категории заинтересованных сторон, опрос экспертов), Группирование профессиональных характеристик (классификация характеристик), Формирование обобщенного мнения (обобщение экспертных оценок по каждой группе экспертов, объединение групповых оценок) Метод экспертных оценок, факторный анализ, кластерный анализ

2 Разработка системы показателей Формирование системы показателей (разработка интегрированного показателя уровня подготовки специалиста с учетом классификации профессиональных характеристик, расчет весовых коэффициентов для построения интегрального показателя) Метод свертывания

3 Оценивание показателей Накопление статистики (разработка методики сбора информации в соответствии с набором первичных показателей, сбор данных), Расчет единичных показателей (обработка первичных данных и расчет оценок единичных показателей качества подготовки в единой балльной шкапе), Расчет интегральных показателей (в соответствии с иерархией системы показателей рассчитываются оценки всех интегральных показателей) Методы психологического и педагогического тестирования, метод свертывания

4 Установление норм Формирование норм на основе анализа собранной статистики по показателям, Расчет норм по уровням иерархии показателей, Сравнение экспертных оценок и статистических норм, Последующее по результатам сравнения принятие управленческих решений Элементарные инструменты статистического анализа, метод свертывания

Разработанная модель имеет вид таблицы 3, где представлены элементы модели (показатели качества), весовые коэффициенты, нормы для групп экспертов и обобщенные нормы качества

Таблица 3 - Рекомендуемые нормы для личностных качеств

Элементы Весовой коэффициент Студенты Выпускники Работодатели Мода или среднее

Медиана Квартиль нижняя 1 Квартиль верхняя ; " Медиана и 1 1, й £ Квартиль верхняя Медиана Квартиль нижняя Квартиль верхняя Медиана А Ч Б « & | и л 1 О. я £

1-ая группа характеристик 0,2121 8,4 7,5 9,8 7,5 6,2 8 8 6,2 8,7 8 6,6 8,9

Характеристика 1 0,171 9 8 10 7 6 8 9 7 9 9 7 9

Характеристика 2 0,1614 8 7 10 7 6 7 8 6 8 8 6 8

Характеристика 3 0,1564 8 7 9 7 6 8 7 5 7 7 6 8

Характеристика 4 0,1805 9 8 10 9 7 9 9 8 10 9 8 10

0,1546 8 7 10 7 5 8 7 5 8 7 5 8

Характеристика п 0,1762 8 8 10 8 7 8 8 6 10 8 7 10

2-ая группа характеристик 0,2020 8,2 7 9,6 7,2 6,2 7,2 7, 4 6,2 8,6 7, 6 6,4 8,6

0,1904 8 7 9 7 5 7 6 5 7 7 5 7

п-ая группа характеристик 0,1905 8,4 7,4 9,6 7,6 6,2 8,4 7, 4 6,2 8,7 7, 8 6,2 9Д

ИТОГО по личностным качествам 7, 9 6,5 8,9

На рисунке 3 приведен алгоритм управления качеством подготовки специалистов на основе модели профессионального портрета специалиста

В главе 3 предложены методы измерения показателей качества, которые позволяют определить реальные значения выделенных в модели специалиста характеристик Мониторинг характеристик модели в разных вузах может быть организован централизованно или на уровне отдельного факультета (кафедры) Нормы качества для личностных характеристик можно использовать не только на этапе оценки соответствия выпускника нормам модели специалиста, но и на этапе приема абитуриентов в вуз

±

Прмттие стрвтагилеои« угравлежэскжреит^

ооотввнли^юг

Рисунок 3 - Алгоритм управления качеством образовательной услуги на основе модели профессионального портрета специалиста

Измерение показателей владения личностными качествами абитуриентов и сопоставление их с нормами может быть основанием для рекомендаций по выбору специальности.

Методика оценивания удовлетворенности потребителей образовательных услуг, предложенная в данном диссертационном исследовании, позволяет оцепить удовлетворенность таких групп потребителей, как студенты и выпускники, При этом измеряется удовлетворенность результатом обучения, а не отношение к образовательной программе или образовательному процессу (?ту информацию извлекают из исследования мнений потребителей образовательных услуг на этапе проектирования или модификации образовательной программы, процесса, описанного выше).

Удовлетворенность потребителей вводится как условное понятие. Такую неформализованную характеристику сложно измерить. Здесь скорее измеряют соотношение требуемого, по мнению потребителя, уровня знаний или обладания тем или иным качеством и его самооценки по этой же характеристике.

Обозначим самооценку уровня обладания характеристикой С, требуемый уровень обладания характеристикой как У, удовлетворенность как Б Тогда показатель удовлетворенности потребителя можно рассчитать по формуле

где Бу - удовлетворенность 1-ого респондента своим уровнем обладания у-ой характеристикой, С^ - самооценка 1-ого респондента своего уровня владенияу-ой характеристикой, Уу - требуемый, по мнению 1-ого респондента, уровень владения у-ой характеристикой

На основе значений можно рассчитывать различные интегральные показатели удовлетворенности, например,

1) интегральная удовлетворенность потребителя образовательной услугой

где - интегральная удовлетворенность 1-ого потребителя образовательной услугой, и - количество характеристик, Ву - нормированный уровень важности у-ой характеристики для ¡-ого респондента,

2) интегральная удовлетворенность всех потребителей уровнем владении группой характеристик Величина рассчитывается по классической формуле свертки Коэффициенты важности нормируются для данного уровня иерархии

Алгоритм оценки удовлетворенности и применения результатов оценивания в управлении качеством образовательных услуг представлен на рисунке 4 в виде блок-схемы

Разработанные алгоритмы и методики являются инвариантными к исследуемым компонентам образовательной услуги и направлениям подготовки (специальностям)

(2)

п

(3)

Рисунок 4 - Алгоритм оценки удовлетворенности и применения результатов оценивания в управлении качеством образовательных услуг

Глава 4 посвящена разработке и описанию методического и информационного обеспечения задач мониторинга и оценки качества образовательной услуги на основе исследования мнений потребителей.

Разрабатываемое методическое обеспечение представлено тремя методиками:

• методикой исследования мнений потребителей образовательной услуги на этапе ее проектирования или проектирования изменений в ней на основе модифицированного С>КО-метода;

• методикой разработки модели профессионального портрета специалиста с использованием элементов системы информационной поддержки;

• методикой оценки удовлетворенности потребителей с использованием элементов системы информационной поддержки.

Структура системы информационной поддержки задачи оценки качества образовательных услуг приведена на рисунке 5. Выделенные серым вдетом элементы системы реализованы в настоящем исследовании и прошли практическую апробацию. Остальные блоки системы предполагается реализовать при дальнейшем развитии темы диссертационной работы. Содержание реализованных модулей и особенности их технологической реализации представлены в таблице 4.

Система информационной поддержки задач . разработки модели специалиста и оценки удовлетворенности потребителей

Система анализа и храиеиия данных о реальных и нормативных значениях показателей качества подготовки специалиста и об удовлетворенности потребителей образовательных услуг

Блок используются для автоматизации расчетов при разработке модели профессионального потртрета специалиста при оценке показателей

удовлетворенности студентов и выпускников образовательной услугой

Блок используются для А аккумулирования информации о \ показателях качества подготовки ' специалиста, выделенных в модели профессионального портрета специалиста о нормативных значениях показателей о значениях удовлетворенности студентов и выпускников образовательной услугой

Система поддержки , функционирования Регионального -1 цептра трудоустройства в адаптации выпускников к рынку труда

' Блок используется при исследовании мнений потребителей образовательных услуг на этапе проектирования

или модификации образовательной программы и образовательного процесса

Рисунок 5- Структура системы информационной поддержки задачи оценки качества образовательных услуг

Таблица 4 — Содержание реализованных модулей и особенности их технологической реализации

Наименование модуля Содержание информационного обеспечения Примечания (уровень реализации)

Система поддержки функционирования Регионального центра трудоустройства и адаптации выпускников к рынку труда (РЦТ) Система поддержки деятельности РЦТ, включающая базы данных вакансий, клиентов и соискателей кадрового центра, автоматизированное рабочее место специалиста по подбору персонала, \vcb-узел по работе с данными В настоящее время СИП не поддерживает автоматизацию сбора информации, используемой в методиках Однако исторически она является хранилищем данных о студентах, выпускниках и работодателях, поддерживает удобный web-интерфейс и с этой точки зрения предлагается как оптимальная основа для сбора информации о потребителях образовательных услуг

Система информационной поддержки задач разработки модели специалиста и оценки удовлетворенности потребителей Информационное обеспечение процессов разработки модели профессиональною портрета специалиста и оценки удовлетворенности потребителей (в соответствии с предложенными методиками) Информационное обеспечение представляет собой набор файлов Microsoft Excel Они прилагаются на компакт-диске Их названия и назначение указаны в методиках Этот блок информационного обеспечения будет рассмотрен при описании методик исследования мнений и удовлетворенности потребителей

Система анализа и хранения данных о реальных и нормативных значениях ОЬАР-технология как инструмент анализа мнений потребителей образовательных услуг В главе приведено обзорное описание OLAP-технологии как потенциально предлагаемого аналитического инструментария применительно к задаче ана-

показателей качества подготовки специалиста и об удовлетворенности потребителей образовательных услуг

лиза и хранения данных о реальных и нормативных значениях показателей качества подготовки специалиста и об удовлетворенности потребителей образовательных услуг

Общая структура системы информационной поддержки задач разработки модели специалиста и оценки удовлетворенности потребителей выглядит, как показано на рисунке 6

Мнения

Рвс«ет весов студентов

важное™ по группам л р офессион апьн ых характеристик

Мнения работодателей

Ра счет но рмм ро в анных десоа важности профессиональных характеристик

I

Расчет »eco в важности по группам профессиональных характеристик

Расчет нормированных весов важности

Оценка удовлетворенности студентов и выпускников

Рисунок 6 — Структура системы информационной поддержки задач разработки модели специалиста и оценки удовлетворенности потребителей

Основные результаты работы:

1 Разработана уровневая модель управления качеством образовательных услуг

2 Разработано алгоритмическое обеспечение задач мониторинга и оценки качества образовательных услуг и конкретизирующие его методики методика исследования мнений потребителей на этапе проектирования образовательной услуги или изменений в ней, методика разработки модели профессионального портрета специалиста, методика оценки удовлетворенности потребителей образовательных услуг

3 Разработанные алгоритмы и методики позволили провести исследования и решить ряд практических задач, связанных с мониторингом и оценкой качества образовательной услуги

4 Для информационной поддержки решения поставленных в диссертационном исследовании задач разработано информационное обеспечение

a) система информационной поддержки задач разработки модели специалиста и оценки удовлетворенности потребителей, обеспечивающая автоматизацию расчетов, связанных с разработкой модели профессионального портрета специалиста и оценкой удовлетворенности студентов и выпускников,

b) информационная система поддержки функционирования Регионального центра трудоустройства и адаптации выпускников, обеспечивающая сбор информации о потребителях образовательных услуг и полный спектр информационной поддержки деятельности центра Информационная система внедрена в промышленную эксплуатацию, активно используется и модифицируется в соответствии с изменяющимися потребностями,

c) для развития результатов диссертационного исследования предложено решение по хранению и анализу данных о реальных и нормативных значениях показателей качества подготовки специалиста и об удовлетворенности потребителей образовательных услуг на основе OLAP-технологии В работе описана структура аналитической системы и выделены направления анализа данных

Основное содержание диссертации опубликовано в следующих работах:

1 Бурмистрова Е В Оценка качества образовательных услуг [Электронный ресурс] /ЕВ Бурмистрова // Специализированный портал Studiorum ru - Режим доступа www studiorum ru - Загл с экрана

2 Бурмистрова Е В Информационная система поддержки взаимодействия вуза с субъектами рынка труда /ЕВ Бурмистрова // Проблемы высшего технического образования межвуз сб науч тр / под общ ред А С Вострикова - Новосибирск Изд-во НГТУ, 2004 - Вып 4 (29) внутривузовские системы качества опыт сибирского региона - С 99-102

3 Бурмистрова Е В Исследование мнений потребителей на этапе проектирования образовательной услуги /ЕВ Бурмистрова // Образовательные технологии -2006 - №4(21) -С 64-68

4 Бурмистрова Е В Исследование рынка образовательных услуг с целью оценки удовлетворенности потребителей /ЕВ Бурмистрова // Экономика образования -2006 -№ 1 (32) - С 55-57

5 Бурмистрова Е В Исследование рынка образовательных услуг с целью оценки удовлетворенности потребителей /ЕВ Бурмистрова // Качество образования менеджмент, достижения, проблемы материалы IV междунар науч -метод конф , 23-25 мая 2005 г / под общ. ред И В Пустового - Новосибирск Изд-во НГТУ, 2005 -С 338-340

6 Бурмистрова Е В Опыт функционирования Кадрового центра по трудоустройству студентов и выпускников в Новосибирском государственном техническом университете /ЕВ Бурмистрова // Проблемы трудоустройства выпускников учреждений профессионального образования пути решения науч -метод материалы II межвуз науч-практ конф 14 ноября 2003 г -Красноярск Изд-во СибГТУ, 2003 -С 41-43

7 Бурмистрова Е В Оценка качества образовательных услуг /ЕВ Бурми-строва // Университетское управление практика и анализ - 2004 - №2 (30) -С 114-115

8 Никитина H Ш Методика отбора персонала на вакансию на основе нечетких показателей / H Ш Никитина, Е В Бурмистрова // Университетское управление практика и анализ -2004 -№3(31) - С 98-103

9 Никитина H Ш Университетский центр «Маркетинг образовательных услуг» / H Ш Никитина, Е В Федорова (Бурмистрова) // Качество образования достижения, проблемы материалы междунар науч -метод конф , Ново-сиб гос техн ун-т, 17-20 апр 2001 г - Новосибирск Изд-во НГТУ, 2001 -С 64-66

10 Никитина H Ш Кадровый центр как вариант решения проблемы занятости молодых специалистов / H Ш Никитина, Е В Федорова (Бурмистрова), M А Бурмистров // Университетское управчение практика и анализ - 2001 — №4 - С 74-77

11 Федорова (Бурмистрова) Е В Кадровый центр как вариант решения проблемы занятости мочодых специалистов /ЕВ Федорова (Бурмистрова), Е H Гримова // Современное образование интеграция учебы, науки и производства

материалы регион науч -метод конф , г Томск, 28-29 янв 2003 г - Томск Томск гос ун-т систем управления и радиоэлектроники, 2003 -С 128-129

12 Федорова (Бурмистрова) Е В Соционика как инструмент совершенствования кадровой политики /ЕВ Федорова (Бурмистрова), Е H Гримова // Проблемы повышения конкурентоспособности трудовых ресурсов материалы межрегион науч -практ конф - Бийск Печатный двор, 2002 - С 259-262

Подписано в печать 27 04 2007 г Формат 60x84x1/16 Бумага офсетная Тираж 100 экз Печ ч 1 25 Заказ № Ц-6Ъ

Отпечатано в типографии

Новосибирского государственного технического университета 630092, г Новосибирск, пр К Маркса, 20

Введение.

Глава 1. Постановка задачи мониторинга и оценки качества образовательных услуг вуза.

1.1 Анализ состояния проблемы управления качеством образования.

1.2 Модель управления качеством образовательных услуг в вузе.

1.3 Выводы по главе 1.

Глава 2 Алгоритмическое и методическое обеспечение управления качеством подготовки специалистов.

2.1 Показатели и шкалы для измерения качества образования.

2.2 Методы прикладной статистики в мониторинге и оценке качества образования.

2.3 Метод структурирования функции качества.

2.4 Методы экспертного оценивания качества образовательных услуг

2.5 Используемые в работе методы решения задач мониторинга и оценки качества подготовки специалистов.

2.6 Выводы по главе 2.

Глава 3. разработка модельного и алгоритмического обеспечения задач мониторинга и оценки качества образовательных услуг.

3.1 Исследование мнений потребителей образовательных услуг на этапе проектирования образовательной программы и образовательного процесса.

3.1.1 Алгоритм исследования мнений потребителей образовательных услуг на основе модифицированного метода QFD.

3.1.2 Апробация алгоритма исследования мнений потребителей образовательных услуг.

3.2 Исследование мнений потребителей на этапе мониторинга и оценки качества образования.

3.2.1 Модель профессионального портрета специалиста как норма качества.

3.2.2 Алгоритм формирования модели профессионального портрета специалиста.

3.2.3 Разработка модели профессионального портрета специалиста на примере специальности 080801.

3.2.4 Алгоритм измерения удовлетворенности потребителей образовательной услугой.

3.2.5 Апробация алгоритма измерения удовлетворенности потребителей образовательных услуг.

3.3 Выводы по главе 3.

Глава 4. Методическое и информационное обеспечение задачи оценки качества образовательных услуг.

4.1. Вводные замечания.

4.2 Методика разработки модели профессионального портрета специалиста.

4.3 OLАР-технология как инструмент анализа мнений потребителей и показателей качества образовательных услуг.

4.4 Информационная система поддержки функционирования

Регионального центра трудоустройства и адаптации выпускников к рынку труда.

4.5 Выводы по главе 4.

Актуальность темы. В настоящее время вопросам управления качеством образования уделяется значительное внимание на разных уровнях управления: федеральном, ведомственном, отдельного вуза, образовательной программы. Особую актуальность эта деятельность приобретает в свете усиливающейся международной интеграции в сфере образования. Основное содержательное управление качеством подготовки специалистов осуществляется на уровне учебно-методического объединения и конкретного вуза.

Для решения стратегических и оперативных задач управления качеством подготовки специалистов необходимо наличие объективной информации о ресурсах, процессах и результатах деятельности вуза, что в свою очередь требует создания и поддержания в актуальном состоянии системы мониторинга и оценки качества образовательных услуг. На этапе создания такой системы важно определить приоритетные объекты мониторинга, информация о которых может существенным образом повлиять на управленческие решения. К таким объектам в первую очередь относится качество подготовки специалистов, потребности и удовлетворенность потребителей образовательных услуг [43]. Исследование мнений потребителей является особенно актуальным в силу его длительного игнорирования, что привело к ряду проблем, стоящих в настоящее время перед российскими вузами и системой образования в целом. На рынке труда наблюдается очевидный дисбаланс спроса и предложения по отдельным специальностям, а также сложилось несоответствие между высокой динамикой потребностей рынка труда в специалистах с определёнными профессиональными компетенциями и инерционностью системы высшего образования с точки зрения своевременного обновления образовательных программ [47].

Основу диссертационной работы составляет подсистема системы менеджмента качества, а именно подсистема мониторинга, оценки и управления качеством образовательной услуги на основе исследования мнений и удовлетворенности потребителей. Теоретико-методологическим основанием исследования являются концептуальные положения TQM (Total Quality Management) и ГОСТ Р ИСО серии 9000: 2001, накопленный опыт создания СМК, применения стандартов ИСО серии 9000 в управлении качеством продукции и услуг, в том числе качеством высшего образования [65, 35-37, 39, 55, 42].

Российский опыт исследований в данной области отражён в трудах таких ученых, аналитиков образования как Адлер Ю.П., Байденко В.И., Зимняя И.А., Никитина Н.Ш., Селезнёва Н.А., Скок Г.Б., Соловьёв В.П., Субетто А.И. и другие [2, 3, 8, 29, 30, 40, 53-56, 59, 61-63, 66, 79, 80, 95-97, 102, 132]. Важная роль в этих исследованиях отводится оценке качества образования [16,71,84, 93, 110].

Поскольку понятие качества образования является сложным и слагается из множества компонентов, важны акценты в работах на эту тему: от проблемы измеримости образовательных стандартов [91] до методов оценки профессиональных и личностных характеристик обучающихся в техническом университете [16]. Общие подходы к оценке и мониторингу качества образования отражены в работах Исследовательского центра проблем качества подготовки специалистов, в частности в системных исследованиях Селезневой Н.А., Байденко В.И., Субетто А.И. с применением идей и принципов циклологии и системогенетики [85, 92, 107].

В трудах Нуждина В.Н. рассмотрены подходы к оценке качества образовательной услуги на основе бенчмаркинга. В.Н. Нуждин рассматривает проблему оценки качества образования в контексте решения задач стратегического управления вузом и предлагает в своих работах алгоритмы измерения таких показателей, как качество ресурсов, качество профессорско-преподавательского состава, входных и выходных данных студентов. При этом оценка компонентов качества образования основывается не на исследовании мнений потребителей образовательных услуг, а на бенчмаркинге, которому автор отводит ключевую роль в системе стратегического управления вузом [71].

В трудах Зеера Э.Ф., Никитиной Н.Ш., Скок Г.Б., Суходольского Г.В. и др. освещены вопросы оценки качества подготовленного специалиста как основного результата образовательной деятельности вуза. Особая роль в исследованиях данных авторов отводится проблеме формирования критериев оценки качества. Методики измерения профессионально-личностных качеств специалиста подробно рассмотрены в работах Берестневой О.Г., Марухиной О.В., Шаропина К.А. [16,61,62].

Однако на сегодняшний день не разработано комплексного решения данной задачи, которое бы включало весь необходимый набор алгоритмического, методического и программного обеспечения. Это связано с объемностью и многогранностью темы, каждый из аспектов которой требует глубоких самостоятельных исследований и тщательной проработки.

Некоторые исследования содержат широкий, системный взгляд на мониторинг и оценку качества образовательных услуг, но при этом не подкреплены методической составляющей, что затрудняет их практическое применение. Они дают понимание проблемы в общем виде, но при этом не определяют, что конкретно и каким образом нужно сделать вузу для решения задачи оценки качества образовательной услуги. Другие исследования носят прикладной характер, однако в них рассматриваются частные, узкие аспекты данной задачи.

В процессе создания системы мониторинга и оценки качества образовательных услуг встает задача разработки алгоритмов, методик и соответствующих средств информационной поддержки.

В этой связи основной задачей настоящего диссертационного исследования является разработка решения, отвечающего современным потребностям вузов в задачах мониторинга и оценки качества образовательных услуг. Решение должно охватывать модельный и алгоритмический уровни, включать методическое и информационное обеспечение, кроме того, быть инвариантным к специфике вуза или конкретной специальности. Комплекс взаимодополняющих методик должен обеспечить мониторинг и оценивание показателей качества различных компонентов образовательной услуги вуза:

• качественного и количественного характера,

• в виде объективного соответствия нормам и субъективной удовлетворенности потребителей услуги результатами обучения,

• на уровне направления подготовки (специальности), цикла дисциплин, отдельной учебной дисциплины и пр.,

• различных целевых групп потребителей (работодателей, студентов, выпускников и др.),

• как профессиональных, так и личностных характеристик специалиста,

• как результата в виде подготовленного специалиста, так и процесса реализации образовательной программы, условий обучения и т.п., обеспечивающих качественный результат.

Измерение качества образовательной услуги вуза на основе исследования мнений и удовлетворенности потребителей позволит понимать деятельность вуза в контексте рынка труда и образовательных услуг и принимать адекватные управленческие решения.

Цель и задачи исследования. Целью исследования является разработка алгоритмического, методического и информационного обеспечения задач мониторинга и оценки качества образовательных услуг вуза.

Для достижения поставленной цели сформулированы следующие задачи:

• провести аналитическое исследование вопросов, связанных с качеством образования, выбрать адекватные методы и разработать алгоритмы решения задач мониторинга и оценки качества образовательных услуг вуза;

• разработать методическое обеспечение таких задач как: исследование мнений потребителей на этапе проектирования образовательной услуги или изменений в ней, формирование модели профессионального портрета специалиста, оценка удовлетворенности потребителей;

• разработать систему информационной поддержки задач мониторинга и оценки качества образовательных услуг.

Предмет исследования. Предмет исследования включает в себя методы и алгоритмы мониторинга и управления качеством, методы экспертно-статистического анализа применительно к задачам исследования, системы хранения, анализа и обработки информации.

Объект исследования. Объектом исследования является качество образовательной услуги вуза с позиции разных категорий заинтересованных сторон.

Методы исследования. Методы исследования включают методы системного анализа, экспертного оценивания, прикладной статистики и эконометрики, многомерного статистического анализа данных, педагогических и социально-психологических измерений, методы менеджмента качества и другие.

Обоснованность и достоверность выдвигаемых и использованных в диссертации научных положений, выводов и рекомендаций подтверждается теоретическим обоснованием; опытом их применения для решения практических задач; перспективой дальнейшего их развития и использования.

Научная новизна. Научная новизна результатов диссертационного исследования, заключается в следующем:

• предложена уровневая модель управления качеством образовательных услуг вуза, в модели выделены объекты мониторинга, определено необходимое алгоритмическое, методическое и информационное обеспечение задач мониторинга и оценки качества образовательных услуг;

• разработан алгоритм исследования мнений потребителей на этапе проектирования образовательной услуги на основе метода QFD (Quality Function Deployment - структурирование функции качества) и конкретизирующая алгоритм методика;

• предложен алгоритм управления качеством образовательной услуги на основе модели профессионального портрета специалиста, разработана инвариантная методика формирования модели;

• предложен новый подход к оценке удовлетворенности потребителей образовательных услуг, разработаны алгоритм и методика расчета удовлетворенности на основе экспертно-статистического инструментария;

• разработана система информационной поддержки мониторинга и оценки качества образовательных услуг вуза.

Практическая ценность. Практическая значимость результатов исследования определяется следующим:

• алгоритм исследования мнений потребителей (модифицированный метод QFD) позволяет выявлять приоритетные требования потребителей к процессу и результату образовательной деятельности вуза, получать содержательные рекомендации по совершенствованию образовательной программы и образовательного процесса;

• разработанная инвариантная методика формирования модели специалиста может применяться для любых направлений подготовки (специальностей); в свою очередь модель позволяет рассчитывать интегральные показатели качества и делать выводы о соответствии результатов обучения нормам качества;

• алгоритм и методика оценки удовлетворенности потребителей позволяют получать количественные оценки удовлетворенности различных категорий целевых групп результатом обучения по учебным дисциплинам, циклам дисциплин, образовательной программе и образованию в целом;

• разработанная информационная система обеспечивает автоматизацию расчетов, связанных с созданием модели профессионального портрета специалиста и оценкой удовлетворенности потребителей образовательных услуг; обеспечивает полный спектр информационной поддержки деятельности Регионального центра трудоустройства и адаптации выпускников к рынку труда, включая хранение данных, многокритериальный поиск, формирование отчетов, сбор информации о потребителях образовательных услуг. Результаты, выносимые на защиту:

• уровневая модель управления качеством образовательных услуг вуза;

• алгоритм и методика исследования мнений потребителей образовательной услуги на этапе ее проектирования или модификации;

• алгоритм управления качеством образовательной услуги на основе модели профессионального портрета специалиста, инвариантная методика формирования модели;

• методика оценки удовлетворенности потребителей;

• система информационной поддержки мониторинга и оценки качества образовательных услуг.

Апробация результатов исследования. Результаты, полученные в диссертационном исследовании, докладывались:

• на Международной научно-методической конференции «Качество образования: достижения, проблемы». Новосибирск, НГТУ, 2001.

• Межрегиональной научно-практической конференции «Проблемы повышения конкурентоспособности трудовых ресурсов». Бийск, 2002.

• II межвузовской научно-практической конференции «Проблемы трудоустройства выпускников учреждений профессионального образования: пути решения». Красноярск, СибГТУ, 2003.

• Региональной научно-методической конференции «Современное образование: интеграция учебы, науки и производства». Томск, Томск, гос. ун-т систем управления и радиоэлектроники, 2003.

• IV международной научно-методической конференции «Качество образования: менеджмент, достижения, проблемы». Новосибирск, НГТУ 2005.

Система информационной поддержки функционирования Регионального центра трудоустройства и адаптации выпускников к рынку труда внедрена в эксплуатацию, активно используется и функционально совершенствуется в соответствии с практическими потребностями центра (см. Акт о внедрении в приложении И).

Публикации. Основные положения диссертационной работы опубликованы в 12 работах: 5 материалах конференций и 7 статьях, в том числе 3 статьях - из перечня журналов, рекомендованных ВАК.

Внедрение и использование результатов работы. На основе разработанных моделей, алгоритмов, методик и информационного обеспечения решены следующие практические задачи:

• проведено исследование мнений потребителей образовательных услуг Новосибирского государственного технического университета (НГТУ) и Сибирского государственного технологического университета с целью модификации образовательной программы и образовательного процесса (см. справки об использовании в приложениях Ж и 3). По результатам исследования мнений потребителей образовательных услуг сформированы требования к выпускнику вуза, к образовательной программе и образовательному процессу, предложены рекомендации частного и общего характера по совершенствованию образовательной услуги вуза с точки зрения потребителей. Сформированные рекомендации затрагивают разные уровни управления: преподаватель, руководитель цикла дисциплин, руководитель образовательной программы, выпускающая кафедра, университет, стратегия развития вуза. Полученные практические результаты докладывались на совещании деканов НГТУ, при этом отмечена значимость проведенных исследований и практическая важность полученных результатов, а также принято решение о необходимости ежегодного мониторинга мнений заинтересованных сторон;

• разработана инвариантная модель профессионального портрета специалиста и опробована на примере направления подготовки дипломированных специалистов 080801 - Прикладная информатика (в экономике, в менеджменте) (см. справку об использовании в приложении Ж). Для идентификации модели предложена система профессиональных и личностных характеристик специалиста, выделены варианты формирования кластеров, определены показатели и методы их измерения с учетом иерархии показателей, методами экспертного оценивания сформированы нормативные значения показателей. Полученная модель позволяет осуществлять сравнение характеристик качества подготовленных специалистов с нормативными показателями;

• проведена оценка удовлетворенности студентов и выпускников НГТУ специальности 080801 - Прикладная информатика (в экономике, в менеджменте) (см. справку об использовании в приложении Ж). Анализ результатов показал достаточно высокую степень удовлетворенности студентов и выпускников полученной образовательной услугой. Локализована проблема недостаточной удовлетворенности целевых групп качеством подготовки специалистов в области программных средств разработки информационных систем и программных средств экономического анализа и планирования.

Гранты и НИР.

• Договор субзайма №Е/А.48/01 от 20.06.2001 г. «Разработка и реализация автоматизированной административно-управленческой системы, обеспечивающей эффективное управление вузом и повышение качества образования»;

• НТП «Создание системы открытого образования» по проекту «Концептуальное, учебно-методическое и информационное обеспечение повышения квалификации специалистов в области открытого образования» / Проект «Концептуальное, учебно-методическое и информационное обеспечение повышения квалификации специалистов в области открытого образования» (код: 1.2.3.4.(138).541) / Н. рук. Г.Б. Скок, 2002 г.;

• Программа Европейского Союза «Развитие образовательных связей и инициатив в области высшего и профессионального образования - этап II (Делфи II)» / Микропроект «Формирование портфолио рабочих профилей специалистов открытого и дистанционного обучения, основанных на компетенциях» / Н. рук. Н.Ш. Никитина, 2005 г.;

• Договор №361 от 01.11.2005 г. между Новосибирским государственным техническим университетом и ЗАО «Новосибирский электродный завод» о проведении корпоративного обучения кадрового резерва;

• Соглашение о сотрудничестве от 30.06.2006 г. между Новосибирским государственным техническим университетом и Фолькуниверситетом (Швеция) о реализации проекта «Развитие рынка труда на благо экономического роста Новосибирской области», 2006-2008.

Объем и структура диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 133 источников и 9 приложений. Материал изложен на 180 страницах, содержит 45 таблиц, 27 рисунков.

4.5 Выводы по главе 4

В соответствии с постановкой задачи исследования в главе 4 разработано следующее информационное и методическое обеспечение.

1. Методика исследования мнений потребителей образовательной услуги на этапе проектирования образовательной услуги или изменений в ней, позволяющая выявлять требования к образовательной услуге со стороны таких категорий потребителей, как работодатели и студенты выпускных курсов. По результатам применения методики формируются рекомендации по совершенствованию образовательной программы или образовательного процесса, что позволяет оперативно корректировать образовательную услугу в ответ на запросы рынка труда. В разработанной методике использован метод

QFD, модифицированный в данной работе с учетом прикладной области -образования;

2. Методика разработки модели профессионального портрета специалиста, позволяющая (с применением системы информационной поддержки) сравнивать фактические данные подготовки выпускников с нормами (характеристиками модели профессионального портрета специалиста) и на основе результатов сравнения проводить комплексный анализ качества подготовки выпускников, делать содержательные выводы и формировать рекомендации для управления.

3. Методика оценки удовлетворенности потребителей, позволяющая (с применением системы информационной поддержки) оценивать степень удовлетворенности студентов и выпускников полученной образовательной услугой.

С использованием разработанных методик решены прикладные задачи: a. проведено исследование мнений потребителей образовательных услуг НГТУ и Сибирского государственного технологического университета (г. Красноярск) с целью модификации образовательной программы и образовательного процесса; b. разработана модель профессионального портрета специалиста для направления подготовки дипломированных специалистов 080801 - Прикладная информатика (в экономике, в менеджменте); c. проведена оценка удовлетворенности студентов и выпускников НГТУ специальности 080801 - Прикладная информатика (в экономике, в менеджменте). Локализована проблема недостаточной удовлетворенности целевых групп качеством подготовки в области программных средств разработки информационных систем и программных средств экономического анализа и планирования.

4. Информационная система поддержки функционирования РЦТ, обеспечивающая полный спектр информационной поддержки деятельности центра, включая хранение данных, многокритериальный поиск по резюме, автоматизированное составление анкеты студента или выпускника, а также присутствие РЦТ в сети Интернет и возможность сбора через сеть информации о соискателях и предложениях работы.

5. Система информационной поддержки задач разработки модели специалиста и оценки удовлетворенности потребителей, обеспечивающая автоматизацию части расчетов, связанных с разработкой модели профессионального портрета специалиста и оценкой удовлетворенности таких групп потребителей образовательных услуг, как студенты и выпускники. Модули разработки модели и оценки удовлетворенности можно использовать как в комплексе с другими задачами, так и для решения отдельных задач.

6. С целью развития диссертационного исследования предложено технологическое решение по хранению и анализу данных о фактических и нормативных значениях показателей качества подготовки специалиста и об удовлетворенности потребителей образовательных услуг. В качестве аналитического инструментария предлагается использовать OLAP-технологию, в основе которой лежит многомерная модель представления данных, позволяющая сделать механизм получения информации более доступным и интуитивно понятным аналитику. В главе описана структура аналитической системы и выделены направления анализа данных.

ЗАКЛЮЧЕНИЕ

В диссертационной работе в соответствии с целями исследования получены следующие результаты:

1. Проведена классификация показателей качества образования по совокупности признаков. Отмечено, что характеристики образовательных услуг вуза, в том числе потребности и удовлетворенность потребителей, часто представлены показателями, измеряемыми в порядковых или нечётких шкалах, а нормы качества формируются на основе методов экспертного оценивания. Для измерения показателей качества проанализированы типы измерительных шкал применительно к образовательной услуге.

2. Проведена классификация и сравнительный анализ существующих методов менеджмента качества применительно к управлению качеством образовательных услуг в вузе. Проанализирована возможность использования QFD-метода, диаграммы афинности для проектирования и мониторинга качества образовательной услуги. Разработан и опробован модифицированный QFD-алгоритм применительно к образовательной услуге.

3. Выполнен анализ применимости методов экспертного оценивания и прикладной статистики для мониторинга и контроля качества образовательных услуг, в частности методов факторного и кластерного анализа, методов построения интегрированных показателей качества и нормирования.

4. Разработана уровневая модель управления качеством образовательных услуг, соответствующая циклу Деминга, проведена интерпретация стадий цикла применительно к образованию. Модель положена в основу диссертационного исследования как системообразующий фактор.

5. Разработано следующее алгоритмическое и методическое обеспечение: а) алгоритм и конкретизирующая его методика исследования мнений потребителей на этапе проектирования образовательной или модификации услуги, позволяющая выявлять требования к образовательной услуге со стороны разных категорий потребителей, в том числе работодателей и студентов выпускных курсов; b) инвариантная методика разработки модели профессионального портрета специалиста и алгоритм управления качеством образовательной услуги на основе модели специалиста, позволяющие сравнивать реальные данные подготовки выпускников с нормами модели профессионального портрета специалиста и на основе результатов сравнения проводить комплексный анализ качества подготовки выпускников, делать содержательные выводы и формировать управляющие воздействия; c) алгоритм и методика расчета удовлетворенности потребителей на основе экспертно-статистического инструментария, позволяющие оценивать степень удовлетворенности студентов и выпускников полученной образовательной услугой.

6. Разработанные методики позволили провести исследования и решить практические задачи: a) исследование мнений потребителей образовательных услуг вуза с целью модификации образовательной программы и образовательного процесса. По результатам исследования мнений потребителей образовательных услуг сформированы требования к выпускнику вуза, к образовательной программе и образовательному процессу, предложены рекомендации частного и общего характера по совершенствованию образовательной услуги вуза с точки зрения потребителей. Сформированные рекомендации ориентированы на разные уровни управления. b) Разработана модель профессионального портрета специалиста для направления подготовки дипломированных специалистов 080801 - Прикладная информатика (в экономике, в менеджменте). Для идентификации модели предложена система профессиональных и личностных характеристик специалиста, выделены варианты формирования кластеров, определены показатели и методы их измерения с учетом иерархии показателей, сформированы нормативные значения показателей методом экспертного оценивания. Полученная модель позволяет осуществлять сравнение расчетных оценок показателей качества подготовки с нормативными; с) Проведена оценка удовлетворенности студентов и выпускников НГТУ специальности 080801 - Прикладная информатика (в экономике, в менеджменте). Проведенный анализ показал общую высокую степень удовлетворенности студентов и выпускников образовательной услугой. Локализована проблема недостаточной удовлетворенности целевых групп качеством подготовки специалистов в области программных средств разработки информационных систем и программных средств экономического анализа и планирования.

7. Для информационной поддержки решения обозначенных в диссертационном исследовании задач разработано информационное обеспечение: a) информационная система поддержки функционирования Регионального центра трудоустройства и адаптации выпускников, обеспечивающая полный спектр информационной поддержки его деятельности. Информационная система внедрена в промышленную эксплуатацию, активно используется с 2003 г. и модифицируется в соответствии с изменяющимися потребностями центра; b) Система информационной поддержки задачи разработки модели специалиста и оценки удовлетворенности потребителей, обеспечивающая автоматизацию расчетов, связанных с разработкой модели профессионального портрета специалиста и оценкой удовлетворенности студентов и выпускников; c) Для развития результатов диссертационного исследования предложено технологическое решение по хранению и анализу данных о реальных и нормативных значениях показателей качества подготовки специалиста и об удовлетворенности потребителей образовательных услуг на основе OLAP-технологии. В работе описана структура аналитической системы и выделены направления анализа данных.

8. Результаты, полученные в диссертационном исследовании, докладывались на 5 конференциях разного уровня, в т.ч. двух международных. Основные положения диссертационной работы опубликованы в 7 статьях, в том числе трех - из перечня журналов, рекомендованных ВАК.

9. Полученные практические результаты докладывались на совещании деканов НГТУ, где отмечена значимость проведенных исследований и практическая важность полученных результатов. В приложениях Ж, 3 и И приведены акты и справки о внедрении результатов диссертационной работы в Новосибирском государственном техническом университете и Сибирском государственном политехническом университете.

1. Абденов А. Ж. Динамические эконометрические модели : учеб. пособие / А. Ж. Абденов. Новосибирск : Изд-во НГТУ, 2002. - 72 с.

2. Адлер Ю. А вуз и ныне там. / Ю. Адлер // Стандарты и качество. -2002.-№4.-С. 66-68.

3. Адлер Ю. Процессное описание бизнеса основа основ и для системы экономики качества / Ю. Адлер, С. Щепетова // Стандарты и качество. -2002. -№2. -С. 66-69.

4. Айвазян С. А. Прикладная статистика и основы эконометрики : учеб. для вузов / С. А. Айвазян, В. С. Мхитарян. М. : ЮНИТИ, 1998. - 1022с .

5. Айвазян С. А. Прикладная статистика: Исследование зависимостей : справ, изд. / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин ; под ред. С. А. Айвазяна. М. : ФиС, 1985. - 487 е., ил.

6. Айвазян С. А. Прикладная статистика: Основы моделирования и первичная обработка данных : справ, изд. / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин. М. : ФиС, 1983.-471 с.

7. Альперин Л. Квалиметрическая научно-практическая школа в системе высшего образования / Л. Альперин // Стандарты и качество. 2002. - № 7. -С. 91-94.

8. Альтшулер Г. С. Найти идею. Введение в теорию решения изобретательских задач / Г. С. Альтшулер. 2-е изд., доп. - Новосибирск, 1991. - 225 с.

9. Анализ рынка OLAP Электронный ресурс. Режим доступа : http://www.mterface.ru/- Загл. с экрана.

10. Анастази А. Психологическое тестирование. В 2-х т. / А. Анаста-зи.-М., 1982.-Т. 1.-245 е.: ил.

11. Анастази А. Психологическое тестирование. В 2-х т. / А. Анастази. М., 1982. - Т.2. - 304 е.: ил.

12. Андреенков В. Г. Особенности применения математических методов в социологических исследованиях / В. Г. Андреенков, Ю. Н. Толстова // Анализ нечисловой информации в социологических исследованиях. М. : Наука, 1985.-С. 7-29.

13. Багаутдинова Н. Использование принципов TQM и стандартов ИСО серии 9000 в инженерном образовании / Н. Багаутдинова // Стандарты и качество. 2003. - № 6. - С. 72-75.

14. Беллман Р. Принятие решений в расплывчатых условиях / Р. Беллман, JI. Заде // Вопросы анализа и процедуры принятия решений. М. : Мир, 1976.-С. 172-215.

15. Берестнева О. Г. Качество обучения в техническом университете: Методы оценки и результаты исследований / О. Г. Берестнева ; под. ред. В. А. Кочегурова. Томск : Изд-во ТПУ, 2004. - 192 с.

16. Бешелев С. Д. Экспертные оценки / С. Д. Бешелев, Ф. Г. Гурвич. -М. : Наука, 1973.-79 с.

17. Боровиков В. STATISTICA: искусство анализа данных на компьютере. Для профессионалов / В. Боровиков. СПб. : Питер, 2001. - 656 е.: ил.

18. Брагин Ю. В. Путь QFD: проектирование и производство продукции исходя из ожиданий потребителей / Ю. В. Брагин, В. Ф. Корольков ; рец. Е. А. Голубицкая. Ярославль : Центр качества, 2003. - 240 с.

19. Бурмистрова Е. В. Исследование мнений потребителей на этапе проектирования образовательной услуги / Е. В. Бурмистрова // Образовательные технологии. 2006. - № 4 (21). - С. 64-68.

20. Бурмистрова Е. В. Исследование рынка образовательных услуг с целью оценки удовлетворенности потребителей / Е. В. Бурмистрова // Экономика образования. 2006. - № 1 (32). - С. 55-57.

21. Бурмистрова Е. В. Оценка качества образовательных услуг / Е. В. Бурмистрова // Университетское управление: практика и анализ. 2004. - №2 (30).-С. 114-115.

22. Бурмистрова Е. В. Оценка качества образовательных услуг Электронный ресурс. / Е. В. Бурмистрова // Специализированный портал Studiorum.ru. Режим доступа : www.studiorum.ru. - Загл. с экрана.

23. Веснин В. Р. Практический менеджмент персонала : пособие по кадровой работе / В. Р. Веснин. М. : Юристъ, 1998. - 496 с.

24. Волов В. Т. Психологический мониторинг в дистанционном образовании / В. Т. Волов, В. Ф. Сопов, А. В. Капцов. Самара : Изд-во Самар. гос. педагог, ун-та, 2000. - 231 с.

25. Востриков А. С. Новосибирский государственный технический университет: путь к созданию системы качества / А. С. Востриков, Н. Ш. Никитина // Стандарты и качество. 2002. - №4. - С. 57.

26. Востриков А. С. Рейтинговая оценка деятельности факультетов Новосибирского государственного технического университета в 1998-2001 гг. / А. С. Востриков, Н. Ш. Никитина, Ю. В. Целебровский. Новосибирск : Изд-во НГТУ, 2002. - 25 с.

27. Всеобщее управление качеством : учеб. для вузов / О. П. Глуд-кин, Н. М. Горбунов, А. И. Гуров, Ю. В. Зорин ; под ред. О. П. Глудкина. -М. : Горячая линия Телеком, 2001. - 600 с.

28. Гличев А. В. Основы управления качеством продукции / А. В. Гличев. 2-е изд., перераб. и доп. - М. : Стандарты и качество, 2001. - 424 с.

29. ГОСТ 34.602 89. Комплекс стандартов на автоматизированные системы. Техническое задание на создание автоматизированной системы. -М. : Изд-во стандартов, 1989. -21 с.

30. ГОСТ 7.32-91. Отчет о научно-исследовательской работе. Общие требования и правила. М. : Изд-во стандартов, 1991. - 32 с.

31. ГОСТ Р ИСО 9000-2001. Системы менеджмента качества. Основные положения и словарь. М. : Изд-во стандартов, 2001. - 25 с.

32. ГОСТ Р ИСО 9001-2001. Системы менеджмента качества. Требования. М. : Изд-во стандартов, 2001. - 21 с.

33. ГОСТ Р ИСО 9004-2001. Системы менеджмента качества. Рекомендации по улучшению деятельности. М. : Изд-во стандартов, 2001. - 30 с.

34. ГОСТ РД 50 34.698 - 90. Автоматизированные системы. Требования по содержанию документов. - М. : Изд-во стандартов, 2001.-21 с.

35. Губарев В. В. Системное представление качества образования / В. В. Губарев // Стандарты и качество. 2002. - №4. - С. 30.

36. Гутник Г. В. Мониторинг в контексте информатизации образования / Г. В. Гутник // Стандарты и мониторинг в образовании. 2001. - № 4. -С. 25.

37. Гутник Г. В. Проектное управление качеством образования в регионе / Г. В. Гутник // Стандарты и мониторинг в образовании. 2001. - № 2. -С. 18.

38. Джорж С. Всеобщее управление качеством: стратегии и технологии, применяемые сегодня в самых успешных компаниях (TQM) / С. Джорж, А. Ваймерскирх Спб.: Виктория плюс, 2002. - 256 с.

39. Дюран Б. Кластерный анализ / Б. Дюран, П. Оделл. М. : Статистика, 1977. - 128 с.

40. Егоршин А. П. Управление персоналом : учеб. пособие / А. П. Егоршин. 2-е изд. - Н. Новгород : НИМБ, 1999. - 622 е.: ил.

41. Егоршин А. П. Управление персоналом : учеб. для вузов / А. П. Егоршин . 3-е изд. - Н. Новгород : НИМБ, 2001. - 720 с.

42. Жураковский В. Инженер на рынке труда / В. Жураковский, В. Приходько, И. Федоров // Высш. образование в России. 1999. - № 2. - С. 36.

43. Зимняя И. А. Воспитательная деятельность образовательного учреждения как объект комплексной критериальной оценки / И. А. Зимняя. -М. : Изд-во исслед. центр проблем качества подготовки специалистов, 2002. -34 с.

44. Иванова С. Затраты минимальные эффект максимальный. Как этого добиться при подборе персонала Электронный ресурс. / С. Иванова. -Режим доступа : http://www.top-personal.ru. - Загл. с экрана.

45. Исикава Каору. Японские методы управления качеством / Исика-ва Каору. М. : Экономика, 1988. - 157 с.

46. Кальней В. А. Мониторинг качества образования / В. А. Кальней, С. Е. Шишов. М. : Вологда, 1998. - 203 с.

47. Качество образования в Новосибирском государственном техническом университете : ежегод. докл. / под общ. ред. А. С. Вострикова. Новосибирск : Изд-во НГТУ, 2000. - 81 с.

48. Качество образования в Новосибирском государственном техническом университете : ежегод. докл. / под общ. ред. Н. Ш. Никитиной, Г. Б. Скок. Новосибирск : Изд-во НГТУ, 2001. - 79 с.

49. Келс Г. Р. Процесс самооценки / Г. Р. Келс ; пер. с англ. О. Бухи-ной. М. : Моск. обществ, науч. фонд ; Изд. центр науч. и учеб. программ, 1999.- 152 с.

50. Копанева И. Н. Как измерить удовлетворенность потребителя / И. Н. Копанева // Методы менеджмента качества. 2003. - № 6. - С. 21.

51. Крамаренко И. С. Прогнозирование уровня учебных достижений учащихся средствами мониторинга / И. С. Крамаренко // Стандарты и мониторинг в образовании. 2001. - №1. - С. 37.

52. Магура М. И. Поиск и отбор персонала : практич. пособ. для руководителей и специалистов кадровых служб / М. И. Магура. М. : Бизнес школа «Интел-синтез», 1997. - 80 с.

53. Магура М. И. Современные персонал-технологии / М. И. Магура, М. Б. Курбатова. М.: Бизнес-школа «Интел-Синтез», 2001. - 376 с.

54. Макаров А. А. Комплексный мониторинг качества образования / А. А. Макаров. М. : Изд-во исслед. центр проблем качества подготовки специалистов, 1998. -265 с.

55. Мамонов В. И. Основы автоматизированного управления: системы, структуры, управление : учеб. пособие / В. И. Мамонов. Новосибирск : Изд-во НГТУ, 1996.-84 с.

56. Марухина О. Системный подход к оценке качества образования / О. Марухина, О. Берестнева // Стандарты и качество. 2002. - № 4. - С. 35.

57. МИСиС: повышение качества подготовки специалистов / Ю. Адлер и др. // Стандарты и качество. 2000. - № 2. - С. 68-72.

58. Мишин В. М. Управление качеством : учеб. пособие для вузов / В. М. Мишин. -М. : ЮНИТИ-ДАНА, 2000. 303 с.

59. Нив Г. Р. Пространство доктора Деминга. Кн. 1: пер. с англ. / Г. Р. Нив. Тольятти : Изд-во ГОФ «Развитие через качество», 1998. - 336 с.

60. Никитина Н. Ш. Информационная система мониторинга качества образования в вузе / Н. Ш. Никитина, П. Е. Щеглов // Вест. Хакас, гос. ун-та. Сер.: Информатика. 2002. - Вып. 5. - С. 10-17.

61. Никитина Н. Ш. Кадровый центр как вариант решения проблемы занятости молодых специалистов / Н. Ш. Никитина, Е. В. Федорова (Бурмистрова), М. А. Бурмистров // Университетское управление: практика и анализ. 2001. - № 4. - С. 74-77.

62. Никитина Н. Ш. Методика отбора персонала на вакансию на основе нечетких показателей / Н. Ш. Никитина, Е. В. Бурмистрова // Университетское управление: практика и анализ. 2004. - № 3 (31). - С. 98-103.

63. Нуждин В. Н. Стратегическое управление качеством образования : учеб. пособие / В. Н. Нуждин, Г. Г. Кадамцева ; Иван. гос. энерг. ун-т. -Иваново : Изд-во Иван. гос. энерг. ун-та, 2002. 88 с.

64. Одегов Ю. Г. Управление персоналом : учеб. / Ю. Г. Одегов, П. В. Журавлев. М. : Финстатинформ, 1997. - 207 с.

65. Окрепилов В. В. Управление качеством : учеб. для вузов / В. В. Окрепилов. 2-е изд., доп. и перераб. - СПб. : Наука, 2000. - 912 с.

66. Орлов А. И. Общий взгляд на статистику объектов нечисловой природы / А. И. Орлов // Анализ нечисловой информации в социологических исследованиях. М. : Наука, 1985. - С. 58-92.

67. Орлов А. И. Устойчивость в социально-экономических моделях / А. И. Орлов. М. : Наука, 1979. - 296 с.

68. Основы OLAP Электронный ресурс. Режим доступа : http://www.interface.ru/ - Загл. с экрана.

69. Основы управления персоналом / под ред. Б. М. Генкина. М., 1996.-С. 238.

70. Перегудов Ф. И. Основы системного анализа : учебник / Ф. И. Перегудов, Ф. П. Тарасенко. 2-е изд., доп. - Томск : HTJI, 1997. - 396 е.: ил.

71. Пызин В. А. Профессиональный выбор и отбор персонала управления / В. А. Пызин. М. : Дружба народов, 1996. - 142 с.

72. Розанова В. А. Психология управления : учеб. пособие / В. А. Розанова. 2 изд., перераб. и доп. - М. : Бизнес-школа «Интел-Синтез», 2000. -384 с.

73. Руководство по применению стандарта ИСО 9001: 2000 в области обучения и образования / пер. с англ. A. J1. Раскина. М. : РИА Стандарты и качество, 2002. - 128 с.

74. Селезнева Н. А. Качество высшего образования как объект системного исследования : лекция-докл. / Н. А. Селезнева. М. : Изд-во исслед. центр проблем качества подготовки специалистов, 2001. - 79 с.

75. Скворцов А. В. Компьютерное определение уровня качества продукции / А. В. Скворцов // Методы менеджмента качества. 2003. - № 3. - С. 16.

76. Скок Г. Б. Качество деятельности преподавателя / Г. Б. Скок // Проблемы высшего технического образования : межвуз. сб. науч. тр. ; юбил. сб. "НМЦ 10 лет". / под общ. ред. А. С. Вострикова. - 2000. - Вып. 16. - С. 13-18.

77. Спивак В. А. Организационное поведение и управление персоналом / В. А. Спивак. СПб. : Питер, 2000. - 416 е.: ил. - (Серия «Учебники для вузов»)

78. Статистические методы анализа качества : учеб. пособие / Е. А. Вакулич и др.. Самара : Сенсоры. Модули. Системы, 1998. - 104 с.

79. Статистический анализ экспертных оценок / П. Ф. Андуркевич, Г. Н. Веселая, В. П. Козырев, А. Т. Терехин // Многомерный статистический анализ в социально-экономических исследованиях. М., 1974. - С. 168-188.

80. Технология управления персоналом. Настольная книга менеджера / П. В. Журавлев, С. А. Карташов, Н. К. Маусов , Ю. Г. Одегов. М. : Экзамен, 1999.-576 с.

81. Толковый словарь по управлению / сост. С. Н. Петрова и др. ; под ред. В. В. Позднякова. М. : Алане, 1994. - 252 с.

82. Томский политехнический университет: система менеджмента качества / Е. Рузаев и др. // Стандарты и качество. 2002. - № 4. - С. 61.

83. Травин В. В. Основы кадрового менеджмента / В. В. Травин, В. А. Дятлов. М. : Дело, 1997. - 336 е.: ил.

84. Управление качеством. Ч. 1: Семь простых методов : учеб. пособие для вузов / Ю. П. Адлер, Т. М. Полховская, В. JI. Шпер, П. А. Нестерен-ко. 2-е изд., перераб. и доп. - М. : МИСИС, 2001. -138 с.

85. Управление персоналом : учеб. для вузов. / под ред. : Т. Ю. Базарова, Б. JI. Еремина. 2-е изд., перераб. и доп. - М. : ЮНИТИ, 2002. - 560 с.

86. Управление персоналом : энциклопед. слов. / под ред. А. Я. Кибанова. М.: ИНФРА-М, 1998. - 453 с.

87. Управление процессом производства образовательных услуг в университете по критерию качества / В. Левшина и др. // Стандарты и качество.-2001.-№ 3.-С. 71.

88. Факторный, дискриминантный и кластерный анализ : пер. с англ. / Дж.-О. Ким и др.; под ред. И. С. Енюкова. М. : ФиС, 1989. - 215 е.: ил.

89. Хоумер A. Dynamic HTML : наиболее полн. справ, рук. / Алекс Хоумер, Крис Улмен. СПб. : Питер, 2000. - 512 с.

90. Чекмарев А. Н. Статистические методы управления качеством / А. Н. Чекмарев, В. А. Барвилок, В. А. Шалавин. М. : Машиностроение, 1999.-320 с.

91. Шорохов М. И. Мониторинг качества обучения в техническом вузе на основе ретроспективного экспертного комплекса : автореф. дис. . канд. техн. наук / М. И. Шорохов. М. : Изд-во исслед. центр проблем качества подготовки специалистов, 2005. - 21 с.

92. Шпер В. JI. Менеджмент качества и сертификация: Опорный материал к лекционному курсу / В. JI. Шпер. М. : Металлсертификат ; Изд-во МИСиС, 2002.- 194 с.

93. Шпер В. J1. Статистическое управление процессами: опорный материал к лекционному курсу / В. JI. Шпер. М. : Металлсертификат ; Изд-во МИСиС, 2002. - 58 с.

94. Щеглов П. Е. Информационная система мониторинга качества образования в вузе / П. Е. Щеглов, Н. Ш. Никитина // Вест. Хакас, гос. ун-та им. Н. Ф. Катанова. Серия 1. Информатика. Абакан : Изд-во ХГУ, 2003. -Вып. 51.-С. 74-78.

95. Щеглов П. Е. Качество высшего образования. Риски при подготовке специалистов / П. Е. Щеглов, Н. Ш. Никитина // Университетское управление: практика и анализ. Екатеринбург : Изд-во Урал. гос. ун-та. -2003. -№ 1.-С. 46-59.

96. Щеглов П. Е. Система информационной поддержки менеджмента качества образовательного процесса в вузе / П. Е. Щеглов // Наше время : молодежь и реформы : сборник. Новосибирск : Изд-во НГТУ, 2003. - С. 266269.

97. Энциклопедия психологических тестов. Личность. Мотивация. Потребность / А. Карелин, ред. изд. М. : ACT , 1997. - 300 с. - (Практическая психология для всех.)

98. Энциклопедия психологических тестов. Профессиональное консультирование, профессиональный отбор, профессиональная ориентация, тесты для безработных. М. : ACT, 1997. - 320 с. - (Практическая психология для всех)

99. Collins James. Beyond Entrepreneurship: Turning Your Business into an Enduring Great Company / Collins James, Lazier William. Prentice, Hall Press, 1995.-345 p.

100. Covey Stephen The 7 Habits of Highly Effective People. Free Press, 2004. -494 p.

101. Derek R. Allen. Analysis of Customer Satisfaction Data / Derek R. Allen, Tanniri R. Rao. -Wiscousin, Milwaukee : ASC Quality Press, 2000. 4551. P

102. Garvin D. A. How to Build Learning Organization / D. A. Garvin 11 European Quality. 1998. - Vol. 5, № 2. - P. 28-33.

103. Hackl P. Customer Satisfaction Measurement: PLS and Alternative Estimation Methods / P. Hackl, A. Wellund // Proc. Of the 44-th annual EOQ Congress. Budapest, 2000. - Vol. 2. - P. 45-52.

104. Holzman P. S. Scanning: A principle of contact / P. S. Holzman // Percept, and Motor Skills. 1966. - Vol. 23, № 3. - Pt 1. - P. 835-844.

105. Improvement on Excellence // Measuring Business Excellence. -1998. -Vol. 2, № 3. P. 24-35.

106. Kagan J. Psychological of conceptualization / J. Kagan, H. A. Moss, I. E. Sigel // Monogr. Soc. Res. Child Develop. 1963. - Vol. 28, № 1. - P. 73112.

107. Karlsson J. Managing software requirements using quality function deployment / J. Karlsson // Software Quality Journal. 1997. - № 6. - P. 311-325.

108. Planning the quality of education / ed. by K. N. Ross, L. Manhlck. -UNESCO, Pergamin Press, 1990. 186 p.

109. Zadeh L. A. Furry Sets as a Basis for a Theory of Possibility / L. A. Zadeh // Furry Sets and Sistems. 1978. - Vol. 1, № 1. - P. 3-28.