автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Алгоритмы и методики анализа информации в системе управления качеством образования

На правах рукописи

ПРОШКИНА Елена Николаевна

АЛГОРИТМЫ И МЕТОДИКИ АНАЛИЗА ИНФОРМАЦИИ В СИСТЕМЕ УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАНИЯ

Специальность 05.13.10 - Управление в социальных и экономических системах

Автореферат диссертации на соискание ученой степени кандидата технических наук

ПЕНЗА 200? 0031Т4Э05

003174905

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Пензенский государственный университет» на кафедре «Вычислительная техника».

Научный руководитель - доктор технических наук, профессор

Макарычев Пётр Петрович.

Официальные оппоненты: доктор технических наук, профессор

Лебедев Виктор Борисович; доктор технических наук, профессор Дворянкин Александр Михайлович.

Ведущая организация - Исследовательский центр проблем качества подготовки специалистов Московского государственного института стали и сплавов (технологического университета)

Защита диссертации состоится 22 ноября 2007 г., в 14 часов, на заседании диссертационного совета Д 212.186.04 в государственном образовательном учреждении высшего профессионального образования «Пензенский государственный университет» по адресу 440026, г. Пенза, ул Красная, 40

С диссертацией и авторефератом можно ознакомиться в библиотеке государственного образовательного учреждения высшего профессионального образования «Пензенский государственный университет» и на сайте \vww.pnzgu ги

Автореферат разослан " " 2007 г

Ученый секретарь

диссертационного совета

доктор технических наук,

профессор Смогунов В. В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В связи с вступлением России в Болонский процесс актуальной становится проблема обеспечения необходимого качества высшего образования В России до недавнего времени проблема качества образования решалась в пределах требований государственной идеологии1 качество работы учебного заведения оценивалось в соответствии с тем, как оно исполняло существовавшие учебные программы и планы, использовало технические средства и т д В ходе реформы отечественной системы образования в последнем десятилетии отчетливо проявилась тенденция децентрализации функций управления (в том числе и управления качеством), которые с федерального уровня переходят к региональным, муниципальным органам, а учебное заведение несет самостоятельную ответственность за качество своего «продукта». При этом престиж вуза непосредственно зависит от того, насколько и как долго будет конкурентоспособным подготовленный им специалист. Пути решения этой проблемы в каждом вузе выбираются свои, с учетом сложившихся традиций, возможностей и региональных особенностей

Методологической основой данной работы являются исследования Архангельского С И, Аванесова В С, Володина Б В, Коро-зы В И, Новакова И. А., Подлеснова В Н., Тягуновой Т Н., Попова Ю В , Савельева Б. А., Субетто А И., Селезневой Н. А, Звонни-кова В И, Челышковой М Б., Берестневой О. Г, Марухиной О. В. и многих др. Среди зарубежных исследователей необходимо отметить работы Ишикава К., Robert С., Temer А, Morecroft J., Balm G., Haworth I идр Однако, несмотря на заметные успехи в управлении качеством образования, существует ряд проблем, решение которых позволит существенно повысить качество образования. Главными среди них являются недостаточная проработка методик и алгоритмов анализа данных мониторинга образовательного процесса, а также отсутствие информационных систем, обеспечивающих комплексный подход к управлению качеством образования. В настоящее время широкое распространение получили три способа оценки качества образования, тестирование как способ объективного оценивания знаний студентов; рейтинговая оценка деятельности преподавателей как способ выявления их компетентности, знаний и опыта и мониторинг удовлетворенности потребителей качеством образовательных услуг,

основанный на проведении в их среде анкетирования. Для обработки полученных данных необходимы методики и алгоритмы, позволяющие выявить скрытые закономерности в данных и получить выводы, адекватные реальности. Для автоматизации работы системы управления качеством образования необходима информационная система, которая сочетала бы в себе все три способа оценки качества образования, а также поддерживала процесс принятия решений по управлению качеством образовательных услуг, предоставляемых вузом.

Целью диссертационной работы являются теоретическое обоснование и исследование моделей, алгоритмов реализации методов анализа качества предоставляемых услуг и информационной поддержки принятия управленческих решений в сфере высшего профессионального образования

Для достижения поставленной цели в диссертационной работе решены следующие задачи.

- анализ методов, моделей и алгоритмов, применяемых при оценке показателей деятельности и принятии управленческих решений в сфере высшего профессионального образования;

- разработка функциональных и информационных моделей деятельности преподавателей, студентов и оценки удовлетворенности потребителей качеством образовательных услуг, предоставляемых вузом,

- разработка и исследование моделей, алгоритмов анализа данных мониторинга удовлетворенности качеством образовательных услуг, деятельности преподавателей и студентов, подразделений вуза;

- теоретическое обоснование алгоритмов реализации и исследование эффективности метода вербального анализа при принятии управленческих решений по результатам мониторинга качества образовательных услуг;

- разработка информационного, математического и методического обеспечения системы мониторинга и управления качеством образования в вузе

Методологическая основа работы. Для решения поставленных задач использованы основные положения теории информационных процессов и систем, статистического, оперативного и интеллектуального анализа данных, принятия решений и теоретические основы проектирования информационных систем

Научная новизна работы заключается в следующем:

1) предложена методика оценки деятельности преподавателей с использованием положений репрезентативной теории измерений;

2) предложен алгоритм решения задачи кластерного анализа данных мониторинга деятельности преподавателей, отличающийся использованием нечеткой логики, позволяющей учесть размытость границ, формируемых кластеров с целью обнаружения закономерностей в данных,

3) на основе положений теории скрытых марковских моделей, конструирования и параметризации тестов по методологии ШТ разработана математическая модель анализа уровня подготовки студентов. Отличительной особенностью модели является учет взаимосвязи между наблюдаемыми результатами учебных достижений, латентными свойствами самих учащихся и характеристиками тестовых заданий;

4) предложены методика и алгоритм оценки удовлетворенности потребителей качеством образовательных услуг, предоставляемых вузом, отличающиеся использованием репрезентативной теории измерений и метода вербального анализа решений,

5) разработана методика и алгоритм принятия решения по управлению качеством образовательных услуг, предоставляемых вузом, отличающиеся использованием метода вербального анализа решений и формулировкой решающего правила на качественном уровне;

6) разработаны концептуальные, функциональные и информационные модели деятельности подразделений вуза по обеспечению качества образования, отличающиеся применением международных стандартов системного структурного анализа ГОЕБО и ШЕР1Х.

Практическая ценность. На основе исследований, выполненных в рамках настоящей работы, разработана методика анализа удовлетворенности потребителей качеством образовательных услуг, предоставляемых вузом; методика анализа уровня подготовки студентов по результатам тестирования, методика анализа деятельности преподавателей по показателям научной, учебной, учебно-методической деятельности, реализована база данных системы менеджмента качества для проведения мониторинга.

Реализация и внедрение результатов. Результаты использованы в системе менеджмента качества Пензенского государственного университета

Результаты, выносимые на защиту:

1) методика и алгоритм оценки удовлетворенности потребителей качеством образовательных услуг, разработанные с использованием основных положений репрезентативной теории измерений, что позволяет получить выводы инвариантные к допустимым преобразованиям шкалы,

2) алгоритм реализации метода вербального анализа решений для оценки качества образовательных услуг, позволяющий в 5—10 раз сократить число вопросов к руководителю с целью выявления его предпочтений;

3) концептуальные, функциональные и информационные модели процессов деятельности подразделений вуза по обеспечению качества образования, отличающиеся применением международных стандартов системного структурного анализа ШЕБО и ГОЕР1Х и позволяющие регламентировать требования к информационной системе менеджмента качества образования.

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на следующих конференциях:

- Международная научно-методическая конференция «Университетское образование» (Пенза, 2006 г.);

- Международная научно-техническая конференция «Новые информационные технологии и системы» (Пенза, 2006 г ),

- Международная научно-методическая конференция «Университетское образование» (Пенза, 2007 г.),

- Международная научно-техническая конференция молодых специалистов, аспирантов и студентов «Математическое и компьютерное моделирование естественнонаучных и социальных проблем» (Пенза, 2007 г.).

Публикации. По теме диссертационной работы опубликовано 11 печатных работ, в том числе 10 статей и 1 тезис доклада.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы (112 наименований) и 6 приложений Объем работы- 136 страниц основного текста, включающего 26 рисунков и 3 таблицы

СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обоснована актуальность темы диссертации, сформулированы цель и задачи исследований, показаны научная новизна и практическая значимость полученных результатов, приведены сведения об апробации работы и публикациях.

В первой главе проведен анализ информационных процессов, методов, моделей, алгоритмов и систем мониторинга и управления вузом Рассмотрены методы мониторинга и оценки качества образования, дана их сравнительная оценка Выделены основные проблемы, связанные с разработкой методов оценки качества образования, и указаны возможные пути их решения. Показана необходимость использования репрезентативной теории измерений при разработке моделей и алгоритмов анализа данных. Дана сравнительная оценка методов принятия решений и обосновано использование методов вербального анализа при решении сложных плохо структурируемых проблем, которые описываются качественными факторами

Показано, что большинство функционирующих в вузах информационных систем носят фрагментарный характер, не ориентированы на информационные потребности студентов, преподавателей, сотрудников вуза и иных заинтересованных лиц, не позволяют осуществлять мониторинг образовательного процесса, не обеспечивают комплексную под держку принятия управленческих решений

Существующие методы мониторинга образовательного процесса условно разделены на две группы: группа экспертных оценок и группа объективных показателей Полученная с их помощью информация подлежит обработке. Анализ современных методов оценки качества образования показывает, что часто к полученным данным применяют недопустимые операции, приводящие к искажению результатов Использование репрезентативной теории измерений позволяет разработать модели и алгоритмы анализа данных, результат работы которых не меняется при любом допустимом преобразовании шкалы

Качество образования - понятие многомерное, затрудняющее использование методов принятия решений, требующих представления информации в числовой форме. Поэтому в качестве метода принятия решений о качестве образовательных услуг, предоставляемых вузом, в диссертационной работе предлагается использовать метод вербального анализа решений, позволяющий использовать качественную

информацию на всех этапах анализа и принятия решений без каких-либо ее преобразований в числовую форму.

Во второй главе разработана концепция мониторинга качества образовательных услуг. Приведены функциональные модели деятельности преподавателя, процесса обучения студентов и мониторинга удовлетворенности потребителей качеством образовательных услуг. Предложены методики и алгоритмы оценки деятельности преподавателей и удовлетворенности потребителей с использованием репрезентативной теории измерений. Приведена методика анализа адекватности механизма оценивания результатов педагогического теста.

Для разработки концептуальных моделей деятельности преподавателя, обучения студентов, мониторинга удовлетворенности потребителей качеством образовательных услуг использована методология ГОЕР. Основные макропроцессы, которые можно выделить в деятельности преподавателя, показаны на рисунке 1. Поскольку деятельность преподавателя многогранна, то для ее оценки требуется множество частных показателей. Для измерения частных показателей в диссертации использована порядковая шкала.

Рисунок 1

Для обработки порядковых экспериментальных данных использована операция проверки на совпадение или несовпадение, обозначаемая с помощью символа Кронекера 8у = {1:х, =xJ,0.xг =£ху}, где

х, и xJ - записи разных измерений, и операция вычисления ранга

п

объекта К, = ^С(хг -х}), где С{х(~х}) - индикатор положитель-

М

ных чисел. По результатам этих операций выполняется подсчет чиста

ла преподавателей, обладающих признаком к-то класса пк - У^,,

7=1

ранжирование преподавателей по любому рейтинговому показателю, выявление корреляционной связи между двумя показателями, по которым оцениваются преподаватели. Для выявления корреляционной связи в диссертации использован выборочный коэффициент ранговой корреляции Спирмена, рассчитанный с доверительной вероятностью Р = 95%.

В процессе обучения студентов выделены три основных макропроцесса: определение уровня исходных знаний, обучение, контроль качества обучения (уровня знаний), который целесообразно проводить в тестовой форме, поскольку это позволит практически полностью устранить субъективизм преподавателя при проверке работ Тестирование характеризуется следующими основными параметрами N — общее число тестовых заданий, охватывающих содержание всего проверяемого учебного курса; £) — число тестовых заданий множества Ы, на которые тестируемый не знает правильного ответа, - индекс неподготовленности тестируемого; и - число тестовых заданий, включенных в тест; <1 - число заданий в составе п, на которые тестируемый дает неправильный ответ; с - браковочное число, являющееся критерием оценивания результата тестирования, при <1<с результат тестирования является положительным, а при с! >с — отрицательным; Р(д) - оперативная характеристика теста, которая равна вероятности положительного оценивания теста при заданном значении индекса неподготовленности # тестируемого, является показателем адекватности оценивания знаний тестируемого.

В том случае, если множество тестовых заданий N разбито на подмножества Щ, N2, Л^з . ит. д. тестовых заданий по отдельному модулю (дидактической единице - ДЕ) проверяемой учебной дисциплины, тогда достоверность всего теста Р(д) рассчитывается как произведение вероятностей (Р(д)г) положительного оценивания теста по каждой ДЕ при заданном значении индекса неподготовленности ( ) тестируемого по каждой ДЕ

где к-количество ДЕ

В диссертации доказано, что любой оцениваемый по данной методике тест является достоверным, если при 60 % подготовленности тестируемого по каждой ДЕ он гарантированно получает зачет по тесту с риском не более 15 %. Таким образом, использование математического аппарата статистического контроля качества применительно к педагогическому тестированию знаний позволяет формализовано оценить степень достоверности тестов, что весьма важно при проектировании контрольных тестов и тестовых программ

На рисунке 2 представлена концептуальная модель процесса мониторинга удовлетворенности потребителей качеством образовательных услуг, предоставляемых вузом Для оценки степени удовлетворенности предлагается использовать пятибалльную шкалу. Приведем лингвистические значения оценок.

5 — «полное соответствие желаемому результату»; 4 - «неполное соответствие желаемому результату», 3 - «удовлетворительное соответствие желаемому результату»; 2 - «неудовлетворительное соответствие желаемому результату»; 1 - «полное несоответствие желаемому результату» Предварительная обработка результатов измерений включает следующие этапы

- подсчет количества потребителей, оценивших одинаковым образом степень удовлетворенности определенным критериям качества образовательной услуги;

к

О)

Рисунок 2

- определение для одного потребителя количества и процента критериев, которые «полностью соответствуют желаемому результату» или «полностью не соответствуют желаемому результату»;

- ранжирование критериев оценки качества образовательной услуги по степени удовлетворенности в пределах выделенной группы (кафедра, факультет, институт и т. д.);

- выявление наличия ранговой корреляционной связи по критериям качества образовательной услуги между двумя группами с помощью коэффициента ранговой корреляции Спирмена;

- вычисление степени согласованности мнений потребителей в пределах группы с помощью коэффициента конкордации по формуле, предложенной Кендаллом; •

- нахождение среднего балла для каждого критерия оценки качества образовательной услуги в пределах группы

^=и1=]м,я/ии^' (2)

где А - веса лингвистических оценок е, ц .

В третьей главе предложен алгоритм нахождения теоретико-множественного разбиения исходного множества объектов данных мониторинга на подмножества с использованием методов нечеткой кластеризации. Разработаны математические модели анализа уровня

подготовки студентов по результатам их учебных достижений, анализа удовлетворенности потребителей качеством образовательных услуг, предоставляемых вузом Построены математическая модель и алгоритм процесса принятия решений по управлению качеством образовательных услуг.

При рейтинговой оценке деятельности преподавателей выборку для кластеризации составляют преподаватели одной кафедры, одного факультета или всего университета в целом. В диссертации J={q,a2,...,¿^} — множество объектов кластеризации, P={pt,p2,...,pq} -

конечное множество признаков или атрибутов, где п — общее количество объектов, a q — общее количество измеряемых признаков объектов

Для каждого объекта кластеризации (преподавателя) измерены все признаки множества Р в некоторой количественной шкале. Каждому из элементов а, е А поставлен в соответствие вектор

x¡ =(jCj,^2, ...,x'q), где x'j - количественное значение признака pj е. Р для объекта а, е А. Требуется на основе исходных данных определить такое нечеткое разбиение ЩА) = {Ак\Ак с А} множества А = А на заданное число с нечетких кластеров Ак(ке{2,. ,с}), которое доставляет экстремум некоторой целевой функции /(SH(JÍ)) среди всех нечетких разбиений.

Решение задачи нечеткой кластеризации выполнено с помощью алгоритма нечетких с-средних (FCM, Fuzzy C-Means)

В результате работы данного алгоритма было получено нечеткое разбиение множества преподавателей на группы, в пределах которых впоследствии возможно выполнять ранжирование преподавателей, вычислять средние значения и т. д.

В основе квалиметрического подхода к современному тестированию лежат идеи использования математических моделей конструирования и параметризации тестов по методологии IRT (Item Response Theory).

В качестве математической модели в диссертации использована однопараметрическая модель Раша. В рамках этой модели задания характеризуются только одним параметром - трудностью.

Для создания адаптивного теста необходимо иметь банк тестовых заданий с известными уровнями трудности (калиброванных заданий). Субъективное мнение педагога о степени сложности задания учитывается посредством применения аппарата нечетких отношений. Преподаватель оценивает степень сложности каждого задания на отрезке [0,1], формируя нечеткое отношение 5 ={Ь,^(Ь)} - «сложное

задание». На основе экспертных оценок в интервале [-3, +3] логит был построен график функции принадлежности для нечеткого множества § (рисунок 3).

Для определения уровня подготовленности испытуемых по предмету на момент тестирования введена в рассмотрение лингвистическая переменная б — «уровень подготовленности». Тогда множество различных уровней подготовленности Т^ = = 1,и} является терм-множеством лингвистической переменной (5. Нечеткие множества <2, значений лингвистической переменной <2 ~ «уровень подготовленности» - строятся путем указания преподавателем (экспертами) точек перехода функций принадлежности терм-множеств, заданных колоколообразной функцией принадлежности следующим образом.

(3)

где # - численное значение переменной Q (значение уровня подготовленности), а'д,^, / = 1,и - точки перехода переменной указанные преподавателем (экспертами).

Рисунок 3

РдД«"--

1

1~с0

Преподаватель определяет, что уровень подготовленности студента со степенью принадлежности можно отнести к одному из

термов лингвистической переменной Q . Интервал, в пределах которого находится уровень подготовленности ц^ j-го студента, определяется путем дефаззификации функции принадлежности лингвистической переменной Q с использованием методов левого и правого модального значения Для осуществления адаптивного тестирования подбираются задания такой трудности, чтобы вероятность правильного ответа Pj(q) = 0,5

В диссертации для точного определения уровня знаний испытуемого процесс тестирования представляется в виде скрытой марковской модели (СММ) как совокупность значений N, М, А, В, п (обозначим X = (А,В,%) ), где N - количество дидактических единиц (ДЕ); М - количество возможных символов в наблюдаемой последовательности, которую генерирует СММ (в случае тестирования М = 2), F = {0, 1} - алфавит наблюдаемой последовательности; А = {ац} -

матрица вероятностей перехода от одной ДЕ к другой; В — {bj (к)} -

матрица вероятностей появления правильных и неправильных ответов в каждой ДЕ. СММ генерирует последовательность ответов тестируемого О = ОхОг. От, где О; - один из символов алфавита V, а Т - это количество элементов в наблюдаемой последовательности С помощью алгоритма Баума-Уэлша модель оптимизирована таким образом, чтобы она точно описывала наблюдаемую последовательность В результате была получена модель с переоцененными параметрами Вычислив и сравнив правдоподобность появления данной последовательности наблюдений для модели с исходными параметрами Р(0\ X) и с переоцененными Р{0\}}), используя алгоритм

прямого хода, получили P(0\7J>) > Р(0\Х), т е после переоценки

параметров модели ее правдоподобность увеличилась. По скорректированной матрице распределения вероятностей «правильных» и «неправильных» ответов испытуемого В^ был найден уровень подготовки испытуемого по каждой ДЕ в логитах, а затем выполнен пе-

ресчет уровня учебных достижений испытуемого, выраженный в ло-гитах, в 100-балльную шкалу путем линейных преобразований.

Таким образом, разработанная методика позволяет на основе априорного предположения о степени подготовленности испытуемого подобрать ему задания, соответствующие его уровню, провести адаптивное тестирование и определить уровень учебных достижений испытуемого по 100-балльной шкале

Оценка удовлетворенности потребителей качеством образовательных услуг выполняется по результатам мониторинга. При проведении мониторинга потребители образовательных услуг были разделены на категории и группы на основе потребности в определенном виде образовательной услуги Ранжирование оценок потребителей внутри группы по степени удовлетворенности качеством образовательных услуг в работе выполнено методом вербального анализа решений Для данного метода

К^, , Кы — критерии, по которым оценивается степень удовлетворенности потребителей качеством образовательных услуг;

Хч = {х*} - множество оценок (шкала) д-го критерия, которые

упорядочены от лучшей (первой) к худшей (последней); \Хд | = ,

Бч - число значений оценок на шкале д-го критерия,

Т=Х1Х2 .Хм - множество векторов вида у3=(уп,уп,. ,у]Ы),

N

где у}д е Хд, ] = 1, .., 51 и 5 = |У| = , задающее все гипотетиче-

<н

ски возможные ответы анкетируемых;

А = {А1,А2>. ,Ая} - множество реальных оценок потребителей,

содержащее п векторов ал-{ал,ал, , где ащ е Хц;

К=Г(4) - ценность оценки А1 для руководителя. Необходимо на основе предпочтений руководителя ранжировать векторы у} е У в соответствии со значениями априорно неизвестной

функции ценности У(А,) ■

Предпочтения руководителя были выявлены путем сравнения изменений качества на шкалах двух критериев в предположении, что оценки по другим критериям наилучшие. Информация, полученная

от руководителя при построении единых шкал изменения качества (ЕШИК) для всех пар критериев, была использована для построения общей порядковой ЕШИК для всех критериев. Построение общей порядковой ЕШИК в работе было выполнено с помощью алгоритма последовательного выбора недоминируемых изменений качества. Полученная общая порядковая ЕШИК использовалась для ранжирования множества реальных групп потребителей по степени удовлетворенности качеством образовательных услуг.

После обработки данных, по которым выполняем оценку качества образовательных услуг, следует этап принятия решения по управлению качеством образования. Задача принятия решения по управлению качеством образования в диссертации определена как задача порядковой классификации многокритериальных альтернатив и формально представлена следующим образом:

Т — свойство, отвечающее целевому критерию задачи («качество образования»);

Кх, К2,.., Ки - критерии, по которым оценивается качество образования (средний балл студента, рейтинг преподавателя, процент потребителей, полностью удовлетворенных по всем критериям оценки качества образования);

Хч = {х*} - множество оценок (шкала) критерия Кд, упорядоченных по убыванию характерности для свойства Т; = -

число значений оценок на шкале #-го критерия;

Г = Хх Хг.. Хы - декартово произведение шкал критериев, определяющее множество всех возможных описаний объектов, подлежащих классификации;

С = {С,, С2,..., См} - множество классов решений, упорядоченных по убыванию выраженности свойства Т («высокое качество образования», «приемлемое качество образования», «низкое качество образования»).

Требуется, основываясь на предпочтениях руководителя, построить отображение множества допустимых объектов Уа во множество классов С. Г -» С, которое должно быть полным и непротиворечивым

Для решения данной задачи использован метод вербального анализа решений, позволяющий уменьшить число обращений к руководителю за счет косвенной классификации части объектов; вести диалог с руководителем на содержательном языке оценок критериев и дать содержательную формулировку решающего правила, которая может быть использована в качестве объяснения любых решений руководителя.

В четвертой главе приведены основные положения концепции менеджмента качества Построены с применением стандартов ШЕБ информационные модели мониторинга деятельности преподавателей, мониторинга удовлетворенности качеством образовательных услуг, процесса тестирования студентов и процесса принятия решений по управлению качеством образования

Информация, поступающая в систему менеджмента качества из различных источников, проходит несколько этапов: сбор и хранение данных, оперативный анализ данных, обобщение результатов оперативного анализа, принятие решения по управлению учебным процессом университета. Собранная информация размещается в оперативных базах данных (ОБД): «Преподаватель», «Тестирование» и «Мониторинг мнений». Информационные модели всех ОБД разработаны с учетом выделенных во второй главе макропроцессов.

Оперативные данные после обработки в обобщенном виде поступают в БД управления системы качества, где хранятся в течение длительного времени. ОБД при этом подвергаются очистке. Обобщенные данные из БД управления системы качества поступают в виде критериев в систему принятия решений, где на основе предпочтений руководителя формируется база знаний.

В заключении сформулированы основные результаты диссертационной работы.

Приложения содержат акты, подтверждающие результаты работы, функциональные и информационные модели, листинги разработанных математических моделей в среде Майтсаё, результаты проведенных экспериментальных исследований

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

В ходе теоретических и экспериментальных исследований, выполненных в диссертационной работе, получены следующие научные и практические результаты

1 Выполнен сравнительный анализ методов, моделей и алгоритмов, применяемых при оценке показателей деятельности и принятии управленческих решений в сфере высшего профессионального образования, выявлены их достоинства и недостатки Анализ позволил выбрать методы, модели и алгоритмы, которые в наибольшей степени соответствуют цели исследования

2 Разработаны концептуальные, функциональные и информационные модели деятельности преподавателей, студентов и оценки удовлетворенности потребителей качеством образовательных услуг, предоставляемых вузом. Модели отличаются использованием международных стандартов системного структурного анализа ГОЕБО и ГОЕР1Х, что позволяет регламентировать фазы анализа требований к системе менеджмента качества и проектирования спецификаций

3 Предложен алгоритм нахождения теоретико-множественного разбиения исходного множестЬа преподавателей на подмножества, отличающийся использованием методов нечеткой кластеризации, которые позволяют учесть размытость границ, формируемых подмножеств.

4. Разработана математическая модель анализа уровня подготовки студентов, учитывающая наличие взаимосвязи между наблюдаемыми результатами учебных достижений, латентными свойствами самих учащихся и характеристиками тестовых заданий, что позволяет на основе априорного предположения о степени подготовленности испытуемого подобрать ему задания, соответствующие его уровню, провести адаптивное тестирование и определить уровень учебных достижений испытуемого по 100-балльной шкале

5. Для ранжирования групп потребителей по степени удовлетворенности качеством образовательных услуг разработана методика и алгоритм, отличающийся использованием метода вербального анализа решений, который позволяет выполнить ранжирование многокритериальных альтернатив и учесть возможности человека по переработке информации, на всех этапах используются вербальные переменные, метод не требует специальной подготовки от руководителя.

6. Для принятия решения по управлению качеством образования разработана методика и алгоритм, отличающиеся использованием метода вербального анализа решений, позволяющего выполнить классификацию многокритериальных альтернатив с учетом предпоч-

тений руководителя Диалог с руководителем ведется на содержательном языке оценок критериев, давая содержательную формулировку решающего правила.

7 На основе предложенных концептуальных моделей разработаны информационные системы для проведения мониторинга качества образовательных услуг, предоставляемых вузом.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Публикации в изданиях, рекомендованных ВАК РФ

1, Прошкина, Е H Задача нечеткой кластеризации данных мониторинга деятельности преподавателей / Е. Н. Прошкина, В И Волчи-хин // Известия вузов Поволжский регион Технические науки — 2007. -№1.~ С. 61-65.

Публикации в других изданиях

2. Прошкина, Е. H Анализ методов оценки качества образования / Е. Н. Прошкина, В А Мещеряков, // «Университетское образование» Пенза - 2006 . сб. статей X Междунар. науч.-метод. конф. - Пенза, 2006.-С 122-124.

3 Прошкина, Е. Н. Система мониторинга качества обучения / Е H Прошкина, П П Макарычев // «Университетское образование» Пенза - 2006 сб статей X Междунар науч.-метод конф - Пенза, 2006 -С 279-282.

4. Прошкина, Е Н. Информационная система рейтинговой оценки знаний студентов / Е Н. Прошкина // Математические методы в технике и технологиях - ММТТ-19 сб тр XIX Междунар науч конф В 10 т. Т. 4 Секции 4, 9 / под общ. ред В С Балакирева - Воронеж : Воронеж, гос. технол. акад, 2006. - С 125-127.

5 Прошкина, Е H Адекватность механизма оценивания результатов тестирования остаточных знаний / Е. Н. Прошкина, П П. Макарычев // Новые информационные технологии и системы. тр. VII Междунар науч -техн. конф Ч. 2 - Пенза Изд-во Пенз. гос ун-та,2006 -С 207-210.

6 Прошкина, Е H Администрирование и анализ данных средствами SQL Server / Е. H Прошкина, А. Ю Афонин // Новые информационные технологии и системы • тр. VII Междунар науч.-техн конф Ч 1 -Пенза Изд-во Пенз гос ун-та, 2006 - С 200-202.

7 Прошкина, Е Н. Утилиты администрирования SQL Server / Е. Н. Прошкина // Системы обработки информации и управления • тез. докл. науч.-техн. конф. молодых специалистов — ОАО «НПП "Рубин"», 2006. - С. 50-51.

8 Прошкина, Е. Н. Мониторинг качества образования / Е. Н Прошкина // Вычислительные системы и технологии обработки информации . Межвуз. сб науч. тр - Пенза1 Инф.-изд. центр ill У, 2006. -Вып. 5 (30). - С. 100-104.

9. Прошкина, Е. Н. Математическая модель оценки знаний студентов / Е. Н. Прошкина Н «Университетское образование» Пенза - 2007 : сб. статей XI Междунар. науч.-метод. конф. - Пенза, 2007. - С. 280-282.

10 Прошкина, Е Н. Математическая модель оценки знаний студентов / Е. Н. Прошкина // Компьютерное моделирование естественнонаучных и социальных проблем : сб. статей I Междунар. науч.-техн. конф. молодых специалистов, аспирантов и студентов - Пенза, 2007.-С. 89-91.

11. Прошкина, Е Н. Методика принятия решений по управлению качеством образования / Е. Н Прошкина, П. П. Макарычев // Территория науки. - 2007. - № 4(5). - С. 523-529.

Прошкина Елена Николаевна

Алгоритмы и методики анализа информации в системе управления качеством образования

Специальность 05 13 10-Управление в социальных и экономических системах

Редактор В В Чувашова Технический редактор Н А Вьялкова

Корректор Ж А Лубенцова Компьютерная верстка С П Черновой

ИД № 06494 от 26 12 01 Сдано в производство 15 10 07 Формат 60x84^/16 Бумага писчая Печать офсетная Уел печ л 1,16 Заказ № 568 Тираж 100

Издательство Пензенского государственного университета 440026, Пенза, Красная, 40

i ВВЕДЕНИЕ.

1. АНАЛИЗ ИНФОРМАЦИОННЫХ ПРОЦЕССОВ, МЕТОДОВ, МОДЕЛЕЙ, АЛГОРИТМОВ И СИСТЕМ МОНИТОРИНГА И УПРАВЛЕНИЯ ВУЗОМ.

1.1. Анализ информационных процессов и структур упр авления.

1.2. Методы мониторинга и оценки качества образования.

1.3. Модели и алгоритмы анализа данных мониторинга образовательного процесса.

1.4. Методы принятия решений.

1.5. Анализ современных методологий и технологий проектирования информационных систем.

Выводы.

2. РАЗРАБОТКА КОНЦЕПЦИИ МОНИТОРИНГА КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ УСЛУГ.

2.1. Общие положения концепции мониторинга качества образовательных услуг.

2.2. Оценка деятельности преподавателя.

2.2.1. Разработка функциональной модели деятельности преподавателя.

2.2.2. Разработка методики и алгоритма оценки деятельности преподавателей с использованием репрезентативной теории измерений.

2.3. Оценка знаний студентов с помощью тестирования.

2.3.1. Разработка функциональной модели процесса обучения студентов.

2.3.2. Методика анализа адекватности механизма оценивания результатов педагогического теста.

2.4. Оценка удовлетворенности потребителей качеством образовательных услуг.

2.4.1. Разработка функциональной модели процесса мониторинга удовлетворенности качеством образовательных услуг.

2.4.2. Разработка методики и алгоритма оценки удовлетворенности потребителей качеством образовательных услуг с использованием репрезентативной теории измерений.

Выводы.

3. МОДЕЛИ И АЛГОРИТМЫ АНАЛИЗА ДАННЫХ И ПРИНЯТИЯ РЕШЕНИЙ.

3.1. Разработка алгоритма нахождения теоретико-множественного разбиения объектов мониторинга на группы с использованием методов нечеткой кластеризации.

3.2. Математическая модель анализа уровня подготовки студентов по результатам их учебных достижений.

3.3. Математическая модель анализа удовлетворенности потребителей качеством образовательных услуг.

3.4. Математическая модель процесса принятия решений по управлению качеством образования.

Выводы.

4. ИНФОРМАЦИОННОЕ ОБЕСПЕЧЕНИЕ МЕНЕДЖМЕНТА КАЧЕСТВА

ОБРАЗОВАНИЯ.

4.1. Разработка концепции информационного обеспечения менеджмента качества.

4.2. Разработка информационного обеспечения мониторинга деятельности преподавателей.

4.3. Разработка информационного обеспечения мониторинга удовлетворенности качеством образовательных услуг.

4.4. Разработка информационного обеспечения процесса тестирования студентов.

4.5. Разработка информационного обеспечения процесса принятия решений.

I Выводы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ.

Одной из наиболее актуальных тем в рамках высшего профессионального образования является вступление России в Болонский процесс. Среди 6 основных задач, указанных в Болонской декларации отдельно следует выделить «обеспечение необходимого качества высшего образования». В России до недавнего времени проблема качества образования решалась в пределах требований государственной идеологии: качество работы учебного заведения оценивалось в соответствии с тем, как оно исполняло существовавшие учебные программы и планы, использовало технические средства и т.д. В ходе реформы отечественной системы образования в последнем десятилетии отчетливо проявилась тенденция децентрализации функций управления (в том числе и управления качеством), которые с федерального уровня переходят к региональным, муниципальным органам, а учебное заведение несет самостоятельную ответственность за качество своего «продукта» [45]. При этом оно определяет свои возможности ответить на социокультурный, экономический и кадровый запрос, а его престиж непосредственно зависит от того, насколько и как долго будет конкурентоспособным подготовленный им специалист. Пути решения этой проблемы в каждом вузе выбираются свои, с учетом сложившихся традиций, возможностей и региональных особенностей.

В настоящее время практически во всех российских вузах ведется разработка своей системы оценки качества образования. Методологической основой разработок в данной сфере являются исследования Архангельского С.И., Аванесова B.C., Володина Б.В., Корозы В.И., Новакова И.А., Подлеснова В.Н., Тягуновой Т.Н., Попова Ю.В., Савельева Б.А., Звонникова В.И,, Челышковой М.Б., Берестневой О.Г., Марухиной О.В., Субетто А.И., Селезневой Н.А. и многих других. Среди зарубежных исследователей необходимо отметить работы Ишикава К., Robert С., Terner A., Morecroft J.,

Balm G., Haworth J. и др. Однако, несмотря на заметные успехи в управлении качеством образования, существует ряд проблем, решение которых позволит существенно повысить качество образования. Главными среди них являются недостаточная проработка методик и алгоритмов анализа данных мониторинга образовательного процесса, а также отсутствие информационных систем, обеспечивающих комплексный подход к управлению качеством образования. В настоящее время широкое распространение получили три способа оценки качества образования: у тестирование, как способ объективного оценивания знаний студентов; рейтинговая оценка деятельности преподавателей, как способ выявления их компетентности, знаний и опыта и мониторинг удовлетворенности потребителей качеством образовательных услуг, основанный на проведении в их среде анкетирования. Для обработки полученных данных необходимы методики и алгоритмы, позволяющие выявить скрытые закономерности в данных и получить выводы, адекватные реальности. Для автоматизации t работы системы управления качеством образования необходима информационная система, которая сочетала бы в себе все три способа оценки качества образования, а также поддерживала процесс принятия решений по управлению качеством образовательных услуг, предоставляемых вузом.

Целью диссертационной работы является теоретическое обоснование и исследование моделей, алгоритмов реализации методов анализа качества предоставляемых услуг и информационной поддержки принятия управленческих решений в сфере высшего профессионального образования. Для достижения поставленной цели в диссертационной работе решены следующие задачи исследования:

- анализ методов, моделей и алгоритмов, применяемых при оценке показателей деятельности и принятии управленческих решений в сфере высшего профессионального образования; U

- разработка функциональных и информационных моделей деятельности преподавателей, студентов и оценки удовлетворенности потребителей качеством образовательных услуг, предоставляемых вузом;

- разработка и исследование моделей, алгоритмов анализа данных мониторинга удовлетворенности качеством образовательных услуг, деятельности преподавателей и студентов, подразделений вуза;

- теоретическое обоснование алгоритмов реализации и исследование эффективности метода вербального анализа при принятии управленческих решений по результатам мониторинга качества образовательных услуг;

- разработка информационного, математического и методического обеспечения системы мониторинга и управления качеством образования в вузе.

Методы исследования основаны на использовании положений теории информационных процессов и систем, статистического, оперативного и интеллектуального анализа данных, принятия решений и теоретических основ проектирования информационных систем.

Научная новизна работы заключается в следующем:

1. Предложена методика оценки деятельности преподавателей с использованием положений репрезентативной теории измерений.

2. Предложен алгоритм решения задачи кластерного анализа данных мониторинга деятельности преподавателей, отличающийся использованием нечеткой логики, позволяющей учесть размытость границ, формируемых кластеров с целью обнаружения закономерностей в данных.

3. На основе положений теории скрытых марковских моделей, конструирования и параметризации тестов по методологии IRT разработана математическая модель анализа уровня подготовки студентов. Отличительной особенностью модели является учет взаимосвязи между наблюдаемыми результатами учебных достижений, латентными свойствами самих учащихся и характеристиками тестовых заданий.

4. Предложены методика и алгоритм оценки удовлетворенности потребителей качеством образовательных услуг, предоставляемых вузом, отличающиеся использованием репрезентативной теории измерений и метода вербального анализа решений.

5. Разработаны методика и алгоритм принятия решения по управлению качеством образовательных услуг, предоставляемых вузом, отличающийся использованием метода вербального анализа решений и формулировкой решающего правила на качественном уровне.

6. Разработаны концептуальные, функциональные и информационные модели деятельности подразделений вуза по обеспечению качества образования, отличающиеся применением международных стандартов системного структурного анализа IDEF0 и IDEF1X.

Практическая ценность полученных результатов. На основе исследований, выполненных в рамках настоящей работы, разработана методика анализа удовлетворенности потребителей качеством образовательных услуг, предоставляемых вузом; методика анализа уровня подготовки студентов по результатам тестирования; методика анализа деятельности преподавателей по показателям научной, учебной, учебно-методической деятельности; реализована база данных системы менеджмента качества для проведения мониторинга. Результаты использованы в системе менеджмента качества Пензенского государственного университета.

На защиту выносятся следующие результаты:

1. Методика и алгоритм оценки удовлетворенности потребителей качеством образовательных услуг, разработанные с использованием основных положений репрезентативной теории измерений, что позволяет получить выводы инвариантные к допустимым преобразованиям шкалы.

2. Алгоритм реализации метода вербального анализа решений для оценки качества образовательных услуг, позволяющий в 5-10 раз сократить число вопросов к руководителю с целью выявления его предпочтений.

3. Концептуальные, функциональные и информационные модели процессов деятельности подразделений вуза по обеспечению качества образования, отличающиеся применением международных стандартов системного структурного анализа IDEF0 и IDEF1X и позволяющие регламентировать требования к информационной системе менеджмента качества образования.

Апробация результатов. Основные результаты диссертационной работы докладывались и обсуждались на следующих конференциях:

- Международная научно-методическая конференция «Университетское образование» (г.Пенза, 2006г.);

- Международная научно-техническая' конференция «Новые информационные технологии и системы» (г. Пенза, 2006г.);

- Международная научно-методическая конференция «Университетское образование» (г.Пенза, 2007г.);

- Международная научно-техническая конференция молодых специалистов, аспирантов и студентов «Математическое и компьютерное моделирование естественнонаучных и социальных проблем» (г. Пенза, 2007г.)

Публикации. По теме диссертационной работы опубликовано 11 печатных работ, в том числе 10 статей и 1 тезис доклада.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы (112 наименований) и 6 приложений. Объем работы: 136 страниц основного текста, включающего 26 рисунков и 3 таблицы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Выполнен сравнительный анализ методов, моделей и алгоритмов, применяемых при оценке показателей деятельности и принятии управленческих решений в сфере высшего профессионального образования, выявлены их достоинства и недостатки. Анализ позволил выбрать методы, модели и алгоритмы, которые в наибольшей степени соответствуют цели исследования.

2. Разработаны концептуальные, функциональные и информационные модели деятельности преподавателей, студентов и оценки удовлетворенности потребителей качеством образовательных услуг, предоставляемых вузом. Модели отличаются использованием международных стандартов системного структурного анализа IDEF0 и IDEF1X, что позволяет регламентировать фазы анализа требований к системе менеджмента качества и проектирования спецификаций.

3. Предложен алгоритм нахождения теоретико-множественного разбиения исходного множества преподавателей на подмножества, отличающийся использованием методов нечеткой кластеризации, которые позволяют учесть размытость границ, формируемых подмножеств.

4. Разработана математическая модель анализа уровня подготовки студентов, учитывающая наличие взаимосвязи между наблюдаемыми результатами учебных достижений, латентными свойствами самих учащихся и характеристиками тестовых заданий, что позволяет на основе априорного предположения о степени подготовленности испытуемого подобрать ему задания, соответствующие его уровню, провести адаптивное тестирование и определить уровень учебных достижений испытуемого по 100 - балльной шкале.

5. Для ранжирования групп потребителей по степени удовлетворенности качеством образовательных услуг разработаны методика и алгоритм, отличающиеся использованием метода вербального анализа решений, который позволяет выполнить ранжирование многокритериальных альтернатив и учесть возможности человека по переработке информации, на всех этапах используются вербальные переменные, метод не требует специальной подготовки от руководителя.

6. Для принятия решения по управлению качеством образования разработаны методика и алгоритм, отличающиеся использованием метода вербального анализа решений, позволяющего выполнить классификацию многокритериальных альтернатив с учетом предпочтений руководителя. Диалог с руководителем ведется на содержательном языке оценок критериев, давая содержательную формулировку решающего правила.

7. На основе предложенных концептуальных моделей разработаны информационные системы для проведения мониторинга качества образовательных услуг, предоставляемых вузом.

1. Gerald J. Balm. Evaluer et Ameliorer Ses Performance. Le Benchmarking. Afnor, 1994.

2. Huang X.D., Ariki Y., Jack M.A. Hidden Markov Models for Speech Recognition. Edinburg University Press, 1990,275p.

3. Jenifer Grant Haworth, Clifton F. Conrad. Emblems of Quality in Higher Education. Developing and Sustaining High-Quality Programs. Allan and Bacon, USA, 1997.

4. John D.W. Morecroft, John D. Sterman. Modeling for Learning Organisations. Productivity Press, Portland, Oregon, 1994.

5. Kabashkin, I., Michnev, В., Utehin, G. Using TQM and ISO 9000 Principles in Assuring Education Service Quality. Journal of Air Transportation World Wide, 1998, vol. 3, N 2, P. 70-77.

6. Lootsma F.A. Scale sensitivity in the multiplicative AHP and SMART // J.Multi-Criteria Decision Analysis. 1993.V.2.

7. Manning C.D., Scutze H. Foundations of Statistical Natural Language Processing. MIT Press, 1999, 680p.

8. Parsaye K. A Characterization of Data Mining Technologies and Processes // The Journal of Data Warehousing. -1998.-№ 1.

9. Rabiner L., Juang B.-H. Fundamentals of Speech Recognition. Prentice Hall, 1995, 507p.

10. Robert C. Camp Benchmarking: The Search for Industry Best Practices that Lead to Superior Performance. ASQC Quality Press, 1989.

11. Saaty T.L. Measuring the fuzziness of sets // Journal of Cybernenetics. 1974.-Vol.4.-P.53-61.

12. Saaty T.L. The analytic hierarchy process what is it and how it is used // Mathematical Modelling. - 1987. - Vol. 9, N 3-5. - P. 161-176.

13. Simon H.A. The New Science of Management Decision. N.Y. Harper and Row Publishers, 1960.

14. Xei X.L., Beni G.A. Validity Measure for Fuzzy Clustering // IEEE Trans, on Pattern Anal, and Machine Intell. 3 (8). -1991. P. 841 - 846.

15. A. Terner, I. DeToro. Total Quality Management. Three Steps to Continuous Improvement. Addition-Wesley Publishing Company, Inc. 1992.

16. Аванесов B.C. Композиция тестовых заданий. M.: АДЕПТ, 1998. -250 с.

17. Аванесов B.C. Математические модели педагогического измерения. -М.: Б.и., 1994.- 26 с.

18. Аванесов B.C., Володин Б.В. Методические вопросы оценки знаний студентов высшей школы. М.: НИИ ВШ , 1978. - Вып. 19.-48 с.

19. Аванесов B.C., Володин Б.В., Короза В. И. Опыт построения теста для оценки знаний студентов. Научная организация учебного процесса, Ч. 1. -М.: МИФИ, 1976. Вып. 3. - С. 108-117.

20. Аванесов B.C., Володин Б.В. Вопросы применения тестов для контроля знаний студентов. Научная организация учебного процесса. Ч. 1. -М.: МИФИ 1976 г. Вып. 3. - С. 102-107.

21. Аврамчук Е.Ф., Вавилов А.А., Емельянов С.В. Технология системного моделирования М.: Машиностроение; Берлин: Техник, 1988. -520 с.

22. Берестнева О.Г., Марухина О.В. Компьютерная система принятия решений по результатам экспертного оценивания в задачах оценки качества обюразования // Educational Technology & Society. 2002. - №5.

23. Беспалько В.П., Татур Ю.Г. Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалистов. М.: «Высшая школа», 1989. - 125 с.

24. Волчихин В.И., Прошкина Е.Н. Задача нечеткой кластеризации данных мониторинга деятельности преподавателей // Известия вузов. Поволжский регион. Технические науки. 2007. - № 1. - С.61-65.

25. Глова В.И., Аникин И.В., Аджели М.А. Мягкие вычисления (soft computing) и их приложения. Казань, 2000. - 230 с.

26. Гмурман В.Е. Теория вероятностей и математическая статистика. Учеб. Пособие для втузов. М.: «Высшая школа», 1977. - 320 с.

27. ГОСТ Р ИСО 9001 2001 Системы менеджмента качества. Требования.

28. ГОСТ Р ИСО 9004 2001 Системы менеджмента качества. Рекомендации по улучшению деятельности.

29. Гранкин Ю.Ю.Тестовые технологии в системе оценки знаний // Материалы 5-й научно-методической конференции «Инновационные методы и средства оценки качества образования» Москва, 2007. - С. 23-43.

30. Гутник Г.В. Мониторинг в контексте информатизации образования // Стандарты и мониторинг в образовании. 2001. - № 4. - С.25.

31. Девятко И.Ф. Методы социологического исследования: Учеб. пособие / И.Ф. Девятко М.: «Университет», 2002. - 250 с.

32. Дэвид Г. Метод парных сравнений. М.: Статистика, 1978. 144с.

33. Ефремова Н.Ф., Звонников В.И., Челышкова М.Б. Педагогические измерения в системе образования // Педагогика 2006. - № 2. - С. 14-22.

34. Заде JI. Нечеткая логика / Копия перевода ГПНТБ. N 190786. -М., 12.9.89. - Юс. - Пер. ст. Zadeh L. из журнала: Computer. - 1988. - Vol.21, N4.-P.83-93.

35. Звонников В.И. Измерения и качество образования: монография / В.И. Звонников. М.: Логос, 2006. 312с.

36. Зеленцов Б. Студенты о преподавателе // Высшее образование в России. 1999. - №6. - С. 44-47.

37. Ишикава К. Японские методы управления качеством: Сокр. пер. с англ. М.: Экономика, 1988. 150 с.

38. Калмыков А.А., Сапожников П.Н., Пьянков С.В. Расчет рейтинга преподавателя на основе рейтинга обучаемых // Нетрадиционные формы и методы обучения и контроля качества знаний: Межвуз. сб. науч. тр. / Мордовский университет. Саранск, 1994. - С. 205-209.

39. Калянов Г.Н. CASE-технологии. Консалтинг при автоматизации бизнес-процессов. М.: Горячая линия - Телеком, 2000. - 230 с.

40. Кини Р. Функции полезности многомерных альтернатив // Вопросы анализа и процедуры принятия решений: Сб. статей / Пер. с англ.; Под ред. И.Ф. Шахнова. М., 1976. - С. 59-79.

41. Клир Дж. Наука о системах: новое измерение науки. Системные исследования // Методологические проблемы. Ежегодник, 1983,- М.: Наука, 1983 -С.61-84.

42. Концепция модернизации российского образования на период до 2010 года.-М.: 2002.-28 с.

43. Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь, 1982.-432 с.

44. Кругликов В. Рейтинговая система диагностики учебного процесса в вузе // Высшее образование в России. 1996. - № 2. - С.100-102.

45. Кругликов В.И. Организация рейтингового контроля при определении уровня знаний студентов по учебной дисциплине. / Тюменский госуниверситет. Тюмень, 2002. - 42 с.

46. Кузьмин В.Б., Овчинников С.В. Многомерный статистический анализ в социально-экономических исследованиях. М.: Наука, 1974. -С. 384-388.

47. Лазаренко Г.П. Достоверность оценивания знаний при компьютерном тестировании // Программные продукты и системы, 2006. -№2.-С. 40-42.

48. Ларичев О.И. Вербальный анализ решений. М.: Наука, 2006.181с.

49. Ларичев О.И. Объективные модели и субъективные решения. -М.: Наука, 1987.-250 с.

50. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. М.: Физматлит, 1996. - 340 с.

51. Леоненков А.В. Нечеткое моделирование в среде MATLAB и fuzzyTECH. СПб.: БХВ-Петербург, 2003. - 540 с.

52. Липов В.А. Тестовые технологии как одно из средств оценки качества образования при создании систем контроля качества // Материалы 5-й научно-методической конференции «Инновационные методы и средства оценки качества образования» Москва, 2007. - 230с.

53. Макарычев П.П., Прошкина Е.Н. Адекватность механизма оценивания результатов тестирования остаточных знаний // Новые информационные технологии и системы: Труды VII Междунар. научно-технич. конф. 4.2 Пенза, ПТУ, 2006. - С.245-247.

54. Макарычев П.П., Прошкина Е.Н. Методика принятия решений по управлению качеством образования // Территория науки. 2007. - № 4(5). -С.523 - 529.

55. Маклаков С.В. BPWin и ERWin. CASE средства разработки информационных систем.-М.: ДИАЛОГ-МИФИ, 1992.-350 с.

56. Маклаков С.В. Моделирование бизнес-процессов с BPWin. М.: ДИАЛОГ - МИФИ, 2002. - 430 с.

57. Маклаков С.В. Создание информационных систем с ALLFusion Modeling Suite. М.: ДИАЛОГ - МИФИ, 2003. - 450 с.

58. Марухина О.В., Берестнева О.Г. Системный подход к оценке качества образования // Стандарты и качество 2002.- №4. - С.35-36

59. Мандель И.Д. Кластерный анализ. М.: «Финансы и статистика», 1988.- 176 с.

60. Мешалкин Л.Д. Статистические методы анализа экспертных оценок. М.: Наука, 1977. - С. 215-219.

61. Макарычев П.П., Прошкина Е.Н. Система мониторинга качества обучения // X Международная научно-методическая конференция «Университетское образование» Пенза 2006: Сб. статей X Международ, научно-метод. конф. - Пенза, 2006. - С.279-282.

62. Мещеряков В.А., Прошкина Е.Н. Анализ методов оценки качества образования // X Международная научно-методическая конференция «Университетское образование» Пенза 2006: Сб. статей X Международ, научно-метод. конф. - Пенза, 2006. - С. 122-124.

63. Мушик Э., Мюллер П. Методы принятия технических решений: Пер. с нем. М.: Мир, 1990. - 208 с.

64. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. - 169 с.

65. Никитина Н.Ш. Рейтинговая оценка деятельности факультетов как элемент системы мониторинга качества образования в университете // Университетское управление 2003. - № 4 - С. 62-70.

66. Новаков И.А., Попов Ю.В., Подлеснов В.Н., Андросюк Е.Р., Кучеров В.Г., Садовников В.И. Рейтинг в вузе: научно-методические основы и практика: Учеб. Пособие / ВолгГТУ. Волгоград, 1999. - 102 с.

67. Нуждин В.Н., Кадамцева Г.Г. Стратегическое управление качества образования: Учеб. пособие/ Иван. гос. энерг. ун-т. Иваново, 2002. 88 с.

68. Нуждин В.Н., Кадамцева Г.Г. Управление качеством: Метод, пособие/ Иван. гос. энерг. ун-т, Иваново. 2000. 165 с.

69. Орлов А.И. Многомерный статистический анализ в социально-экономических исследованиях. М.: Наука, 1974. - С. 388-393.

70. Пантилеенко В., Пантилеев В. Критерии оценки труда преподавателя / Ухтинский индустриальный институт // Вестник высшей школы. 1991.-№2.-С. 13-14.

71. Перегудов Ф.И., Тарасенко Ф.П. Введение в системный анализ: Учеб. пособие для вузов. М.: Высш.шк., 1989. - 367 с.

72. Петров В.Н. Информационные системы. СПб.: Питер, 2002.654с.

73. Под редакцией Румянцевой З.П., Саломатина Н.А. «Менеджмент организации»// Учебное пособие. М.:, 1995. - 342 с.

74. Полторак В.А. Маркетинговые исследования: Методы и технологии. Днепропетровск: Арт-Пресс, 1997. - 327 с.

75. Попов Д.И. Способ оценки знаний в дистанционном обучении на основе нечетких отношений // Дистанционное образование 2000 - №6. -С.34-41.

76. Пржиялковский В. В. Сложный анализ данных большого объема: новые перспективы компьютеризации //СУБД. 1996. - № 4. - С. 71-83.

77. Прошкина Е.Н. Мониторинг качества образования // Вычислительные системы и технологии обработки информации: Межвуз. сб. науч. тр. Пенза: Информационно-издательский центр ПТУ, 2006. - Вып. 5 (30).-С. 100-104.

78. Прошкина Е.Н. Математическая модель оценки знаний студентов // XI Международная научно-методическая конференция «Университетское образование» Пенза 2007: Сб. статей XI Международ, научно-метод. конф. - Пенза, 2007. - С.280-282.

79. Прошкина Е.Н. Утилиты администрирования SQL Server: Тез. докл. научно-технич. конф. молодых специалистов «Системы обработки информации и управления». ОАО НПП «Рубин», 2006. - С.50-51.

80. Прошкина Е.Н., Афонин А.Ю. Администрирование и анализ данных средствами SQL Server // Новые информационные технологии и системы: Труды VII Междунар. научно-технич. конф. 4.1 Пенза, ПТУ, 2006. - С.207-210.

81. Прошкина Е.Н. Математическая модель оценки знаний студентов // Компьютерное моделирование естественнонаучных и социальных проблем: Сб. статей I Международ, научно-технич. конф. молодых специалистов, аспирантов и студентов Пенза, 2007. - С.89-91.

82. Пфанцагль И. А. Теория измерений. М.: Мир, 1976. - 320 с.

83. Саати Т. Принятие решений. Метод анализа иерархий / Пер. с англ.-М.: Радио и связь, 1993.-315 с.

84. Саати Т., Керне К. Аналитическое планирование. Организация ^ систем / Пер. с англ. М.: Радио и связь, 1991. - 224 с.

85. Савельев Б.А., Масленников А.С. Оценка уровня обученности студентов в целях аттестации образовательного учреждения профессионального образования: Учебное пособие. Йошкар-Ола: Центр государственной аккредитации, 2004. 84 с.

86. Селезнева Н.А. Автоматизация проектирования систем управлениякачеством высшего образования / Дисс. на соиск. учен. степ, д.т.н. -Воронеж, 2002. 36 с.

87. Скок Г.Б., Горелов Б.Б. Основное и вспомогательное: Как оценить труд преподавателя. //Вестник высшей школы. 1988. - №6. - С. 38-43.

88. Смирнов Э.А. «Основы теории организации» // ЮНИТИ, 1998.320 с.

89. Соловов А.В. Проектирование компьютерных систем учебного назначения: учебное пособие. Самара: СГАУ, 1995.-239 с.

90. Соловьев В., Курдюмов Г., Кулагин А. В поисках критериев эффективности преподавательского труда // Высшее образование в России. -1997.-№ 1.-С. 72-76.

91. Стахов А.П. Алгоритмическая теория измерения. М.: Знание, 1979.-64 с.

92. Стивене С.С. Экспериментальная психология. Т.1. М.: ИЛ, 1960. С.5-78.

93. СТУ 151.1.50.ХХ-2005 Рейтинговая оценка деятельности , преподавателей университета. Пенза: Изд-во Пенз. гос. ун-та, 2005.

94. Субетто А.И. Основания социального менеджмента качества образования. Научный доклад. М.: Исследовательский центр проблем качества подготовки специалистов, 2006. - 73 с.

95. Субетто А.И. Основы системологии образования: Монография в 2-х 4.II. Изд. 2-е переработанное и дополненное. М.: Исследовательский центр проблем качества подготовки специалистов, 2006. -251с.

96. Субетто А.И. Введение в квалиметрию высшей школы. В 4-х кн. -М.: Исследовательский центр проблем качества подготовки специалистов, 1991.-88 с; 122 с; 171 с; 163 с.

97. Субетто А.И. Квалиметрия. СПб.: Астерион, 2002. - 288 с.

98. ЮЗ.Толстова Ю.Н. Социологические исследования. 1978. - N 3. - С. 178-184.

99. Томас Конноли, Каролин Бегг Базы данных: Проектирование, реализация и сопровождение. Теория и практика. М.: Издательский дом «Вильяме», 2001. - 340 с.

100. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой информации.- М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1981. 80 с.

101. Федотова Д.Э., Семенов Ю.Д., Чижик К.Н. CASE технологии: Практикум. - М.: Горячая линия - Телеком, 2003. - 160 с.

102. Федюкин В.К. О качестве образования // Система управления качеством университетского образования: проблемы создания и эффективность функционирования. Учеб.-метод.конф.: Тез. докл. СПб.: СПбГИЭУ, 2001. С. 64-67.

103. Хованов Н.В. Математические основы теории шкал измерения качества. Л.: Изд-во ЛГУ, 1982. - 185 с.

104. Челышкова М.Б. Применение математических моделей для разработки педагогических тестов. — Учебное пособие. — М.: Исследовательский центр, 1995. 48 с.

105. Ш.Штовба С.Д. Введение в теорию нечетких множеств и нечеткую логику. М.: Высшая школа, 1997. - 450 с.

106. Ядов В.А. Социологическое исследование: методология, программы, методы. Самара, 1995. - 350с.