автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Разработка системы информационной поддержки управления качеством образования в вузе

На правах рукописи

СЕЛИВЕРСТОВА Ирина Александровна

РАЗРАБОТКА СИСТЕМЫ ИНФОРМАЦИОННОЙ ПОДДЕРЖКИ УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАНИЯ

В ВУЗЕ

Специальность 05.13.10 — Управление в социальных и экономических системах (технические науки)

Автореферат диссертации на соискание ученой степени кандидата технических наук

АСТРАХАНЬ 2004

Работа выполнена в Пензенском государственном университете на кафедре «Системы автоматизированного проектирования».

Научный руководитель - заслуженный деятель науки РФ,

доктор технических наук, профессор Бершадский А. М.

Официальные оппоненты: заслуженный деятель науки РФ,

Ведущая организация - Исследовательский центр проблем качества

Защита диссертации состоится 25 июня 2004 г., в 11 часов, на заседании диссертационного совета КМ 212.009.03 Астраханского государственного университета по адресу: 414056, г.Астрахань, ул. Татищева, 20а.

С диссертацией можно ознакомиться в библиотеке Астраханского государственного университета.

Автореферат разослан «_» мая 2004 года.

Ученый секретарь диссертационного совета

доктор технических наук, профессор Курейчик В.М.;

доктор технических наук, профессор Попов Г. А.

подготовки специалистов, г. Москва.

кандидат технических наук

Щербинина О. В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Знания в современном информационном обществе играют ключевую роль с точки зрения дальнейшего прогресса. Основным этапом формирования человека как специалиста в той или иной профессиональной сфере является получение высшего профессионального образования.

Одним из наиболее важных параметров высшего образования является качество образовательных услуг. Обеспечение высокого качества образования становится в современных условиях все более сложной и труднореализуемой задачей. Это обусловлено многими причинами, среди которых появление новых технологий обучения, все усложняющийся материал и увеличение его объема, отсутствие достаточного финансирования, повышение требований работодателей к качеству выпускников, наличие конкуренции в условиях рынка и т. д. В результате те методы управления учебным процессом и качеством обучения, которые вырабатывались годами, оказываются неэффективными в новых условиях. Очевидно, что повысить эффективность, правильность и своевременность управленческих решений и, как следствие, улучшить качество обучения можно лишь с помощью новых информационных технологий.

Поэтому актуальной является задача разработки информационно-аналитической системы, которая предназначена для управления качеством образования в вузе. Система должна позволять контролировать ход процесса обучения на основе сбора и анализа статистических данных, выявлять отклонения от стандартного процесса (аномалии), анализировать причины отклонений, представлять лицу, принимающему решение (ЛПР), рекомендации по исправлению неблагоприятных отклонений (ситуаций).

Цель и задачи исследования. Целью является разработка информационно-аналитической системы, включающей совокупность моделей, методов сбора и обработки данных, информационных и программных модулей и обеспечивающей эффективный мониторинг образовательного процесса в универсальном распределенном вузе (УРВ) на основе анализа ситуаций, поддержку принятия управленческих решений за счет генерации выводов по ситуациям и рекоменда-

ций по исправлению их негативных аспектов, а также высокую наглядность результатов мониторинга.

Для достижения указанных целей в работе были поставлены и решены следующие задачи:

-анализ существующих методов мониторинга образовательной деятельности вуза на основе статистических показателей учебного процесса;

- разработка математической модели анализа ситуаций в учебном процессе вуза;

- разработка алгоритма поиска типичных ситуаций в образовательной системе на основании заданного множества показателей учебного процесса;

- разработка алгоритма генерации выводов с возможностью определения вероятности появления найденной типичной ситуации в анализируемой образовательной системе;

- создание программного и информационного обеспечения системы поддержки принятия решения на основе анализа ситуаций в учебном процессе вуза.

Методы исследования. В работе были использованы методы математической статистики, теории графов, нечетких множеств, методы модульного и объектно-ориентированного программирования, геоинформационного пространственного анализа.

Научная новизна. Основные результаты диссертационной работы, выносимые на защиту:

1. Метод анализа ситуаций в учебном процессе вуза, заключающийся в построении графа анализируемой ситуации на основе вычисленных показателей учебного процесса и последовательного поиска каждого из графов, описывающих решающие правила, в графе анализируемой ситуации.

2. Математическая модель представления решающих правил для классификации конкретной ситуации в виде ориентированного взвешенного нечеткого графа.

3. Алгоритм проверки выполнения решающих правил на основе модифицированного алгоритма поиска изоморфного вложения в не-

четком графе, имеющий низкую вычислительную сложность О(п), где п — число дуг графа решающего правила.

4. Алгоритм генерации вывода на основе бинарного дерева классификации ситуации, позволяющий задавать реакцию решающих правил на невыполнение определенных (не базовых) условий решающего правила.

Практическая ценность работы заключается в следующем:

1. Предложен новый подход к мониторингу качества образования в вузе, конечным результатом которого являются не только вычисленные значения показателей качества учебного процесса, но и вероятные причины получения значений этих показателей, выявление которых происходит в ходе анализа ситуаций в учебном процессе вуза.

2. Разработано программное обеспечение на основе предложенного алгоритма проверки выполнения решающих правил, базирующегося на модифицированном алгоритме поиска изоморфного вложения в нечетком графе, имеющем вычислительную сложность О(п).

3. Создано программное обеспечение, реализующее алгоритм генерации вывода на основе бинарного дерева классификации ситуации, позволяющий задавать реакцию решающих правил на невыполнение определенных (не базовых) условий решающего правила.

4. Разработан прототип информационно-аналитической системы для анализа качества образования в вузе, который внедрен в Пензенском государственном университете и Волгоградском государственном техническом университете.

Апробация работы. Теоретические и практические результаты диссертационной работы обсуждались и докладывались на научно-технических конференциях профессорско-преподавательского состава (ПГУ, г. Пенза, 1998-2003 гг.); XXV юбилейной Международной конференции и в дискуссионном научном клубе «Новые информационные технологии в науке, образовании, телекоммуникации и бизнесе» (Украина, Крым, Ялта-Гурзуф, 15-24 мая 1998 г.); на Всероссийском совещании-семинаре «Высокие технологии в региональной информатике» (Воронеж, 17-19 июня 1998 г.); VII Международной научно-методической конференции (Пенза, 2003 г.); III Международной

научно-методической конференции «Системы управления качеством высшего образования» (Воронеж: Воронежский государственный университет, 2003 г.); Всероссийской научно-практической конференции (Пенза, 2003 г.); Международном юбилейном симпозиуме (Пенза, ПГУ, 2003 г.); VI Всероссийской научной конференции молодых ученых и аспирантов «Новые информационные технологии. Разработка и аспекты применения» (Таганрог, 27-28 ноября 2003 г.).

Публикации. Основные положения диссертации опубликованы в 11 печатных работах.

Структура и объем. Диссертация состоит из введения, четырех глав с выводами на 177 стр., списка литературы (127 наименований) на 16 стр., приложения. Работа содержит 33 рисунка и 7 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертационной работы, приводится ее краткая характеристика. Сформулированы основные требования к информационно-аналитической системе (ИАС) поддержки принятия решения для задач управления учебным процессом в вузе. На основании этих требований формулируются цель работы и основные задачи исследования, представляются основные положения, выносимые на защиту.

В первой главе рассматривается иерархическая структура образовательной системы Российской Федерации, в контексте которой осуществляется концепция информационного мониторинга.

С точки зрения управленческой иерархии выделяются федеральный, региональный и единичный уровни мониторинга. Определен объект исследования диссертационной работы - образовательная система на единичном (вузовском) уровне.

Приведены существующие подходы к оценке качества образования и математический аппарат, на котором они основываются. Показана необходимость создания универсальной системы информационной поддержки управления образовательным процессом, которая могла бы применяться как при традиционных формах обучения, так и без дополнительных настроек, в вузах, осуществляющих обучение по технологиям дистанционного (ДО) и открытого образования (ОО). Большинство аналитических систем предполагает наличие у пользо-

вателя специальных знаний в области статистики, в связи с чем в качестве одного из основных требований к разрабатываемой системе определена возможность предоставления результатов анализа в форме, доступной для понимания ЛПР, которое, как правило, не является специалистом в области статистики. Система должна не только выявлять негативные ситуации в образовательной системе, но и определять причины их возникновения и давать рекомендации по исправлению негативных ситуаций.

Во второй главе представлена структура УРВ, т. е. вуза, осуществляющего обучение как по традиционным формам (очная, заочная и вечерняя), так и по технологиям 00 и ДО и имеющего подразделения (представительства) в различных регионах.

Предлагается использовать в качестве математической модели для

анализа образовательных процессов в УРВ гиперграфовую модель (рис. 1). • • ,

^ Факультет! Кафедра 1 Специальное гь!

Факультет2 _ т

Рис 1. Графическое представление гиперграфовой модели УРВ

Каждой вершине гиперграфа приписывается специальный дескриптор (вес), связывающий ее с одной или несколькими записями базы данных (БД), где может содержаться дополнительная информация справочного характера, являющаяся семантикой гиперграфа.

На рис. 1 гиперребро, одновременно охватывающее вершины типа «Факультет», «Кафедра», «Специальность», «Группа», «Студент», отражает принадлежность студента N к определенной группе М, обучающейся по некоторой специальности К на кафедре L факультета Р. Аналогичным образом гиперграфовая модель позволяет задавать и иные виды зависимостей между вершинами, например, одна и та же специальность может существовать на двух кафедрах и т. п.

Следует отметить, что решение задачи повышения эффективности управления в области образования невозможно без решения задачи управления в отдельно взятом вузе. Предлагается рассмотреть решение данной задачи на примере вуза с учетом особенностей УРВ. Описаны этапы мониторинга, реализуемые системой: этап сбора первичной информации; этап статистической обработки и анализа статистических данных; этап представления результатов.

Сбор первичной информации в вузе осуществляется следующими методами: при зачислении в УРВ формируются записи в БД по каждому обучаемому (ручной ввод или конвертирование из БД абитуриентов); по результатам каждой сессии формируются записи в БД с оценками каждого обучаемого по всем предметам, изученным в текущем семестре.

В качестве математической модели анализа статистических данных об образовательном процессе предлагается использовать аппарат теории графов. Процесс анализа представлен в виде последовательности этапов: этап выбора объекта анализа (филиал вуза, факультет, специальность, группа, студент), временного диапазона анализа (семестр, учебный год, несколько выбранных семестров и т. д.) и возможно других ограничений (дисциплина, категория зачисления и т. п.); этап определения набора показателей, необходимых для выполнения анализа; этап вычисления выбранного набора показателей и этап генерации выводов на основе вычисленных показателей.

В ходе учебного процесса возникают различные аномальные ситуации, например, группа получила средний балл по тому или иному

предмету намного ниже, чем по всем остальным предметам; группа получила высокий средний балл по тому или иному предмету, хотя ранее она числилась среди «слабых» и т. п. В силу повторяемости эти ситуации можно считать типичными.

Для отнесения конкретной аномальной ситуации к одной из типичных ситуаций вводятся решающие правила, т. е. каждой типичной ситуации ставится в соответствие решающее правило. Решающее правило представляет собой набор условий, выполнение которых свидетельствует о наличии той или иной ситуации, возникающей в образовательной деятельности вуза. Решающее правило представляется как нечеткий взвешенный ориентированный граф. Вершинами графа являются объекты, принадлежащие различным информационным измерениям, а ребрами - взаимосвязи между выбранными объектами. Решающие правила создаются экспертами -специалистами в области образования.

Процесс анализа заключается в построении графа анализируемой ситуации на основе вычисленных показателей, а далее в последовательном поиске изоморфного вложения каждого из графов, описывающих решающие правила в графе анализируемой ситуации. Важно, что для анализируемых объектов различных уровней (студент, группа, факультет, филиал) создаются свои наборы решающих правил (например, для анализа ситуации по конкретному студенту далеко не всегда имеет смысл оперировать агрегированными показателями типа «средний балл группы» или «дисперсия оценок в группе»; при анализе ситуации по группе использование первичных данных (оценок) не всегда позволяет выявить нужную закономерность и т. д.).

Если найдено изоморфное вложение графа, который описывает решающее правило в графе анализируемой ситуации, то генерируется вывод, что имеет место типичная ситуация, соответствующая найденному решающему правилу. Если же найдено одновременно несколько вложений различных графов, описывающих решающие правила в графе ситуации, то генерируется множественный вывод о том, что анализируемая ситуация имеет характерные черты перечисленных в выводе типичных ситуаций, причем указывается, с какой вероятностью та или иная типичная ситуация может иметь место. Вероятность в данном случае рассчитывается по степени совпадения най-

денного изоморфного вложения с графом, описывающим решающее правило.

Если в ходе выполнения анализа не было найдено ни одного вложения графа, описывающего решающее правило в графе анализируемой ситуации, то это означает, что сложившаяся ситуация является «нетипичной» (неизвестной для системы) и следует обратить на нее внимание или взять на контроль. Если же данная ситуация повторяется вновь, то необходимо вмешательство эксперта с целью добавления нового правила во множество решающих правил. Возможен также вариант, когда в образовательной системе отсутствуют «аномалии», что и является причиной невыполнения всех решающих правил.

В главе показано, что существующие алгоритмы определения изоморфизма графов и поиска изоморфных вложений, которые являются хорошо проработанными в теории графов, не могут эффективно применяться к решению поставленной задачи, так как имеют большую вычислительную сложность. В связи с этим необходимо либо адаптировать существующие алгоритмы, либо создать новый алгоритм, учитывающий все особенности решаемой задачи.

Третьим этапом мониторинга является этап представления результатов. Данный этап имеет особую важность, поскольку это одно из наиболее слабых мест традиционных методов мониторинга и направлен он в первую очередь на поддержку деятельности лиц, принимающих решения. Правильность и своевременность принимаемых управленческих решений зависят от того, насколько качественно, наглядно, оперативно и точно будут сформированы аналитические отчеты

Наличие в УРВ новых технологий обучения предъявляет дополнительные требования к средствам информационной поддержки принятия решений. Разнообразие в представлении результатов мониторинга — от обычных картографических атласов на бумаге и до комплексных программно-управляемых картографических моделей -декларирует обширный спектр преимуществ и важных усовершенствований, достигаемых при использовании геоинформационных технологий (ГИТ) в сфере мониторинга образовательных систем. В случае УРВ применение ГИТ обеспечивает наглядность результа-

тов качества образования на отдельных выбранных территориях, где проживают студенты, обучаемые по технологиям ДО или ОО (рис. 2).

Рис. 2. Пример пространственно-аналитической обработки информации относительно объектов УРВ

В третьей главе рассмотрена проблема сбора первичной информации для НАС, выявлено, что основным препятствием для реализации эффективного мониторинга образовательной деятельности вуза является разрозненность и фрагментарность исходной информации, на основе которой должен выполняться мониторинг. Предложена унифицированная технология сбора информации, определяющая этапы обработки исходной информации, представленной в различных форматах, для ее преобразования к единой унифицированной форме, обеспечивающей информативность, непротиворечивость и отсутствие избыточности данных.

Предложены математическая модель представления решающих правил в виде ориентированного взвешенного нечеткого графа, а также структура данных для хранения графов решающих правил в БД реляционного типа.

В связи с тем, что в графе и вершины и дуги являются взвешенными, необходимо хранить следующие множества разнотипных объ-

ектов: множество вершин V с множеством атрибутов А, множество дуг и с множеством весов W. Множество вершин может быть представлено в виде таблицы (табл. 1), каждая строка которой соответствует одной вершине, а каждый столбец определяет некоторый атрибут (свойство) данной вершины. Следует отметить, что вершина -это определенный срез данных из общего массива статистической информации. Иначе говоря, вершина представляет собой набор ограничений, в соответствии с которым осуществляется выборка данных для анализа. В графе каждого решающего правила задается так называемая основная вершина которая соответствует выбранному объекту анализа. Остальные вершины графа правила обозначаются у^Ущ. При описании ограничений в строках, соответствующих вершинам с 1-й по ^ю, допускается использовать ссылки на ограничения основной вершины

Таблица 1

Описание вершин решающих правил

Идентификатор вершины Ограничение № 1 Ограничение № 2

0 группа = '01 ВАГ предмет = 'физика' ...

1 группа = О.группа семестр = О.семестр

2 предмет = О.предмет преподаватель = О. преподаватель

...

Каждая дуга графа решающего правила связывает две вершины некоторым условием, причем в самом условии допускается использование функций агрегирования данных, а также функций статистической обработки данных:

Аналогично множество дуг также можно описать в виде таблицы, где каждая строка соответствует одной дуге, а столбцы определяют обязательные атрибуты дуги, такие, как вершина исхода, вершина входа, агрегирующая функция, условия выполнения, вес. Таким образом, дуги позволяют задать отношения между вершинами решающего правила.

Правило выполняется абсолютно тогда и только тогда, когда все условия, определяемые дугами графа правила, обращаются в верные тождества при вычислении анализируемых параметров, задаваемых вершинами графа правила. Это, в свою очередь, означает, что типичная ситуация, соответствующая решающему правилу, присутствует в анализируемом пространстве. Если же в решающем правиле в верные тождества обращаются лишь некоторые из условий и если суммарный вес дуг, соответствующих верным тождествам, больше (или равен) априорно заданного уровня достоверности решающего правила

Ей', > ТЬ для V V*),

то такое правило считается выполненным условно. Если суммарный вес меньше уровня достоверности

< ТЬ для V и, V*), то правило считается невыполненным.

Существенно, что в правиле должно быть определено множество так называемых базовых дуг Ц,, составляющих основу решающего правила, у которых = 1. Для того чтобы правило считалось выполненным (абсолютно или условно), необходимо, чтобы все условия, соответствующие базовым дугам, обратились в верные тождества:

И, =/0,, V*) V и, е ив.

Это дополнительное ограничение позволяет исключить возможность «ложного срабатывания» решающего правила в случае, коща одно из «необходимых» условий не выполнилось, а множество «необязательных» условий выполнилось. Это могло бы привести к суммарному весу выше необходимого уровня достоверности и, как следствие, к ошибочному выполнению решающего правила.

Рассмотрена задача распознавания изоморфного вложения 1ра-фов, на которой базируется алгоритм проверки выполнения решающих правил и показаны некоторые ее особенности существенно уменьшающие сложность задачи поиска изоморфного вложения: Предложен алгоритм проверки выполнения решающих правил на

основе модифицированного алгоритма поиска изоморфного вложения в нечетком графе, имеющий вычислительную сложность О(п).

Построение алгоритма с такой сложностью возможно благодаря тому, что каждой вершине решающего правила приписан вес, причем для каждой вершины он уникален, следовательно, перебор по вершинам в алгоритме поиска изоморфного вложения делать не нужно, так как имеется однозначное отображение Г множества вершин решающего правила Ук во множество вершин графа ситуации У8 такое, что

В связи с этим вычислительная сложность решаемой задачи поиска изоморфного вложения многократно снижается.

Для решения задачи проверки выполнения решающего правила предлагается следующий алгоритм (рис. 3).

Для каждой дуги и, графа решающего правила Я, найти вершину исхода у/\ = 5(м,) и вершину входа \ге = е(и,). Затем отыскать в графе ситуации вершины соответствующие най-

денным вершинам решающего правила. Далее проверить равенство отношений, задаваемых дугами графа решающего правила и графа ситуации между соответствующими вершинами, то есть проверить, верно ли тождество Если тождество верно, то

присвоить условию, соответствующему дуге и,, статус — «выполненное» (Л, = 1), в противном случае - «невыполненное» (Л, = 0). По окончании обработки всех дуг решающего правила Я, проверить статус всех базовых условий и, б правила Если не все базовые условия имеют статус «выполненное», то считать правило Я, невыполненным.

В противном случае подсчитать суммарный вес условий и,, имеющих статус «выполненное», т. е. = Ем», для V и„ для которых верно тождество

Рис. 3. Алгоритм проверки решающего правила

Если полученный вес равен сумме весов всех условий правила то считать правило выполненным абсолютно (ЛиЩ = 2).

Иначе, если полученный суммарный вес У/^г больше или равен заданному для правила Л„ уровню достоверности ТЬр то считать правило выполненным условно (Т?и/е7 = 1), а в противном случае - невыполненным (/?ы/еу = 0).

По завершении данного алгоритма можно приступать к фазе генерации вывода, так как все необходимые данные для этого теперь получены. Алгоритм генерации вывода прост и представляет собой спуск по бинарному дереву классификации ситуации (рис. 4).

I = г^кО)

I

—1 \ = 1ей(0

___

¡пГг = ¡пГегО) ргЬ = ргоЬ(тП-)

^ КОНЕЦ^

Рис 4. Алгоритм генерации вывода на основе дерева классификации

Исходными данными для генерации вывода являются множество оценок условий решающего правила St и множество вершин бинарного дерева классификации СТ, ветвление в которых определяет выбор пути вывода в зависимости от сложившейся ситуации. Каждая вершина дерева соответствует одному условию решающего правила. Естественно, что процесс генерации вывода производится только для правил, выполнившихся условно или абсолютно. Если условие решающего правила является верным тождеством, то происходит переход из текущей вершины с индексом i по левой ветке дерева left(i), в противном случае - по правой right(i). Процесс генерации вывода заканчивается, как только алгоритм дойдет до листовой вершины дерева isLeaf(Ct) (вершины, из которой дальнейшее ветвление невозможно).

После того, как алгоритм дошел до листовой вершины, производится нахождение вывода, соответствующего вершине, в которой алгоритм остановился infr=infer(i).

Затем, на основании вычисления степени отклонения найденного изоморфного вложения от графа, описывающего решающее правило, производится расчет вероятности, с которой данный вывод имеет место в анализируемой ситуацииprb = prob(infr). На этом процесс генерации вывода заканчивается.

Однако окончательно вывод формируется в процессе представления результатов, когда переменные, входящие в текст вывода, заменяются конкретными значениями, вычисленными при анализе данных.

Разработана структура представления многовариантных выводов на основе открытого стандарта языка XML, реализующая параметрические блоки подстановки, которые позволяют включать в текст сгенерированного вывода значения параметров анализируемой ситуации, что увеличивает информативность вывода и улучшает его воспринимаемость.

Описана структура представления результатов анализа ситуации в виде трех составных частей (для каждого выполнившегося решающего правила):

1) описание типичной ситуации, ассоциированной с решающим правилом с указанием вероятности ее реального появления в анализируемой ситуации и рекомендациями по исправлению ситуации;

2) графическое представление результатов проверки условий решающего правила в виде различного рода диаграмм;

3) статистическая информация по анализируемой ситуации, представленная в табличной форме.

Четвертая глава посвящена описанию разработанной информационно-аналитической системы, реализующей модели и методы анализа ситуаций в учебном процессе вуза, описанные в главе 3.

Задачи, выполняемые ИАС, весьма разнообразны, в связи с чем при разработке был выбран модульный принцип построения системы. Разделение системы на модули позволяет производить их модернизацию независимо друг от друга. Взаимодействие модулей обеспечивается за счет четкой спецификации форматов хранения общих данных и программных интерфейсов. Это обстоятельство позволяет также наращивать функциональность системы по мере необходимости за счет разработки новых модулей, алгоритмы которых будут базироваться на уже существующих спецификациях форматов хранения данных.

Структурно ИАС состоит из следующих подсистем: ввода и управления) данными; интерактивного формирования запросов, статистической обработки, визуализации результатов, генерации отчетов, поддержки принятия решения (рис. 5).

Рис. 5. Структурная схема программного обеспечения ИАС

В главе описаны назначение и функциональные возможности перечисленных подсистем, а также их принципы взаимодействия, детально разобраны подробности реализации подсистем ИАС, приводятся наиболее существенные с точки зрения функционирования системы структуры данных и методы их обработки. Приведены характеристики разработанного программного обеспечения ИАС и результаты, полученные в ходе экспериментальной проверки методов и алгоритмов, реализованных в системе.

Программное обеспечение ИАС создано с помощью среды разработки Microsoft Visual Studio 6.0 на языке программирования Visual Basic 6.0 с использованием принципов объектно-ориентированного подхода.

Экспериментальная проверка системы проводилась на основе данных о результатах сдачи экзаменов групп факультета вычислительной техники, начавших обучение в 2002 году в Пензенском государственном университете. В результате выполнения программы, реализующей предложенный алгоритм проверки решающих правил, были выявлены некоторые типичные ситуации.

С помощью разработанных решающих правил в трех случаях (у группы 02ВС1 по предметам «Математика» и «Физика» и группы 02ВС2 по предмету «Математика») была обнаружена типичная ситуация - «Провал по определенному виду дисциплин» и (у группы 02ВП1) была обнаружена типичная ситуация «Завышение оценок». Данные, подтверждающие выполнение решающих правил, приводятся в диссертационной работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В процессе выполнения работы получены следующие основные результаты:

1. Анализ существующих систем мониторинга качества образования в вузе показал, что в основном эти системы базируются на статистической обработке различных анкет или оценок, полученных обучаемыми. Это позволяет, анализируя статистические данные, обнаруживать слабые места в качестве образования и иногда прогнозировать ситуацию. Однако не обнаружено систем, позволяющих оп-

ределять причины возникновения неблагоприятных ситуаций и давать рекомендации по их исправлению.

2. Определены как основные цели информационно-аналитической системы мониторинга качества образования в вузе следующие: контроль учебного процесса и своевременное выявление неблагоприятных ситуаций, выдача управленческому персоналу наглядного представления о качестве образования, предполагаемых причинах возникновения неблагоприятных ситуаций и рекомендаций по их исправлению.

3. Предложены последовательность и содержание этапов для анализа образовательной деятельности в вузе: этап выбора объекта анализа, временного диапазона анализа; этап определения набора показателей, необходимых для выполнения анализа; этап вычисления выбранного набора показателей и этап генерации выводов на основе вычисленных показателей.

4. Предлагается при анализе учебного процесса, в случае его отклонения от нормального (стандартного), находить часто повторяющиеся ситуации (типичные ситуации), которые возникают в ходе учебного процесса. Для отнесения конкретной выявленной ситуации к одной из типичных ситуаций вводится набор типовых решающих правил.

5. Разработана математическая модель представления решающих правил в виде ориентированного взвешенного нечеткого графа.

6. Предложен метод анализа ситуаций в учебном процессе вуза, основанный на построении графа анализируемой ситуации на основе вычисленных показателей и последовательного поиска изоморфного вложения каждого из графов, описывающих решающие правила в графе анализируемой ситуации.

7. Показано, что существующие алгоритмы определения изоморфного вложения требуют для решения задачи проверки выполнения решающих правил больших вычислительных затрат (С(т!), где т - число вершин). В связи с этим разработан модифицированный алгоритм поиска изоморфного вложения в нечетком графе, имеющий меньшую вычислительную сложность О(п).

8. Разработана реляционная форма представления решающих правил, позволяющая организовать централизованное защищенное хранение правил в клиент-серверной базе данных реляционного типа. Применение реляционной модели позволяет использовать в алгоритме проверки решающих правил хорошо проработанный аппарат реляционной алгебры, а также такие преимущества реляционной модели, как простота, открытость, отсутствие избыточности.

9. Предложен алгоритм генерации вывода на основе бинарного дерева классификации ситуации, позволяющий задавать реакцию решающих правил на невыполнение определенных (не базовых) условий решающего правила. Разработана структура представления многовариантных выводов на основе открытого стандарта языка XML, реализующая параметрические блоки подстановки, которые позволяют включать в текст сгенерированного вывода числовые значения параметров анализируемой ситуации, что увеличивает информативность вывода и улучшает его воспринимаемость.

10. Предложена структура информационно-аналитической системы мониторинга образовательного процесса в вузе, включающая подсистемы: ввода и управления данными, интерактивного формирования запросов, статистической обработки данных, визуализации результатов, генерации отчетов, поддержки принятия решения.

11. Экспериментальная проверка предложенных методов доказала правильность основных теоретических положений работы. С помощью двух тестовых решающих правил, реализованных в прототипе системы, удалось отыскать несколько негативных типичных ситуаций, появление которых в анализируемой образовательной среде (Пензенский государственный университет) было подтверждено при обсуждении с группой преподавателей и сотрудников учебно-методического управления.

Основные публикации по теме диссертационной работы

1. Проектирование атрибутивных баз данных для геоинформационного мониторинга региональных образовательных систем // XXV юбилейная Международная конференция и дискуссионный научный клуб «Новые информационные технологии в науке, образовании, телекоммуникации и бизнесе»: Сб. тр. конф. / А. М. Бершадский, А. С. Бождай, Д. В. Алещенков, И. А. Полторабатько (И. А. Селиверстова) / Часть 2. -Украина, Крым, Ялта-Гурзуф. - Гурзуф, 1998. - С. 377-379.

2. Полторабатько И. А. (Селиверстова И. А.) Применение ГИС-технологий в дистанционном образовании // Материалы III Междунар. науч.-техн. конф. «Новые информационные технологии и системы» / И. А. Полторабатько (И. А. Селиверстова), М.Н Селиверстов - Пенза, 1998.-С. 11-12.

3. Полторабатько И А. (Селиверстова И. А.) Мониторинг образовательной деятельности вуза на основе ГИС-технологий // Сб. тр. Всерос. конф. «Интеллектуальные информационные системы». - Воронеж, 1999. - С. 117-118.

4. Селиверстова И. А. Применение новых информационных технологий в сфере мониторинга образования // Информационные технологии и системы в образовании, науке, бизнесе: Сб. материалов III Междунар. науч.-техн. конф. - Пенза, 2002. -С. 14-16.

5. Селиверстова И. А. Разработка информационно-аналитической системы мониторинга образовательного процесса в вузе // Университетское образование: Сб. материалов VII Междунар. науч.-метод конф. - Пенза, 2003. - С. 505.

6 Селиверстова И. А. Разработка информационно-аналитической системы для мониторинга качества образовательной деятельности в вузе // Материалы III Междунар. науч.-метод конф. «Системы управления качеством высшего образования». — Воронеж: Воронеж. гос. ун-т, 2003. - С. 109.

7. Селиверстова И. А. Система управления качеством образования в универсальном распределенном вузе // Магериалы III Междунар. науч.-метод. конф. «Системы управления качеством высшего образования» — Воронеж: Воронеж. гос. ун-т, 2003.-С. 107.

8. Селиверстова И. А. Методы анализа показателей качества учебного процесса // Единое образовательное пространство России и необходимость его формирования в обществе: Сб. статей Всерос. науч.-практ. конф. -Пенза, 2003. - С. 82-84.

9. Селиверстова И. А. Ситуационный анализ образовательного процесса в вузе на основе нечетких графовых моделей // Актуальные проблемы науки и образования: Тр. Междунар. юбилейного симпозиума / И. А. Селиверстова, М. Н. Селиверстов В 2-х т. Т. 2 / Под редакцией д. т. н., проф. М. А. Щербакова - Пенза: ИИЦ ПГУ, 2003. - С. 477-479.

10. Селиверстова И. А. Модель принятия управленческих решений в вузе на основе графового представления ситуаций // Труды VI Всерос. науч. конф. молодых ученых и аспирантов «Новые информационные технологии. Разработка и аспекты применения» / И. А. Селиверстова, М Н. Селиверстов. - Таганрог, 2003. - С. 244-247.

11. Селиверстова И. А. Информационно-аналитическая система поддержки принятия решения в задачах управления учебным процессом // Известия высших учебных заведений. Поволжский регион (технические науки). - 2004. - № 1(6). -С. 110-123.

Селиверстова Ирина Александровна

Разработка системы информационной поддержки управления качеством образования в вузе

Специальность 05.13.10 — Управление в социальных и экономических системах (технические науки)

Редактор Т. В. Веденеева Технический редактор Н. А. Вьялкова Корректор Н. А. Сидельникова Компьютерная верстка Р. Б Бердниковой

ИД №06494 от 26.12.01

Сдано в производство 12.05.04. Формат 60x84 1/!6. Бумага писчая. Печать офсетная. Усл. печ. л. 1,16.

_Заказ 351. Тираж 100._

Издательство Пензенского государственного университета. 440026, Пенза, Красная, 40. Отпечатано в типографии ПГУ

»11 4 0 0»

ВВЕДЕНИЕ.

1. Анализ систем поддержки управления качеством образования.

1.1. Управление качеством образования как подсистема управления образованием.

1.2. Задачи управления качеством образования.

1.3. Управления качеством образования в вузе при распределенном обучении.

Выводы.

2. Модели и методы анализа качества образования в вузе.

2.1 Структурный состав системы и технология процесса обучения.

2.2 Система показателей для оценки качества образования.

2.3 Методы анализа показателей учебного процесса.

2.4 Методы визуализации аналитической информации.

Выводы.

3. Анализ показателей учебного процесса на основе нечетких графовых моделей.

3.1.Сбор первичной информации.

3.2.Структуры данных и алгоритмы информационно-аналитической системы.

3.3.Представление результатов анализа.

Выводы.

4. Информационно - аналитическая система для мониторинга образовательного процесса в вузе.

4.1 Структура и состав ИАС.

4.2 Подсистема интерактивного формирования запросов.

4.3 Подсистема статистической обработки.

4.4 Подсистема визуализации результатов.

4.5 Подсистема генерации отчетов.

4.6 Подсистема поддержки принятия решения.

4.7 Программное обеспечение ИАС.

Выводы.

Знания в современном информационном обществе играют ключевую роль с точки зрения дальнейшего прогресса. Основным этапом формирования человека как специалиста в той или иной профессиональной сфере является получение высшего профессионального образования.

Одним из наиболее важных параметров образования является качество образовательных услуг. Характерно, что обеспечение высокого качества образования становится в современных условиях все более сложной задачей. Это обусловлено множеством причин, среди которых появление новых технологий обучения, таких как дистанционное и открытое образование, где сам процесс обучения существенно отличается от привычных традиционных очных и заочных форм обучения. В результате те методы управления учебным процессом и качеством обучения, которые вырабатывались годами оказываются не эффективными в новых условиях. Очевидно, что повысить эффективность, правильность и своевременность управленческих решений и, как следствие, улучшить качество обучения можно лишь с помощью новых информационных технологий.

Поэтому является актуальной задача разработки информационно-аналитической системы, которая предназначена для управления качеством образования в вузе. Система должна позволять контролировать ход процесса обучения на основе сбора и анализа статистических данных, выявлять отклонения от стандартного процесса (аномалии), анализировать причины отклонений, представлять лицу принимающему решение (ЛПР) рекомендации по исправлению неблагоприятных отклонений (ситуаций).

Цель и задачи исследования. Целью является разработка информационно-аналитической системы, включающей совокупность моделей, методов сбора и обработки данных, информационных и программных модулей, и обеспечивающей эффективный мониторинг образовательного процесса в универсальном распределенном вузе (УРВ) на основе анализа ситуаций в учебном процессе, поддержку принятия управленческих решений за счет генерации выводов по ситуациям и рекомендаций по исправлению их негативных аспектов, а также высокую наглядность результатов мониторинга.

Для достижения указанных целей в работе были поставлены и решены следующие задачи:

- Анализ существующих методов мониторинга образовательной деятельности вуза на основе статистических показателей учебного процесса.

- Разработка математической модели анализа ситуаций в учебном процессе вуза.

- Разработка алгоритма поиска типичных ситуаций в образовательной системе на основании заданного множества показателей учебного процесса.

- Разработка алгоритма генерации выводов с возможностью определения вероятности появления найденной типичной ситуации в анализируемой образовательной системе.

- Создание программного и информационного обеспечения системы поддержки принятия решения на основе анализа ситуаций в учебном процессе вуза.

Методы исследования. Работа основывается на методах математической статистики, теории графов, нечетких множеств, методах модульного и объектно-ориентированного программирования, геоинформационного пространственного анализа.

Научная новизна. Основные результаты диссертационной работы, выносимые на защиту, состоят в следующем:

1. Метод анализа ситуаций учебного процесса, заключающийся в построении графа анализируемой ситуации на основе вычисленных показателей учебного процесса и последовательного поиска каждого из графов, описывающих решающие правила, в графе анализируемой ситуации.

2. Математическая модель представления решающих правил для классификации конкретной ситуации в виде ориентированного взвешенного нечеткого графа.

-63. Алгоритм проверки выполнения решающих правил на основе модифицированного алгоритма поиска изоморфного вложения в нечетком графе и имеющий невысокую вычислительную сложность 0(п), где п - число дуг графа решающего правила.

4. Предложен алгоритм генерации вывода на основе бинарного дерева классификации ситуации, позволяющий задавать реакцию решающих правил на невыполнение определенных (не базовых) условий решающего правила. Практическая ценность работы заключается в следующем:

1. Предложен новый подход к мониторингу качества образования в вузе, конечным результатом которого является не только вычисленные значения показателей качества учебного процесса, но и вероятные причины получения тех или иных значений этих показателей, выявление которых происходит в ходе анализа ситуаций в учебном процессе вуза.

2. Разработано программное обеспечение на основе предложенного алгоритма проверки выполнения решающих правил, базирующегося на модифицированном алгоритме поиска изоморфного вложения в нечетком графе, имеющий вычислительную сложность 0(п), где п - число дуг графа решающего правила.

3. Разработано программное обеспечение, реализующее алгоритм генерации вывода на основе бинарного дерева классификации ситуации, позволяющий задавать реакцию решающих правил на невыполнение определенных (не базовых) условий решающего правила.

4. Разработан прототип информационно-аналитической системы для анализа качества образования в вузе.

Созданное программное обеспечение внедрено в Пензенском государственном университете и Волгоградском государственном техническом университете. Результаты подтверждаются актами о внедрении.

Апробация работы. Теоретические и практические результаты диссертационной работы обсуждались и докладывались на следующих конференциях и семинарах: научно-технической конференции профессорскопреподавательского состава (ПГУ, г.Пенза, 1998-2003 гг.), XXV Юбилейной международной конференции «Новые информационные технологии в науке, образовании, телекоммуникации и бизнесе», (Украина, Крым, Ялта-Гурзуф, 1998г.), Всероссийском совещании-семинаре «Высокие технологии в региональной информатике», (Воронеж, 1998 г.), VII Международной научно-методической конференции (Пенза, 2003г), III международной научно-методической конференции «Системы управления качеством высшего образования» (2003г., Воронеж), Всероссийской научно-практической конференции (Пенза, 2003г), международном юбилейном симпозиуме (ПГУ, Пенза, 2003), VI Всероссийской научной конференции молодых ученых и аспирантов «Новые информационные технологии. Разработка и аспекты применения». (Таганрог, 2003г).

Публикации. Основные положения диссертации опубликованы в 11 печатных работах.

Структура и объем. Диссертация состоит из введения, четырех глав с выводами на 177 стр., списка литературы (127 наименования), приложения. Работа содержит 33 рисунка и 7 таблиц.

Выводы

1. Разработана модульная структура ИАС, обеспечивающая эффективное расширение функциональных возможностей отдельных подсистем независимо друг от друга.

2. Спроектирована структура информационного обеспечения ИАС, предназначенная для хранения данных об образовательной системе, достаточных для выполнения эффективного анализа ситуаций в учебном процессе вуза.

3. Разработано программное обеспечение ИАС функционирующее под управлением операционной системы Windows 95/98/2000/ХР и реализующее функции статистического анализа и поддержки принятия решения на основе алгоритма поиска изоморфного вложения в нечетких графах.

4. Предложен базовый набор решающих правил, распознающих в анализируемом пространстве образовательной среды, наиболее распространенные типичные ситуации учебного процесса в вузе.

5. Экспериментальная проверка предложенных методов и алгоритмов анализа ситуаций в учебном процессе вуза показала высокий уровень соответствия между выводами по обнаруженным типичным ситуациям, генерируемыми подсистемой поддержки принятия решения и ситуациями реально сложившимися в анализируемой образовательной среде. 6. В результате тестирования прототипа ИАС было установлено, что время анализа для решения практических задач является допустимым. Для анализа сессии по 4 дисциплинам в 10 группах при наличии 4 решающих правил время анализа составило 20 сек.

-161 -Заключение

В процессе выполнения работы получены следующие основные результаты:

1. Анализ существующих систем мониторинга качества образования в вузе показал, что в основном эти системы базируются на статистической обработке различных анкет или оценок, полученных обучаемыми. Это позволяет, анализируя статистические данные обнаруживать слабые места в качестве образования и иногда прогнозировать ситуацию. Однако не существует систем, позволяющих определять причины возникновения неблагоприятных ситуаций и давать рекомендации по их исправлению.

2. Определены в качестве основных целей информационно-аналитической системы мониторинга качества образования в вузе следующие: контроль учебного процесса и своевременное выявление неблагоприятных ситуаций, выдача управленческому персоналу наглядного представления о качестве образования, предполагаемых причинах возникновения неблагоприятных ситуаций и рекомендации по их исправлению.

3. Предложена последовательность и содержание этапов для анализа образовательной деятельности в вузе: этап выбора объекта анализа (филиал вуза, факультет, специальность, группа, студент), временного диапазона анализа (семестр, учебный год, несколько выбранных семестров и т.д.) и возможно других ограничений (дисциплина, категория зачисления и т.п.); этап определения набора показателей, необходимых для выполнения анализа; этап вычисления выбранного набора показателей и этап генерации выводов на основе вычисленных показателей.

4. Предлагается при анализе учебного процесса, в случае его отклонения от нормального (стандартного), находить часто повторяющиеся ситуации (типичные ситуации), которые возникают в ходе учебного процесса. Для отнесения конкретной аномальной ситуации к одной из типичных ситуаций вводятся решающие правила и предлагается некоторый набор этих ситуаций.

- 1625. Разработана математическая модель представления решающих правил в виде ориентированного взвешенного нечеткого графа.

6. Впервые предложен метод анализа ситуаций в учебном процессе вуза основанный на построении графа анализируемой ситуации на основе вычисленных показателей и последовательного поиска изоморфного вложения каждого из графов, описывающих решающие правила в графе анализируемой ситуации.

7. Показано, что существующие алгоритмы определения изоморфного вложения требуют для решения задачи проверки выполнения решающих правил больших вычислительных затрат. В связи с этим разработан модифицированный алгоритм поиска изоморфного вложения в нечетком графе и имеющий меньшую вычислительную сложность О(п), где п - число дуг графа решающего правила.

8. Разработана реляционная форма представления решающих правил, позволяющая организовать централизованное защищенное хранение правил в клиент-серверной базе данных реляционного типа.

9. Предложен алгоритм генерации вывода на основе бинарного дерева классификации ситуации, позволяющий задавать реакцию решающих правил на невыполнение определенных (не базовых) условий решающего правила. Разработана структура представления многовариантных выводов на основе открытого стандарта языка XML, реализующая параметрические блоки подстановки, которые позволяют включать в текст сгенерированного вывода числовые значения параметров анализируемой ситуации, что увеличивает информативность вывода и улучшает его воспринимаемость.

10. Предложена структура информационно-аналитической системы мониторинга образовательного процесса в вузе, включающая подсистемы: ввода и управления данными, интерактивного формирования запросов, статистической обработки данных, визуализации результатов, генерации отчетов, поддержки принятия решения.

11. Экспериментальная проверка предложенных методов доказала правильность основных теоретических положений работы. С помощью двух тестовых решающих правил, реализованных в прототипе системы, удалось отыскать несколько негативных типичных ситуаций, появление которых в анализируемой образовательной среде (Пензенский государственный университет) было подтверждено при непосредственном взаимодействии с сотрудниками вуза.

- 164

1. Архангельский С. И. Учебный процесс в высшей школе, его закономерные основы и методы. // Учеб.-метод, пособие. М.: Высш. школа, 1980. - 368 с.

2. Аветисов А.А. Основные положения системно-квалиметрической концепции повышения качества образования // Надежность и контроль качества. 1999. — №2.

3. Берштейн Л.С., Карелин В.П., Целых А.Н. Модели и методы принятия решений в интегрированных интеллектуальных системах. Монография. // Ростов-на-Дону: Издательство Ростовского университета, 1999. 278с.

4. Берштейн Л.С., Боженюк А.В. Введение в теорию нечетких графов. // Учебное пособие. Таганрог.: Изд во ТРТУ, 1999. 212 с.

5. Берштейн Л.С., Боженюк А.В. Нечеткие модели принятия решений: дедукция, индукция, аналогия. Монография. Таганрог: Изд-во ТРТУ, 2001. 110с.

6. Селиверстова И. А. Информационно-аналитическая система поддержки принятия решения в задачах управления учебным процессом. // «Известия высших учебных заведений. Поволжский регион (технические науки)». №1(6), 2004. с. 110-123

7. Батищев Д.И., Бершадский A.M., Щербань А.Б. Обобщенный критерий оценки качества разбиения графа на группы изоморфных подграфов. // В кн.:

8. Анализ и моделирование экономических процессов. Горький: Изд - во Горьк. ун-та, 1979, с.3-9.

9. Ю.Бугаевский J1.M., Цветков В.Я. Геоинформационные системы. // М.: Златоуст, 2000. 224с.

10. П.Батыгин Г.С. Обоснование научного подхода в прикладной социологии. // М., Мысль, 1986-211с.

11. Бессонов Б.Н. Образование прорыв в XXI век. // М., сб. «Синергетика и образование», изд-во «Гнозис», 1997, с.4 - 13.

12. Harman, G and Meek, V L (2000) Repositioning Quality Assurance and Accreditation in Australian Higher Education. Canberra: Evaluations and Investigations Programme, Higher Education Division, Department of Education, Training and Youth Affairs.

13. Н.Борисова H.B. Образовательные технологии как объект педагогического выбора. // Учебное пособие. М.: Исследовательский центр проблем качества подготовки специалистов, 2000 - 146с.

14. В.П.Боровиков. Популярное введение в программу Statistica. // КомпьютерПресс, 1998.

15. В.П.Боровиков, И.П.Боровиков. Statistica Статистический анализ и обработка данных в среде Windows. // "Филинъ", 1997.

16. Беспалько В. П. Программированное обучение (дидактические основы). // М.: Высш. шк., 1970.-299с.

17. Бершадский A.M. Применение графов и гиперграфов для автоматизации конструкторского проектирования РЭА и ЭВА. Изд-во Саратовского университета, 1983 120с.

18. Бершадский A.M., Бождай А.С. Геоинформационный подход к мониторингу региональных образовательных систем. // Информационные технологии. 1998. №12. С.39-43,50.

19. Берж К. Теория графов и ее применение. ИЛ М., 1962 320с.

20. Буч Г. Объектно-ориентированное проектирование с примерами применения. // М.: Конкорд, 1992 519с.

21. Сигорский В.П. Математический аппарат инженера // «Техшка», 1975. -768с.

22. Бершадский А.М., Кревский И.Г. Структура дистанционного образования в регионе // "Телематика'96": Тезисы доклада Всероссийской научно-методической конференции 13-17 мая 1996 г. Санкт-Петербург, 1996. - С.120-121.

23. Bershadsky A.M., Krevsky I.G. The Organization of Distance Education in Region. "Proceedings of the Second International Conference on Distance Education in Russia: Open and Distance Learning as a Development Strategy", Moskow, 1996, pp. 174-176.

24. Бождай А.С. Разработка системы мониторинга образования в регионе на основе геоинформационной технологии // Автореферат диссертации на соискание ученой степени кандидата технических наук, Москва, 2000г.

25. Брызгалова С.М. Новые подходы к организации мониторинга качества обучения // http://mo.display.rt.ru/htdocs/ARXIV/VILYI/IIVil/tezis/ bruzgalova.htm

26. Васильев В. Н. и др. О математических моделях оптимального управления системой подготовки специалистов // Труды Петрозаводского государственного университета. Сер. «Прикладная математика и информатика». Вып. 6. Петрозаводск: Изд-во ПетрГУ, 1997.

27. Все о ГИС. // http://www.dataplus.ru/ WIN/AllGis/l00 GIS/ gis.htm

28. Виер С.Х. Обработка картографических данных: земельные информационные системы. Системный подход к разработке земельных информационных систем. // в кн. Картография. Вып.4. Геоинформационные системы М: «Картоцентр - Геодеиздат», 1994.стр.112 - 124.

29. Гузеев В.В. Системные основания образовательной технологии. // М.:3нание, 1995.-135с.

30. Горленко О.А., Радькова Н.О. Качество образовательных услуг в высшем учебном заведении. Сертификация и управление качеством продукции // Тезисы докладов международной научно-технической конференции 13—15 октября 1999 г. — Брянск, БГТУ.

31. Гуськова Н., Макаркин Н., Салимова Т. Мониторинг качества образования. // http://more.by.ru/up/up.js7969939712

32. Зайцева Ж.Н., Рубин Ю.Б., Титарев Л.Г., Хорошилов А.В., Усков В.Л., Филиппов В.М., Тихомиров В.П., Открытое образование -стратегия 21 века для России. // Под общей редакцией Филиппова В.М. и Тихомирова В.П. Изд-во МЭСИ, М., 2000. 356с.

33. Lindsay, A W (1994) Quality and Management in Universities. Journal of Tertiary Education Administration, Vol 16, No 1, pp 55-68.

34. Иконика. Обработка и восприятие изображений. // Тр. Гос. Оптич. ин-та. -Л., 1982, т.51, вып. 185

35. Иванников А.Д., Кулагин В.П., Тихонов А.Н., Цветков В.Я. // Геоинформатика. М.: МАКС Пресс, 2001. - 349с.

36. Кулагин В.П. Геоинформационные технологии новый шаг на пути совершенствования системы управления образованием // IV Всероссийской конференции «Геоинформатика и образование» (Форум ГИС 2000). - М.: ГИС-Ассоциация, 2000 ,С.5-8.

37. Кулагин В.П., Цветков В.Я., Булгакова Т.В. Особенности использования технологий OLAP для задач образовательной статистики. // http://center.fio.ru/vio/vio09/ resource/Print/ artl8.htm

38. Кинелев В.Г. Образование и цивилизация.// М., «Проблемы информатизации высшей школы», №2(6), 1996, с. 7-14

39. Кравченко А.И. Введение в социологию. // М.: Новая школа, 1995 144с.

40. Кант И. Критика чистого разума. // Пер. с нем. М.: Мысль, 1994 - 591с.

41. Коновалова Н.В., Капралов Е.Г. Введение в ГИС. М.: 1997, 160с.

42. Кафтанников И. Л., Надточий И. Л. Организационно-методическое обеспечение многоуровневого непрерывного образования в области информационных технологий // Материалы конференции ИТО-99, http:// ito. bitpro.ru/1999/111/2/ 246.html

43. Качалов В. Проблемы управления качеством в вузах. Заметки менеджере по качеству // http://more.by.ru

44. Коломиец Б. К., Куксин Д. Н. Задача минимизации количества оценочных показателей. // Квалиметрия человека и образование, центр ПКПС. М., 2000. — С. 33-40.

45. Кофман А. Введение в теорию нечетких множеств. // М.: Радио и связь, 1982.бО.Зыков А.А. Гиперграфы. // Успехи математических наук, т.29, вып.6, 1974.

46. Левитес Д.Г. Практика обучения: современные образовательные технологии. // М., "Институт практической психологии", 288с.

47. Мелихов А.Н., Берштейн JI.C. Гиперграфы в автоматизации проектирования дискретных устройств. // Изд-во Ростовского университета, 1981-112с.

48. Мелихов А.Н., Берштейн JI.C., Курейчик В.М. Применение графов для проектирования дискретных устройств. // М.: «Наука», 1974 304с.

49. Мелихов А.Н., Берштейн JI.C. Операции над гиперграфами и их свойства. // Известия АН СССР. Техн. Кибернетика, 1997, №4

50. Морозов К.К., Одиноков В.Г., Курейчик В.М. Автоматизированное проектирование конструкций радиоэлектронной аппаратуры. // М.: Радио и Связь, 1983, 280с.

51. Михелькевич В.Н., Полушкина Л.И., Мегедь В.М. Справочник по педагогическим инновациям. // Самара, Гимназия №11, 172с.

52. Менеджмент Маркетинг - Финансы. // Проспект ЛИНК под ред.Федорова Б.Л., 1995 г.

53. Литвак Б.Г. Экспертные оценки и принятие решений. // М.: Патент, 1996. -271 с.

54. Литвак Б.Г. Разработка управленческого решения. // М.: Издательство "Дело", 2003 г. 392 с.

55. Нуждин В.Н., Коровкин С.Д., Кадамцева Г.Г. Тотальное управление качеством образования и новые информационные технологии. // М., «Проблемы информатизации высшей школы», №1-2 (11-12), 1998, с.135-150.

56. Нуждин В.Н. Информатизация и качество образования. // М., «Проблемы информатизации высшей школы», №4, 1995, с. 51 59.76,Основы социологии. Курс лекций. // Отв. редактор А.Г.Эфендиев. М.: Об-во «Знание», 1993 - 384с.

57. Описание пакета Statistica 5.5 // http://www.exponenta.ru/SOFT/ STATIST/statistica55/index.asp.

58. Основы открытого образования. Т. 2. /Отв. ред. В.И.Солдаткин. — Российский государственный институт открытого образования. - М.: НИИЦ РАО, 2002. - 680с.

59. Полторабатько И.А. (Селиверстова И.А.) «Применение новых информационных технологий в образовании» // Всероссийское совещание-семинар «Высокие технологии в региональной информатике», г. Воронеж, 1998г.

60. Педагогика: Учеб. пособие для студентов пед. ин-тов // Под ред. Бабанского. -М.: Просвещение, 1983. 608 с.

61. Разумовская Н.В. Использование геоинформационных технологий в системе общего образования. // Вторая всероссийская конференция «Геоинформатика и образование». Москва, 25 - 26 марта 1998г.

62. Радугин А.А., Радугин К.А. Социология: курс лекций. // М.: Центр, 1997 -160с.

63. Субетто А. И. Квалитология образования. // СПб. М.: Исслед. Центр ПКПС, 2000. - 220 с.

64. Селезнева Н. А. К формированию новой методологии управления качеством высшего образования // Проблемы качества высшего образования: Тезисы докл. Всесоюзной науч.-метод. конф. Уфа: УАИ, 1991. - С. 4-5.

65. Селезнева Н.А. Качество образования и информационные технологии в образовании. // Доклад на X конференции "Информационные технологии в образовании" ИТО-2000. М., 2000.

66. Селезнева НА. Автоматизация проектирования систем управления качеством высшего образования. // Автореферат диссертации на соискание ученой степени доктора технических наук. М.: Воронежский политехнический институт, 1992, 36 с.

67. Селезнева Н.А. Оценка качества высшего образования. // Квалиметрия человека и образования: методология и практика. Часть 1. М.: Исследовательский центр по проблемам качества подготовки специалистов, 1992. с. 16-25.

68. Система качества // http://mail.sochi.ru/csm/news/sysqual.htm

69. Система качества. // Методическая документация. — М.: МИСиС, 1999.

70. Всеобщее управление качеством // http://www.standard.ru

71. Селиверстова И.А. Методы анализа показателей качества учебного процесса. // Единое образовательное пространство России и необходимость его формирования в обществе: Сборник статей Всероссийской научно -практической конференции Пенза, 2003г, с.82 - 84.

72. Шеннон Р. Имитационное моделирование систем искусство и наука // Издательство «Мир», Москва, 1978. 418с.

73. Савельев А.Я. Новые информационные технологии в обучении // Современная высшая школа. 1990. № 3-4.

74. Сытник А.А., Папшев С.В., Мельникова Н.И., Шульга Т.Э., Аверьянова С.Ф Концептуальная модель организации учебного процесса в системе открытого образования в структуре интегрированного университета // http:// do. sgu ,ru/consgu. h tml.

75. Львович Э.М., Фролов В.Н. Оптимизационная модель информационного обеспечения системы регионального управления. // Труды Всероссийскойконференции "Интеллектуальные информационные системы", Воронеж, 1999 г., с.З

76. Талызина Н. Ф. Управление процессом усвоения знаний. // Изд-во МГУ, 1975, 344с.

77. Тихомиров В.П, Солдаткин В.И, Лобачев С.Л, Ковальчук О.Г. Дистанционное обучение: к виртуальным средам знаний (Часть 1) // http://www.mesi.ru/joe/stl 58.html

78. Тихомиров В.П., Солдаткин В.И., Лобачев С.Л. Среда ИНТЕРНЕТ -обучения системы образования России: проект Глобального виртуального университета / Международная академия открытого образования. М.: Издательство МЭСИ, 2000. -332 с.

79. Тихонов А.Н., Богатырь Б.Н. Моделирование и концептуальное проектирование процессов информатизации сферы образования. // М., «Проблемы информатизации высшей школы», №1-2 (7-8), 1997, с.9-12.116. http://www.statsoft.ru

80. Vudof, М., & Busch-Vishnic, I. (1996) Total quality: Myth or management in universities. Change, 28 (6), 19-27.

81. Курейчик В.М., Нужнов Е.В. Возможности совершенствования образовательного процесса на основе информационных технологий // Труды Всероссийской конференции «Интеллектуальные информационные системы» Воронеж 1999.

82. Челышкова М.Б., Ковалева Г.С. Основные подходы к оценке качества подготовки обучаемых в России и за рубежом. Обзорный доклад. // Восьмой симпозиум «Квалиметрия человека и образования: методология и практика».

83. Щетинин В.П., Хроменков Н.А., Рябушкин Б.С. Экономика образования // М.: Российское педагогическое агентство, 1998.

84. Цветков В.Я. Геоинформационные системы и технологии. // М.: Финансы и статистика, 1998. 288с.

85. Melan, Е. Н. (1995). Quality improvement in higher education: TQM in administrative functions. In В Ruben (Ed.), Quality in higher education (pp. 173188). New Bruswick, NJ: Transaction Publ.

86. Sims, S.J., & Sims, R.R. (Eds.). (1995). Total Quality Management in higher education: Is it working? Why or why not? Westport Connecticut: Praeger Publishers.

87. Harman, G (1998) The Management of Quality Assurance: A Review of International Practice. Higher Education Quarterly, Vol 52, No 4, pp 345-364.

88. Российский портал открытого образования: обучение, опыт, организация. Настольная книга // Отв. ред. В.И.Солдаткин. М.: МГИУ, 2003.