автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Нейросетевые рейтинговые системы в задачах контроля качества подготовки кадров

МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ИНСТИТУТ РАДИОТЕХНИКИ, ЭЛЕКТРОНИКИ И АВТОМАТИКИ (ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ)

На правах рукописи

Шурупов Андрей Николаевич

Нейросетевые рейтинговые системы в задачах контроля качества подготовки кадров

Специальность 05.13.17 - «Теоретические основы информатики»

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель -доктор технических наук, академик РАЕН, академик МАИ доцент В.Г.Никонов

Москва - 1998

ОГЛАВЛЕНИЕ

Введение 4

Глава 1. Проблемы и направления развития рейтинговых систем

управления учебным процессом 13

1.1. Проблемы информатизации и управления учебным процессом в высших государственных образовательных учреждениях 13

1.2. Сравнительный анализ рейтинговых систем непрерывного контроля, применяемых в отечественных и зарубежных высших учебных заведениях 19

1.3. Информационно-технологическая модель управления учебным процессом 32

1.4. Постановка задачи разработки математического обеспечения подсистемы поддержки принятия решений

на основе интегральных рейтинговых показателей 41

Выводы 44

' лава 2. Методы анализа и синтеза иерархических схем принятия

решений на основе взвешенного голосования 48

2.1. Функциональное строение иерархических схем принятия решений на основе взвешенного голосования 48

2.1.1. Основные понятия 48

2.1.2. Общие теоремы о функциональной разделимости 55

2.1.3. Описание декомпозиций для булевых пороговых функций 61

2.1.4. Описание декомпозиций для к-значных пороговых функций 66

2.1.5. Сложность определения декомпозиционной

структуры пороговых функций 69

2.2. Методы синтеза иерархических схем принятия решений

на основе взвешенного голосования 74

2.3. Применение методов системного анализа и искусственного интеллекта для синтеза решающей

функции и настройки ее весовых коэффициентов 82

2.3.1. Экспертные методы определения весов решающей функции и формирования обучающей выборки 83

2.3.2. Аналитические методы восстановления частично определенных пороговых функций 108

2.3.3. Адаптивные методы настройки весов многослойной нейронной сети 1 15

2.4. Математические методы анализа тенденций и выработки прогнозов качества обучения на основе рейтинговых показателей 126

2.4.1. Методы проверки адекватности интерполяции

и прогнозирования рейтинговых рядов 128

2.4.2. Методы восстановления пропущенных измерений рейтинга 129

2.4.3. Методы прогнозирования рейтинговых рядов 130 Выводы 138

Глава 3. Практическая разработка рейтинговой системы контроля 140

3.1. Формирование математических моделей рейтингов и построение иерархической процедуры вычисления интегрального рейтинга студентов 141

3.2. Методики анализа рейтингов и выработки рекомендаций

по корректировке учебного процесса 149

3.3. Оценка положительного эффекта внедрения рейтинговой системы 156

Выводы 159

Заключение 161

Литература 164

Приложение 1 173

Приложение 2 179

Приложение 3 181

Приложение 4 191

ВВЕДЕНИЕ

Актуальность темы. Система высшего образования России переживает период реформ. Многопрофильность, изменение структуры системы целевой подготовки кадров в сочетании с сокращением государственных субсидий и другие объективные причины приводят к чеобходимости вводить гибкие схемы подготовки специалистов, характеризующиеся интенсификацией и информатизацией обучения, возможностью динамической коррекции учебных планов, дистанционными формами обучения. В условиях внедрения интенсивных и дистанционных технологий обучения повышается роль систем непрерывного контроля за качеством обучения.

Первые работы в этой области появились достаточно давно (см. [1], [2]). В них отмечались недостатки применяемых шкал измерения степени обученности студентов, предлагались приемы повышения интенсивности обучения и использование рейтингов для диагностики учебного процесса.

Последние пять лег отмечены большим количеством публикаций по теме использования рейтингов в учебном процессе (см. [3], [4], [5], [6], 17]> [81, [9], [10], [11], [12] и др.). В качестве типичных представителей рейтинговых систем можно отметить АРСУОС «Тимирязевец» ([12]), "РИТМ" ([3]), модульно-рейтинговые системы (|8|). Для всех работ характерны такие черты, как: системное осмысление процесса подготовки специалистов, компьютерное моделирование деятельности вуза, использование новых квалиметрических технологий, математическое моделирование процессов обучения, применение интегральных показателей обученности - рейтингов.

В то же время работа по исследованию и практической реализации методов непрерывного контроля не носит комплексного

характера. Практические и теоретические разработки, как правило, имеют дело с отдельными составляющими учебного процесса и не образуют системной целостности. Уровень математического моделирования представляется достаточно поверхностным. На сегодняшний день остается далеко не полной научная и методическая база моделирования и использования современных информационных технологий обучения в вузах.

Несмотря на указанные выше проблемы практическое внедрение рейтинговых технологий сопровождается положительным педагогическим эффектом. На наш взгляд, это явление связано с введением в учебный процесс интегрального показателя обученности студентов - рейтинга. Определим это понятие. Эффективность учебного процесса есть качественная категория, имеющая сложную структуру, в частности, учитывающая обученпость студентов, уровень преподавания и др. Для измерения эффективности учебного процесса в рамках квалиметрического1 подхода вводят меры этого качества и условные шкалы измерения. В силу указанной сложной внутренней структуры эффективности учебного процесса принято измерять обученпость студента относительно каждой компоненты учебного процесса, т.е. строить частные меры. Под рейтингом студента понимается скалярная мера эффективности учебного процесса, являющаяся функционалом всех частных мер. При этом способы формирования рейтинга различны, существуют варианты развернутых педагогических определений этого понятия. Однако, обобщающих работ, содержащих сравнительный анализ различных рейтинговых схем, равно как и научное обоснование выбора значений параметров процедур вычисления рейтинга в доступной литературе нет. Предлагаемые технологические схемы

Кналимстрия - наука и практика количественного измерения педагогическою качества ([ 1 11)

вычисления рейтинга в полной мере не учитывают специфику учебного процесса в вузе, не допускают обработки слабоформализуемых данных, характсризизующих качество обучения. В силу этого данные проблемы представляют самостоятельный научный и практический интерес.

Рейтинги используются не только в качестве новой прогрессивной шкалы измерения эффективности учебного процесса. Методологически грамотно спроектированная система управления должна вырабатывать рекомендации по коррекции учебного процесса на основе научно обоснованных прогнозов качества обучения и основных тенденций в развитии учебного процесса. Вопросы теоретической и практической разработки прогнозов качества обучения в исследованной литературе представлены слабо. Поэтому задача теоретического исследования и практической реализации рейтинговых технологий непрерывного контроля для систем поддержки принятия решений по управлению учебным процессом является актуальной.

Цель исследования. Цель диссертационного исследования состоит в том, чтобы на основе анализа существующих рейтинговых технологий разработать теоретические основы проектирования иерархических процедур вычисления интегральных показателей учебного процесса -рейтингов и предложить методики рационального проектирования указанных процедур и анализа тенденций и прогнозирования качества обучения. Применение таких методик позволит интенсифицировать и динамически корректировать учебный процесс.

Объект исследования. Объектом исследования являются информационные процессы, возникающие в ходе обучения студентов в высших государственных учебных заведениях. При этом выделяются два вида процессов: восходящие от объектов к субъектам управления, образующие потоки квалиметрической и иной информации, и

командные процессы, образующие каналы обратной связи по у п ра вл е н п ю о бъе кта м и.

Предмет исследования. Предметом исследования являются математические методы моделирования, анализа и проектирования иерархических информационных структур и процессов, возникающих при управлении учебным процессом в высших государственных учебных заведениях, на основе рейтинговых процедур скаляризации векторных показателей учебного процесса.

Задач и исследования. Для достижения поставленной цели в диссертации осуществляется решение следующих основных задач.

1. Формализация информационно-технологической схемы учебного процесса.

2. Систематизация накопленного опыта разработки рейтинговых технологий контроля за учебным процессом на базе системного исследования предметной области.

3. Построение математических моделей скаляризации векторной информации о состоянии учебного процесса.

4. Разработка научно обоснованных методов анализа и проектирования многоуровневых иерархических процедур вычисления рейтингов на основе бионического подхода к моделированию сложных систем.

5. Разработка методов выбора параметров математической модели рейтинга, сводящихся к разработке методов обучения многозначных многослойных искусственных нейронных сетей.

6. Практическая реализация рейтинговой системы контроля за учебным процессом на уровне базовой выпускающей кафедры вуза.

Методы исследования. Для решения поставленных задач в работе использованы методы системного анализа, пороговой логики и теории д-значных функций, теории экспертного оценивания, теории интерполяции, анализа временных рядов, аппарат теории принятия

решений, теории сложных систем, теории линейного и целочисленного программирования, теории искусственных нейронных сетей.

Научная новизна. Научная новизна полученных результатов заключается в следующем. Впервые в качестве формальной модели рейтинга использована многослойная искусственная нейронная сеть па базе многозначных пороговых функций. Доказаны теоремы о декомпозиционной структуре булевых и многозначных пороговых функций, позволяющие строить иерархические схемы принятия решений, реализуемые на одной пороговой функции. В отличие от известных результатов о декомпозиционной структуре при доказательстве теорем существенно использовалась специфика рассматриваемого функционального класса. Разработаны методы обучения многозначных ИЫС: эвристический на основе обобщения классического алгоритма обучения булевого перцептрона и приближенный - на основе нелинейного регрессионного анализа. Разработаны методики использования экспертного оценивания для настройки весовых коэффициентов функции вычисления рейтингов, а также применения методов анализа временных рядов с учетом специфики рядов оценок и рейтингов.

Положения, выносимые на защиту.

1. Разработана математическая модель вычисления рейтинга на основе многозначных искусственных нейронных сетей, позволяющая эффективно решать оптимизационные задачи управления учебным процессом.

2. Доказано, что при построении и/или исследовании многослойных ИЫС вопросы реализуемости последних на одном многозначном пороговом элементе решаются с помощью анализа декомпозиционной структуры. При этом получены эффективные алгоритмы решения таких задач и критерии функциональной

разделимости пороговых функций, существенно использующие специфичные способы задания последних.

3. Разработаны методы обучения ИНС на базе многозначного перцептропа. В случае обучения с учителем построены эвристический алгоритм настройки весов, обобщающий известный метод для булевого случая, а также алгоритм определения параметров многозначной пороговой функции с помощью приближенного метода нелинейного регрессионного анализа. При обучении без учителя, а также для решения задачи формирования обучающих выборок разработана методика проведения экспертного оценивания.

4. Построена функциональная модель системы поддержки принятия решений по управлению учебным процессам, для которой реализованы подсистемы сбора и хранения квалиметрических данных, получения рейтингов с помощью многозначной многослойной искусственной нейронной сети, коррекции весов нейросети, анализа тенденций и формирования прогнозов качества обучения на основе рейтингов.

Практическая значимость. Практическая значимость работы заключается в использовании полученных результатов при проектировании и эксплуатации рейтинговых систем контроля за учебным процессом па базовой кафедре Системного анализа и программного обеспечения АСУ МГИРЭА (ТУ). Кроме того, научные результаты использованы в материалах трех научно-исследовательских работ. Практическая ценность работы подтверждается актами внедрения и использования ее результатов.

Реализация результатов работы. Реализация результатов диссертационной работы проведена в МГИРЭА (ТУ).

Апробация работы. Основные результаты работы прошли апробацию на Межвузовской научно-технической конференции "Микроэлектроника и информатика - 97", конференции "Нейрокомпьютеры и их применение" (14-16 февраля 1996 г.), IV Всероссийская конференции "Нейрокомпьютеры и их применение" (18-20 февраля 1998 г.), Международной конференции «Региональная информатика - 98»..

Публикации. По теме диссертации опубликовано 7 работ.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения, списка литературы, четырех приложений. Диссертация содержит 191 страницу, 6 таблиц, 18 рисунков. Список литературы состоит из 83 наименований.

Во введении обосновывается актуальность выбранной темы, цель и содержание поставленных задач, формулируется объект и предмет исследования, указываются методы исследования, сообщается, в чем заключается теоретическая значимость и прикладная ценность полученных результатов, а также отмечаются положения, которые выносятся на защиту.

Первая глава посвящена анализу представлений на современные системы управления учебным процессом на основе рейтингов. В первом параграфе первой главы перечислены обстоятельства, способствующие переходу к системам управления учебным процессом, обеспечивающим оперативную реакцию на динамично меняющиеся представления о качествах выпускника, осуществлящим динамическую коррекцию учебных планов, повышающих интенсивность и качество обучения. Сформулированы проблемы в управлении учебным процессом, которые делают актуальной задачу разработки математических моделей и методов управления обучением студентов. Во втором параграфе первой главы произведен сравнительный анализ представленных в литературе

рейтинговых систем и сделан вывод об эмпирическом характере математизации существующих рейтинговых технологий. В третьем параграфе первой главы на основе системного подхода разработана информационно-технологическая модель управления учебным процессом, содержащая систему поддержки принятия решений (СППР). Описано функциональное строение системы поддержки принятия решений па основе рейтингов. В четвертом, последнем, параграфе первой главы обоснована математическая модель рейтинга на основе многозначных искусственных нейронных сетей, базовым элементом которых является пейроподобпый элемент, принимающий решения с помощью взвешенного голосования сигналов на своих входах. В этом же параграфе поставлены математические задачи разработки подсистем СППР, решению которых посвящено диссертационное исследование. Основные результаты первой главы опубликованы в [13], [14], [15].

Во второй главе разработан математический аппарат анализа и синтеза иерархических схем принятия решений на основе взвешенного голосования. В первом параграфе второй главы определены необходимые понятия, доказаны как общие теоремы о функциональной разделимости пороговых функций, так и теоремы, дающие необходимые и достаточные условия функциональной разделимости булевых и многозначных пороговых функций. На основе математического аппарата анализа декомпозиционной структуры пороговых функций, разработанного в первом параграфе, во втором параграфе второй главы построены методы синтеза иерархических схем принятия решений па основе взвешенного голосования и указаны условия, при которых иерархическая схема реализуется с помощью пороговой функции. В третьем параграфе второй главы решена задача выбора весовых коэффициентов решающей функции. Рассмотрены случаи как наличия, так и отсутствия обучающих выборок. В качестве математического

аппарата решения этих �