автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Мониторинг качества обучения в техническом вузе на основе ретроспективного экспертного комплекса

На правах рукописи

Шорохов Максим Иосифович

МОНИТОРИНГ КАЧЕСТВА ОБУЧЕНИЯ В ТЕХНИЧЕСКОМ ВУЗЕ НА ОСНОВЕ РЕТРОСПЕКТИВНОГО ЭКСПЕРТНОГО КОМПЛЕКСА

Специальность 05.13.10 Управление в социальных и экономических системах

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва - 2005

Работа выполнена на кафедре "Интеллектуальные технологии и системы" Московского государственного института радиотехники, электроники и автомагики (технического университета).

Научный руководитель:

кандидат технических наук, профессор

Панченко Виктор Михайлович

Официальные оппоненты: доктор технических

профессор

Литвак Борис Григорьевич

наук,

Ведущая организация:

доктор технических наук, профессор

Свиридов Александр Петрович

Научно-образовательный центр инженерно! о творчества

Московского государс! венного индустриального университета

Защита состоится « 25 » марта 2005 года в 14® часов на заседании диссертационного совета Д 212.132.10 в Московском государственном институте стали и сплавов (технологическом университете) по адресу: 105318, г. Москва, Измайловское шоссе, д. 4, в Исследовательском центре проблем качества подготовки специалистов

С диссертацией можно ознакомиться в библиотеке Исследовательского центра проблем качества подготовки специалистов Московского государственного института стали и сплавов (технологического университета)

Автореферат разослан « 24 » февраля 2005 года

Ученый секретарь диссертационного совета кандидат технических наук, доцент

И.Б. Моргунов

GWO

Общая характеристика работы

В связи с развитием дистанционного образования и компьютерных форм обучения на первый план выходят вопросы, связанные с решением обеспечения качества образования, которые обсуждались и нашли отражение в материалах XIV Всероссийского совещания по "Проблемам качества образования", проведенного в 2004 г. под патронажем "Исследовательского центра проблем качества подготовки специалистов" Московского государственного института стали и сплавов (технологического университета).

Актуальность работы обуславливается необходимостью решения новых задач, возникающих в техническом ВУЗе при реализации мониторинга качества обучения, связанного с накоплением, обработкой и анализом ретроспективной, текущей и экспертной информации (РТЭИ).

Проблемы мониторинга качества обучения относятся к классу задач упорядочения и координации, реализуемых в условиях оперативного и ситуационного управления. В подобных задачах затруднено непосредственное применение физического подхода к анализу причинно-следственных связей из-за большой степени сложности этих связей и неопределенности их проявлении во времени.

Решение проблемы МКО связано с анализом общих подходов, отраженных в работах Исследовательского центра проблем качества подготовки специалистов, системных исследований H.A. Селезневой, с применением принципов циклологии и систе-могенетики по А.И. Субетто, особенностей проведения экспертных оценок по Б.Г. Литваку.

Система мониторинга качества обучения (СМКО) предназначена для интеллектуальной поддержки, стимулирования и сопровождения учебного процесса на протяжении всего жизненного цикла обучения в ВУЗе: от состояния "абитуриент" до состояния "дипломник - выпускник".

Особенности предлагаемого подхода состоят в следующем:

• реализованы модели критериального описания качества обучения в соответствии с традиционно принятой в обучении системой оценок;

• представлена содержательно-качественная дуальность свойств любой модели, связанная с процессами ее изучения и применения, т.е. модель изучается как абстракция определенной

предметной области знаний (ПОЗ), а применяется как средство, интерпретации при решении задач в СМКО;

• при разработке моделей используется интеллектуально-интуитивный подход, принцип "скользящего планирования" и системология "решателей", в форме структуры рациональных и эмпирических систем (РЭС) в интерпретации по А.И.Кухтенко и Дж.Клира;

• сформированы имитационно-оценочные модели прогнозирования результата средствами теории принятия решений (на основе понятий субъективной вероятности и полезности);

• СМКО реализуется на обобщении аддитивно-мультипликативной модели критерия качества (как результата и как процесса) в зависимости от механизма определения степени доверия в виде программно-математического комплекса для персонального компьютера.

Целью диссертационной работы является разработка методики построения мониторинга качества обучения на основе рационально-эмпирических комплексов и идеологии жизненных циклов системогенетики; разработка методов формализации и создания на их основе порождающих моделей критериев качества и механизмов оценки качества обучения; разработка эмпирических систем и моделей данных (исходной системы, системы данных и систем порождения, по терминологии Дж.Клира) для трансформации РТЭИ в системе мониторинга качества обучения и интеграции СМКО в информационную среду вуза.

Задачи исследования. Достижению поставленной цели подчинено решение следующих задач:

1. Анализ состояния проблемы качества образования и системы обучения; выделение положений и принципов, обеспечивающих достижение цели исследования.

2. Рассмотрение свойств и качественных особенностей объекта мониторинга с позиций методологии системообразующих комплексов системологии и теории циклов системогенетики.

3. Разработка и исследование модели критерия оценки качества учебного процесса аддитивно-мультипликативного типа.

4. Разработка средств и механизмов идентификации для системы сопровождения субъект-объектных отношений и интеллектуальной поддержки процесса мониторинга качества обучения.

5. Решение задачи построения прогнозов на основе критериальных моделей и оценки качества деятельности обучаемых.

6. Предложение новой меры оценки качества по нечеткости ретроспективных данных, определяемой на основе энтропийного усреднения меры возможностей.

7. Оценка эффективности внедрения СМКО и связей с перспективными проблемными исследованиями и разработками.

Методы исследования. Для решения и исследования поставленных задач были использованы методы квалиметрии, исследования операций и теории принятия решений; методология системного анализа и структуралистского направления системо-логии; методы теории циклов и методология системогенетики; методология креативной педагогики и когнитивной психологии; методы разработки компьютерных обучающих систем; общенаучные методы отождествления, сравнительного анализа и аналогий; методы экспертных технологий принятия управленческих решений.

На защиту выносятся:

1. Концептуально-эвристический подход и методология формализации критериальной системы моделей и оценки качества обучения.

2. Гипотетическая модель аддитивно-мультипликативного типа для системы порождения базовой оценки качества обучения в вузе.

3. Результаты анализа имитационно-оценочных прогностических свойств моделей, способ графоаналитического представления задачи последовательного сопровождения решения в зависимости от изменения коэффициента доверия.

4. Модель трёхмерного пространства формирования коэффициента доверия как функции нечеткости энтропийной меры приведенной оценки обучения.

5. Критериальная модель и метод формирования базовой оценки на поверхности гиперболического параболоида.

6. Разработанная система мониторинга качества обучения (в форме программно-математического и документального обеспечения), реализующая компьютеризированный процесс интеллектуального сопровождения и обработки данных РТЭИ.

Научная новизна. Предложен подход формализации системы и процесса мониторинга качества обучения, позволивший реализовать ряд моделей оценки качества обучения по данным

экспертных оценок, документально доступных в виде РТЭИ в любом вузе. Базовый критерий оценки качества имеет универсальный характер, обладает прогностическими свойствами и трансформирован в формальные постановки ряда задач многоаспектного мониторинга РТЭИ. Разработана компьютерная система интеллектуальной поддержки и сопровождения мониторинга обучения в процессе всего жизненного цикла обучения в вузе, реализующая технологию получения, обработки и анализа экспертной информации для формирования управленческих решений.

Практическая значимость состоит в том, что применение системы мониторинга качества обучения в условиях, когда персональная техника доступна для каждого обучаемого, реализует новые качественные свойства обучения в системе отношений "преподаватель-обучаемый", позволяет ориентировать систему не только на деканаты и кафедры, но и на каждого преподавателя и обучаемого непосредственно и учебную группу (поток) обучаемых в целом.

Внедрение результатов. Разработанная система мониторинга качества обучения (СМКО) реализована в виде комплекса организационного и программно-математического обеспечения

Внедрение комплекса осуществлено по месту разработки на кафедре "Интеллектуальные технологии и системы" Московского государственного института радиотехники, электроники и автоматики (технического университета) (в дальнейшем МИРЭА) и на кафедре "Информационные технологии и системы в экономике и управлении" Московского государственного индустриального университета.

Внедрение результатов диссертационного исследования в МИРЭА и в других образовательных учреждениях подтверждено соответствующими актами.

Апробация работы. Результаты диссертационной работы докладывались и обсуждались на следующих конференциях и форумах:

• Международная научно-техническая конференция и Российская научная школа "Системные проблемы качества, математического моделирования и информационных технологий", г. Сочи. 1999,2000, 2002 - 2004 гг.

• Научно-технические конференции МИРЭА:

50-я юбилейная НТК, 2001 г.; 52-я НТК, 2003 г.;

• Научно-практическая конференция "Современные информационные технологии в управлении и образовании: новые возможности и перспективы использования в рамках реализации программы "Электронная Россия", г. Москва, 2001 г.

• Научно-техническая конференция "Мульти и телемедийные средства в образовании", г. Москва, МГСУ, апрель 2001 г.

• 2-е место в конкурсе МИРЭА "Лучшая научная работа студентов и молодых ученых", Москва, 2005 г.

• 3-е место в конкурсе работ пятой научно-практической конференции "Современные информационные технологии в управлении и образовании", г. Москва, НИИ "ВОСХОД", 2005 г.

Публикации. Основные результаты работы опубликованы в 19 печатных работах.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка использованных источников из 150 наименований и пяти приложений. Общий объем работы 159 листов.

Содержание работы

В первой главе определены предпосылки выбора темы диссертационного исследования, вытекающие из аналитического обзора научной и научно-методической литературы по компьютеризации обучения в целом и учебного процесса в частности. Определено системологическое описание проблемы управления системами с поведением смешанного типа, рефлексным и нерефлексным; к подобным системам относятся человеко-машинные обучающие системы и среды. Рассмотрены основные особенности и возможности традиционной методологии познания в сравнении и сочетании с инновационными компьютерными технологиями и системами. Конкретизированы цели и задачи диссертационной работы.

Ограниченные возможности систем тестирования (В этом направлении исследований известны работы А.П. Свиридова и А.О.Татура) и многообразие структурных и информационных моделей описания конкретных предметных областей знаний определяют необходимость поиска новых и более универсальных подходов к организации системы мониторинга качества обучения на уровне систем метаданных по РТЭИ.

Во второй главе рассматриваются теоретические и методологические положения, принятые за основу построения СМКО; выделены направления исследований и разработки структуралистской концептуальной схемы системообразующего комплекса для формирования системы моделей компьютерного модуля идентификации обучаемых по данным РТЭИ. Исходная система данных, определенная формально как ретроспективная информация, служит основой для построения порождающих комплексов.

ъ Объект / предметная область

Наблюдаемое подмножество свойств объекта Качественное многообразие свойств объекта

Онтологическая совокупность

Каналы наблюдений - Кн

Живое созерцание и наблюдение Ощущение восприятие представление

Опыт 1 Гносеологическая г проблема

Отображение опыта абстракциями мышления Понятия, суедения, умозаключения

Проверка на практике

ПОД

ЩА) абстрагирования X

Каналы

Система

Теории: интуитивные, аксиоматические К {а}

Я(К)

конкретизации

( А; ** ) ^ {а}

Эпистемологическая составляющая

Знания ПОЗ

Отображение опыта абстракциями мышления Понятия, суждения, умозаключения

Субъект

Целенаправленные «Мягкие» системы

Аксиомы

I = (а, ... а„) с, - {а}

Рис. 1. Мониторинг как комплексная система организации наблюдений.

На рис. 1 на структурно-лингвистическом уровне описания приведена общая схема организации мониторинга отображения свойств объекта наблюдений в системы понятий и знаний.

Методологической базой формирования моделей является архитектура системообразующих комплексов (агрегатов), которая сформирована по работам авторов структуралистского направления развития системолопш и методологически связанным с ним работам по системогенетике А.И. Субетто и Н.А. Селезневой.

Наблюдаемые свойства систем данных D и порождаемых систем данных (знаний) F отражаются в виде подсистем групп документов, а именно: протоколов систем контроля знаний; данных зачетной книжки студентов; данных журнала посещаемости и видов занятий, графиков выполнения самостоятельных работ (домашних, лабораторных, контрольных заданий и т. п.).

Для конструктивной постановки системных задач на концептуальном уровне были приняты следующие гипотезы:

HI: статистические, априорные и апостериорные данные косвенно характеризуют эффективность познавательного процесса обучения индивидуума;

Н П: апостериорная оценка обучаемого может быть выражена в первом приближении функцией двух ортогонально совместимых переменных (х и у), т.е.:

яг = Ау;х;Т;Т); у=м[у(»,; = о,.. л,... л); (l} х = М[х(т,т)]; Nm-{\,...i,..,rn),

где у(п,Г) - средняя оценка обучаемого на интервале наблюдений Т по априорным данным (данным по выборке п прошлого опыта); на начальном этапе уц = у(и0; í0) может быть определена по данным аттестата зрелости и вступительных экзаменов, а в дальнейшем интегрируется по зачётной книжке обучаемого (/ е Т с Гцщци );

х(т, г) - средняя оценка деятельности обучаемого за текущий период наблюдений познавательного процесса г (с заданным системным временем наблюдения), вычисляется на основании проявленного отношения к учебному процессу в целом или к данному учебному предмету (как к системе или подсистеме) или успешности выполнения заданий программы обучения (как к процессу).

г, Г - системное время процесса наблюдений с единицами: учебный час, занятие, неделя, месяц, семестр, учебный год и т.п.

В частности, имеем:

| у(ц Т)\е\у \ = |{0; 3; 4; 5}|; 0 - отсутствие оценки;

У = {)>,}, ieNn,- единичная выборка или г = (1,2,... г) кортеж событий .у,;

|г)|е|*| = |{0;1}|, в интерпретации положительной логики 0 - нет события; 1 - событие произошло;

Аг = {ху}, _/ еЫт, - единичная выборка или / = (1,2,...у)

- кортеж событий Ху;

т - текущее по {Г, т) значение базовой оценки обучаемого.

Система оценок у„; хт; ш(п; т) представляет собой элементы критерия качества обучения, т.е. признаки степени соответствия качества обучения: как результата - уп, как процесса -хт, как образовательной системы - ш(п; т).

Для оценки качества обучения необходимо ввести меру качества обучения (в числовой или семантической форме) как выражение соотнесенности измерений свойств (>>„; хт; тп т) с

базой, фиксирующей эталонный уровень, норму качества.

В определенной степени шп т может рассматриваться в качестве соотнесенной базы по отношению к составляющим ее элементам уп и хт. Так как системные свойства надсистемы ( в нашем случае &п>т) не сводятся к системным свойствам ее элементов, введением интервальной шкалы для нормы качества возможно перевести числовое многообразие данных ги„>т к традиционной системе оценок.

С позиций общей теории систем формирование систем мониторинга качества обучения сводится к конкретизации известного функционала представления динамической системы с позиций системогенетического анализа циклообразования в обучающих системах и средах.

В общей теории систем формализм динамической системы определяется в виде:

1д о «Т; X; И; £2; V; Г); (<р; /?)) = (А; К) ( 2 )

т.е. как система базовых множеств А и отношений К (внутренних (р и внешних ф.

Если рассматривать ( 2) как метаэталон качества структурного описания динамической системы, то к задаче разработки соответствующих СМКО можно подойти как к проблеме конкретизации элементов метафункционала (2 ). Подобный подход связан с применением интеллектуальных технологий, определяющим фактором которых выступает человеческий интеллект (фактор проявления интеллекта и интуиции, т.е. интеллектуально-интуитивный фактор).

Третья глава непосредственно посвящена построению и исследованию моделей сопровождения СМКО. Рефлексно-нерефлексный (смешанный) характер процессов в системе обучения, связанный с требованиями креативно-когнитивного формирования мышления и тенденции творческого развития и проявления интеллекта личности, определяет гипотетический (не физический, а концептуально-эвристический) подход к построению моделей идентификации субъекта обучения. При этом речь не может идти о статистической достоверности результата, характерного для систем стохастического поведения. Нечеткость и возможностный характер динамики познавательной деятельности характеризуется определяющей степенью неопределенности и энтропийности меры качества.

Рис. 2 иллюстрирует ряд разработанных моделей для системы порождения данных и новых знаний. Приведенные модели для сопровождения учебного процесса построены посредством интерпретации общего подхода к формированию моделей системного анализа, исследования операций и теории принятия решений.

На рисунке приняты следующие обозначения: {(У,)} - множество критериальных кортежей оценок зачетной книжки; / е (1,2,... п); У,е {3,4, 5}; мощность множества |{3,4, 5}|=3; {V,} - множество средних значений У, « {у\,..., уп}; {(X,)} - множество кортежей данных, определяющих коэффициент доверия (АГД например, посещение занятий; 16(1,2,.../»); Х,6 {0; 1}; |{0;1}| = 2; {X,} - множество средних значений X,;

СИСТЕМА ЭМПИРИЧЕСКИХ ДАННЫ)Г~|

(Х,;¥,) V, (Х,;Х)

У6

Ж

Модель модуля W класса возможностных мер

Модель модуля статистических решений '-1,-42 ч,

'4 3 2 5

УЗ; У4

Прогностическая форма модели М1

УЗ: У5

5Р

УЗ

Эвристическая модель модуля УУ

XV, =0£5% +1,25Х,-

Рис. 2. Модели модулей формирования базовой оценки обучаемого.

М[Ъ/Ь] - условное обозначение модели объекта наблюдений (Ъ), разработанной субъектом (Ь) (наблюдателем); опр

{М[Ъ/Ь]} <=>{М1;М2;МЗ;...}-множество моделей; {Г0в(В; М; /о)} - множество порождаемых систем с поведением (в обозначениях по Клиру): Б - системы данных; М - модели маски для системы порождения; - функция поведения при масочной технологии обработки данных;

- оценка по результатам обработки данных выборки п\ ^К - рейтинг по критерию К е {Ку;Ях; Ят }.

Следует отметить дополнительный эффект от внедрения данных моделей в учебный процесс. Он обусловлен вовлечением обучаемого в процесс контроля, который совмещен с процессом изучения моделей в конкретном приложении в форме индивидуальной «потребности».

Данные мониторинга обучения оцениваются критериально и мерами качества (числовыми и семантическими) относительно системы предложенного ряда моделей.

М1 - модель аддитивно-мультипликативного типа:

Щ = 0,25 7, +1,25 + 0,5 , (3)

М2 - прогностическая форма модели М1 (функция гиперболического типа), результат решения = У„:

°"Р _ \25X-2 ' 0,75 - 0,5 Хг

МЗ - модель модуля стохастической интерпретации данных мониторинга:

тл

М4 - модель модуля интегральной оценки доверия по классу возможностных мер нечеткости:

т

" = -£/>(/) 1оЕР(0;

1=1

К^Я РГЧ (6) Р0) = з или Р0) = ——-;

Ц{У/}| 2ВД1

г=1 /=1

На рис. 3 - рис. 5 приведены фрагменты геометрических представлений моделей, подробный сравнительный анализ и описание которых дан в диссертации.

"И^; У И', =0,25 У,+1,25Х1 + 0,5У1Х1

0,20 0,31 0,48 0,67

Рис. 3. Графоаналитическая форма комплекса моделей М1

и М2.

Рис. 4. Модель модуля МЗ.

В итоге предложена многоаспектная система моделей и (в том числе и с аддитивными свойствами), для построения порождающих систем мониторинга качества обучения на основе РТЭИ.

В четвертой главе рассматривается программная реализация системы предложенных моделей мониторинга качества обучения в вузе на базе РТЭИ. Программное обеспечение СМКО реализовано в архитектуре матричных преобразований и масочных технологий в виде продукта и проекта средствами электронных таблиц.

(0; 0; 1)

а) ОДР по PW б)Н=/(ОДР)

Рис. 5. Графическое представление модели МЗ.

Заносимые студентами в таблицы-шаблоны Microsoft Excel данные дают возможность в конце жизненного цикла обучения рассчитать данные для заполнения Информационно-аттестационной карты дипломника (ЙКД, приведена на рис. 6).

В общем виде процесс человеко-машинного взаимодействия с целью мониторинга и принятия решений по управлению обучением представлен на рис. 7. На основе рейтинговых оценок коэффициента доверия R(3c), средней оценки по ретроспективным данным R(v) и оценки модели Ml Щет) вместе с соответствующим кортежем абсолютных значений (3c;J) экспертным решением выбирается воздействие d из множества допустимых воздействий D. Методам экспертных технологий принятия управленческих решений посвящен ряд работ Б.Г. Литвака.

Фрагменты работы СМКО приведены в табл. I и на рис. 8 -рис. 9.

ННФОРМАШОННО-АТТУГТАТШОННАЯ КАРТА СТУДЕНТА

Дипломник: Корушенкова Антонина Владимировна Группа (0)'.ИЕ-1~98

Тема проекта: А УК. Графоаналитические минимаксные модели решателей

задач исследования операиий._

Консультант:иро*$. Закорюкин В Б Руководитель: проф. Панченко В М

Количество:отл. | 25 | хор. | 26 | удовл.| 10 | Энтропия 0,531 1. Средний балл, уг: 4,25 2. Рейтинг, Яг: 7

Динамика среднего балла у и предыстория рейтинга Д.

ЙИ V ЛИ 1ШШШ щшщ л

У, 4,3 3,8 4,0 3,6 \ 3,3 3,3 3,8 4,3 4,5 4,3 4,5 5

д, 3 5 5 7 1 6 6 Л 5 2 5 3

Средняя опенка по циклам дисциплин ГОС: ГСЭ | 3,8 | ; ЕН| 3,45\ ; ОПД| 4,<\ ; СД| 4,5\ ; ФТд[

Даты зашиты дипломного проекта: по плану 18 июня 2003г:

предварительная 10 июня 20031.; оценка отп

Рис. 6. Информационно-аттестационная карта студента.

Рис. 7. Общий вид мониторинга процесса обучения с использованием СМКО.

Табл. 1. Система ретроспективных исходных данных единичного эксперимента (фрагмент).

Группа ИТ-1-02 Семестр 1 Семестр 2

№ Фамилия 1 2 3 4 5 6 7 8 9 10 11 12 13 14

1 Андриади Ю 3 4 5 5 4 4 4 5 5 5 5 5 5

2 Бирюков И. 3 3 4 5 5 3 4 5 3 4 5 5 4

3 Быковчетсо А 3 3 4 3 4 3 4 4 3 4 5 5 3

4 Вайзян А 3 3 3 4 3 3 3 4 3 3 5 4 3

5 Волченков К 3 3 3 4 3 3 3 4 3 3 4 4 3

6 Гасанов Д. 3 3 3 3 3 3 3 5 4 4 5 5 5

7 Гламадина А 4 3 4 4 5 5 5 4 5 4 4 5 5 5

8 Кулешов А 3 3 3 3 3 3 3 3 3 3 3 3 3

9 Нискороднов А 3 3 5 3 3 3 5 5 4 4 4 5 3

10 Подольский И 3 5 5 3 5 5 3 5 4 5 4 5 4

11 Роянов С 3 3 4 3 3 3 3 5 4 3 5 4 3

12 Стрельчик Б 3 4 3 5 5 3 3 5 4 4 5 5 4

13 Таллин] И 3 3 5 3 3 3 4 5 3 4 3 5 4

14 Чабанов Д. 4 3 4 4 3 3 4 3 5 3 4 4 4

Системное время

11 16 21 26

17 22 27

-Гламадина А.

- - - Гасанов Д. --Подольский И.

Рейтинг

Рис. 8. Динамика абсолютного рейтинга.

Системно* время

21 26

| \ » -Гламадина А

I - - ГасановД.

9 - - '

Рейтинг — ■ Подольский И

Рис. 9. Динамика относительного рейтинга по группе.

Основные результаты и выводы

В диссертации предложены, апробированы и внедрены: методика, математическое и программное обеспечение системы мониторинга качества обучения на основе ретроспективного экспертного комплекса. Система предназначена для решения задач информационного сопровождения, прогнозирования и поддержки процесса принятия управленческих решений, направленных на

оперативное и долгосрочное управление обучением в вузе. Получены следующие научные и практические результаты.

1. Проведен анализ существующего многоаспектного описания качества, выделены положения и принципы, необходимые для формирования системы мониторинга качества обучения на основе моделей обработки количественных данных ретроспективно-экспертной информации вуза.

2. Предложено и реализовано рассмотрение свойств и качественных особенностей ретроспективной, текущей и экспертной информации, как комплексной системы наблюдений по системной методологии рационально-эмпирических комплексов и теории циклов.

3. Разработана концептуальная модель аддитивно-мультипликативного типа критерия качества и ее описание в виде системообразующего рационально-эмпирического комплекса. Проведен функциональной анализ модели и предложен механизм оценки качества, основанный на скрытых свойствах (качествах) модели.

4. Разработана альтернативная система оценки качества на базе модели критерия качества в форме поверхности линейчатого гиперболического параболоида. Проведен анализ характера изменений области допустимых решений от изменения параметров модели.

5. Разработана система формирования коэффициента доверия по ретроспективным, текущим и экспертным данным обучения. Предложена качественно новая мера оценки коэффициента доверия в виде энтропийной меры нечеткости, определяемой по формуле Шеннона.

6. Разработанные модели и методы формирования критериев и оценок качества обучения реализованы в виде системы мониторинга качества обучения. Система предназначена для информационной поддержки пользователей и организаторов систем обучения. Матричная форма описания данных и масочные технологии обработки данных обусловили простоту реализации и удобство использования системы.

7. Результаты диссертационной работы внедрены в учебный процесс в Московском государственном институте радиотехники, электроники и автоматики (техническом университете), Московском государственном социальном университете, Московском государственном индустриальном университете.

Основные публикации по теме диссертации

1. Панченко В.М., Закорюкин В.Б., Шорохов М.И. Конструктивы к^алиметрии деятельности обучаемого на базе системологии // Межвуз. сб. научн. тр. "Информационные технологии в образовании" -М., 2001, с. 167

2. Панченко В.М., Закорюкин В.Б., Шорохов М.И., Громов В.Е. Информационное обеспечение систем открытого профессионального образования Молодые ученые - 2002 // Материалы межд. науч.-тех. шк.-конф. "Молодые ученые - науке, технологиям и профессиональному образованию - М.:МИРЭА, 2002

- с. 262-264

3. Шорохов М.И., Панченко В.М., Закорюкин В.Б. Контролирующий комплекс на базе рационально-эмпирических моделей знаний и CALS-гехнологий // Современные технологии в управлении и образовании - новые возможности и перспективы использования в рамках реализации программы "Электронная Россия". Сб. науч. тр. - М.:ФГУП НИИ "ВОСХОД", МИРЭА, 2002 г., стр. 62-63.

4. Чикваидзе Н.И., Шорохов М.И. Предметная, формальная и системологическая топология множеств для отождествления объектов // Современные технологии в управлении и образовании - новые возможности и перспективы использования в рамках реализации программы "Электронная Россия". Сб. науч. тр. - М.:ФГУП НИИ "ВОСХОД", МИРЭА, 2002 г., стр. 110-113.

5. Шорохов М.И., Панченко В.М. Системный подход к конструированию моделей автоматизации процесса тестирования знаний // Системные проблемы качества, математического моделирования, информационных, электронных и лазерных технологий. Материалы межд. конф. и Рос. науч. школы. Часть 5.

- М.: Радио и связь, 2002, стр. 45-51.

6. Шорохов М.И., Панченко В.М. Методы и модели идентификации обучаемых на основе ретроспективной, текущей и экспертной информации // Системные проблемы качества, математического моделирования, информационных и электронных технологий. Материалы межд. конф. и Рос. Науч. шк. Часть 4.

- М.: Радио и связь, 2003, стр. 22-23.

7. Шорохов М.И. Системный подход к исследованию применения ретроспективной, текущей и экспертной информации для

идентификации обучаемых // Сб. науч. тр. шк.-сем. "Информационные ресурсы менеджмента" Межд. НТК "Информационные технологии в управлении". - М.:"Слово", 2003. - стр. 51

8. Шорохов М.И., Панченко В.М. Система контроля рейтинговых оценок и кластеризации для открытых обучающих систем // Учебно-методические проблемы наукоемких технологий образования. Межвуз. сб. науч.-метод. тр. №9 /Под общей редакцией К.И.Курбакова. - М.: КОС*ИНФ, Рос.экон.акад., 2003. -стр. 71-77

9. Шорохов М.И., Панченко В.М. Критерии, модели и оценки эффективности решения задач жизненного цикла обучения в ВУЗе // 52 НТК МИРЭА. Сб. тр. 4.1. / Моск. гос. ин-т радиотехники, электроники и автоматики (технический университет). - М., 2003. - с.74-78

Ю.Панченко В.М., Дубовицкий С.С., Шорохов М.И. Разработка эмпирических систем объекта наблюдений по учебным программам единичного эксперимента // 53 НТК МИРЭА. Сб. тр. 4.4. / МИРЭА - М., 2004. - с.78-81.

П.Тихомирова С.Н., Сербинов К.А., Шорохов М.И. Электронная зачетная книжка при идентификации в эмпирических системах поддержки учебного процесса // 53 НТК МИРЭА. Сб. тр. 4.4. / МИРЭА - М., 2004. - с.82-85.

12.Шорохов М.И., Панченко В.М. Модель базовой оценки обучаемого на уровне формирования общей задачи оптимизации // 53 НТК МИРЭА. Сб. 1р. 4.4. / МИРЭА - М„ 2004. - с.85-89.

13.Шорохов М.И., Кузнецов Д.Е., Панченко В.М. О возможности применения гиперболического закона распределения к базовым оценкам обучаемых // 53 НТК МИРЭА. Сб. тр. 4.4. / МИРЭА - М„ 2004. - с.90-93.

14.Панченко В.М., Шорохов М.И. Система мониторинга качества обучения в техническом вузе на основе ретроспективной, текущей и экспертной информации // Современные информационные технологии в управлении и образовании. Сб. науч. тр. -М: ФГУП НИИ "ВОСХОД", МИРЭА, 2005 г. - с.185-190.

-54

Соискатель

М.И. Шорохов

На правах рукописи

Шорохов Максим Иосифович

Мониторинг качества обучения в техническом вузе на основе ретроспективного экспертного комплекса

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Компьютерная верстка М.В Королева

Подписано в печагь 24 02.05 Бумага офисная Формат 60х84'16 Гарнитура Тайме Уел печ л 1. Тираж 120 экз Заказ 599

Издательство:

Исследовательский центр проблем качества подготовки специалистов. 105318, Москва, Ишайловскос шоссе, 4

гел (095) 369-42-83, факс (095)369-58-13

Отпечатало на ризографе фирмы «ЯКО-КАОАКи СОКР»

PH Б Русский фон

2006-4 6190

ОГЛАВЛЕНИЕ.

ПЕРЕЧЕНЬ СОКРАЩЕНИЙ.

ВВЕДЕНИЕ.

1 АНАЛИЗ ПОДХОДОВ К КАЧЕСТВУ ОБУЧЕНИЯ В ТЕХНИЧЕСКОМ ВУЗЕ.

1.1 Объект мониторинга и его роль в разработке управленческих решений.

1.2 К определению методологии и объекта мониторинга качества обучения.

1.3 Мониторинг качественных особенностей современных обучающих систем.

1.4 Краткие выводы по главе 1.

2 МЕТОДИКА ПОСТРОЕНИЯ СИСТЕМЫ МОНИТОРИНГА КАЧЕСТВА ОБУЧЕНИЯ НА ОСНОВЕ РЕТРОСПЕКТИВНОГО ЭКСПЕРТНОГО КОМПЛЕКСА.

2.1 Структуралистский подход к построению моделей объектов мониторинга качества обучения.

2.1.1 Системология построения модели оценки качества заданной предметной области знаний на основе методики РЭКС.

2.1.2 Заданный подход: категориально-системный классификатор задач.

2.1.3 Документальные источники информации качества обучения, как исходные системы объектов мониторинга.

2.2 Циклология документальных объектов мониторинга качества обучения.

2.2.1 Предпосылки исследования.

2.2.2 Документальные объекты мониторинга качества обучения в жизненном цикле обучения в вузе.

2.3 Мониторинг качества обучения тестированием.

2.3.1 Система «ТЕСТ» как базовая подсистема мониторинга качества обучения.

2.3.2 Тестирование в цикле мониторинга качества обучения.

2.4 Краткие выводы по главе 2.

3 РАЗРАБОТКА КРИТЕРИЕВ И МОДЕЛЕЙ

СОПРОВОЖДЕНИЯ СМКО.

3.1 Мониторинг динамики средних значений и рейтинга.

3.1.1 Адекватная статистика и критерий качества выборки множества оценок РТЭИ.

3.1.2 Формирование общего критерия качества ранговой оценки ретроспективной выборки данных.

3.2 Аддитивно-мультипликативный критерий качества, базовая модель оценки качества.

3.2.1 Формализованное описание критерия М1.

3.2.2 Функциональный и семантический анализ критерия эффективности М1.

3.2.3 Прогностические свойства критерия М1.

3.3 Модели критериев формирования коэффициентов доверия, ситуационный анализ и синтез.

3.3.1 Коэффициент доверия по посещаемости.

3.3.2 Коэффициент доверия по выполнению заданий.

3.3.3 Коэффициент доверия по самооценке обучаемого.

3.4 Учет меры нечеткости интегральных данных в зависимости от циклов мониторинга.

3.5 Альтернативный подход к формированию модели.

3.5.1 Принцип альтернативного подхода к исследованию критерия качества.

3.5.2 Конкретизация модели минимакса в системе матрицы оценок обучаемого.

3.5.3 Формирование критерия и оценки качества; альтернативная модель М4.

3.6 Краткие выводы по главе 3.

4 ПРАКТИЧЕСКОЕ ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ

ИССЛЕДОВАНИЙ.

4.1 Программная реализация компонент СМКО.

4.2 Особенности организации и внедрения СМКО.

Л* 4.3 Отработка системы и результаты экспериментов.

4.4 Краткие выводы по главе 4.

На парламентских слушаниях, недавно прошедших в Совете Федерации, министр образования и науки РФ отметил: "Меняется экономика мира и образование должно стать непрерывным. Каждые 5-7 лет надо доучиваться или переучиваться. Необходимо менять и технологию обучения". [43, 47] Среди главных проблем министр назвал механизм управления, содержание и технологии образования.

В связи с развитием дистанционного образования и компьютерных форм обучения на первый план выходят вопросы, связанные с решением обеспечения качества образования, которые обсуждались и нашли отражение в материалах XIV Всероссийского совещания по "Проблемам качества образования", проведенного в 2004 г. под патронажем "Исследовательского центра проблем качества подготовки специалистов" Московского государственного института стали и сплавов (технологического университета). [97, 98, 106]

Актуальность работы обуславливается необходимостью решения новых задач, возникающих в техническом вузе при реализации мониторинга качества обучения, связанного с накоплением, обработкой и анализом ретроспективной, текущей и экспертной информации (РТЭИ). [87]

Проблемы мониторинга качества обучения в определенной мере можно отнести к классу задач упорядочения согласования и координации, реализуемых в условиях оперативного и ситуационного управления и при существенном учете влияния человеческого фактора. В подобных задачах затруднено непосредственное применение физического подхода к анализу причинно-следственных связей из-за большой степени сложности этих связей и неопределенности их проявлении, когда определяющей становятся экспертные технологии в разработке управленческих решений. [57, 59, 58, 112, 74]

Новое звучание поставленные вопросы получили со вступлением России в Болонский процесс, заостряющий внимание и на контроле качества и социальных функциях образования. [101, 8, 29, 30, 60, 119, 130]

В работе содержатся теоретические положения, характерные для структуралистского направления развития системологии и системогенети-ки, которые были положены в основу общей методологии и реализации концептуально-программного подхода при разработке системы моделей ретроспективного экспертного комплекса. [45, 116, 25, 77] Система мониторинга качества обучения (СМКО) предназначена для интеллектуальной поддержки, стимулирования и сопровождения учебного процесса на протяжении всего жизненного цикла обучения в вузе: от состояния «абитуриент» до состояния «дипломник - выпускник».

Особенности предлагаемого подхода состоят в следующем:

• реализованы модели критериального описания качества обучения в соответствии с традиционно принятой в обучении системой оценок;

• представлена содержательно-качественная дуальность свойств любой модели, связанная с процессами ее изучения и применения, т.е. модель изучается как абстракция определенной предметной области знаний (ПОЗ) и применяется как средство интерпретации при решении задач в СМКО;

• при разработке моделей используется интеллектуально-интуитивный подход, принцип «скользящего планирования» и сис-темология «решателей», в форме структуры рациональных и эмпирических систем (РЭС) в интегрированной интерпретации по А.И. Кухтенко - Дж. Клиру;

• сформированы имитационно-оценочные модели прогнозирования результата предметного цикла средствами теории принятия решений (на основе понятий субъективной вероятности и полезности)',

• СМКО реализуется на обобщении аддитивно-мультипликативной модели критерия качества (как результата и как процесса) в зависимости от механизма определения степени доверия и в виде программно-математического комплекса для персонального компьютера.

Целью диссертационной работы является разработка методики построения мониторинга качества обучения на основе рационально-эмпирических комплексов и идеологии жизненных циклов системогенети-ки; разработка методов формализации и создания на их основе порождающих моделей критериев качества и механизмов оценки качества обучения; разработка эмпирических систем и моделей данных (исходной системы, системы данных и систем порождения, по терминологии Дж.Клира) для трансформации РТЭИ в системе мониторинга качества обучения и интеграции СМКО в информационную среду вуза для формирования и поддержки процесса обучения.

Достижению поставленной цели подчинено решение следующих задач:

1. Анализ состояния проблемы качества образования и системы обучения; выделение положений и принципов, обеспечивающих достижение цели исследования.

2. Рассмотрение свойств и качественных особенностей объекта мониторинга качества обучения с позиций методологии системообразующих комплексов системологии и теории циклов системогенети-ки.

3. Разработка и исследование модели критерия оценки качества учебного процесса аддитивно-мультипликативного типа по данным РТЭИ.

4. Разработка средств и механизмов идентификации объектов мониторинга для системы сопровождения и интеллектуальной поддержки процесса мониторинга качества обучения.

5. Решение задачи построения прогнозов на основе критериальных моделей и оценки качества деятельности обучаемых.

6. Предложение новой меры оценки качества по нечеткости ретроспективных данных, определяемой на основе энтропийного усреднения меры возможностей.

7. Оценка эффективности внедрения СМКО и связей с перспективными проблемными исследованиями и разработками.

Для решения и исследования поставленных задач были использованы методы квалиметрии, исследования операций и теории принятия решений; методология системного анализа и структуралистского направления системологии; методы теории циклов и методология системогенетики; методология креативной педагогики и когнитивной психологии; методы разработки компьютерных обучающих систем; общенаучные методы отождествления, сравнительного анализа и аналогий; методы экспертных технологий принятия управленческих решений.

На защиту выносятся:

1. Концептуально-эвристический подход и методология формализации критериальной системы моделей и оценки качества обучения.

2. Гипотетическая модель критерия качества аддитивно-мультипликативного типа для системы порождения базовой оценки качества обучения в вузе.

3. Результаты анализа имитационно-оценочных прогностических свойств модели критерия качества и способ графоаналитического представления задачи последовательного сопровождения решения в зависимости от изменения оценки коэффициента доверия.

4. Модель трёхмерного пространства представления коэффициента доверия и её проекции как средства формирования коэффициента доверия по нечеткости энтропийной меры интегральной оценки качества ретроспективных данных ЖЦО.

5. Критериальная модель для изучения и применения в качестве метода формирования базовой оценки в пространстве проекций поверхности линейчатого гиперболического параболоида.

6. Система мониторинга качества обучения (в форме программно-математического и документального обеспечения), реализующая компьютеризированный процесс интеллектуального сопровождения и обработки данных РТЭИ.

Научная новизна диссертации заключается в предложении и реализации системологических и системогенетических принципов и подходов к формализации системы и процесса мониторинга качества обучения, позволивших реализовать систему конкретных моделей оценки качества обучения по данным экспертных оценок, документально доступных в виде РТЭИ в любом вузе. Базовый критерий оценки качества имеет универсальный характер, обладает прогностическими свойствами и трансформирован в формальные постановки ряда задач многоаспектного мониторинга РТЭИ. Разработана компьютерная система интеллектуальной поддержки и сопровождения мониторинга качества обучения в процессе всего жизненного цикла обучения в вузе, реализующая технологию получения, обработки и анализа экспертной информации для формирования управленческих решений.

Практическая значимость состоит в том, что применение системы мониторинга качества обучения в условиях, когда персональная техника доступна для каждого обучаемого, реализует новые качественные свойства обучения в системе отношений «преподаватель-обучаемый», позволяет ориентировать систему не только на деканаты и кафедры, но и на каждого преподавателя и обучаемого непосредственно и учебную группу (поток) обучаемых в целом.

Внедрение результатов. Разработанная система мониторинга качества обучения (СМКО) реализована в виде комплекса организационного и программно-математического обеспечения.

Внедрение комплекса осуществлено по месту разработки на кафедре «Интеллектуальные технологии и системы» Московского государственного института радиотехники, электроники и автоматики (технического университета) (в дальнейшем МИРЭА) и на кафедре «Информационные технологии и системы в экономике и управлении» Московского государственного индустриального университета.

Внедрение результатов диссертационного исследования в МИРЭА и в других образовательных учреждениях подтверждено соответствующими актами.

Апробация работы. Результаты диссертационной работы докладывались и обсуждались на следующих конференциях и форумах:

• Международная научно-техническая конференция и Российская научная школа «Системные проблемы качества, математического моделирования и информационных технологий», г. Сочи. 1999, 2000, 2002, 2003,2004 гг.

• Научно-техническая конференция МИРЭА:

50-я юбилейная НТК, 2001 г.; 52-я НТК, 2003 г.; 53-я НТК, 2004 г.;

• Научно-практическая конференция «Современные информационные технологии в управлении и образовании: новые возможности и перспективы использования», в рамках реализации программы «Электронная Россия», г. Москва, 2001 г.

Научно-техническая конференция «Мульти и телемедийные средства в образовании», г. Москва, МГСУ, апрель 2001 г. Пятая научно-практическая конференция «Современные информационные технологии в управлении и образовании», г. Москва, НИИ «ВОСХОД», 2005 г. [86]

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

В диссертации предложены, апробированы и внедрены: методика, математическое и программное обеспечение системы мониторинга качества обучения на основе ретроспективного экспертного комплекса. Система предназначена для решения задач информационного сопровождения, прогнозирования и поддержки процесса принятия управленческих решений, направленных на оперативное и долгосрочное управление обучением в вузе. Получены следующие научные и практические результаты.

1. Проведен анализ существующего многоаспектного описания качества, выделены положения и принципы, необходимые для формирования системы мониторинга качества обучения на основе моделей обработки количественных данных ретроспективно-экспертной информации.

2. Предложено и реализовано рассмотрение свойств и качественных особенностей ретроспективной, текущей и экспертной информации, как комплексной системы наблюдений по системной методологии рационально-эмпирических комплексов и теории циклов.

3. Разработана концептуальная модель аддитивно-мультипликативного типа критерия качества и ее описание в виде системообразующего рационально-эмпирического комплекса. Проведен функциональной анализ модели и предложен механизм оценки качества, основанный на скрытых свойствах (качествах) модели.

4. Разработана альтернативная система оценки качества на базе модели критерия качества в форме поверхности линейчатого гиперболического параболоида. Проведен анализ характера изменений области допустимых решений от изменения параметров модели.

5. Разработана система формирования коэффициента доверия по ретроспективным, текущим и экспертным данным обучения. Предложена качественно новая мера оценки коэффициента доверия в виде энтропийной меры нечеткости, определяемой по формуле Шеннона.

6. Разработанные модели и методы формирования критериев и оценок качества обучения реализованы в виде системы мониторинга качества обучения. Система предназначена для информационной поддержки пользователей и организаторов систем обучения. Матричная форма описания данных и масочные технологии обработки данных обусловили простоту реализации и удобство использования системы.

7. Результаты диссертационной работы внедрены в учебный процесс в Московском государственном институте радиотехники, электроники и автоматики (техническом университете), Московском государственном индустриальном университете.

1. Абовский Н.П. Творчество: системный поход, законы развития принятия решений. М.: СИНТЕГ, 1998. 296 с.

2. Аванесов B.C. Теоретические основы разработки педагогических тесто / Дис. на соиск. степени док. пед. наук. Л., 1995. - 350с.

3. Аванесов B.C. Научные проблемы тестового контроля знаний. М.: Исследовательский центр, 1994. - 135с.

4. Аванесов B.C. Теоретические основы разработки заданий в тестовой форме. — М.: Исследовательский центр, 1995. 167 с.

5. Аванесов B.C. Композиция тестовых заданий. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов педвузов. М.: Ассоциация инженеров-педагогов г. Москвы. 1996, 191 с.

6. Акофф Р. Искусство решения проблем: Пер. с англ. М.: Мир, 1982.-224с.

7. Альтшуллер Г.С. Как научиться изобретать. Тамбов: Книжное изд-во, 1961, 128с.

8. Байденко В.И. Болонский процесс и высшая школа России: время выбора // Высшее образование сегодня. 2003. - № 1.-е. 2-7.

9. Байрамов Ж.А. Тестовый контроль знаний как средство организации учебной деятельности студентов. Дис. канд. пед. наук. 13.00.01. Махачкала, 1999.

10. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. М.: Информационно-издательский дом «Филинъ», 2003. - 616 с.

11. Беллман Р. Динамическое программирование и современная теория управления. М.: Наука. 1969 - 120 с.

12. Беллман Р. Динамическое программирование. М.: Изд-во ИЛ. 1960.

13. Берталанфи Л. фон. История и статус общей теории систем/Системные исследования ¡Ежегодник, 1972. М.:Наука, 1973. - С 20-37.

14. Берталанфи Л. фон. Общая теория систем критический об-зор//Исследования по общей теории систем. М.: Прогресс, 1969. -с.23-82.

15. Беспалько В.П. Основы теории педагогических систем. (Проблемы и методы психолого-педагогического обеспечения технических обучающих систем). Воронеж: Изд. Воронежского университета, 1977,-304с.

16. Беспалько В.П. образование и обучение с участием компьютеров (педагогика третьего тысячелетия). М.: Изд-во МПСИ; Воронеж: Изд-во НПО «МОДЭК», 2002. - 352 с.

17. Блауберг И.В., Юдин Э.Г. Становление и сущность системного подхода. М.: Наука, 1973.- 112с.

18. Бородастов Г.В., Альтшуллер Г.С. Теория и практика решения изобретательских задач. М.: ЦНИИатоминформ, 1980. с.44.

19. Боулдин К. Общая теория систем скелет науки//Исследования по общей теории систем. - М.: Прогресс, 1969. - с.106-124.

20. Бусленко Н.П. и др. Лекции по теории сложных систем -М.: Советское радио, 1973. -440с.

21. Вентцель Е.С. Исследование операций: задачи, принципы, методология. М.: Наука, Гл. Ред. ФМЛ, 1980. -208с.

22. Вентцель Е.С. Элементы теории игр. -М.: Физматгиз, 1961.

23. Волкова В.Н. Искусство формализации. СПб.: Изд-во СПбГТУ, 1999. - 89 с.

24. Волкова В.Н., Денисов A.A. Основы теории систем и системного анализа: Учебник. СПб.: Изд. СПбГГУ, 1997. -510с.

25. Вопросы системогенетики. Теоретико-методологический альманах / Под. ред. Субетто А.И. Кострома: Изд-во КГУ им. Н.А.Некрасова, 2003.-271 с.

26. Гайнетдинов M.JL, Иванов Ю.С. Элементы теории систем автоматизированного обучения: Учеб. Пособие. Казань: Дента, 1995. -103 е.: ил.

27. Гиг Дж. Ван. Прикладная теория систем М.: Мир, 1981. -730с.

28. Гольдентрихт С.С. Коршунов A.M. и др. Диалектика и теория творчества. — М.: Изд-во Моск. Ун-та, 1987.

29. Гребнев JI. Высшее образование в Болонском измерении: российские особенности и ограничения // Высшее образование в России. 2004. - № 1.-С. 36-42.

30. Гребнев JI. Россия в Болонском процессе: середина большого пути // Высшее образование в России. 2004. - № 4. - С. 3-17.

31. Дзегеленок И.И. Информационные технологии в управлении качеством образования: Учебное пособие / Под ред. Д.т.н., проф. H.A. Селезневой. М.: Исследовательский центр проблем качества подготовки специалистов, 2004. - 68с.

32. Диксон Дж. Проектирование систем: изобретательство, анализ и принятие решений. М.: Мир, 1969. -440с.

33. Дюбин Г.Н., Суздаль В.Г. Введение в прикладную теорию игр. М.: Наука, 1981.

34. Егоров И.П. О математических структурах. М.: Знание, 1976, 64с.

35. Заличев H.H. Энтропия информации и сущность жизни. М.: Радиоэлектроника, 1995. 192 с.

36. Зиновкина М.М. Инженерное мышление (теория и инновационные педогогические технологии): Монография. М.: МГИУ, 1996, 284с.

37. Зиновкина М.М. Формирование творческого технического мышления и инженерных умений студентов технических вузов. Дисс. д-ра пед. Наук. М.: Академия педагогических наук, 1989. 326с.

38. Зиновкина М.М., Гареев Р.Т., Юрасов А.Б. Развитие воображения. / ТРИЗ, 1996, №2/3. стр. 52-55.

39. Зиновкина М.М., Подкажилин A.B. Основы инженерного творчества и компьютерная интеллектуальная поддержка мышления. Учебн. Пособие. ч.4. Азбука ТРИЗ. Практический курс. М.: МГИУ, 1997. -174с.

40. Ильин C.B. Инструментальные средства поддержки решения системных задач. / Дис. на соиск. уч. степ, к.т.н. М.: МИРЭА, 1997. -134 с.

41. Исследование операций. Том 1. Методические основы. Математические методы. -712с., Том2. Модели и применения. -677с. Пер с англ. /Под ред. Дж. Моудера,с. Эльмаграби М.: Мир, 1981 -1389с.

42. Казанович В.Г. Образовательная система как объект оценивания (квалиметрический подход). /Диссертация на соискание уч. ст. к. пед. н. Москва, 1995.

43. Каковы перспективы нашей системы образования? // Вузовские вести: Росс, инф.-аналит. газета ректоров, проректоров, преподавателей, аспирантов, студентов, абитуриентов 2004 г.-№ 24 (214) 16-31 декабря—с. 1-2.

44. Квалиметрия человека и образования: методология и практика (в 4-х ч.) /Под ред. д.э.н. Субетто А.И и д.т.н. Селезнёвой H.A. М.: Исследовательский центр проблем качества подготовки специалистов, 1994.

45. Клир Дж. Системология. Автоматизация решения системных задач. -М.: Радио и Связь, 1990. 540с.

46. Коменский, Я.А. и др. Педагогическое наследие М.: Педагогика, 1989.-411 с.

47. Концепция создания и развития единой системы дистанционного образования в России. / Министерство образования РФ. Гос № 431384983.

48. Коршунов Ю.М. Математические основы кибернетики. М.: Энергия, 1980.-424с.

49. Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь, 1982.-432 с.

50. Креативная педагогика: методология, теория практика / Под. ред. Круглова Ю.Г. М.:МГОПУ им. М.А.Шолохова, изд. центр «Альфа», 2002. 240 с.

51. Кудрявцев Н.М. Исследование операций в задачах, алгоритмах и программах. М-: Радио и Связь, 1985. -184с.

52. Кузин Л .Т. Основы кибернетики : В 2-х т.; т. 2 . Основы кибернетических моделей. Учебное пособие для вузов. М.: Энергия, 1979,1991 .-584с.

53. Кузьмина Н.В. Основы вузовской педагогики. Л.: ЛГУ, 1973, -256 с.

54. Кухтенко А.И. Об аксиоматическом построении математической теории систем //Кибернетика и вычислительная техника. Киев: Наукова думка. 1976. - с. 3-25.

55. Кухтенко А.И. Систем общая теория / Энциклопедия кибернетики. Том 2. Киев: Главная редакция УСЭ, 1974. - 33 5-339с.

56. Лакофф Д. Когнитивная семантика. В кн.: Язык и интеллект. Сб.: Пер. с англ. и нем. /Сост. и вступ. ст. В.В. Петрова.- М.: Прогресс, 1995.-416с.

57. Литвак Б.Г. Разработка управленческого решения: Учебник. 5-е изд., испр. и доп. М.: Дело, 2004. - 416с.

58. Литвак Б.Г. Экспертные оценки и принятие решений. — М.: Патен, 1996-271 с.

59. Литвак Б.Г. Экспертные технологии в управлении: Учеб. Пособие. 2-е изд., испр. и доп. М.: Дело, 2004. 398с.

60. Лукичев Г.А. Проблемы присоединения к Болонской декларации // Вестник РОСРО. Вып. 8. - с. 56-62.

61. Мартынова Т.Л. Система поддержки процесса формирования интеллектуальных умений в области практической информатики: Диссертация канд. техн. наук. Москва, 1999г.

62. Мельников Г.П. Системология и языковые аспекты кибернетики — М.: Сов. радио, 1978. 368 с.

63. Месарович М., Мако Д., Такахара Я. Теория иерархических многоуровневых систем. М.: Мир, 1973. - 344с.

64. Месарович М., Такахара Я. Общая теория систем: математические основы. М: Мир, 1978. -312с.

65. Могилевский В.Д. Основы теории систем. Часть 1: Проблемы формализации динамических систем: Уч. Пособие.- М.: РИО МГИ-РЭА(ТУ),1997. -76с.

66. Моисеев Н.М. Математика ставит эксперимент — М.: Наука, гл. ред. ФМЛ, 1979 г.-223 с.

67. Моисеев H.H. Математические задачи системного анализа. М.: Наука, 1981.-488с.

68. Мюллер И. Эвристические методы в инженерных разработках: Пер. с нем. М.: Радио и Связь, 1984. -142с.

69. Научные проблемы тестового контроля знаний. /Тезисы докладов школы-семинара. — М.: Исследовательский центр, 1994. 26 с.

70. Нейман Дж. фон, Моргенштерн О. Теория игр и экономическое поведение / Пер. с англ. М: Наука, 1970.

71. Нечаев B.B. Введение в теорию метамоделирования систем. М.: Информациология, 1997. - 64с.

72. Нечаев В.В. Концептуальное метамоделирование структур. -М.: Информация, 1997. -52с.

73. Нечаев В.В. Творческая задача и интеллектуальный решатель: концептуальный подход. / Межв. сб. науч. трудов «Модели и системы представления знаний». М.: МИРЭА, 1990, с. 53-68.

74. Нечаев В.В., Панченко В.М., Свиридов А.П. Исследование операций и теория систем. Основы статистической динамики знаний // Учебное пособие. М.: МИРЭА, 2000, - 83 с.

75. Новиков Д.А., Чхартишвилли А.Г. Рефлексивные игры. Серия «Управление организационными системами». М: СИНТЕГ, 2003, 160 с.

76. Норенков И.П., Зимин A.M. Информационные технологии в образовании. М.: Изд-во МГТУ им. Н.Э.Баумана, 2004. - 352 с.

77. Орешко H.A. Анализ возможностей использования существующих методов представления знаний / Межвуз. сб. науч. трудов «Модели и системы представления знаний». -М.: МИРЭА, 1990, с. 69-81.

78. Основы кибернетики. Математические основы кибернетики / Под. ред. ПупковаК.А. М.: Высш. шк., 1974.

79. Основы кибернетики. Теория кибернетических систем / Под. ред. Пупкова К.А. М.: Высш. шк.,1976. - 408 с.

80. Оуэн Г. Теория игр. М.: Мир, 1971.

81. Панченко В. М. Теория систем. Методологические основы: Учебное пособие. /Московский государственный институт радиотехники, электроники и автоматики (технический университет) М., 2003. -96с.

82. Панченко В.М. Системный анализ. Метод имитационного моделирования. М.: МИРЭА, 1995. -120с.

83. Панченко В.М. Теория систем: задачи и примеры. Учебное пособие. Часть 1.- М.: РИО МГИРЭА(ТУ), 1999.- 80с.

84. Петров В.М., Яблонский А.И. Математика и социальные процессы. / Гиперболическое распределение и их применение. М.: Знание, 1980. -64 с.

85. Поддубная JI.M. Татур А.О., Челышкова М.Б. Задание в тестовой форме для автоматизированного контроля знаний студентов. /Учебное пособие. — М.: Исследовательский центр, 1995. 80с.

86. Поиск новых идей: от озарения к технологии. (Теория практики решения изобретательских задач). /Г.С. Альтшуллер, Б.Л. Злотин, А.В. Зусман, В.Ф. Филатов. Кишинев.: Изд-во «Картя Молдовеняске», 1989.

87. Пономарев Я.А. Психология творчества и педагогика. М.: Педагогика, 1976.

88. Попов И.И., Храмцов П.Б. Мировые информационные ресурсы и сети (методы доступа к ним): учебник / Под общ. ред. К.И. Курбакова. -М.: Изд. Рос. экон. акад., 1999. 145 с.

89. Поспелов Д.А. Логико-лингвистические модели в системах управления. М.: Энергоиздат, 1981.

90. Поток научной информации // Энциклопедия кибернетики. Киев: Гл. Ред. Укр. Сов. Энциклопедии, 1975; Т. 1-608с.; Т.2-622с.

91. Прикладные нечеткие системы / Пер. с японского под ред. Т. Тэрано, К. Асаи, М. Сугено. М: Мир, 1993.-368 с.

92. ПРОБЛЕМЫ КАЧЕСТВА ОБРАЗОВАНИЯ. Книга 5. Управление качеством образования // Материалы XIV Всероссийского совещания М.; Уфа: Исследовательский центр проблем качества подготовки специалистов, 2004. — 78 с.

93. ПРОБЛЕМЫ КАЧЕСТВА ОБРАЗОВАНИЯ. Книга 6. ОБЩИЕ ПРОБЛЕМЫ КАЧЕСТВА ОБРАЗОВАНИЯ // Материалы XIV Всероссийского совещания М.; Уфа: Исследовательский центр проблем качества подготовки специалистов, 2004. — 68 с.

94. Пфанцагль И. Теория измерений: пер. с англ. М.: Мир, 1976. -248с.

95. Радионов Б.У., Татур А.О. Стандарты и тесты в образовании М.: Исследовательский центр, 1995 - 48с.

96. Сборник документов, касающихся международных аспектов высшего образования / Сост. Е.В. Шевченко. СПб., 2000.

97. Свиридов А.П. Основы статистической теории обучения и контроля знаний. Методическое пособие. М.: Высш. Школа, 1981. - 262с.

98. Свиридов А.П. Условные и безусловные алгоритмы диагностического контроля подготовки операторов ЭВМ. М.: МЭИ, 1987 г. 68 с.

99. Свиридов А.П., Шалобина И.А. Сетевые модели динамики знаний / Под ред. Ю.Н. Мельникова. М.: МЭИ, 1992.

100. Селезнёва H.A. Автоматизация проектирования систем управления качеством высшего образования. /Диссертация на соискание учёной степени доктора технических наук в форме научного доклада Воронеж: ВПИ, 1992. - 36с.

101. Селезнева H.A. КАЧЕСТВО ВЫСШЕГО ОБРАЗОВАНИЯ КАК ОБЪЕКТ СИСТЕМНОГО ИССЛЕДОВАНИЯ. Лекция-доклад. Изд. 3-е. М.: Исследовательский центр проблем качества подготовки специалистов, 2003. - 95 с.

102. Сигорский В.П. Математический аппарат инженера. Киев: Техника, 1977. - 766с.

103. Системный анализ и принятие решений: Словарь-справочник: Уч. пособие для вузов /Под ред. В.Н. Волковой, В.Н. Козлова. М.: Высш. шк., 2004. - с.575-585.

104. Советский энциклопедический словарь /Гл. Редакция А. М. Прохоров Изд. 4-е М.: Сов. Энциклопедия, 1987.-1600с.

105. Создание системы открытого образования /Министерство образования РФ. Приказ от 12.10.2000 № 2925.

106. Соломатин H.M. Информационные семантические системы. М.: Высшая школа, 1989. - 128с.

107. Солсо Р.П. Когнитивная психология.: Пер. с англ. М.: Тривола, 1996. - 600с.

108. Станкевич JI.A. Интеллектуальные технологии и представление знаний. Интеллектуальные системы. СПб.: Изд-во СПбГТУ, 2000.

109. Степанов Ю.С. Семиотика. М.: Наука, 1971. -145с.

110. Столяров A.M. Методологические основы изобретательного творчества. М.: ВНИИПИД986.

111. Субетто А.И. Системогенетика и теория циклов. В 2-х ч. СПб.-М.: Исследовательский центр проблем качества подготовки специалистов, 1994 г. - 243+260 с.

112. Субетто А.И. Системологические основы образовательных систем -М.: Исследовательский центр, 1994. Часть 1 284с. Часть 2 - 290с.

113. Талызина Н.Ф. Управление процессом усвоения знаний (психологические основы).-М.: МГУ, 1984. 344с.

114. Татур Ю.Г. Компетентность в структуре модели качества подготовки специалиста // Высшее образование сегодня. 2004. - № 3.

115. Техническое творчество: теория, методология, практика. Энцеклопе-дический словарь-справочник / Под ред. А.И.Половинкина, В.В.Попова.: НПО «Информ-система», 1995.

116. Технологии ActiveX и OLE / Пер. с англ. — М.: Издательский отдел "Русская редакция" ТОО "Channel Trading Ltd.", 1997. — 320 е.: ил.

117. Тихомирова С.Н., Сербинов К.А., Шорохов М.И. Электронная зачетная книжка при идентификации в эмпирических системах поддержки учебного процесса // 53 НТК МИРЭА: сб. тр. 4.4. / МИРЭА М., 2004. - с.82-85.

118. Труды Третьего Симпозиума «Квалиметрия труда и образования: методология и практика» в 4-х частях. (Москва, сентябрь 1994г.). /Под.ред. Селезневой H.A. и Субетто А.И. М.: Исследовательский центр, 1994.

119. Харари Ф. Теория графов: Пер. с англ. М.: Мир, 1973.-300с.

120. Челышкова М.Б. , Савельев Б.А. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе. М.: Исследовательский центр 1995. -77с.

121. Челышкова М.Б. Организация контроля знаний студентов условиях педагогического сотрудничества. /Диссертация на соискание ученой степени к. пед. н. Киев: ЮГУ, 1990. - 190с.

122. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей. /Учебное пособие. М.: Исследовательский центр, 1995. - 50с.

123. Шадриков В.Д. Новая модель специалиста: инновационная подготовка и компетентностный подход // Высшее образование сегодня. -2004.- №8.

124. Шеннон Р. Имитационное моделирование систем искусство и наука. - М.: Мир, 1978. -418с.

125. Шорохов М.И. Система автоматизации процесса тестирования знаний. «Тест» Отр. Фонд алгоритмов и программ. Свид. № 3183 от 17.02.2004.

126. Шорохов М.И. Системный подход к исследованию применения ретроспективной, текущей и экспертной информации для идентификации обучаемых. // Сб. науч. тр. межд. НТК "Информационные технологии в управлении". М.:"Слово", 2003. - стр. 51-54.

127. Шорохов М.И. Системный подход к исследованию применения ретроспективной, текущей и экспертной информации для идентификации обучаемых. // Сб. науч. тр. МНТК "Информационные технологии в управлении". М.:"Слово", 2003. - с. 51-54.

128. Шорохов М.И., Кузнецов Д.Е., Панченко В.М. О возможности применения гиперболического закона распределения к базовым оценкам обучаемых // 53 НТК МИРЭА: сб. тр. 4.4. / МИРЭА М., 2004. - с.90-93.

129. Шорохов М.И., Панченко В.М. Критерии, модели и оценки эффективности решения задач жизненного цикла обучения в ВУЗе //52 НТК МИРЭА. Сб. тр. 4.1. / МИРЭА М., 2003. - с.74-78

130. Шорохов М.И., Панченко В.М. Модель базовой оценки обучаемого на уровне формирования общей задачи оптимизации // 53 НТК МИРЭА. Сборник трудов. 4.4. / МИРЭА М., 2004. - с.85-89.

131. Экспериментальная система оценки качества обучения по учебным дисциплинам специальности (для специальности 11.04). /Под. ред. Моргунова И.Б. и Нерсесова Т.В. М.: МИСиС Исследовательский центр, 1993. 4.1 - 193с.; 4.2 - 184с.

132. Эшби У.Р. Введение в кибернетику М.: И.Л., 1959. -432с.

133. Яблонский А.И. Стохастические модели научной деятельности // Системные исследования. Ежегодник, 1975. -М.: 1976, с. 5-42.

134. Boettcher, J. (1999). 21st century teaching and learning patterns: What will we see? Syllabus, 12.10, 18-24.

135. Boettcher, J. (1999). The shift from a teaching to a learning paradigm. Syllabus, 13.1,50-51.

136. Edwards W. Behavioral Decision Theory // Ann. Rev. Psyhol, №12, 1961 -p. 473-498.

137. Gallagher J.C., Perretta S., Drushel R.F. Teaching Autonomous Robotics over the World Wide Web: an Online Computer Engineering Practicum -IMEJ journal, 2002 http://imej.wfu.edU/articles/2002/2/03/index.asp .

138. IEEE P1484.1/D9, 2001-11-30. Draft Standard for Learning Technology Systems Architecture (LTSA). http://ltsc.ieee.org/wgl/index.html.

139. IMS Guidelines for Developing Accessible Learning Applications. Version 6.-IMS, 2001.150. Nogin V.D. Upper estimate for a fuzzy set of non dominated solutions

140. Fuzzy set and systems, 1994, v. 67, p. 303-305.