автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Алгоритмы обработки информации в задачах оценивания качества обучения студентов вуза на основе экспертно-статистических методов

ВВЕДЕНИЕ.

ГЛАВА 1. КАЧЕСТВО ОБРАЗОВАНИЯ С ТОЧКИ ЗРЕНИЯ МЕЖДУНАРОДНЫХ СТАНДАРТОВ ИСО СЕРИИ 9000.

§1.1. Основные понятия и определения.

§ 1.2. Процессный подход к оценке качества образования с позиции философии ИСО 9001.

§ 1.3. Показатели и критерии качества обучения студентов в вузе. 21 выводы по 1 главе.

ГЛАВА 2. РЕШЕНИЕ ЗАДАЧИ ОЦЕНКИ КАЧЕСТВА ОБУЧЕНИЯ НА ОСНОВЕ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ.

§2.1. Основные понятия теории экспертного оценивания.

§ 2.2. Алгоритм статистической обработки и анализа результатов экспертного оценивания.

§ 2.3. Выявление скрытых закономерностей объектов образовательного процесса на основе методов многомерного статистического анализа.

2.3.1. Алгоритм построения формализованных критериев на основе факторного анализа.

2.3.2. Выявление типов объектов образовательного процесса на основе кластерного анализа.

§ 2.4. Применение экспертно-статистических алгоритмов для решения прикладных задач.

2.4.1. Формирование набора профессионально значимых показателей для успешного обучения абитуриента на выбранном факультете.

2.4.2. Задача ог(енки профессиональных качеств преподавателей.

2.4.3. Задача ог(енки качества содерэ/сания учебных дисциплин.

2.4.4. Задача выявления требований работодателей к молодым специалистам.

Выводы по 2 главе.

ГЛАВА 3. РЕШЕНИЕ ЗАДАЧ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ НА ОСНОВЕ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ.

§3.1. Тестирование в образовании.

§ 3.2. Компьютерное тестирование в задаче контроля остаточных знаний студентов (педагогическое тестирование).

3.2.1. Основные понятия.

3.2.2. Использование моделей Раша и Бирнбаума для оценки параметров педагогического теста.

§ 3.3. Анализ и обработка результатов тестирования. Принятие решения по результатам тестирования.

3.3.1. Особенности исходной информации.

3.3.2. Алгоритм принятия решений в условиях разнотипности исходных данных

3.3.3. Принятие решений на основе минимаксного критерия.

3.3.4. Алгоритм выбора альтернатив (принятия решений в условиях неопределенности) по результатам тестирования.

§ 3.4. Решение задач прогнозирования успешности интеллектуальной деятельности студентов на основе данных психодиагностического тестирования.

3.4.1. Прогнозирование успешности обучения студентов младших курсов на основе анализа личностных качеств.

3.4.2. Прогнозирование успешной интеллектуальной самореализации студентов старших курсов на основе анализа показателей познавательной деятельности. выводы по 3 главе.

ГЛАВА 4. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ДЛЯ ОЦЕНКИ КАЧЕСТВА ОБУЧЕНИЯ СТУДЕНТОВ ВУЗА.

§ 4.1. Техническое описание программного комплекса.

§ 4.2. Универсальный блок анализа результатов экспертного оценивания.

§ 4.3. Программа оценки соответствия профессионально-значимых качеств личности выбранной специальности.

§ 4.4. блок компьютерного тестирования.

4.4.1. Контроль остаточных знаний студентов.

4.4.2. Определение личностных и интеллектуальных особенностей студентов на основе психодиагностического тестирования и диагностика успешности. выводы по 4 главе.

Актуальность темы исследования

В настоящее время понятие «качество» проникает во все сферы деятельности человека. И как следствие одной из наиболее актуальных проблем в области образования является повышение его качества. В «Концепции модернизации российского образования на период до 2010 года» решение задач качества образования заявлено, как приоритетное. Это утверждение нашло также отражение в Перспективной программе работ Министерства образования РФ. С другой стороны, как раз в настоящее время произошли важные изменения в процессах международной стандартизации в области менеджмента качества - разработана и принята новая версия стандартов ИСО серии 9000 в версии 2000 года, регламентирующих процесс создания, сертификации и поддержания в актуальном состоянии систем менеджмента качества (СМК) на предприятии (в организации). Поэтому как никогда ранее актуальной становится проблема контроля и оценки качества образовательной деятельности. Вопросами качества занимаются многие исследователи, однако приходится признать, что, несмотря на это, концепция качества образования только складывается: определяются подходы, формируются показатели, аспекты качества, ставится вопрос о критериях.

Нельзя заимствовать чужую национальную систему оценки качества, нельзя взять в готовом виде концепцию другого образовательного учреждения, необходимо разрабатывать свою систему, формировать черты качества образования в каждом высшем учебном заведении.

Ведущие российские университеты, такие как Московский институт стали и сплавов (МИСиС), Московский государственный технологический университет «Станкин», Санкт-Петербургский государственный технический университет, Сибирский технологический университет, Новосибирский государственный технический университет и ряд других приступили к созданию систем менеджмента качества в соответствии с требованиями международных стандартов ИСО серии 9000. В Томском политехническом университете работа по созданию внутривузовской системы менеджмента качества образования ведется уже давно. Еще в 80-е годы здесь проводилась работа по построению автоматизированной системы управления вузом (АСУ ВУЗ). Была проведена большая работа по созданию автоматизированной системы управления вузом, построены математические модели управления, проведен системный анализ деятельности вуза. В данной области можно выделить несколько направлений исследований, характерных для Томского политехнического университета: о автоматизация управления вузом. Системный анализ образовательного процесса. [3,4,118,124]; о социально-психологический аспект в оценке качества образовательного процесса [2,11,13,22]; о подготовка квалифицированных педагогических кадров для технического университета [59,115,116]; о построение системы менеджмента качества в вузе [42,98,99,117];

Работа в области управления качеством образования ведется практически во всех высших учебных заведениях России - в настоящее время это является жизненно необходимой задачей для каждого вуза. Результаты исследований данной диссертационной работы базируются на изучении зарубежного опыта и опыта российских вузов в решении поставленной задачи. Так, например, под руководством Исследовательского центра проблем качества подготовки специалистов (ИЦ ПКПС) в течение ряда лет группой ведущих вузов России реализовывался проект ЮНИКОМ/Россия, основное назначение которого -формирование базы данных «Общая характеристика высшего учебного заведения». В Воронежском государственном техническом университете реализованы подсистемы: автоматизация документооборота, компьютерная система оценки знаний и пр. В Уфимском региональном центре информатизации разработана компьютерная система для организации управления учебным процессом, внедрение которой обеспечило частичную автоматизацию управления учебным процессом, что позволило значительно повысить эффективность управления его качеством. В Красноярском государственном педагогическом университете разработана и внедрена в образовательный процесс единая информационная • система планирования, управления и контроля учебного процесса в образовательном учреждении, направленная на решение задачи оценки качества знаний. В Северо-Кавказском государственном технологическом университете -разработана система контроля успеваемости студентов. Новосибирский государственный технический университет реализовал мощную систему мониторинга качества образовательного процесса. В течение ряда лет ИЦ ПКПС руководил Целевой комплексной программой «Государственный стандарт в системе непрерывного образования» («Экспериментальная реализация первой версии аналитического федерального доклада «Качество образования в России: состояние, тенденции, проблемы, прогнозы»), в которой принимало участие около 20 образовательных организаций России. Основная цель программы - разработка методики проведения комплексного мониторинга качества высшего образования как информационно-аналитической базы и механизма формирования ежегодного доклада "Качество образования в России: состояние, тенденции, перспективы"; разработка структуры ежегодного доклада, реализация его первой версии. Однако, большинство разработанных систем либо узко направлены на решение частных задач оценки качества знаний, другие же, более широкомасштабные, ограничиваются либо описательными, либо статистико-описательными методиками. Таким образом, актуальность исследований данной диссертационной работы продиктована необходимостью внедрения математических методов измерения и системного анализа оценки качества образовательного процесса. Актуальность исследований также продиктована необходимостью дальнейших исследований в области оценки и управления качеством в Томском политехническом университете - для развития и усовершенствования существующей системы менеджмента качества. При этом основные исследования диссертационной работы направлены на разработку новых моделей и алгоритмов для измерения качества различных составляющих образовательного процесса.

Теоретико-методологической основой диссертационной работы явились теоретические и методологические положения в области управления качеством образовательного процесса, нашедшие отражения в трудах Адлера Ю.П., Полонского В.М., Ямпольского В.З., Аграновича Б.Л., Поташника М.М., Челышковой М.Б., Скок Г.Б., а также теоретические и методологические положения о системном подходе Выготского JI.C., Ломова Б.Ф., Перегудова Ф.И., Шадрикова В.Д., Тарасенко Ф.П., Уемова А.И. Был использован опыт построения и сертификации на соответствие международным стандартам ISO серии 9000 системы менеджмента качества (в частности, на факультете автоматики и вычислительной техники ТПУ).

Цели и задачи работы

Целью работы является разработка информационной технологии для решения задач оценки качества обучения студентов вуза.

В связи с этим в диссертационной работе решаются следующие задачи:

- Разработать алгоритмы обработки и анализа результатов тестирования и экспертного оценивания с учетом разнотипности исходной информации.

- Разработать алгоритм построения формализованных критериев для решения задач оценки качества объектов образовательного процесса.

- Разработать систему поддержки принятия решения по результатам. компьютерного тестирования для определения степени соответствия объекта образовательного процесса заданному классу и прогнозирования успешности абитуриентов, студентов и молодых специалистов в различных сферах интеллектуальной деятельности.

- Программно реализовать разработанные алгоритмы оценки качества обучения студентов вуза по результатам экспертного оценивания.

- Разработать универсальное программное обеспечение для контроля и оценки остаточных знаний абитуриентов, студентов и выпускников.

Научная новизна

- Разработан алгоритм построения формализованных критериев для оценки качества объектов образовательного процесса, достоинством которого является снижение роли субъективного фактора при формировании обобщенной экспертной оценки.

- Разработана система поддержки принятия решения по результатам компьютерного тестирования, в состав которой входит алгоритм принятия решений по результатам тестирования, являющийся модификацией алгоритма выбора альтернатив в условиях неопределенности А.Борисова и И.Крумберга и алгоритм принятия решения в условиях разнотипности исходных данных на основе неоднородной последовательной процедуры распознавания. Отличительной, особенностью предложенных алгоритмов является возможность использования в качестве исходной информации результатов как психодиагностического, так и педагогического тестирования.

- Для решения задач прогнозирования успешности абитуриентов, студентов и молодых специалистов в различных видах интеллектуальной деятельности получены решающие правила на основе неоднородной последовательной процедуры распознавания в виде диагностических коэффициентов. Полученные решающие правила обеспечивают качество распознавания 80-86%.

- Разработана информационная технология для решения задач оценки качества обучения студентов вуза, отличительной особенностью которой является возможность использования в качестве инструментария как тестовые технологии, так и разработанные автором алгоритмы обработки результатов экспертного оценивания.

Теоретическая ценность. Теоретическая ценность работы заключается в разработанной автором информационной технологии, позволяющей решать задачу оценки качества обучения студентов вуза как на основе анализа результатов экспертного оценивания, так и тестовых технологий.

Достоинством предложенных в работе алгоритмов является:

1) возможность получать формализованные критерии для количественной оценки объектов образовательного процесса;

2) возможность интерпретировать результаты как психологического, так и педагогического тестирования с учетом факторов нечеткости и неопределенности;

3) возможность анализа экспертных данных с учетом типа измерительных шкал, в которых приведены экспертные оценки.

Практическая ценность

- Предложенные автором алгоритмы обработки и анализа результатов экспертного оценивания и построения формализованных критериев для решения задач оценки качества объектов образовательного процесса, позволяет эффективно решать задачи обеспечения мониторинга и оценки качества обручения студентов вуза. Предложен более эффективный по сравнению с существующим способ обработки результатов анкеты Минвуза «Преподаватель глазами студента», а также новая методика оценки преподавательской деятельности. Разработанные алгоритмы и их программная реализация внедрены в вузах г. Томска и в Новосибирском государственном техническом университете.

- Разработанный автором программный модуль REMSTATE, предназначенный для решения задач генерирования тестов, снабжен блоком статистической обработки результатов педагогического тестирования, что позволяет оперативно проводить оценку качества педагогического теста. Программный продукт внедрен в вузах г. Томска и в Новосибирском государственном техническом университете.

- Система поддержки и принятия решения по результатам компьютерного тестирования, разработанная автором диссертационной работы, включена в состав программного и математического обеспечения отдела социально-психологических исследований информационно-аналитического центра Томского политехнического университета и используется при проведении психологического профориентационного консультирования абитуриентов и студентов.

- Отдельные модули разработанного автором диссертационной работы программного комплекса имеют самостоятельное значение и могут использоваться в автономном режиме, что делает данный комплекс универсальным инструментом для решения различных прикладных задач мониторинга и оценки качества образовательной деятельности вуза;

- На основе разработанного алгоритмического и программного обеспечения решены следующие прикладные задачи (в рамках факультета автоматики и вычислительной техники Томского политехнического университета): оценка профессиональных качеств преподавателей, оценка качества содержания учебных дисциплин, выявление требований работодателей к потенциальным специалистам, прогнозирование успешности обучения студентов младших курсов на основе анализа личностных качеств, прогнозирование успешной интеллектуальной самореализации студентов старших курсов на основе анализа показателей познавательной деятельности, задача оценки соответствия личностных качеств абитуриента выбранному факультету, оценка остаточных знаний студентов.

Апробация результатов исследования. Результаты работы докладывались на: VI Международной научно-практической конференции «Качество - стратегия XXI века». - Томск, 2001; IV Международной научно-практической конференции

Качество образования. Достижения. Проблемы». - Новосибирск, 2001; V Международной научно-практической конференции «Проблемы и практика инженерного образования». - Томск, 2002; научно-практической конференции, посвященной 300-летию инженерного образования в России. - Томск, 2001; региональной научно-практической конференции «Современное образование: интеграция учебы, науки и производства» - г. Томск, 2003.

Внедрение результатов работы. Результаты работы используются в учебном процессе и внедрены в отделе социально-психологических исследований информационно-аналитического центра Томского политехнического университета, Томском государственном педагогическом университете, Центре оценки качества образования Томской области Новосибирском государственном техническом университете, Томском университете систем управления и радиоэлектроники,.

Публикации

Основные положения диссертационной работы изложены в 23 работах, представленных в общем списке литературы. Личный вклад автора в каждой работе составляет 45-50%.

Основные результаты исследований получены при выполнении следующих НИР: гранта РГНФ «Выявление специфики когнитивного развития студентов со сверхвысоким уровнем интеллекта» (проект № 01-06-00084а); Целевой программы НИР Томского политехнического университета «Поиск талантов» (проект «Комплексный анализ личностных свойств и творческих способностей абитуриентов и студентов первого курса ТПУ»); комплексной программы развития Томского политехнического университета «Разработка системы менеджмента качества АВТФ Томского политехнического университета»; комплексной программы развития АВТФ «Усовершенствование системы качества на кафедре прикладной математики».

Структура работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы (130 источников) и приложений. Материал изложен на 165 страницах, содержит 39 таблиц, 35 рисунков.

Выводы по 4 главе

1. Разработан комплекс компьютерных программ, являющийся универсальным инструментом для решения задачи оценки качества процесса обучения студентов вуза. Отдельные программные модули комплекса (PROGNOSIS -прогноз успешности интеллектуальной деятельности студентов, REMSTATE -генератор тестов и обработка результатов тестирования, EXPERT - обработка результатов экспертного оценивания) имеют самостоятельное значение и могут использоваться в автономном режиме.

2. Практическая ценность программного обеспечения для оценки остаточных знаний (программа REMSTATE) заключается в наличии генератора тестов из заданий в тестовой форме любого стандартного вида,. Кроме того, достоинством компьютерной системы является наличие блока статистического анализа матрицы ответов, который позволяет разработчику оперативно вносить изменения в состав и содержание заданий теста.

3. На основе разработанного алгоритмического и программного обеспечения решены следующие прикладные задачи (в рамках факультета автоматики и вычислительной техники Томского политехнического университета): оценка остаточных знаний студентов; оценка качества содержания учебных дисциплин; оценка качества преподавательской деятельности; выявление профессиональной направленности абитуриентов; диагностика и прогнозирование успешности обучения студентов; определение направленности будущей профессиональной деятельности выпускников-специалистов.

4. Все программы, включенные в комплекс имеет дружественный пользователю интерфейс, гибкую систему настроек, сопровождается пакетом справочной информации и представляет собой набор стандартных Windows-приложений, отвечающих всем современным требованиям программного продукта для операционных систем Windows 95/98/NT/2000

5. Разработанные программные продукты внедрены в отделе социально-психологических исследований информационно-аналитического центра Томского политехнического университета, Томском государственном педагогическом университете, Новосибирском государственном техническом университете, Томском университете систем управления и радиоэлектроники, Центре оценки качества образования Томской области.

ЗАКЛЮЧЕНИЕ

В диссертационной работе были получены следующие основные результаты:

1. Проведен анализ по проблемам менеджмента качества образования; проанализирована терминология, и определения в области менеджмента качества. За базовый источник был принят международный стандарт ИСО 9000 «Основные положения и словарь». Проанализированы существующие подходы представления образовательного процесса с точки зрения требований стандарта ИСО серии 9000.

2. Разработана информационная технология для решения задач оценки качества обучения студентов вуза, отличительной особенностью которой является возможность использования в качестве инструментария как тестовые технологии, так и методы экспертного оценивания.

3. Проведено исследование качества образования по следующим аспектам: качество абитуриентов; качество деятельности преподавателей; качество подготовленных специалистов. Показана эффективность применения инструментария экспертного оценивания в задачах оценки качества образовательного процесса. Разработан комплексный алгоритм обработки и анализа результатов экспертного оценивания, позволяющий решать задачи оценки качества обучения студентов вуза в условиях разнотипной исходной информации.

4. Разработана технология выявления скрытых закономерностей объектов образовательного процесса на основе методов многомерного статистического анализа. В состав технлогии входит разработанный алгоритм построения формализованных критериев для ранжирования объектов образовательного процесса по любым критериям. Проверка эффективности полученных формализованных критериев в решении прикладных задач оценки качества объектов образовательного процесса была проведена на основе анализа значений коэффициента корреляции Спирмена (rs) между значениями данных критериев и рейтинговыми оценками профессиональной деятельности преподавателя по этим же составляющим. Полученные значения rs оказались статистически значимыми (р<0.01).

5. Предложенные автором алгоритм обработки и анализа результатов экспертного оценивания и технология выявления скрытых закономерностей объектов образовательного процесса были использованы для решения следующих задач: оценка профессиональных качеств преподавателей, оценка качества содержания учебных дисциплин, выявление требований работодателей к потенциальным специалистам. Получены формализованные критерии для оценки качества педагогической деятельности и оценки качества преподавания учебных дисциплин. Показана эффективность работы преложенных алгоритмов на примере решения следующих задач:

- выявление основных требований к выпускникам факультета АВТ ТПУ со стороны потенциальных работодателей;

- оценка качества содержания учебных дисциплин;

- оценка качества преподавательской деятельности.

6. Предложен более эффективный по сравнению с существующим способ обработки результатов анкеты Минвуза «Преподаватель глазами студента», а также новая методика оценки преподавательской деятельности. Новизна предложенной методики заключается в извлечении «скрытой» информации из результатов анкетирования экспертов посредством применения технология выявления скрытых закономерностей объектов образовательного процесса и алгоритм построения формализованных критериев для ранжирования объектов образовательного процесса по любым критериям (в данной задаче в качестве оцениваемых объектов выступали преподаватели).

7. Построена система поддержки принятия решения по результатам компьютерного тестирования, в состав которой входят:

- разработанный алгоритм принятия решений по результатам тестирования, являющийся модификацией алгоритма выбора альтернатив в условиях неопределенности А.Борисова и И.Крумберга. Достоинством данного подхода является возможность учета факторов нечеткости и неопределенности результатов тестирования. При этом в качестве исходной информации могут быть использованы результаты как психодиагностического так и педагогического тестирования. Данный алгоритм использовался при решении задачи выявления профессиональной направленности абитуриента; - алгоритм принятия решения с учетом разнотипности исходных данных на основе неоднородной последовательной процедуры распознавания С. Кульбака. На этого алгоритма получены решающие правила в виде диагностических коэффициентов для задач прогнозирования успешности абитуриентов, студентов и молодых специалистов в различных видах интеллектуальной деятельности. Полученные решающие правила обеспечивают качество распознавания 80-86%.

8. С использованием системы поддержки принятия решения по результатам компьютерного тестирования решены следующие прикладные задачи:

- оценка соответствия психологических особенностей абитуриента выбранной специальности);

- выявлены информативные показатели и получены решающие правила для прогнозирование успешности обучения студентов-первокурсников Томского политехнического университета по результатам психодиагностического тестирования;

- выявлены информативные показатели и получены решающие правила для прогнозирование успешной интеллектуальной самореализации студентов старших курсов на основе анализа показателей познавательной деятельности.

9. Установлена необходимость и реализовано включение в состав программного модуля оценки остаточных знаний (REMSTATE) блока статистической обработки, в том числе анализ матрицы ответов на тестовые задания в соответствии с логистическими моделями Раша и Бирнбаума. Во всех известных в настоящее время отечественных системах автоматизированного тестирования подобные отсутствуют, что создает дополнительные трудности для разработчика теста

10. Разработанный автором диссертации комплекс компьютерных программ является универсальным инструментом для решения задачи мониторинга и оценки качества процесса обучения студентов вуза. Отдельные программные модули комплекса (PROGNOSIS - прогноз успешности интеллектуальной деятельности студентов, REMSTATE - генератор тестов и обработка результатов тестирования, EXPERT - обработка результатов экспертного оценивания) имеют самостоятельное значение и могут использоваться в автономном режиме;

11. Разработанный программный комплекс внедрен в отделе социально-психологических исследований информационно-аналитического центра Томского политехнического университета, Томском государственном педагогическом университете, Новосибирском государственном техническом университете, Томском университете систем управления и радиоэлектроники, Центре оценки качества образования Томской области.

12. Все программы, включенные в комплекс имеет дружественный пользователю интерфейс, гибкую систему настроек, сопровождается пакетом справочной информации и представляет собой набор стандартных Windows-приложений, отвечающих всем современным требованиям программного продукта для операционных систем Windows 95/98/NT/2000

Автор выражает огромную признательность к.т.н., доценту кафедры прикладной математики Томского политехнического университета Берестневой Ольге Григорьевне за постоянную помощь и поддержку при работе над диссертацией.

1. Аванесов B.C. Композиция тестовых заданий. Учебная книга. 3 изд., доп.-М.:Центр тестирования, 2002 - 240 с.

2. Агранович Б.Л. Учебно-воспитательный процесс вуза как ценностно-ориентированная система //Тезисы докладов Республиканской научно-методической конференции по вопросам оценки и управления качеством подготовки специалистов,- Томск, 1988. С. 20.

3. Агранович Б.Л., Богатырь Б.Н., Ямпольский В.З. Системный анализ стратегий информатизации образования //Проблемы информатизации высшей школы-1997.-№3-4 (9-10).-С. 9-13.

4. Айвазян С.А. Статистическое исследование зависимостей.- М.: Металлургия, 1968.- 220 с.

5. Айвазян С.А., Бежаев З.И., Староверов О.В. Классификация многомерных наблюдений.- М.:Статистика, 1974.-240 с.

6. Базы знаний интеллектуальных систем/ Т.А.Гаврилова, В.Ф.Хорошевский.— СПб. Литер, 2001.-384 с.

7. Беллман Р., Заде Л. Принятие решений в расплывчатых условиях //Вопросы анализа и процедуры принятия решений.- М.:Мир, 1976 240 с.

8. Берестнева О.Г., Марухина О.В. Методы многомерного анализа данных в задачах оценки качества образования //Радиоэлектроника. Информатика. Управление.-2002.-№ 1.- С. 15-26.

9. Берестнева О.Г., Марухина О.В., Иванкина Л.И. Оценка учебных дисциплин как критерий качества образовательного процесса. Статья задепонирована в НИИВО, № 240-2001 от 9.12.01. 16 с.

10. Берестнева О.Г., Медведев М.А., Ротов А.В. и др. Адаптационные характеристики человека: Оценка и прогноз.- Томск: Изд-во ТГУ, 1997 С. 15-18.

11. Беспалько В.П. О критериях качества подготовки специалиста // Вестник высшей школы.-М., 1988,-№1,-С.45-58.

12. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок М.:Статистика, 1980 - 340 с.

13. Бобровский С. Delphi 5: учебный курс. СПб:Питер, 2000. - 640 с.

14. Божович Е.Д. Нетрадиционные способы оценки качества знаний школьников. Психолого-педагогический аспект: Сборник научных трудов. -М.:Новая школа, 1995.-354 с.

15. Борисов А., Крумберг И., Федоров И. Принятие решений на основе нечетких моделей.- Рига:3нание, 1990 352 с.

16. Боровиков В. STATISTICA: искусство анализа данных на компьютере. Для профессионалов- СПб.:Питер, 2001 -656 с.

17. Вальтер Е.А., Рузаев Е.Н. Система качества в образовательном учреждении: практика и перспективы //Труды V Международной научно-практической конференции.- Томск: Изд. ТПУ, 2002.- С. 90-91.

18. Вассерман Л.И., Дюк В.А., Иовлев Б.В., Червинская К.Р. Психологическая диагностика и новые информационные технологии.- СПб., 1997.- 320 с.

19. Венецкий И.Г., Венецкая В.И. Основные математико-статистические понятия и формулы в экономическом анализе.- М.:Статистика.,1974 230 с.

20. Воробейчикова О.В. Проведение компьютерного тестирования и использованием структурированных тестов // Труды Всероссийской научно-практической конференции, посвященной 300-летию инженерного образования в России-Томск: Изд. ТПУ, 2001 -С. 44-46.

21. Всемирная декларация о высшем образовании для XXI века: подходы и практические меры.//Дистанционное образование, 1999.- № 5.- С. 4-9.

22. Гладких Б. А. Измерение качества группового оценивания // Изв. вузов. Физика, т. 45.- 2002.- № 2,- С. 46-51.

23. Гладких Б. А. История, современное состояние и перспективы подготовки специалистов по информатике в Томском государственном университете // Вестник Томского гос. ун-та 2002.- № 275.- С. 8-16.

24. Гладких Б. А. Лекции по исследованию операций. Принятие решений при неопределенности /Под ред. А. Ф. Терпугов- Томск: Изд-во Томского университета, 1979 120 с.

25. Гладких Б. А., Терра А. Д., Якунина Е. Н. Технология оперативного управления контингентом студентов в автоматизированной информационной системе вуза // Вестник Томского гос. ун-та 2002.- № 275.- С. 112-116.

26. Гласс Дж., Стенли. Дж. Статистические методы в педагогике и психологии-М.: Прогресс, 1976.-495 с.

27. Громаков Е.И., Малышенко A.M., Мельников Ю.С. Инсталляция системы менеджмента качества образовательных услуг АВТФ Томского политехнического университета // Труды V Международной научно-практической конференции Томск: Изд. ТПУ, 2002 - С. 79-80.

28. Грошев А.Р. Государственный образовательный стандарт и качество образовательных услуг// Труды Всероссийской научно-практической конференции, посвященной 300-летию инженерного образования вРоссии-Томск: Изд. ТПУ, 2001.-С. 17-18.

29. Гублер Е.В. Вычислительные методы анализа и распознавания патологических процессов,- Ленинград: Мед.-1978.- 294 с.

30. Гусев А.И., Измайлов С.А., Михалевская М.Б. Измерение в психологии: Общий психологический практикум-М.:Медицина, 1985.-208 с.

31. Дантеманн Д., Мишел Д., Тейлор Д. Программирование в среде DELPHI-Киев, 1995.-460 с.

32. Дубинина И.А. Образовательные технологии нового поколения. // Труды Всероссийской научно-практической конференции, посвященной 300-летию инженерного образования в России-Томск: Изд. ТПУ, 2001 С. 35-36.

33. Дюк В.А. Компьютерная психодиагностика СПб: Братство, 1994 - С. 7-30.

34. Дюран Б., Оделл П. Кластерный анализ.- М.:Статистика, 1977.- 128 с.

35. Загоруйко Н. Г. Вычислительные системы. Экспертные системы и анализ данных:Сборник научных трудов / Под ред. Н. Г. Загоруйко.- Новосибирск, 1991.- 177 с.

36. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений,- М.:Мир, 1976 165 с.

37. Зеер Э.Ф. Психология профессионального образования: Психология профессий: Учебное пособие / Э. Ф. Зеер.- М.; Екатеринбург: Академический проект: Деловая книга, 2003. -336 с.

38. Зеленцов. Б. Студенты о преподавателе: методика опроса. //Высшее образование в России 1999.- № 6.- С. 44-47.

39. Иберла К., Факторный анализ,- М.: Статистика, 1980.- 399 с.

40. Каляцкий И.И., Пермяков О.Е., Пушкин А.В. Оптимизация контингента студентов факультетов всех форм обучения // Труды Всероссийской научно-практической конференции, посвященной 300-летию инженерного образования в России Томск: Изд. ТПУ, 2001 - С. 48-49.

41. Качество образования. Достижения. Проблемы. //Материалы IV Международной научно-методической конференции. /Под общ. ред. А.С.Вострикова Новосибирск. Изд-во НГТУ, 2001 - 443 с.

42. Кибернетика и ВУЗ. Научно-технический сборник ТПУ / Под ред. В. 3 Ямпольского.- Томск: 1991.- Вып. 26.- 113 с.

43. Клайн П. Справочное руководство по конструированию тестов Киев: Диалектика, 1994.-220 с.

44. Ковалева Г.С. Мониторинг качества образования на основе образовательных стандартов //Контроль качества и оценка в образовании: Материалы международной конференции.- СПб.: РГПУ им. А.И. Герцена, 1998.- С. 82-91.

45. Когарин М.В. Лекции по педагогической технологии.- М.:3нание, 1992 204 с.

46. Колесников Л.Ф., Турченко В.Н., Борисова Л.Г. Эффективность образования.-М.:Педагогика, 1991.- 154 с.

47. Кофман А. Введение в теорию нечетких множеств.- М.:Радио и связь, 1982-310с.

48. Кудрявцев Т.В. Психология технического мышления М.:Педагогика, 1975. -С. 182-204.

49. Лоули Д. Максвелл А. Факторный анализ как статистический метод М.: Мир, 1967.- 144 с.

50. Мандель И.Д. Кластерный анализ.- М.: Финансы и статистика, 1988.- 176 с.

51. Марухина О.В., Берестнева О.Г. Системный подход к оценке качества образования. //Стандарты и качество 2002.- № 4.- С. 35-36.

52. Марухина О.В., Берестнева О.Г. Системный подход к оценке качества высшего образования //Открытое образование 2002.- № 3.- С. 38-42.

53. Минин М.Г. Диагностика качества знаний и компьютерные технологии обучения Томск: Изд-во ТГПУ, 2000.-216 с.

54. Михеев В.И. Моделирование и методы теории измерений в педагогике.-М.:Высшая школа, 1987.-234 с.

55. Мушик Э., Мюллер П. Методы принятия технических решений: Пер. с нем-М.: Мир, 1990.-208 с.

56. Невраева И.В., Антипин М.В. Автоматизированная профориентационная система.// Проблемы профориентации и психологической поддержки населения. Материалы научно-практических конференций /Науч. ред. Б.А.Разумов,-Томск: STT2000.-C. 84-85.

57. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов Москва, 2000 - 168 с.

58. Окунь Я. Факторный анализ М.: Статистика, 1974 - 200 с.

59. Орловский С. Проблемы принятия решений при нечеткой исходной информации.- М.:Наука, 1981.-258 с.

60. Панасюк В.П. Системное управление качеством образования в школе.- СПб.-Москва, 2000.-205 с.

61. Патрик Э. Основы теории распознавания образов.- М.:Советское радио, 1980168 с.

62. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа: Учеб. 3-е изд-Томск: Изд-во НТЛ, 2001,- 396 с.

63. Плаус Скотт. Психология оценки и принятия решений: пер. с англ. М.: Филин, 1998.-368 с.

64. Полонский В.М. Оценка качества научно-педагогических исследований.- М., 1987.-250 с.

65. Поташник М.М. Оптимизация управления школой.- М.:3нание,1991 325 с.

66. Практическая психология для менеджеров.- М.:Филин,1996.- 368 с.

67. Разработка пороговых оценочных средств для оценки общей образованности учащихся в системе непрерывного образования: Сб. науч. ст. /Под общ. ред. Н.А. Селезневой, В.Г. Казановича.- М.: Исслед. центр проблем качества подгот. специалистов, 1999.- 101 с.

68. Рожков B.C. Качество образования и образование в области качества //Материалы VI Международной научно-практической конференции Томск: Томск, гос. ун-т систем управления и радиоэлектроники, 2002 - С. 120-123.

69. Рузаев Е.Н., Вальтер Е.А. Специфика построения систем менеджмента качества в российских университетах // Материалы VI Международной научно-практической конференции Томск: Томск, гос. ун-т систем управления и радиоэлектроники, 2002 - С. 131-132.

70. Рузаев Е.Н., Погребняк С.А., Клепиков А.С., Моисеенко М.В., Вальтер Е.А., Самуйлова И.А. Томский политехнический университет: система менеджмента качества // Стандарты и качество 2002.- № 4.- С. 61-63.

71. Руководство по применению стандарта ИСО 9001:2000 в области образования и обучения: Учеб. пособие /Под. ред. Ю.П.Адлера.- М.:Изд. РИА Стандарты и качество, 2002 126 с.

72. Сидельников Ю.В. Моделирование поведения и интеллекта: экспертология -новая научная дисциплина //Автоматика и телемеханика 2000.-Вып.2.-С.107.

73. Системы качества в образовании: Сборник переводов с английского / Под общ. ред. Ю.П.Адлера.-М.:МИСИС. 2000.- 4.1, вып.1,- 144 с.

74. Скок Г.Б. Как проанализировать собственную педагогическую деятельность: Учеб. пособие для преподавателей /Отв.ред. Ю.А. Кудрявцев.- М.: Российское педагогическое агенство, 1998.- 102 с.

75. Скок Г.Б., Лыгина Н.И., Колесникова Н.И., Низовских Е.В. Как спроектировать учебный процесс по курсу: Учебное пособие для преподавателей,- Новосибирск: Изд-во НГТУ, 1999.- 83 с.

76. Смирнова Н.В. Структурно-функциональные характеристики образовательного процесса //Теоретический журнал CREDO 2001.- № 25. -С.58-64.

77. Субетто А. Качество образования: проблемы оценки и мониторинга //Образование.- 2000,- № 2.- С. 62-66.

78. Соколова И.Ю. Психологические основы учебно-педагогической деятельности. Учебное пособие Томск: Изд. ТПУ, 1992 - 104 с.

79. Татур Ю.Г. Образовательная система России: высшая школа.- М.: Исследовательский центр проблем качества подготовки специалистов, 1999.278 с.

80. Управление качеством образования: Практикоориентированная монография и методическое пособие/ Под. ред. М.М.Поташника- М.: Педагогическое общество России, 2000.- 448 с.

81. Ш.Хубаев Г. Компьютерные сети в системе оценки качества подготовки специалистов //Высшее образование в России 1995.- №3 - С. 58-60.

82. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Уч.пособие. М.:Исслед. центр проблем качества подготовки специалистов, 1995.- 32 с.

83. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие M.:JIoroc, 2002 - 432 с.

84. Чучалин А.И., Боев О.В., Могильницкий С.Б. Международное качество инженерного образования. Опыт ТПУ //Труды V Международной научно-практической конференции Томск: Изд. ТПУ, 2002 - С. 6-7.

85. Чучалин В.З., Ямпольский В.З., Чудинов В.Н.и др. Модели управления учебным процессом вуза. ТПУ.- Томск: Изд-во ТПУ, 1992.-178 с.

86. Шадриков В.Д. Деятельность и способности-М.:Логос,1994.-320 с.

87. Шкура В.Н., Бондаренко B.C. Качество контроля качество подготовки студентов //Вестник высшей школы - 1987.- №2 - С. 45-47.

88. Шмелев А.Г Психодиагностика и новые информационные технологии// Компьютеры и познание. М.: Наука, 1990 - С. 87-105.

89. Шмелев А.Г. и др. Основы психодиагностики: Учебное пособие для студентов педвузов. М.:Феникс, 1996 - 544 с.

90. Экспертные оценки в научно-техническом прогнозировании /Отв. ред. В.С.Михапевич. Киев:Наукова думка, 1974 .- С. 67-95.

91. Ямпольский В.З. Развитие региональной информационной среды и интересы высшей школы // Проблемы информатизации высшей школы.- М: 1995.-Бюллетень № 4.- С. (4-3)-(4-5).

92. Planning the quality of education. /Edited by K.N. Ross and L. Mahlck. UNESCO, Pergamin Press, 1990.- P. 6.

93. Zadeh L.A. Fuzzy logic, neral network and soft computing// Communication of the A.C.M. 1994.- Vol. 37, № 3.- P. 34-40.