автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Разработка моделей и алгоритмов оценки качества деятельности образовательных организаций

НА ПРАВАХ РУКОПИСИ

ТЯГУНОВА ТАТЬЯНА НИКОЛАЕВНА

РАЗРАБОТКА МОДЕЛЕЙ И АЛГОРИТМОВ ОЦЕНКИ КАЧЕСТВА ДЕЯТЕЛЬНОСТИ ОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ

СПЕЦИАЛЬНОСТЬ: 05.13.17 ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ИНФОРМАТИКИ

АВТОРЕФЕРАТ ДИССЕРТАЦИИ НА СОИСКАНИЕ УЧЕНОЙ СТЕПЕНИ КАНДИДАТА ТЕХНИЧЕСКИХ НАУК

МОСКВА-2004

РАБОТА ВЫПОЛНЕНА В МОСКОВСКОМ ГОСУДАРСТВЕННОМ УНИВЕРСИТЕТЕ ПЕЧАТИ

НАУЧНЫЙ РУКОВОДИТЕЛЬ: ЗАСЛУЖЕННЫЙ ДЕЯТЕЛЬ НАУКИ И ТЕХНИКИ

РФ, ДОКТОР ТЕХНИЧЕСКИХ НАУК, ПРОФЕССОР ВАСИЛЬЕВ ВЛАДИМИР ИВАНОВИЧ

ОФИЦИАЛЬНЫЕ ОППОНЕНТЫ:

ВЕДУЩАЯ ОРГАНИЗАЦИЯ: ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ

РОССИЙСКОЙ АКАДЕМИИ НАУК

Защита состоится 10 декабря 2004 г. в 13 00 на заседании диссертационного совета Д 217.031.01 при Государственном учреждении «Российский научно-исследовательский институт информационных технологий и систем автоматизированного проектирования по адресу 129090, Москва, ул. Щепкина, 22

С диссертацией можно ознакомиться в библиотеке ГУ РосНИИ ИТиАП. Автореферат разослан « 09 » ноября 2004 г.

Ученый секретарь диссертационного совета

ДОКТОР ФИЗИКО-МАТЕМАТИЧЕСКИХ НАУК, ПРОФЕССОР

Козлов АНАТОЛИЙ ИВАНОВИЧ

ДОКТОР ТЕХНИЧЕСКИХ НАУК, ПРОФЕССОР ГОРБУНОВ ВЛАДИМИР ЛЕОНИДОВИЧ

Д 217.031.01

2099/

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Кардинальные изменения в России, охватывающие все стороны ее жизнедеятельности и влияющие на актуализацию проблем образования как главного условия прогрессивного развития страны в XXI веке, получили свое отражение в оценке качества деятельности учебных заведений.

Последние сорок лет отмечены усилением интереса как ученых, так практиков, к вопросам взаимодействия, взаимопроникновения различных наук. Исследования на стыках различных областей знаний, в особенности относящихся к естественным и гуманитарным наукам, обуславливают создание и перспективность развития алгоритмов и моделей в области оценки качества образования.

Анализ качества функционирования учебного заведения, основанный на изоляционном подходе, учитывающем только явно измеряемые количественные признаки, не позволяет в полной мере объективно оценить процессуальную сторону педагогической действительности, выражаемой через атрибутивные существенные факторы.

Более того, сведение оценки качества деятельности образовательного учреждения (ОКДОУ) к исследованию на основе предикамента количества оставляет вне рассмотрения признаки, характеризующие процесс и итог обучения и воспитания. Поэтому, изоляционистский принцип опасен тем, что под видом ОКДОУ результаты образования сводятся либо к арифметизации количеств-величин, либо к вербальному описанию наборов качеств - интенсивностей.

Предлагаемый автором интеграционистический подход к ОКДОУ имеет существенные преимущества перед изоляционистским потому что, синтезируя явные, скрытые и труднопознаваемые образовательные факторы, он способен дать прирост нового знания.

"Гибридность" образовательных факторов, ограничивающая про-гностичность методов количественной квалиметрии, связана с их уникальностью и специфичностью. Синонимический ряд понятий "качество", "кластеризация", "классификация", "целостность" в сфере образования полезно дополнить термином "топология". Центральной задачей данной работы является построение новой топометрики, учитывающей произвольную природу признаков, характеризующих процессуальную сторону образования и содержательные компетенции личности каждого студента. Топометрическое понимание образовательных симптомов подразумевает разнокачественность и разномерность этих признаков, отражает их герменевтическое понимание и интерпретацию. Именно в этом смысле допустимо говорить о создании новых моделей и алгоритмов

преобразования образовательных гибридных факторов к единому основанию - предикаменту качества.

Не менее важным представляется решение задач кластеризации, классификации, распознавания оценки деятельности и ранжирования образовательных организаций с учетом новых коэффициентов множественной конкордации и интегративного показателя качества системы образовательных учреждений. Такие модели и алгоритмы являются основой для моделирования образовательных систем различного уровня.

Сказанное выше определяет актуальность создания моделей и механизмов оценки качества деятельности образовательных учреждений на основе методов статистики качеств.

Цель диссертационной работы. Создание моделей и алгоритмов оценки качества деятельности образовательных организаций на основе методов непараметрической статистики и педагогической герменевтики.

Задачи исследования. В соответствии с поставленной целью в диссертационной работе решаются следующие задачи:

— критический анализ современных методов и технологий оценки качества образования;

— разработка новой имманентной метрики (топометрики) для определения функций расстояний и плотностей образовательных признаков произвольной природы;

— создание модели и алгоритмов для вычисления коэффициентов множественной качественной конкордации образовательных факторов и оценки сходства образовательных объектов;

— построение интегративного показателя оценки качества деятельности образовательных учреждений;

— решение практических задач по применению моделей и алгоритмов кластеризации, классификации и ранжирования высших учебных заведений.

Объект исследования. Область теоретической информатики, связанная с разработкой моделей и алгоритмов оценки качества объектов произвольной природы.

Предмет исследования. Установление на основе логико-гносеологического и ценностно-смыслового подходов новых функций расстояний и коэффициентов сходства между образовательными факторами и учреждениями.

Методы исследования. Для достижения поставленной в работе цели и решения перечисленных задач использованы методы статистики, герменевтики и сетевой метод проектирования информационных систем. Разработка программ для реализации алгоритмов проведена на языке программирования Visual Basic.

Методологическая основа. Работа выполнена на основе методологии культурологического и герменевтического подходов к синтезу логической и логичной форм мышления, используемого в процессе создания моделей оценки качества образования.

Достоверность полученных результатов подтверждается моделированием и герменевтической интерпретацией созданных топометрик и коэффициентов сходства образовательных объектов, практической реализацией моделей и алгоритмов опознавания, кластеризации, классификации и ранжирования совокупностей объектов.

Научная новизна полученных в данной работе результатов состоит в следующем:

— разработаны новые топометрические модели и алгоритмы для преобразования признаков различной природы к единому основанию качества;

— впервые получены коэффициенты множественной согласованности образовательных объектов включающих в себя факторы числовой и нечисловой природы;

— создана, апробирована и введена в эксплуатацию адаптивная система оценки качества учебных достижений студентов;

— созданы и апробированы модель, алгоритмы и технология компьютерного тестирования в процессе экспертной оценки качества деятельности высших учебных заведений.

Предлагаемый автором данной работы интеграционистский подход понимает ОКДОУ как синтезирующую область знания, возникшую на стыке педагогической герменевтики и статистики качеств.

Оценка теоретической значимости результатов работы. Полученные концептуальные и математические модели и алгоритмы являются теоретической основой создания единой автоматизированной системы аккредитации и аттестации образовательных организаций. Методики определения коэффициентов сходства применяются для оценки качества деятельности образовательных учреждений.

Практическая ценность работы состоит в создании методик использования теории статистики качеств для оценки качества процессуальной стороны образования и индивидуальных компетенций личности.

На защиту выносятся следующие положения:

— основу современной парадигмы качества образования составляют идеи гуманизма, субъективности, принципы открытости и интеграции учета факторов числовой и нечисловой природы;

— учет механизмов социализации, гуманизации и инкультуриза-ции личности средствами образования, а также процессуальной стороны образования не позволяет использовать для оценки качества деятельно -сти учебных заведений жесткие методы количественной квалиметрии;

— оценка качества деятельности образовательной организации строится на основе интегративного показателя качества и базируется на дуальном подходе, когда логико-гносеологический и ценностно-смысловой подходы используются в единстве;

— модели и алгоритмы функций расстояний и топометрики сходства образовательных объектов;

— итеративные процедуры кластеризации, классификации, распознавания, оценки качества и ранжирования образовательных учреждений;

— адаптивная система оценки качества достижений студентов и технология аттестации образовательных организаций.

Внедрение результатов. Модели и алгоритмы в виде поддержки принятия решений по оценке качества деятельности образовательных организаций применяются Федеральной службой по надзору в сфере образования и науки при экспертной оценке качества деятельности образовательных заведений.

Апробации результатов работы. Основные результаты диссертационной работы доложены и обсуждены на Конференциях: "Развитие методов и средств адаптивного тестирования", Москва, 2003; "Развитие методов и средств компьютерного тестирования", Москва 2004. Модели и алгоритмы, полученные автором данной работы использовались в процессе подготовки экспертов высших учебных заведений при реализации под руководством Министерства образования Российской Федерации «Концепции и технологии компьютерного тестирования в аттестационных экспертизах вузов», Москва, ноябрь 2003.

Личный вклад автора заключается в разработке концептуальных и математических моделей, а также алгоритмов и программ оценки качества деятельности образовательных организаций, базирующихся на методах статистики качеств, и их реализации в системе аттестационных проверок учебных заведений.

Публикации. Основные работы изложены в 17-ти научных статьях, 5-и материалах научных конференций.

Структура и объем диссертации. Диссертационная работа состоит из введения, 4-х глав, заключений по каждой главе, основных результатов и выводов, списка использованной литературы и приложений.

В первой главе проводится критический анализ современных способов оценки качества поведенческих систем, обосновывается неправомерность использования для этих целей только методов количественной квалиметрии, обосновывается применение культурологического и герменевтического подходов к анализу результатов образования.

Вторая глава содержит описание моделей и алгоритмов функций расстояний и коэффициентов множественной конкордации, построенных с учетом топометрики. Вводится понятие интегративного показателя ка-

чества и его применения в процессе ранжирования образовательных учреждений.

В третьей главе на основе ценностно-смыслового подхода педагогической герменевтики обосновываются модели и алгоритмы кластеризации, классификации, распознавания и оценки качества деятельности образовательных организаций.

Четвертая глава включает описание моделей оценки качества обу-ченности учащихся образовательных организаций посредством процедуры компьютерного тестирования.

Диссертация изложена на 135 страницах, содержит 19 рисунков, 25 таблиц, 3 приложения. Список используемой литературы включает 75 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы, определяется проблемная ситуация в области оценки качества образования, устанавливается цель и определяются задачи исследования.

В первой главе на основе культурологического и герменевтического подхода к изучению поведенческих систем подчеркивается необходимость применения парадигмального принципа в оценке качества образования, выяснены тенденции его развития, раскрыты специфические особенности процессуальной и уникальной сторон образовательной деятельности, дана классификация методологических принципов педагогики и уровней качества образования. Показывается, что универсальными критериями разграничения качества деятельности учебных заведений выступают профессиональные, социальные, гуманистические и экономические компетенции.

Раскрываются парадигмальные подходы, отражающие в сфере образования соотношения ценностей культуры и цивилизации, личности и социума. Подчеркивается необходимость создания в отечественной педагогики культурного пространства образования. Поэтому для раскрытия сущности оценки качества деятельности образовательного учреждения (ОКДОУ) представляется целесообразным вначале уточнить ее основания, показать динамику ее развития в контексте генезиса методологических принципов педагогики, установить адекватность отражения этих процессов в педагогической науке.

Особое внимание уделяется проблеме совершенствования механизмов оценки состояния и поведения слабоструктурированных целеустремленных систем, необходимости выхода мышления за пределы применения только качественных методов познания в сфере образования, перехода к герменевтической трактовке педагогического знания и к построению аргументированных гипотез, которые будут способствовать восхождению методов анализа результата (качества) образования на требуемый практике уровень.

Для определения ОКДОУ используются явные и латентные (скрытые) факторы. Выбор только количественных признаков создает лишь иллюзию проверки качества деятельности учебного заведения. Образование, по определению, не может находиться вне и над процессами. Степень соответствия модели и образовательного процесса зависит в основном от места моделируемых явлений в общем «филогенезе» процессу-альности.

— Культурологический и антропологический подходы к ОКДОУ акцентируют внимание на формировании образовательных факторов,

характеризующих качество педагогического процесса и уникальность личности студента как «осознавшего себя процесса».

Первая глава включает в себя критический анализ используемых при ОКДОУ методов численной таксономии и техники факторного анализа. Показывается, что эти способы не дают ощутимых результатов в процессе анализа многомерных объектов, включающих гибридные признаки. Доступные для измерения количественные факторы, оказывающие существенное влияние на педагогическую действительность, не всегда являются объективным качественным показателем деятельности образовательного учреждения. В контексте данной работы важно то, что семиотическая версия оценки качества процессуальной стороны образования и поведения индивидов огрубляет смыслы. Топология обозначаемых числами педагогических явлений и процессов растворяется. Количества-величины в сфере образования создают идеально совершенные в логически смысле образы. Смыслы образовательных процессов и явлений в рамках моделей традиционной статистики остаются непостижимыми. Возникает настоятельная необходимость перехода от жестких законов метрического пространства к математическим моделям, лучше передающих связь с реальным миром и допускающих явную и ясную герменевтическую интерпретацию.

Во второй главе для сведения гибридных образовательных факторов к единому предикату качества предлагается использовать формулу

и _ (*| ~ Хтп - ^тад ) . г. <«

К1 ~ _ ТЛ1Ш1 •

Хтах *п»п

Здесь

х1 - количественные значения величин или интенсивностей признаков (симптомов);

хвт' •''пш ~~ соответственно минимальное и максимальное значения величин или интенсивностей признаков (симптомов); к, - качественные аналоги интенсивностей этих симптомов (симптомов);

кта - значение наименьшего из качеств; К- основание нового качества.

Формула (1) большему значению признака приписывает и большее качество. Для перехода от большего количества к аналогичному ему меньшему качеству следует применить выражение

и _ (*!«» , /,

Хаах Хпша

Для установления сходства (близости) системы образовательных объектов предлагается использовать модель коэффициента множественной качественной конкордации

т т п

I Е I \у(к)=1-'=1;=/и=?!

Iк Д

(3)

пт{т-\\К-\)

Здесь

хл - значение интенсивности ¿-ого признака для /-ого образовательного объекта;

ш - количество образовательных объектов; п - число признаков;

W(k)=l - абсолютная похожесть объектов;

>У(к)=0 - полное отсутствие сходства между объектами.

Частным случаем формулы (3) является выражение для установления степени сходства между двумя образовательными объектами по совокупности п общих для них признаков

Щк) =

(4)

п{К-1)

Формула (4) может быть использована для определения степени близости объектов в кластерном анализе.

Расстояние между кластерами в п-мерном пространстве предлагается определять по формуле:

¿1.2 =

(5)

л/п(К-1)

Топометрика (5) позволяет найти расстояние между центрами для каждой пары выделенных кластерами близких по качеству деятельности организаций.

Определение плотности учебных заведений внутри кластера проводится на основании формулы:

ш 1

W = 1— , (6)

п(К-1)2

Здесь S(v) = ^DJ - сумма дисперсий всех признаков.

Для проведения ранжирования учебных заведений с учетом качества их функционирования представлен новый подход. Герменевтический взгляд на проблему установления места образовательной организации с учетом качества педагогического процесса и уровня подготовки студентов показал, что применение известных методов упорядочения объектов произвольной природы является неправомерным.

Проблема заключается в том, что в экспертно-балльной методике ранжирования специалисту или группе специалистов - экспертов предлагается установить веса значимости образовательных факторов, что невозможно сделать объективно. Более того, следует помнить, что признаки имеют различную размерность и масштаб, причем «значимость» каждого симптома изменяется во времени. Ранговая методика упорядочения образовательных учреждений также является несостоятельной, о чем указано в главе 2.

Автор предлагает новую методику ранжирования образовательных организаций, в основу которой положено понятие интегрального качества объекта произвольной природы:

ки - качество «'-ого объекта по у-ому признаку, Н) - энтропия у-ого образовательного фактора; ш - количество образовательных учреждений.

Методику ранжирования учебных заведений рассмотрим на следующем примере. Пусть имеется 7 образовательных учреждений одного и того же класса.

Управляющий орган этих образовательных организаций определил 8 признаков, результаты которых влияют на достижение системой объектов намеченной цели (в реальных условиях признаков может быть намного больше). Предположим, что после перевода количественных значений признаков в их качественные различия, мы получили таблицу качественных оценок факторов представленных в таблице 1.

При ранжировании следует использовать целые качественные оценки, так как они сгладят все имеющиеся количественные неточности, а также ошибки измерений или оценок мнений экспертов.

Таблица 1

Признаки У

№ 1 2 3 4 5 6 7 8 ¿и

0 1 5 1 1 2 4 4 5 5 27

Б 2 5 4 2 1 5 3 3 4 27

Ъ 3 5 4 2 4 1 3 4 4 27

Е 4 5 4 3 5 1 1 3 4 26

К 5 1 5 3 5 1 5 2 4 26

Т 6 5 4 5 1 2 3 2 4 26

Ы 7 5 5 3 4 4 1 1 1 24

Строки - это объекты (т=7); столбцы - признаки и их качественные оценки (п=8). Заметим, что суммы качественных оценок признаков всех образовательных объектов примерно одинаковы. Требуется найти интегральные качества учебных заведений и проранжировать эти объекты по их значимости в общей системе объектов S(t).

На этом примере убедимся в справедливости утверждения о том, что интегральное качество каждого объекта не есть простая сумма качеств их признаков. Системное или интегральное качество всегда больше суммы входящих в неё частей; всякое целое обнаруживает некий прирост качеств, т.е. обнаруживает некоторый "интегральный эффект".

Для установления этого прироста по исходным данным таблицы 1. необходимо:

- определить численное значение энтропии (меры хаоса) каждого признака;

- найти численное значение системного (интегрального) качества каждого объекта системы;

- вычислить рейтинг каждого объекта.

Энтропию каждого признака найдём по формуле (9):

Н1=(6/7)1п(7/6)+(1/7)1п(7)=0.41 - энтропия 1-го фактора; Н2=(4/7)1п(7/4)+(2/7)1п(7/2)+(1/7)1п(7)=0.96 - энтропия 2-го признака; Нз=(3/7)1п(7/3)+(2/7)1п(7/2)+2(1/7)1п(7)=1.28 - энтропия 3-го симптома;

Результаты поместим в таблицу 2.

Таблица 2

С точки зрения педагогической герменевтики полученный результат можно интерпретировать следующим образом: чем больше энтропия признака, тем больше он неупорядочен. Эта неупорядоченность вносит дезорганизацию в деятельность единой системы образовательных учреждений и, тем самым, тормозит достижение системой поставленной цели. Следовательно, чем больше величина энтропии образовательного фактора, тем труднее он для выполнения, тем больше не его субъективный «вес», а его объективная значимость на данном этапе функционирования системы, тем большее внимания должен уделять ему управляющий орган для уменьшения неупорядоченности. Если энтропия признака мала (Ш=0,41), то из этого следует, что его значимость в общей совокупности признаков тоже мала.

Таким образом, не субъективно, а объективно все образовательные факторы приобрели свою значимость (ценность) на данном этапе исследования.

Важной особенностью этой методики является и то, что качественные оценки признаков не являются раз и навсегда постоянными. Они динамичны во времени. На следующем этапе функционирования этих же объектов количественные или качественные значения некоторых симптомов изменятся и может случиться, что значения энтропии признаков изменятся и, следовательно, изменится и их значимость.

Теперь по данным качественным показателям каждого признака и по полученным значениям энтропии признаков, можно по этой формуле, определить интегральное (системное) качество каждого объекта и, после этого, провести их ранжирование.

К(8[)=5*0,41+1 «0,96+1*1,28+2»1,35+4*1,28+4» 1,28+5* 1,55 +5*0,8=28,98; 11(82)=5*0,41+4*0,96+2*1,28+1*1,35+5*1,28+3*1,28+3*1,55+4*0,8=27,89; Щ83)=5*0,41+4*0,96+2*1,28+4*1,35+1*1,28+3*1,28+4»1,55+4*0,8=28,37; Щ84)=5*0,41+4*0,96+3*1,28+5*1,35+1*1,28+1*1,28+3*1,55+4*0,8=26,89; И^Н-0,41+5*0,96+3*1,28+5*1,35+1*1,28+5*1,28+2*1,55+4*0,8=29,78; Щ8б)=5*0,41+4*0,96+5*1,28+1*1,35+2*1,28+3*1,28+2*1,55+4*0,8=26,34; К(87)=5*0,41+5*0,96+3*1,28+4*1,35+4*1,28+1*1,28+1*1,55+1*0,8=24,84. Строим окончательную таблицу.

Таблица 3

Объекты Сумма качеств Интегральное качество Рейтинг

я, 27 28,98 II

27 27,89 IV

27 28,37 III

26 26,89 V

26 29,78 I

Каждый объект получил свой рейтинг и занял соответствующее ему место по интегральной сумме качеств всех признаков-индикаторов.

Заметим, что сумма качественных оценок объекта S2 была равна 27, а объекта S5 - 26. Однако, по интегральному качеству объект S5 занял первое место, a S2 - четвёртое.

В главе 3 с учетом представленных ранее имманентных метрик приведены алгоритмы:

— кластерного анализа группировок образовательных организаций;

— классификации учебных заведений;

— распознавания образов образовательных учреждений;

— оценки качества деятельности учебного заведения.

На основании построенных автором алгоритмов оценки качества приведены примеры анализа деятельности образовательных организаций. Показано, что педагогическая герменевтика позволяет соотносить изменения значений интенсивностей образовательных симптомов с различными жизненными педагогическими ситуациями.

В качестве практического примера возьмём восемь образовательных признаков:

a) процент преподавателей со степенями и званиями;

b) число докторов наук и профессоров;

^ количество компьютеров на 100 студентов;

d) количество в библиотеке учебной литературы, рекомендованной Минвузом на 100 студентов;

e) количество в библиотеке учебно-методических пособий по ведущим дисциплинам на 100 студентов;

процент студентов активно занимающихся научными разработками в научных секциях;

g) число научных докладов (на 100 сотрудников), с которыми выступили преподаватели на республиканских и международных конференциях за прошедший учебный год;

количество научных публикаций преподавателей в центральной печати за прошедший учебный год.

Далее для каждого фактора устанавливаются не субъективные "веса" (коэффициенты значимости), а объективные и реальные верхние и нижние количественные нормы.

Например, самый лучший по оснащённости компьютерной техникой вуз имеет на каждых 100 студентов 30 компьютеров - это и есть верхняя граница для этого показателя. В штате преподавателей некоторо-

го лучшего по кадровому составу вуза 20% докторов наук и профессоров - это верхняя граница для этого показателя и т.д.

Указанные выше максимальные значения показателей являются реальными данными на некоторый момент и могут изменяться во времени. То же самое относится и к другим образовательным симптомам.

Установим верхнюю (max) и нижнюю (min) границы по набору приведённых выше восьми образовательных факторов:

Таблица 4

Наименование признака Граничные значения

max min

а) процент преподавателей со степенями и званиями 70 35

Ь) число докторов наук и профессоров 10 5

с) количество компьютеров на 100 студентов 10 1

ф количество в библиотеке учебной литературы, рекомендованной Минвузом на 100 студентов 30 10

е) количество в библиотеке учебно-методических пособий по ведущим дисциплинам на 100 студентов 100 40

0 процент студентов активно занимающихся научными разработками в научных секциях 50 10

g) число научных докладов (на 100 сотрудников), с которыми выступили преподаватели на республиканских и международных конференциях за прошедший учебный год 20 4

И) количество научных публикаций преподавателей в центральной печати за прошедший учебный год 10 2

Рассмотрим Вуз №1. Его количественные показатели по каждому из восьми признаков приведены в таблице количеств (Таблица 5).

Таблица 5.

значения признаки

а) Ь) с) d) е) 0 8) h)

■К max 70 10 10 30 100 50 20 10

количества Xj 56 6 3 26 62 19 14 3

xmin 35 5 1 10 40 10 4 2

Требуется определить качественную характеристику каждого признака этого вуза. Переведём все разноимённые количественные показатели в их качественные аналоги по формуле (10):

X —X пи* тш

Здесь

к1 - категория качества ¿-го признака; Х1 - количественное значение 1-го признака;

К- число качественных уровней (основание перевода).

Определим интегральное качество вуза №1. Вначале возьмём привычные пять качественных уровней:

«качество 1» - самый низкий уровень качества; «качество 5» - самый высокий уровень качества. После перевода количественных показателей из таблицы 5 в их дробные качественные аналоги, получим таблицу качеств (Таблица 6). Таблица 6

значения признаки сумма средняя

а) Ь) с) <1) е) 0 е) Ь)

шах 5 5 5 5 5 5 5 5 40 5

качества к, 2,2 1,8 3,2 3,2 3,1 3,4 3,5 3 23,4 2,92

гшп 1 1 1 1 1 1 1 1 8 1

Примечание. Качество "три" - это не "тройка" по данному признаку, а третья ступень качества. Качество "один" можно считать критическим.

На рисунке 1 представлены полученные профили факторов, наглядно отображающие качество каждого признака относительно верхней и нижней границ.

максимальная оценка

минимальная оценка

Рис. 1. Профили восьми признаков вуза №1.

Интегральное качество вуза №1 S1 равно 23,4, при максимально возможном 40; Средняя качественная оценка равна 2,92 при максимальном качестве, равном 5.

Вывод. Несмотря на малый процент докторов и доцентов, в вузе выпускаются учебные пособия и хорошо поставлена научная работа как преподавателей, так и студентов.

Интегральное качество вуза №2 S2=23,8. Средняя качественная оценка равна 2,97.

Вывод. Несмотря на большой процент остепенённых преподавателей с учеными степенями и званиями, в вузе слабо поставлена научная работа, как преподавателей, так и студентов.

Аналогичную качественную оценку может проводить и каждый вуз отдельно по факультетам, специальностям, кафедрам, преподавателям и студенческим группам.

В четвертой главе автор предлагает алгоритмы и модели для оценивания одного из факторов качества деятельности образовательной организации - показателя уровня обученности студентов.

Исходными данными для оценки качества обученности студентов в образовательном учреждении являются результаты компьютерного тестирования студентов этого учреждения с использованием единого банка дидактических тестовых материалов.

Автором разработаны:

— технология компьютерного тестирования при комплексной оценке деятельности образовательного учреждения;

— модели и алгоритмы системы обеспечения процедур тестирования и принятия решений на основе результатов тестовых проверок;

— алгоритмы и программы для сопровождения тестовых материалов и подготовки аттестационного комплекта тестовых материалов, проведения процедур тестирования и анализа результатов.

Основной инструментарий для оценивания качества обучения в вузах включает банки тестовых материалов (БТМ) по дисциплинам учебного плана основных образовательных программ юридического и экономического направлений. БТМ содержит однородные по трудности задания в тестовой форме, структурированные по принадлежности к дидактическим единицам государственного образовательного стандарта (ГОС). Количество заданий по одной дисциплине находится в пределах от 350 до 1500. Модель формирования тестовой последовательности предполагает случайную выборку заданий(я) из каждой дидактической единицы, входящей в спецификацию теста. В результате каждый тест содержит задания изо всех предусмотренных для проверки дидактических единиц одной дисциплины учебного плана, а каждое из тестовых заданий выпол-

няется в различных выборках студентов (различные учебные заведения). Предполагается, что при таком подходе показатель выполнения задания будет наиболее объективным, а каждый из испытуемых обязательно выполнит задания изо всех разделов. Дня оценивания уровня учебных достижений студентов всех вузов РФ, независимо от их статуса и формы обучения, по конкретной дисциплине используется один и тот же БТМ. В ходе тестирования для каждого испытуемого фиксируются показатели: дидактическая единица, содержание задания, порядок визуализации его элементов, количество предъявлений задания до фиксации готовности ответа, время ответа на задание, ответ испытуемого и результат анализа ответа.

БТМ по различным дисциплинам значительно разнятся по выполнимости. На процент выполнения заданий в тесте так же влияет качество задания - встречающееся неоднозначность формулировки содержания снижает вероятность верного суждения. Экспериментальные графики распределения студентов (по всем образовательным учреждениям) по проценту выполненных заданий по различным дисциплинам существенно отличаются друг от друга.

Качество обучения по конкретной дисциплине некоторой образовательной организации (00) можно определить по результатам тестирования студентов этой 0 0. Результаты тестирования представлены в процентах выполненных заданий. Возникает задача качественного анализа результатов тестирования, полученных в количественном виде, и вычисление некоторого интегративного показателя, облегчающего принятие административного решения. Результат тестирования каждого отдельно взятого студента можно рассматривать как количественный признак (фактор, симптом) качества обучения в 00. Введем 100 категорий качества ответов испытуемого. Самая низкая категория соответствует отсутствию знанию по дисциплине и самая высокая категория = 100 соответствует полному овладению учебной дисциплиной в соответствии с ГОС. На основании полной статистики о результатах всех сеансов тестирования по каждой дисциплине (независимо от учебного заведения) определим встречающиеся минимальное

процента выполненных заданий испытуемого. Затем согласно формуле (1) рассчитаем качественные аналоги результата тестирования каждого студента 00 из выборки. И построим гистограмму распределения студентов по категориям качества обученности. Для примера приведены результаты по 2 дисциплинам (Рисунок 2 и Рисунок 3).

Рис. 3 Дисциплина «Налоги и налогообложение», сеансов=542 ^=20,^=98,33

Можно считать, что качество обученности студентов по одной дисциплине есть самостоятельный фактор качества деятельности образовательной организации. Рассчитывается он как среднее значение качественных аналогов результата тестирования, представленного в проценте выполненных заданий.

Интегральное качество обученности студентов 00 можно просчитать по формуле (8), предварительно определив энтропию качественного признака по каждой дисциплине. В том случае, когда сравнению подлежат 0 0, прошедшие тестирование по одинаковому составу дисциплин, формула (8) может быть использована для определение рейтингового списка 0 0. Однако, на практике чаще встречается ситуация, когда список дисциплин может различаться, а проблема сравнения 00 друг с другом остается актуальной. Автор предлагает в данном случае использовать формулу для расчета показателя качества подготовки студентов в вузе

= ^-,/ = 1 ,т

IX

Взвешенный показатель качества подготовки студентов 7(5,)

ого учебного может служить не только для сравнения 00 между собой, но и для принятия решения об аттестации образовательной программы по фактору качества обучения конкретного 0 0.

Рассмотрим еще одну методику оценки качества обучения в 0 0. На основе всех сеансов тестирования о всем учебным заведениям построим кривую (ВУЗ СТ), отображающую долю студентов, качество ответов которых не превышает категории й. Такую же кривую построим и для каждого вуза в отдельности. Расположим эти кривые на одном графике. Назовем эти кривые «кривыми успеха», а семейство кривых - «гистерезис качества обучения». Кривая для Вуза №1 смещена вправо по оси абсцисс - качество обучения в Вузе № 1 выше, чем в среднем по всем вузам. Вуз №2 обучает хуже, чем в среднем по всем вузам (ВУЗ СТ). Данная методика удобна для визуального восприятия качества обученности по одной дисциплине.

0,9

ОЦ

5 40

; он « № Щ2

Щ о

Рис. 4 Кривые успеха.

Для принятия решения о пороговом значении уровня обученности студентов при экспертной оценке качества деятельности вузов построим график частот появления категорий качества среди образовательных организаций, прошедших тестирование. Для испытуемых .¡-ого учебного заведения выполняется процедура перевода количественных показателей процента выполненных заданий в их качественные аналоги и рассчитывается средний показатель качества обученности студентов по .¡-ой дисциплине Данный показатель является основой для построения графика частот по одной дисциплине.

10 20 30 40 60 60 ТО 80 90 100 кхг«г»рии кач*стаа

Рис. 5. Распределение вузов по среднему значению качества обу-ченности.

Предлагается ввести пороговое значение среднего балла т0 аттестации.

Если полученный средний балл тр. выше порогового значения т0, то уровень обученности студентов вуза по данной дисциплине образовательной программы может считаться удовлетворительным.

Пороговое значение т0 устанавливается для каждой учебной дисциплины. Полученные результаты позволяют предложить методику дихотомической оценки уровня подготовки студентов вуза по каждой дисциплине образовательной программы. Исходя из оценки, подготовку в вузе по данной дисциплине можно считать либо удовлетворительной, либо неудовлетворительной.

Если в вузе полученный при тестировании среднее значение категорий качества тр. Равно пороговому значению т. или ниже его, то уровень обученности студентов вуза по этой дисциплине образовательной программы может считаться неудовлетворительным.

Если в вузе уровень обученности по трем дисциплинам данной образовательной программы признан неудовлетворительным, то вуз считается неаттестованным по этой программе.

Если в вузе уровень обученности по двум дисциплинам данной образовательной программы признан неудовлетворительным, то вуз может быть аттестованным по этой программе лишь на двухлетний период.

Если в вузе уровень обученности по одной дисциплине данной образовательной программы признан неудовлетворительным, то вуз может быть аттестован на полный, пятилетний срок. Однако, в течение этого срока вуз является кандидатом на проведение органом управления образованием выборочного контроля качества исполнения образовательного стандарта, как это предусмотрено действующим законодательством.

Методика дает возможность ввести использование количественных результатов тестирования для принятия решения об аттестации вуза

по конкретной образовательной программе, то есть о принятии решения о соответствии содержания, уровня и качества подготовки государственному образовательному стандарту высшего образования.

Методика шкалирования. Часто возникает задача оценивания результатов тестирования с точки зрения общепринятой в России 5-бальной системе оценки (4 категории качества). Распределение студентов по уровню учебных достижений (УУД), оцениваемых по 5-бальной шкале, является атрибутивным, т.е. выстраивается по качественным факторам, признакам, не имеющим числового выражения.

Использование перевода сырых тестовых баллов в категории качества с снованием равным 5 (4) не даст желаемого результата. Поэтому автор предлагает следующую методику выставления отметок по результатам тестовых испытаний:

1. Перевод сырых тестовых баллов всех испытуемых в категории качества (количество категорий = 100) по формуле (1).

2. Построение распределение испытуемых (по всем 00, в которых проводилось аттестационное тестирование) по полученным качественным категориям. чей уровень знаний оценен по /-ой категории качества.

3. Установление количественного соотношение групп студентов с разным уровнем обученности, оцениваемом по 5-бальной шкале, используя герменевтический подход.

±П,=-—--; ¿л, =---Г И т.д.

" а2+аг+а4 + а5 а2+аг + ал+а5

<*ъ аз. а4, а}- исходные коэффициенты.

къ к), к4, к}- «рубежные» категории качества, к5 = 100.

[ 1 Дг] соответствует оценке «неудовлетворительно»;

[¿2+1,^] соответствует оценке «удовлетворительно»;

1, соответствует оценке «хорошо»;

[^1, к5] соответствует оценке «отлично».

!>,+ 2>,=и=йоо

¿=1 <=*2+1 |=*,+1 |=44+1

При значениях а2-1; а}=5; =3; а5= 1 предполагаем, что доля «отличников» и «двоечников» одинакова и составляет по одной части от общего количества испытуемых, «троечники» составляют половину всех испытуемых, а остальные испытуемые - «хорошисты». Значения к2, к3, к4 , ¿5 для разных распределений (дисциплин) будут различны.

Для апробации вышеизложенных моделей оценки качества обу-ченности студентов 00 были использованы данные по результатам тестирования более 200 вузов (около 20000 студентов) по 15 образовательным программам и 70 дисциплинам.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

Культурологический подход, герменевтическое сочетание парадигматического и нарративного способов интерпретации педагогического знания на основе дуального подхода к ОКДОУ, обеспечивают взаимодополнение анализа процессуальной стороны образования и качества его результатов. Синтез логико-гносеологического и ценностно-смыслового подход к оценке качества образования позволил автору данной работы создать модели и построить алгоритмы ОКДОУ, основанные на методах непараметрической статистики.

Основными результатами работы являются:

1. Обоснованы принципиально различающиеся между собой методологические подходы, характеризующие востребованность применения культурологического и герменевтического подходов для ОКДОУ с учетом процессуальной стороны образования и нарастающего внимания к индивидуальным проявлениям личностной субъективности.

2. Методы квалиметрии не могут применяться при ОКДОУ, поскольку доверительные интервалы и вероятности - главный продукт количественной статистики - построены на основании домысливания непроверяемых экспериментально вещей: например, понятию генеральная совокупность в образовательной организации ничего не соответствует; предполагается обычно независимость отдельных факторов, что не соответствует реалиям да и может быть проверено в принципе; постулируется наличие одного закона распределения.

3. Получение на основе синтеза логико-гносеологического и ценностно-смыслового подхода новые модели топометрики, обладает большим научным потенциалом для герменевтической интерпретации содержания образовательных факторов произвольной природы и различной размерности, когда требуется поливариантность подходов и наблюдается отказ от жестких штампов традиционной статистики.

4. Переход от концептуальных моделей имманентной метрики к их математическим представлениям обеспечил создание алгоритмов и программ для оценки новых функций расстояний и плотностей образовательных факторов любой природы.

5. Базисное для количественной статистики понятие однородности образовательных объектов принципиально не отвечает не только ме-

тодологии ОКДОУ, но и принципам кластерного анализа, когда классификация педагогических событий, явлений и свойств производится только при наличии неоднородных статистических совокупностей.

6. Образное представление моделей и алгоритмов ОКДОУ объясняется уникальностью и неповторимостью феномена личности студента, зависимостью процессуальной стороны образования от большого количества симптомов числовой и нечисловой природы, что создает препятствия для фиксирования образовательных реалий методами количественной квалиметрии.

7. Достоинства разработанных на основе статистики качеств и педагогической герменевтики новых моделей и алгоритмов кластеризации, классификации, оценки качества и ранжирования учебных заведений состоит в их явной и ясной герменевтической осмысленности и интерпретации, возможности моделирования и мониторинга качества деятельности образовательных организаций, придавая интервалам изменения границ признаков реальные нормативные значения.

8. Методика дает возможность ввести использование количественных результатов тестирования для принятия решения об аттестации вуза по конкретной образовательной программе, то есть о принятии решения о соответствии содержания, уровня и качества подготовки государственному образовательному стандарту высшего образования.

9. Основные теоретические положения данной работы доложены на 5-и научных конференциях, обсуждались на НТС по тестирования Минобразования РФ, опубликованы в 20-х статьях, использованы при выполнении государственных контрактов №1409 от 31.05.2004,...

На основании полученных в данной работе результатов можно сделать следующие выводы.

1. Научное изучение результата образования, осуществляемые на основе методов статистики качеств и педагогической герменевтики, позволяет увидеть в ОКДОУ сложное многомерное пространство, включающее в себя существенные факторы числовой и нечисловой природы.

2. Необходимым условием достижения объективности анализа качества образования является применение дуального подхода к ОКДОУ, когда логическая и логичная формы мышления рассматриваются в единстве на фоне рефлексивной деятельности исследователя.

3. Разработанная аксиоматика синтеза логико-гносеологического и ценностно-смыслового подходов послужила основой создания новых моделей топометрики, обеспечивающей сведение образовательных признаков произвольной природы к единому основанию предикамента качества.

4. Построенная система алгоритмов поддержки принятия решений по ОКДОУ, позволяет осуществлять классификацию и ранжирование учебных заведений с учетом процессуальной стороны образования и индивидуальных достижений студентов, допускает ясную и явную герменевтическую интерпретацию результатов моделирования.

5. Предложенный интегративный показатель качества образования, обеспечивает построения алгоритма объективного ранжирования образовательных организаций без введения весовых коэффициентов для различных факторов.

6. Созданная на основе сетей Петри математическая модель конструктора тестовых заданий, послужила основой для построения адаптивной среды оценки учебных достижений студентов, рекомендуемой научно-техническим советом по тестированию Минобразования РФ для применения в учебных заведениях (Протокол № 12 от 21.02.2001)

Главный смысл работы автор видит в создании концептуальной и математической моделей, алгоритмов и программ оценки качества деятельности образовательных организаций, учитывающих специфику профессиональной области участников педагогического процесса. Это позволит автоматизировать процедуры кластеризации, классификации и ранжирования образовательных учреждений на основе методов статистики качеств, обеспечит объективизацию принятия решений по совершенствованию педагогического процесса и управления качеством образования.

Дальнейшее совершенствование работ в этом направлении должно идти по пути:

— создания единого пространства контроля качества деятельности образовательных организаций;

— обоснования выбора, широкое обсуждение и утверждение на уровне Федеральной службы по надзору в сфере образования и науки макро и микро факторов, оказывающих существенное влияние на качество образования;

— разработки нормативной системы культуры по установлению рациональных границ и интервалов изменения качества образовательных признаков произвольной природы;

— проектирование анкет-вопросников и разработка новых итеративных процедур согласования мнений экспертов, использующих представленные в данной работе модели и алгоритмы.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ.

Основные результаты, полученные автором в ходе работы над диссертацией, отражены в следующих публикациях.

1. Васильев В.И., Красильников В.В., Плаксий СИ., Тягунова Т.Н. Статистический анализ многомерных объектов произвольной природы, Москва, изд. ИКАР, 2004 С. 147-258

2. Т.Н.Тягунова. Философия и концепция компьютерного тестирования, Москва, ИПК МГУП, 2003.

3. Васильев В.И., Тягунова Т.Н. Основы культуры адаптивного тестирования, Москва, изд. ИКАР, 2003 С. 115-235.

4. Васильев В.И., Демидов А.Н., Малышев Н.Г., Тягунова Т.Н. Методологические правила конструирования компьютерных педагогических тестов. М.: Изд-во ВТУ, 2000. С. 30-52.

5. Васильев В.И., Тягунова Т.Н. Культура компьютерного тестирования. Часть П. Программно-дидактическое тестовое задание. М.: МГУП, 2002.90с. С. 43-87.

6. Отчет по НИР «Разработка математической модели и алгоритмического обеспечения интеллектуальной системы тестирования», 1998г. УДК 681.012.27-512.06 № госрегистрации 01980010490, инв.№ОИМ 1839 С.27-85

7. Тягунова Т.Н. Сетевое моделирование интеллектуальной системы тестирования. Научный вестник МГТУ ГА. №4. Серия Информатика, Москва. 1998.

8. Васильев В.И., Тягунова Т.Н. Вероятностный подход к анализу тестовых заданий. Научный вестник МГТУ ГА. №4. Серия Информатика, Москва. 1998. С. 28-32

9. Тягунова Т.Н. Адаптивная среда тестирования. Тезисы докладов Международная конференция, Москва, 20-21 апреля 1999г.

10. Тягунова Т.Н. Математическая модель генератора тестов Адаптивной среды тестирования. Тезисы докладов Международная конференция, Москва, 20-21 апреля 1999г.

И. Тягунова Т.Н., Строганов В.М. Лингвистические переменные компонент тестирования, Москва. 1999. Тезисы докладов Международная конференция, Москва, 20-21 апреля 1999г.

12. Тягунова Т.Н., А.В.Казаков Проектирование мастера тестовых заданий, Москва. 1999. Тезисы докладов Международная конференция, Москва, 20-21 апреля 1999г.

В.Строганов В.Ю., Тягунова Т.Н. Регрессионная модель оценивания уровня знаний студентов при тестировании. Научный вестник МГТУ ГА -1999. - №17. Системы и технологии обучения. С.39-43

14. Васильев В.И., Тягунова Т.Н. Системный подход к компьютерному тестированию. Научный вестник МГТУ ГА. №25. Серия Информатика, Москва. 2000. С. 8-11.

15. Тягунова Т.Н., Казаков А.В. Реализация форм тестовых заданий в программной среде адаптивного тестирования. Научный вестник МГТУ ГА. №25. Серия Информатика, Москва. 2000. С. 73-83

16. Отчет о научно-исследовательской работе «Создание банков программно-дидактических тестовых заданий для государственной итоговой аттестации выпускников высших учебных заведений» 2001г.. ГРНТИ 14.01.29; 14.01.85; 14.35.07 № регистрации 13.21 (237) Инв № 003.2001 С.43-89

17. Васильев В.И., Касимов Ю.Ф., Тягунова Т.Н. Оценка верности аттестации испытуемых. Научный вестник МГТУ ГА. №38. Серия Информатика, Москва. 2001. С. 25-26

Подписано в печать 20.10.2004 г. Формат 60184/16. Объем 1,75 пл. Тираж 90 экз. Заказ № 533/419 Московский государственный университет печати. 127500, Москва, ул.Прянишннкова, 2а. Отпечатано в ИНК МГУП

« 2 2 О 5 •

РНБ Русский фонд

2005-4 20998

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ.

1. Методологические аспекты оценки качества образования.

1.1. Становление гуманитарного научного знания.

1.2. Проблемы измерений и оценки в системе образования.

1.3. Онтология и гносеология оценки качества образования.

1.4. Генезис культуры оценки.

1.5. Компоненты и факторы образовательной организации.

Актуальность работы. Кардинальные изменения в России, охватывающие все стороны ее жизнедеятельности и влияющие на актуализацию проблем образования как главного условия прогрессивного развития страны в XXI веке, получили свое отражение в оценке качества деятельности учебных заведений.

Последние сорок лет отмечены усилением интереса ученых и практиков к вопросам взаимодействия, взаимопроникновения различных наук. О перспективности исследований на стыках различных областей знаний, в особенности относящихся к естественным и гуманитарным наукам, писали многие. Полезность интердисциплинарных исследований неоднократно проявляла себя в приложении к различным комплексным проблемам. Согласно научным прогнозам именно в результате таких исследований следует ожидать новых решений в области оценки качества образования.

Ценность качественных методов резко возросла, когда объектами описания стали сложные развивающиеся системы в психологии, биологии, образовании. Действительно, существующий подход к оценке качества деятельности образовательной организации (ОКДОУ) сводит результаты анализа функционирования учебного заведения только к учету явно выраженных количественных признаков, игнорируя другую составляющую -атрибутивные существенные факторы. Более того, сведение ОКДОУ к исследованию на основе предикамента количества составляет вне рассмотрения существенные признаки, характеризующие процессуальную сторону педагогической действительности. Поэтому, изоляционистский принцип опасен тем, что под видом ОКДОУ результаты образования сводятся либо к арифметизации количеств-величин, либо к вербальному описанию наборов качеств - интенсивностей.

Гибридность" образовательных факторов, ограничивающая прогностичность методов количественной квалиметрии, связана, прежде всего, с их уникальностью и специфичностью. Ряд понятий "качество"* "кластеризация", "классификация", "целостность" в сфере образования полезно дополнить термином "топология" как противоположного понятию "метрика". Поэтому одной из задач данной работы является построение новой топометрики, учитывающей произвольную природу признаков, характеризующих процессуальную сторону образования и содержательные компетенции личности каждого студента.

Топометрическое понимание образовательных симптомов подразумевает разнокачественность и разномерность этих признаков, отражает их герменевтическое понимание и интерпретацию. Именно в этом смысле допустимо говорить о создании новых моделей и алгоритмов преобразования образовательных гибридных факторов к единому основанию - предикаменту качества.

Не менее важным представляется решение задач кластеризации, классификации, распознавания оценки деятельности и ранжирования образовательных организаций с учетом новых коэффициентов множественной конкордации и интегративного показателя качества системы образовательных учреждений. Такие модели и алгоритмы являются основой для моделирования образовательных систем различного уровня.

Сказанное выше определяет актуальность создания моделей и механизмов оценки качества деятельности образовательных учреждений на основе методов статистики качеств.

Целью диссертационной работы является создание моделей и алгоритмов оценки качества деятельности образовательных организаций на основе методов непараметрической статистики и педагогической герменевтики.

Задачи исследования. В соответствии с постановленной целью требуется решить следующие задачи:

- провести критический анализ современных методов и технологий оценки качества образования;

- разработать новую имманентную метрику (топометрику) для определения функций расстояний и плотностей образовательных признаков произвольной природы;

- создать модели и алгоритмы для вычисления коэффициентов множественной качественной конкордации образовательных факторов и оценки сходства образовательных объектов;

- построить интегративный показатель оценки качества деятельности образовательных учреждений;

- решить практические задачи по применению моделей и алгоритмов кластеризации, классификации и ранжирования высших учебных заведений.

Объектом -исследования является область теоретической информатики, связанная с разработкой моделей и алгоритмов оценки качества объектов произвольной природы.

Предмет исследования - установление на основе логико-гносеологического и ценностно-смыслового подходов новых функций расстояний и коэффициентов сходства между образовательными факторами и учреждениями.

Методы исследования. Для достижения поставленной в работе цели и решения перечисленных задач использованы методы статистики качеств, герменевтики, сетевой метод моделирования систем. Разработка программ для реализации алгоритмов проведена на языке программирования Visual Basic.

Методологическая основа. Работа выполнена на основе методологии культурологического и герменевтического подходов к синтезу логической и логичной форм мышления, используемого в процессе создания моделей оценки качества образования.

Достоверность полученных результатов подтверждается моделированием и герменевтической интерпретацией созданных топометрик и коэффициентов сходства образовательных объектов, практической реализацией моделей и алгоритмов опознавания, кластеризации, классификации и ранжирования совокупностей объектов.

Научная новизна полученных в данной работе результатов состоит в следующем:

- разработаны новые топометрические модели и алгоритмы для преобразования признаков различной природы к единому основанию качества;

- впервые получены коэффициенты множественной согласованности образовательных объектов включающих в себя факторы числовой и нечисловой природы;

- получена, апробирована и введена в эксплуатацию адаптивная система оценки качества учебных достижений студентов;

- создана, апробирована и введена в эксплуатацию технология оценки качества учебных достижений студентов при комплексной оценке деятельности вузов.

Предлагаемый автором данной работы интеграционистский подход понимает ОКДОУ как синтезирующую область знания, возникшую на стыке педагогической герменевтики и статистики качеств.

Оценка теоретической значимости результатов работы. Полученные концептуальные и математические модели и алгоритмы являются теоретической основой создания единой автоматизированной системы аккредитации и аттестации образовательных организаций. Методики определения коэффициентов сходства применяются для оценки качества деятельности образовательных учреждений.

Практическая ценность работы состоит в создании методик использовании методов непараметрической статистики для оценки качества процессуальной стороны образования и индивидуальных компетенций личности.

На защиту выносятся следующие положения:

1. Основу современной парадигмы качества образования составляют идеи гуманизма, субъективности, принципы открытости и интеграции учета факторов числовой и нечисловой природы;

2. Учет механизмов социализации, гуманизации и инкультуризации личности средствами образования, а также процессуальной стороны образования не позволяет использовать для оценки качества деятельности учебных заведений жесткие методы количественной квалиметрии;

3. Оценка качества деятельности образовательной организации строится на основе интегративного показателя качества и базируется на дуальном подходе, когда логико-гносеологический и ценностно-смысловой подходы используются в единстве;

4. Модели и алгоритмы функций расстояний и топометрики сходства образовательных объектов;

5. Итеративные процедуры кластеризации, классификации, распознавания, оценки качества и ранжирования образовательных учреждений;

6. Адаптивная система оценки качества достижений студентов и технология аттестации образовательных организаций.

Внедрение результатов. Модели и алгоритмы в виде поддержки принятия решений по оценке качества деятельности образовательных организаций применяются Федеральной службой по надзору в сфере образования и науки для итоговой аттестации учебных заведений, а также внедрены в 50-и образовательных учреждениях и при выполнении государственных контрактов №1409 от 31.05.2004, №1410 от 31.05.2004, №1991 от 31.10.2002, №1891 от 18.08.2003.

Апробации результатов работы. Основные результаты диссертационной работы доложены и обсуждены да Конференциях: "Развитие методов и средств адаптивного тестирования", Москва, 2003; "Развитие методов и средств компьютерного тестирования", Москва 2004.

Модели и алгоритмы, полученные автором данной работы использовались в процессе подготовки экспертов высших учебных заведений при реализации под руководством Министерства образования Российской Федерации Концепции и технологии компьютерного тестирования в аттестационных экспертизах вузов, Москва, 2003.

Личный вклад автора заключается в разработке концептуальных и математических моделей, а также алгоритмов и программ оценки качества деятельности образовательных организаций, базирующихся на методах статистики качеств, и их реализации в системе аттестационных проверок учебных заведений.

Публикации. Основные работы изложены в 17-ти научных статьях, 5-и материалах научных конференций. Программное обеспечение официально зарегистрировано в Федеральном органе Исполнительной власти по интеллектуальной собственности.

Структура и объем диссертации. Диссертационная работа состоит из введения, 4-х глав, заключений по каждой главе, основных результатов и выводов, списка использованной литературы и приложений.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

Культурологический подход, герменевтическое сочетание парадигматического и нарративного способов интерпретации педагогического знания на основе дуального подхода к ОКДОУ обеспечивают взаимодополнение анализа процессуальной стороны образования и качества его результатов. Синтез логико-гносеологического и ценностно-смыслового подход к оценке качества образования позволил автору данной работы создать модели и построить алгоритмы ОКДОУ, основанные на методах непараметрической статистики.

Основными результатами работы являются:

Обоснованы принципиально различающиеся между собой методологические подходы, характеризующие востребованность применения культурологического и герменевтического подходов для ОКДОУ с учетом процессуальной стороны образования и нарастающего внимания к индивидуальным проявлениям личностной субъективности.

Методы квалиметрики не могут применяться при ОКДОУ, поскольку доверительные интервалы и вероятности — главный продукт количественной статистики - построены на основании домысливания непроверяемых экспериментально вещей: например, понятию генеральная совокупность в образовательной организации ничего не соответствует; предполагается обычно независимость отдельных факторов, что не соответствует реалиям да и может быть проверено в принципе; постулируется наличие одного закона распределения.

Базисное для количественной статистики понятие однородности образовательных объектов принципиально не отвечает не только методологии ОКДОУ, но и принципам кластерного анализа, когда классификация педагогических событий, явлений и свойств производится только при наличии неоднородных статистических совокупностей.

Полученные на основе синтеза логико-гносеологического и ценностно-смыслового подхода новые модели топометрики, обладают большим научным потенциалом и допускают герменевтическую интерпретацию содержания образовательных факторов произвольной природы и различной размерности, когда требуется поливариантность подходов и наблюдается отказ от жестких штампов традиционной статистики.

Переход от концептуальных моделей имманентной метрики к их математическим представлениям обеспечил создание алгоритмов и программ для оценки новых функций расстояний и плотностей образовательных факторов любой природы.

Образное представление моделей и алгоритмов ОКДОУ объясняется уникальностью и неповторимостью феномена личности студента, зависимостью процессуальной стороны образования от большого количества симптомов числовой и нечисловой природы, что создает препятствия для фиксирования образовательных реалий методами количественной квалиметрии.

Достоинства разработанных на основе статистики качеств новых моделей и алгоритмов кластеризации, классификации, оценки качества и ранжирования учебных заведений состоит в их явной и ясной герменевтической осмысленности и интерпретации, возможности моделирования и мониторинга качества деятельности образовательных организаций, придавая интервалам изменения границ признаков реальные нормативные значения.

Основные теоретические и практические положения данной работы доложены на 5-и научных конференциях, обсуждались на заседании НТС Минобразования РФ по проблемам тестирования (протокол №12 от 21.02.2001), опубликованы в 17-и печатных работах, использованы при выполнении государственных контрактов №1409 от 31.05.2004, №1410 от 31.05.2004, №1991 от 31.10.2002, №1891 от 18.08.2003 и зарегистрированы в свидетельствах (№990474, №2004672523, №2004612524, №2004612525) Российского агентства по патентам.

На основании полученных в данной работе результатов можно сделать следующие выводы.

Необходимым условием достижения объективности анализа качества образования является применение дуального подхода к ОКДОУ, когда логическая и логичная формы мышления рассматриваются в единстве на фоне рефлексивной деятельности исследователя.

Разработанная аксиоматика синтеза логико-гносеологического и ценностно-смыслового подходов послужила основой создания новых моделей топометрики, обеспечивающей сведение образовательных признаков произвольной природы к единому основанию предикамента качества.

Построенная система алгоритмов, поддержки принятия решений по ОКДОУ, позволяет осуществлять классификацию и ранжирование учебных заведений с учетом процессуальной стороны образования и индивидуальных достижений студентов, допускает ясную и явную герменевтическую интерпретацию результатов меоделирования.

Предложенный интегративный показатель качества образования, обеспечивает построения алгоритма объективного ранжирования образовательных организаций без введения весовых коэффициентов для различных факторов.

Главный смысл работы автор видит в создании концептуальной и математической моделей, алгоритмов и программ аккредитации и аттестации образовательных организаций, учитывающих специфику деятельности участников педагогического процесса. Это позволит автоматизировать процедуры кластеризации, классификации и ранжирования образовательных учреждений на основе методов статистики качеств, обеспечит объективизацию принятия решений по совершенствованию педагогического процесса и управления качеством образования.

Дальнейшее совершенствование работ в этом направлении должно идти по пути:

- создания единого пространства аккредитации и аттестации образовательных организаций;

- обоснования выбора, широкого обсуждения и утверждения на уровне Федеральной службы по надзору в сфере образования и науки макро и микро факторов, оказывающих существенное влияние на качество образования;

- разработки нормативной системы культуры по установлению рациональных границ и интервалов изменения качества образовательных признаков произвольной природы;

- проектирования анкет-вопросников и создания новых итеративных процедур согласования мнений экспертов, использующих представленные в данной работе модели и алгоритмы.

4.7. Заключение

Для апробации вышеизложенных моделей оценки качества обученности студентов образовательных организаций были использованы данные по результатам тестирования более 200 вузов (около 20000 студентов) по 15 образовательным программам и 70 дисциплинам. а.2, аз, гц — исходные коэффициенты. кг, кз, к4, ks «рубежные» категории качества, к5 = 100.

1, кг] соответствует оценке «неудовлетворительно»; кг+1, кз] соответствует оценке «удовлетворительно»; кз+1, L»] соответствует оценке «хорошо»; k4+l, ks] соответствует оценке «отлично». = 1,100

31) /=кг+1 ;=А4+1

Представленные в данной главе модели интерпретации результатов компьютерного тестирования, как одного из основных объективных факторов качества деятельности образовательных организаций, основаны на теории статистики качеств и обеспечивают процедуры принятия решений при оценке деятельности образовательных организаций.

1. Абрамова Н.Т. Ценности образования, новые технологии и неявные формы знания // Вопросы философии. 1998. №6.

2. Байденко В.И. Компетенции: к освоению компетентного подхода. Методологический семинар «Россия в Болонском процессе: проблемы, задачи, перспективы», Москва, 2004.

3. Беляева JI.A. Проблема понимания в педагогической деятельности, Екатеринбург, 1995.

4. Бенин B.JI. Сущность понятия "педагогическая культура"// Понятийный аппарат педагогики. Екатеринбург, 1996.

5. Беспалько В.П.Слагаемые педагогической технологии, Москва, изд. «Педагогика», 1989.

6. Бим-Бад Б.М. Антропологическое основание теории и практики современного образования, Москва, 1994.

7. Бондаревская Е.В. Педагогическая культура как общественная и личная ценность, Москва, изд. «Педагогика», 1999. №3.

8. Братусь Б.С. Личностные смыслы по А.Н. Леонтьеву и проблема вертикали сознания // Традиции и перспективы деятельностного подхода в психологии: школа А.Н. Леонтьева / Под ред. А.Е. Войскунского, А.Н. Ждан и др., Москва, изд. «Смысл», 1999.

9. Брудный А.А. Психологическая герменевтика, Москва, изд. «Знание», 1990.

10. Булынин А. Актуализация ценностного подхода в педагогическом образовании // Alma mater. 1997. №6.

11. Васильев В.И. Распознающие системы, Киев, изд. «Наукова Думка», 1989.

12. Васильев В.И., Красильников В.В., Плаксий С.И., Тягунова Т.Н. Статистический анализ многомерных объектов произвольной природы, Москва, изд. ИКАР, 2004.

13. Васильев В.И., Тягунова Т.Н. Основы культуры адаптивного тестирования, Москва, изд. ИКАР, 2003.

14. Вебер М. Избранные произведения, Москва, изд. «Прогресс», 1990.

15. Видт И.Е. Культурологические основы образования, Тюмень, изд. Тюменского государственного университета, 2002.

16. Вильсон А. Дж. Энтропийные методы моделирования сложных систем, Москва, изд. «Наука», 1978.

17. Воронов В.В. Формы представления знания в педагогическом образовании, Москва, изд. «Педагогика», 1999. №4.

18. Выготский JI.C. Собр. Соч.: В 6т. Т.1. Москва, изд. «Педагогика», 1982.; Т.З. Москва, изд. «Педагогика», 1983.

19. Гершунский Б.С. Философия образования, Москва, изд. «Флинта», 1998.

20. Гессен С.И. Основы педагогики, Москва, изд. «Школа-Пресс», 1995.

21. Дубов И.Г. Феномен менталитета: психологический анализ // Вопросы психологии. 1993. №5.

22. Закирова А.Ф. Теоретические основы педагогической герменевтики, Тюмень, изд. Тюменского государственного университета, 2001.

23. Звонников В.И., Найденова Н.Н., Никифоров С.В., Челышкова М.Б. Шкалирование и выравнивание результатов педагогических измерений, Москва, изд. «Логос», 2003.

24. Зимняя И.А. Ключевые компетентности как результативно-целевая основа компетентного подхода в образовании. Методологический семинар «Россия в Болонском процессе: проблемы, задачи, перспективы», Москва, 2004.

25. Келс Г.Р. Процесс самооценки. Перевод с англ. О. Бухиной, Москва ,1999.

26. Конти Тито. Самооценка в организациях. Перевод с англ., Москва, изд. "Стандарты и качество", 2000.

27. Крылова Н.Б. Культурология образования, Москва, 2000.

28. Лазарев С.С. Онтология точности и прогностичности, Москва, «Вопросы философии», №1,2004.

29. Леонтьев А.Н. Деятельность. Сознание. Личность, Москва, 1975.

30. Мессарович М., Мако Д., Такахара И. Теория иерархических многоуровневых систем, Москва, изд. «Мир», 1973.

31. Методологические-основы научного познания / Под ред. П.В. Попова. Москва, изд «Высшая школа», 1972.

32. Орлов А.И. Заводская лаборатория. 1995, т.61, №3.

33. Педагогика. Под редакцией С.А. Смирнова. Москва, Academ А, 1998.

34. Плаксий С.И. Качество образования. Национальный институт бизнеса, Москва, 2003.

35. Полонский В.М. Понятийно-терминологический аппарат педагогики, Москва, изд. «Педагогика», 1999. №8.

36. Поташник ;М-М. Качество образования: проблемы и технология управления, Москва, изд. «Педагогическое общество России», 2002.

37. Практикум по теории статистики, Москва, изд. «Финансы и статистика», 2001.

38. Ришер Ж.Ф. Ментальная активность, Москва, изд. Института психологии ГАН,1998.

39. Розенберг Н.М. Проблемы измерений в дидактике, Киев, изд. «Вища школа», 1979.

40. Розов Н.С. Философия гуманитарного образования, Москва, 1993.

41. Рубинштейн C.JI. Основы общей психологии: В 2-х т. Т. 1. Москва, изд. «Педагогика», 1989.

42. Руденко В.Н. Культурологические основания целостности содержания высшего образования, Москва, изд. «Педагогика», №1, 2004.

43. Рузавин Г.И. Методология научного исследования: Учеб. Пособие для вузов. Москва, изд. ЮНИТИ ДАНА, 1999.

44. Селезневва Н.А. Размышления о качестве образования: Международный аспект. Высшее образование сегодня, №4, 2004 (терминология)

45. Сенько Ю.В. Гуманитарные основы педагогического образования, Москва, 2000.

46. Сергеев А.Г., Крохин В.В. Метрология, Москва, изд. «Логос», 2001.

47. Сулима И.И. Философская герменевтика и образование, Москва, изд. «Педагогика», 1999.

48. Тихомиров O.K. Психология мышления, Москва, изд. МГУ, 1984.

49. Тодоров JI.B. Понятие культуры и построение теории содержания образования , Москва, изд. «Педагогика», 1999. №8.

50. Турбович И.Т., Юрков Е.Ф., Гитис В.Г. Аппроксимация и нормирование описания образа. Опознавание образов, Москва, изд. «Наука», 1968.

51. Тхагапсоев Х.Г. О новой парадигме образования, Москва, изд. «Педагогика»,1999. №1.

52. Управление качеством образования. Под редакцией М.М. Поташника, Москва, изд. «Педагогическое общество России», 2000.

53. Хованов Н.В. Математические основы теории шкал измерения -качества, Ленинград, изд. Ленинградского университета, 1982.

54. Шихирев П.Н. Современная социальная психология, Москва, изд. «Институт психологии РАН», 1999.

55. Шуман А.Н. Филосовская логика, Москва, изд. «Экономпресс», 2001.

56. Follesdal D. Hermeneutics and hypothetico-deductive method // Dialectica. V.33. №3/4.

57. Васильев В.И., Красильников B.B., Плаксий С.И., Тягунова Т.Н. Статистический анализ многомерных объектов произвольной природы, Москва, изд. ИКАР, 2004 С. 147-258

58. Т.Н.Тягунова. Философия и концепция компьютерного тестирования, Москва, ИПК МГУП, 2003.

59. Васильев В.И., Тягунова Т.Н. Основы культуры адаптивного тестирования, Москва, изд. ИКАР, 2003 С. 115-235.

60. Васильев В.И., Демидов A.H., Малышев Н.Г., Тягунова Т.Н. Методологические правила конструирования компьютерных педагогических тестов. М.: Изд-во ВТУ, 2000. С. 30-52.

61. Васильев В.И., Тягунова Т.Н. Культура компьютерного тестирования. Часть И. Программно-дидактическое тестовое задание. М.: МГУП, 2002. 90с. С. 43-87.

62. Отчет по НИР «Разработка математической модели и алгоритмического обеспечения интеллектуальной системы тестирования», 1998г. УДК 681.012.27512.06 № госрегистрации 01980010490, инв.№ОИМ 1839 С.27-85

63. Тягунова Т.Н. Сетевое моделирование интеллектуальной системы тестирования. Научный вестник МГТУ ГА. №4. Серия Информатика, Москва. 1998.

64. Васильев В.И., Тягунова Т.Н. Подход к созданию инструментальной системы тестового контроля с интеллектуальными свойствами. // Межвузовский сборник научных трудов «Методы и средства дистанционного радиозондирования», МГТУ ГА, Москва, 1997г.

65. Васильев В.И., Тягунова Т.Н. Вероятностный подход к анализу тестовых заданий. Научный вестник МГТУ ГА. №4. Серия Информатика, Москва. 1998. С. 28-32

66. Тягунова Т.Н. Адаптивная среда тестирования. Тезисы докладов Международная конференция, Москва, 20-21 апреля 1999г.

67. Тягунова Т.Н. Математическая модель генератора тестов Адаптивной среды тестирования. Тезисы докладов Международная конференция, Москва, 20-21 апреля 1999г.

68. Тягунова Т.Н., Строганов В.М. Лингвистические переменные компонент тестирования, Москва. 1999. Тезисы докладов Международная конференция, Москва, 20-21 апреля 1999г.

69. Тягунова Т.Н., А.В.Казаков Проектирование мастера тестовых заданий, Москва. 1999. Тезисы докладов Международная конференция, Москва, 20-21 апреля 1999г.

70. Строганов В.Ю., Тягунова Т.Н. Регрессионная модель оценивания уровня знаний студентов при тестировании. Научный вестник МГТУ ГА 1999. - №17. Системы и технологии обучения. С.39-43

71. Васильев В.И., Тягунова Т.Н. Системный подход к компьютерному тестированию. Научный вестник МГТУ ГА. №25. Серия Информатика, Москва. 2000. С. 8-11.

72. Тягунова Т.Н., Казаков А.В. Реализация форм тестовых заданий в программной среде адаптивного тестирования. Научный вестник МГТУ ГА. №25. Серия Информатика, Москва. 2000. С. 73-83

73. Васильев В.И., Касимов Ю.Ф., Тягунова Т.Н. Оценка верности аттестации испытуемых. Научный вестник МГТУ ГА. №38. Серия Информатика, Москва. 2001. С. 25-26

74. МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

75. Федеральная служба по надзору в сфере образования и науки

76. Чистопрудный бульвар, 6/19,

77. Москва, 101990 Телефон/факс: (095) 924-69^89f/tfM'v, ОТ