автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Автоматизация процессов контроля качества профессионального обучения в системе переподготовки персонала предприятий

На правах рукописи

Певцов Константин Сергеевич

Автоматизация процессов контроля качества профессионального обучения в системе переподготовки персонала предприятий

специальность 05.13.06 - автоматизация и управление технологическими процессами и производствами (полиграфические средства информации и информационные системы)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

НИШ«

Москва - 2009 г.

Работа выполнена на кафедре Информатики и вычислительной техники государственного образовательного учреждения высшего профессионального образования Московский государственный университет печати.

Научный руководитель: доктор технических наук, доцент

Дмитрий Иванович Попов

Официальные оппоненты: Засл. деятель науки и техники РФ, директор

Центра тестирования проф. образования, доктор технических наук, профессор Владимир Иванович Васильев

кандидат технических наук, доцент Екатерина Игоревна Макаренко

Ведущая организация:

ГОУ ВПО «Москвский государственный технический университет им. Н. Э. Баумана»

Защита состоится «19» ноября 2009 г. в 14-00 на заседании диссертационного совета Д 212.147.03 при Московском государственном университете печати по адресу: 127550, г. Москва, ул. Прянишникова, 2А, зал заседаний ученого совета.

С диссертацией можно ознакомиться в библиотеке МГУП.

Автореферат разослан «19» октября 2009 г.

Ученый секретарь диссертационного совета д.т.н., профессор

В.Н. Агеев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы.

«Внедрение новых образовательных технологий и принципов организации учебного процесса, обеспечивающих эффективную реализацию новых моделей и содержания непрерывного образования, в том числе с использованием современных информационных и коммуникационных технологий» является важнейшим условием реализации «Концепции Федеральной целевой программы развития образования на 2006-2010 годы».

Среди других приоритетных направлений в «Концепции...» перечислены: «создание общероссийской системы оценки качества образования, направленной на создание механизмов объективной оценки качества образования на всех уровнях и ступенях образования, что, в конечном счете, позволит обеспечить качество и доступность образования»; и «развитие новых форм и механизмов оценки и контроля качества деятельности образовательных учреждений по реализации образовательных программ ... для обеспечения объективности, достоверности и прозрачности процедур оценки деятельности образовательных учреждений».

Научно-обоснованному и технологически организованному контролю качества обучения принадлежит важная роль в комплексной системе мероприятий, обеспечивающих качественную подготовку специалистов. Одним из инструментов такого контроля является тестирование.

Теоретическим основам тестирования посвящено значительное количество отечественных и зарубежных научных работ. Однако применение наработанных современных методов в полном объеме оказывается затруднительным при тестировании небольших групп, которые характерны для систем переподготовки персонала предприятий, в то время как их применение здесь особенно необходимо ввиду новизны и повышенной изменчивости содержания изучаемых дисциплин. Особенно актуально вышесказанное для интенсивно развивающегося в последнее время дистанционного образования. Поэтому при автоматизации процессов контроля качества профессионального образования необходимо адаптировать современные достижения разработанных методов обработки результатов тестирования к перечисленным выше условиям применения.

Контроль качества обучения в системах переподготовки персонала предприятий и дистанционного образования в виде регулярных тестирований образует непрерывный процесс. В значительной степени это оказывается возможным благодаря уже достигнутому уровню автоматизации процессов обучения и контроля качества обучения. Однако существующие системы обеспечивают автоматизированные решения общих задач поддержки обучения. По мере увеличения числа специальностей, расширения списка изучаемых дисциплин, роста базы тестовых заданий, численности обучаемых и количества тестирований, становится актуальным решение специализированных задач контроля качества обучения в системах переподготовки персонала предприятий и дистанционного образования. К ним относятся задачи анализа показателей,

характеризующих качество тестовых заданий, постановки и решения научно-исследовательских педагогических задач и др.

Таким образом, все вышеизложенное подтверждает актуальность выполненной работы. Цель работы.

Цель настоящей диссертационной работы состоит в автоматизации процессов контроля качества профессионального обучения в системе переподготовки персонала предприятий для расширения круга решаемых функциональных задач за счет повышения информативности и адаптации методов современной теории тестирования IRT (Item Response Theory). Задачи исследования.

Для достижения поставленной цели в диссертационной работе решаются следующие основные задачи:

1. Анализ современных теорий обработки результатов тестирования.

2. Адаптация современной теории обработки результатов тестирования к условиям применения в системе переподготовки персона предприятий для формирования банка параметризованных заданий в условиях изменяющегося состава тестов и ограниченного количества статистических данных.

3. Разработка алгоритмов для анализа результатов тестирований и их представления, направленных на повышение информативности и расширение перечня решаемых функциональных задач при автоматизации процессов контроля качества профессионального обучения.

4. Разработка программных средств многофункциональной автоматизированной системы контроля качества профессионального обучения.

Методы исследования. Для решения поставленных задач в процессе исследования использовались следующие методы:

- анализ педагогической, учебно-методической, научной и технической литературы и документации, материалов научно-практических конференций и ресурсов Интернет по теме исследования;

- методы теории вероятностей, математической статистики, теории педагогических измерений;

- экспериментальная проверка и отладка программных средств с использованием численного моделирования и фактических результатов тестирований учащихся.

Научная новизна и положения, выносимые на защиту.

Новыми научными результатами диссертационной работы, выносимыми на защиту, являются:

1. Методика сокращения объема выборки для оценки сложности тестовых заданий на основе учета экспертных оценок.

2. Комбинированный алгоритм формирования однородных групп объектов с заданным распределением для решения задач мониторинга процессов обучения и проведения педагогических исследований в системе переподготовки персонала предприятий и дистанционного обучения.

3. Методика разделение смеси распределений для оценки количественных и временных данных о работе учащихся с электронными библиотеками. Практическая ценность и внедрение результатов.

Практическая ценность представленных в работе результатов исследований заключается в разработке, на их основе, программных средств многофункциональной автоматизированной системы контроля качества профессионального обучения.

Результаты работы прошли апробацию и внедрены при организации учебного процесса в Институте открытого образования Московского государственного университета печати, в системе повышения квалификации в ООО «ПРОМСИСТЕМЫ».

Область применения данной работы не ограничивается Институтом открытого образования Московского Государственного Университета Печати. Поставленные задачи решены с учетом возможного использования в других образовательных учреждениях среднего специального, высшего, в том числе дистанционного, и непрерывного профессионального образования. Апробация результатов работы.

Результаты исследований были представлены в докладах на конференциях:

1. 5-ая научно-методическая конференция "Инновационные методы и средства оценки качества образования" МГУП, 2007

2. Конференция «Online Educa Moscow» 2007,2008 гг.

3. Научные конференции профессорско-преподавательского состава МГУП (2007,2008гг).

По результатам проведенных исследований опубликовано б печатных работ, в том числе одна в рецензируемом журнале. Структура и объем работы.

Диссертационная работа состоит из введения, четырех глав, заключения, списка использованной литературы из 102 наименований и содержит 135 машинописных листов, включая таблицы и иллюстрации. Краткое содержание работы

Во введении обосновывается актуальность работы, определяются цель и задачи исследования, формулируется научная новизна, приводятся сведения о структуре работы и краткое описание основных положений диссертационной работы.

В первой главе рассмотрены теоретические основы тестирования и вопросы применения тестирования для контроля качества профессионального обучения.

Теоретическим основам тестирования, а также методам разработки педагогических тестов и способам обработки результатов педагогических

измерений посвящено значительное количество научных работ. Среди них выделяются работы западных ученых Анастази A., Hambleton R. К., Fisher G.H., Linden W, Lord F. M, Novick М., Rasch G, и отчественных - Аванесова B.C., Неймана Ю. М., Переверзева В. Ю., Челышковой М. Б.

Рассмотрена классификация тестов, используемых в образовании по типу, назначению, видам контроля и содержанию. Проведен сравнительный анализ основных положений существующих математических теорий обработки результатов тестирований - классической, расширенной статистической, и современной теории обработки результатов тестирования - Item Response Theory (IRT).

Проведенный анализ показывает, что IRT привлекает наибольшее внимание специалистов и широко используется в масштабных международных сравнительно-оценочных исследованиях, для создания адаптивных обучающих и контролирующих систем и при создании банков тестовых заданий. Активное применение IRT опирается на большое количество новых математических разработок данной теории. Однако ее практическое применение вызывает ряд затруднений в случае использования на малых группах и при регулярных обновлениях учебных курсов.

Во второй главе разрабатываются подходы к решению задач адаптации современной теории обработки результатов тестирования для формирования банка параметризованных заданий в условиях изменяющегося состава тестов и ограниченного количества статистических данных.

Определение параметров результатов тестирований с достаточной надежностью требует большого числа испытуемых и количества заданий в тесте. На малых выборках результаты тестирований с применением методов IRT неустойчивы и возможно получение неадекватных оценок. В то же время, реализуемый в IRT одновременный расчет как оценок тестируемых, так и параметров тестов в единой шкале представляется весьма продуктивным.

Возможные способы решения заключаются в проведении повторных тестирований, суммировании их результатов и использовании дополнительной информации, например в получении оценок от экспертов. Использование экспертных оценок - самая естественная форма дополнительного контроля результатов тестирования.

Ниже приведена схема процедуры обработки результатов тестирования для частично параметризованных заданий, включающая согласование с экспертными оценками.

Рис. 1. Схема процедуры обработки результатов тестирования для частично параметризованных заданий

При обработке результатов тестирования согласование экспертных оценок и значений латентных переменных можно реализовать в двух вариантах:

1. Оценки эксперта являются ограничениями на вычисляемые латентные параметры для модели 1ЯТ, выход за рамки которых недопустим.

2. Оценки эксперта оказывают корректирующее действие в модели 1ЯТ на результаты тестирования.

Задача согласования с ограничениями. Пусть оцененный экспертом уровень успеваемости /-го испытуемого равен в?, степень трудности у-го задания причем эти оценки представляют некоторые диапазоны значений, размеры которых - г^ и гД. Приведем формулы, ограничивающие значения вычисляемых по результатам тестирования латентных величин. Для оценок подготовленности испытуемых

Щк, если \(в1)к - 0(Б| < г|(; (вдк = • в! ~ г#(, если (в1)к < В! - г*;

+г|., если (0,)к > в? + 4С Для оценок мер трудностей тестовых заданий

(/1Д, если \(Р])к~Р!\<грЕ:, Шк = ^ если < /?/ - гЕр-

Р! + если (@))к > /?/ + Тр.. где (0г)к~ Уровень подготовленности /-ого тестируемого; (Д;)к - уровень сложности ./-ого задания, полученные на к-ой итерации; (^¿)к и (0;)к ~ согласованные оценки.

В результате применения этих формул, каждый раз после получения промежуточных итерационных значений расчета латентных параметров в соответствии с методами современной теории тестирования, пределы изменения рассчитываемых параметров будут ограничены.

Задача совместного учета оценок. Будем рассматривать оценки эксперта, как некоторые центры на прямой латентных показателей. При приближении к ним латентных параметров, функция правдоподобия в модели 1ЯТ должна увеличивать свое значение. Удобно использовать ту же функцию, задающую условную вероятность правильного ответа, которая используется при вычислении латентных параметров (модель Раша, двух или трех параметрические модели Бирнбаума). Будем считать, что это логистическая функция для модели Раша. Введем функции Р?, Р'¡в, Qj

1 + е-о(0£-бр)' 1 + ео(е£-0р)'

Функции Р* и имеют смысл сложности вопросов, на которые /-й испытуемый дает правильный или неправильный ответ. А функции Р}Е к -степени подготовленности испытуемых, которые дадут верный или неверный ответ назадание, о = 1,7 для модели Раша.

Тогда после обработки первичных баллов по формулам X; = £™=1 Хц, У} где хц - результат выполнения ¡-и испытуемым у-го задания

(Хц = 1 - верно, = 0 - неверно), расчета предварительных оценок для уровней подготовленности обучаемых 0° = 1п и уровней трудности

заданий = 1п , где N - количество обучаемых, п - количество заданий в

тесте, а также соответствующих им функций и по

формулам модели, функции правдоподобия примут вид

ш)=П

У=1

N

Параметры /1 и V изменяются от нуля до +оо и позволяют регулировать степень вмешательства эксперта. При нулевом значении мнение эксперта не учитывается, а если д = п/2 или V = N/2 вес мнения эксперта эквивалентен проведенному тестированию.

Далее итерационным методом из уравнении —— = 0 и = 0

од I дР)

поочередно находятся оценки искомых параметров и при которых функции правдоподобия достигают максимума до тех пор, пока изменения

оцениваемых параметров не станут меньше некоторого г: |(01)к+1 — < в,

Процедура согласования параметров, полученных при проведении тестирования и экспертных оценок, повышает надежность применения методов современной теории обработки результатов тестирований при их автоматизации. В качестве оценок экспертов могут выступать, в том числе и значения латентных параметров, рассчитанные из тестирований, проведенных ранее.

Ниже приводится еще один метод повышения устойчивости результатов тестирований. В процессе обучения иногда требуется проведение текущего контроля небольших групп учащихся, особенно актуально это для интенсивно развивающегося в последнее время дистанционного образования, где количество тестируемых может быть равно одному.

В таких случаях прямое использование методов 1ЯТ невозможно. Вместе с тем, если обработку очередного тестирования проводить с учетом результатов предыдущих тестирований и вести последовательное накопление данных по тестам, применение методов ЖТ оказывается возможным.

Прямое решение данной задачи потребует хранения первичных данных по результатам тестирований по всем тестам и группам с тем, чтобы обеспечить последующую обработку после каждого очередного тестирования путем предварительного объединения множеств первичных данных. Такое решение неэффективно из-за ресурсных ограничений.

Суммирование тестовых параметров может быть проведено методом, исключающим этот недостаток.

Пусть Яу - матрица результатов тестирования в группе с числом испытуемых N по тесту с количеством заданий К, причем I - номер тестируемого, а у - номер задания. В соответствии с положениями 1ЯТ вычисляются суммы правильных ответов X; по каждому испытуемому и суммы неправильных ответов Уу по каждому заданию, определяющие начальные уровни подготовки испытуемых д° и трудности тестовых заданий

В дальнейшем с учетом средних значений и дисперсий производится нормировка полученных параметров и приведение их к единой шкале

Пусть далее имеются результаты второго тестирования по тому же тесту размером - К, причем количество тестируемых равно п. Результаты тестирования задаются матрицей Гц, где / - номер тестируемого, у - номер задания. Суммы правильных ответов по каждому испытуемому и неправильных ответов по каждому заданию у¡.

Пусть количество тестируемых п недостаточно для получения устойчивых оценок результатов тестирования. Поэтому проведем оценку

^N1 - Рм +

Рю - 8-ы + внРм-

параметров объединенных тестирований. Для этого вычислим начальные уровни трудностей тестовых заданий объединенного тестирования

во -щ

Начальные значения уровней подготовленности испытуемых при объединении тестов остаются неизменными

дО _ аО _ |п ДО =00 = 1п -

- ^N1 - 1п X _ х > °гц

Далее рассчитываются нормированные значения параметров объединенного теста

ДлГп/ = 8N71 + ЙДГП = Рш + ^л/пб^пг-

Где коэффициенты Вт

и определяются дисперсиями.

При этом непосредственные значения матриц и Гу используются только для расчета количества правильных ответов по тестируемым и неправильных ответов по тестовым заданиям. Поэтому в дальнейшем значения и Гц не нужны, а хранение накапливаемых суммарных значений X/ и У] требует значительно меньших объемов памяти.

Формулы для суммирования параметров последовательных тестирований одной и той же группы учащихся разными тестами выглядят аналогично.

Предложенный метод суммирования параметров решает задачу повышения устойчивости и снижения погрешности оценок и позволяют расширить область применения современной теории тестирования на малые тестовые выборки вплоть до обработки и учета результатов одного тестируемого. При суммировании параметров тестирований различными тестами одной и той же группы учащихся реализуется автоматизация ведения журнала оценок.

Еще один аспект участия эксперта в работе автоматизированных системах контроля качества обучения касается формирования выходных документов. Существует достаточное количество различных шкал для оценки учащихся. Среди них наиболее часто употребляемыми являются: четырех-бапьная, а также 5-, 6-, 10-, 11-, 12- и 100-бальные системы. В некоторых случаях оценка учащихся проводится с помощью задания процентных шкал или путем вычисления отклонения от среднего значения. При этом основными требованиями являются удобство интерпретации и сохранение различий, выявленных при тестировании в уровне знаний испытуемых. Неудачные методы преобразования первичных данных, полученных в результате тестирования, могут существенно понизить конечную информативность результатов тестирования.

Для нормативно-ориентированного теста, обычно используемого при конкурсном отборе, важно не потерять различия между испытуемыми. Поэтому для таких тестирований предложено вести преобразование между шкалами по соответствию самого слабого и самого сильного испытуемого. Обозначим ¿тЫ индекс испытуемого, который, набрал наименьший балл, а 1тах - наибольший.

Для преобразования оценок уровней знаний испытуемых 8; составим отношение линейного соответствия

9i ~ 9imin _ ~ Qimin

О _ П Л _ д

¡max 'min »max ¡min

Здесь значения переменных без крышки находятся на шкале логитов, с крышкой - на шкале преподавателя.

Отсюда оценки тестируемых и уровней сложностей в экспертной шкале для нормативно-ориентированного теста можно получить по формулам

= (Г ГТГ №тах ~ eiminJ + ®imin' imax imin

ßj - eim(n Ä

ßj ~ iT ZT V^imax ~~ ®imin) + ®imm' 'max lmin

Для критериально-ориентированного теста важно контролировать диапазоны изменений в оценках уровней сложности заданий. Поэтому для таких тестов целесообразно проводить преобразование между шкалами по соответствию самого слабого и самого трудного задания. Обозначим jmin индекс задания, имеющего наименьшее значение, a jmax наибольшее. Для преобразования оценок уровней сложностей заданий ßj составим отношение линейного соответствия

ßj ß/min _ ßj ß/min

ßjmax ßjmm ßjmax ~ ßjmm

Оценки уровней сложностей заданий и тестируемых в экспертной шкале для критериально-ориентированных тестов можно получить по формулам

ß> = Я ZTr ($гоах ~~ ^imin) + ßlmin'

^ ~~ ' (/?jroax - ß]min) + ß; "jmax "jmin

imax "imin^ "Jmin'

Применение приведенных выше формул оказывается возможным благодаря тому, что оценки и 0; лежат на одной шкале.

В системе профессионального обучения и переподготовки персонала предприятий учебное заведение, само формирует учебные программы, и наполняет банк тестовых заданий, с которым проводится регулярная работа, включающая добавление новых заданий и модификацию старых тестов.

Банк тестовых заданий является, таким образом, банком частично параметризованных заданий, т.е. подразумевается, что некоторые задания (из вновь добавленных тестов) совсем не имеют оценки уровня сложности, по другим было проведено несколько тестирований и параметры для них приблизительны, в то время как для некоторых заданий проведено достаточное количество тестирований, оценки сложности которых можно считать уже надежными.

Современная теория позволяет при обработке результатов тестов получать как оценку студента, так и оценку трудностей заданий, когда тестирование проводится сразу на достаточно большой группе (более 30, лучше более 100 человек).

Решение проблемы «малых групп» прямыми, стандартными методами, а именно - извлекать из базы данных результаты прежних тестирований, объединять с результатами только что проведенных тестирований и проводить все расчеты заново, как для одной большой группы, только что тестирование прошедшей - неэффективно. Поскольку в соответствии с современной теорией обработки результатов тестирований требуется решение системы из большого числа уравнений, равное количеству ответов в базе на все задания по этому тесту. Чтобы уменьшить число вычислений, можно взять некоторое число последних тестирований и из них сформировать группу, но при этом будут необоснованно исключены имеющиеся статистические данные.

Предложено использовать методы обработки результатов тестирований с использованием современной теории таким образом, чтобы при обработке новых статистических данных задействовались частично достоверные оценки, уже полученные при обработке прежних тестирований. По мере проведения отдельных тестирований, оценки параметров заданий будут накапливаться и уточняться. Это даст существенный выигрыш в снижении вычислительной нагрузки на вычислительные средства, позволит не проводить или сократить стадию апробации тестов, свободно добавлять новые задания и удалять старые, менять структуру тестов.

Алгоритм реализации разработанной модели разбит на три этапа обработки результатов тестирований.

- Этап обработки результатов тестирования методами современной теории тестирования с учетом текущих значений

- Этап объединения новых и старых значений параметров заданий

- Этап фиксации и проверки корректности изменений

На этапе фиксации и проверки корректности изменений предлагается использовать метод построения диаграмм статистического контроля.

В соответствии с этим подходом строятся последовательности нарастающих сумм: {с£пс} - для отслеживания тенденции роста, и {с%ес} - для отслеживания тенденции снижения, c¿nc = с$ес = 0. Элементы последовательностей определяются на каждом шаге

4ПЛ = шах(сА"с + ф(хп+1), 0),

Если ф (х) = х при превышении величин некоторого заданного порогового значения Л0, можно утверждать, что обнаруживается устойчивый тренд к изменению средневзвешенного значения ряда

ша х(сГ,-с^)>/10.

Другие полезные динамические характеристики: статистическое отклонение и сдвиг средневзвешенной суммы. В последнем случае вместо

константы к0 нужно использовать асимптотическую функцию вида Р(х)/п. Превышение порога укажет тренд и разброса значений и смещения.

Предложенный алгоритм анализа данных результатов тестирований и отслеживания динамики с помощью накопленных сумм обладает преимуществами простоты и надежности. Использование указанного алгоритма в автоматизированной системе позволит осуществлять непрерывный автоматизированный контроль за состоянием параметров, характеризующих изменения, протекающие в базах данных.

В третьей главе рассматриваются вопросы автоматизации обработки результатов тестирований, обеспечивающие увеличение информативности автоматизированных систем контроля качества профессионального обучения, расширение перечня решаемых функциональных задач и повышение эффективности работы.

Каждое отдельное тестирование формирует набор первичных показателей, хранимых в базе данных результатов тестирований. Основными показателями являются оценки учащихся и уровни сложности заданий, дополнительными - количество, время выполнения тестирования и др.

Используя методы статистической обработки первичных показателей, фиксируемых при каждом тестировании, можно получить аналитическую информацию. Исследуя эти данные в динамике, можно оценивать зависимости, тенденции, выявлять погрешности и отслеживать тренды. Ниже представлены типичные статистические характеристики для перечисленных выше

показателей:_

Среднее значение _

Дисперсия_

Размах_

Максимальное значение_

Минимальное значение_

Медиана_

Показатель асимметрии_

Интегральные аддитивные показатели_

Интегральные мультипликативные показатели_

Критериальные показатели_

Расчет приведенных характеристик и построение зависимостей от различных факторов позволяет существенно расширить полноту описания показателей, храктеризующих образовательный процесс. В результате реализации такого подхода формируется система информационных показателей, позволяющая решать широкий круг функциональных задач. Среди них задачи мониторинга параметров процесса обучения, повышения качества тестовых материалов и решение научно-исследовательских педагогических задач, информационное обеспечение учащихся.

При решении задач мониторинга качества обучения и исследовательских задач часто требуется формирование двух и более контрольных учебных групп для проведения сравнения новых форм, методов или средств обучения. Поиск

таких групп в системе профессиональной подготовки персонала предприятий оказывается затруднительным ввиду ограниченной численности групп и существенных различий среди обучаемых.

В работе предложен алгоритм формирования однородных контрольных групп для систем переподготовки персонала предприятий и дистанционного обучения на основе сравнения параметров распределений учащихся.

Он состоит из трех алгоритмов, применяющихся при различных условиях, изображенный на рис. 2.

Рис. 2. Схема выбора алгоритма подбора группы с заданным распределением

Три алгоритма изображенные на схеме решают одну задачу, но работают при разных условиях использования. Ниже приведена формальная постановка задачи и реализация алгоритмов.

Задача формирования контрольной группы по заданному распределению.

Имеется множество объектов П. Объекты множества со 6 П характеризуются набором свойств (а)1,о)2, ...&)„), где со1 — значения компонентов, по которым должны быть близкие выборки.

Задано подмножество объектов X с П, составляющих экспериментальную группу. Требуется выбрать N элементов у из П\Х, таких, чтобы выполнялась гипотеза об однородности выборок {х} и {у}: Я = {Р(эО = /•'(*)}, с доверительной вероятностью а0.

Алгоритм 1. Разобьем область значений ;'-го компонента со на А:,-интервалов. Проделаем это для всех ¡. Построим множества Ак, соответствующие набору некоторых интервалов по всем компонентам со. При этом к ~ Щ=г Количество элементов, оказавшихся в Ак, равно

\Ак\ = £ 1Ш е Ак), где 1{2 = £

п

Частота элементов для Ак на X есть

РМ = -Щ-.

Формируем набор элементов ук

Ы = {ше Ак\Х, |{ук}| = №х(Ак)}. если |П\Х| • Рп\х(Ак) > N ■ Рх(Ак), то со выбираем случайным образом, иначе выбирается все подмножество Ррдх(Ак)- Итоговая выборка

(у) = Уы-к

Гипотезу об однородности экспериментальной и контрольной выборок можно проверить с помощью известных критериев х2, Фишера, Вилкоксона-Манна-Уитни и других. Полученное значение критерия необходимо сравнить с а0. В случае неудовлетворительного значения этот алгоритм придется выполнять снова с другими параметрами N или а0. Интервалы к; можно выбирать неодинаковыми, например такими, чтобы в Ак П X оказался ровно один элемент, и их нужно выбирать большими настолько, чтобы Ак ф 0.

Если множество й заметно больше X, то алгоритм строит выборку с хорошим показателем однородности а, но в обратном случае алгоритм возвратит количество элементов меньше N (если некоторые Ак = 0). В этом случае предлагается другое решение.

Алгоритм 2. Как в предыдущем алгоритме построим Ак и соответствующие частотные характеристики Рх(А к) и Рп\х(Ак)- Затем увеличим /с; и проведем аппроксимацию. Например, к[ х 2, а промежуточные значения частоты

Р(Агы) = Р(Л2к)/2 + Р(Л2к+2)/2.

Значения Ра\х(Ак) равные нулю следует заменить на некоторое Д. Далее все Р{Ак) необходимо отнормировать после выполнения умножения. Для случайных со £ оказавшихся в Лк, определяем

_ Рх(Ак)

N значений {у} получаем по правилу

{у} = {<ое П\*|/(г < О = 1}. где £ — и[0, шахП\х г ] равномерно распределенная случайная величина. Далее для оценки результата проверяем гипотезу об однородности.

По сравнению с предыдущим этот алгоритм всегда возвратит нужное количество элементов, причем за счет шага аппроксимации (который можно выполнить с другим коэффициентом) сглаживается функция частоты Р. Однако показатель однородности построенной выборки обычно получается ниже, чем в алгоритме 1, а число итераций, приводящих к решению, выше.

Представленные алгоритмы решают либо точностные задачи отбора, либо количественные. Ниже приведен более универсальный алгоритм.

Алгоритм 3. На начальном этапе в выборку контрольной группы включаются все П\Х. Выбирается критерий однородности выборок и в соответствии с этим критерием ищется элемент, который сильнее всего

смещает оценку статистики критерия (способ определения зависит от выбранного критерия). По одному такие элементы удаляются до тех пор, пока в выборке не окажется нужное количество элементов N и (или) а не станет меньше заданного.

Разработанные теоретические методы оценки результатов тестирований в целом успешно решают проблему контроля качества обучения. Но при реализации дистанционных форм обучения достаточно остро стоит проблема «самостоятельности» сдачи экзаменов. Одним из косвенных методов, решающих проблему, является организация административного контроля процесса изучения учащимися материалов, предоставляемых в электронной форме, на протяжении всего срока обучения. Для реализации этого подхода в работе предлагается ввести в автоматизированную систему показатели, аналогичные понятиям «посещаемость занятий» и «активность работы».

Автоматизация контроля показателей «посещаемости занятий» и «активности работы» учащихся для систем дистанционного образования путем определения времени изучения учебного материала и анализа количественных характеристик обращений к изучению материала и предварительных тестирований с помощью распространенных систем отслеживания статистики не обладают в полной мере требуемыми параметрами по фиксированию и выдаче нужной информации. Можно выделить следующие недостатки:

• Недостаточно развита статистика по отдельному пользователю. Это вызвано тем, что для обыкновенного сайта пользователь безлик.

• Базовым показателем для систем сбора статистики является посещение. Это объясняется тем, что статистика считается в основном для рекламы и оценки количества показов.

В учебном процессе более важной величиной является время, проведенное студентом за электронной книгой. Поэтому для систем дистанционного образования требуется особый подход к ее получению, основанный на фильтрации учета и статистически взвешенном подсчете этих показателей.

На графиках (рис. 3) представлены примеры распределения временных интервалов, равных перерывам между запросами страниц для 2 студентов, с различными уровнями успеваемости и активности. Можно показать, что около 60-ти минут распределение близко к равномерному, но около нуля имеет значительный рост. Пороговое значение, при котором распределение перестает быть равномерным, считаем фактом прекращения изучения студентом учебного материала.

Распределение времени

Распределение времени просмотра страниц студентом 2

кол-во

мин

Рис. 3. Распределение времени просмотра страниц студентами 1,2. Результаты обработки статистических данных показывают, что величину 30 - 33 минуты можно принять за время регистрации факта ухода пользователя со страниц библиотеки. Эта величина зависит от характера изучаемого материала, поэтому данный параметр при реализации в системах контроля обучения должен быть настраиваемым.

Методика контроля показателей «посещаемости занятий» и «активности работы» учащихся для систем дистанционного образования заключается в следующем:

1. Строится гистограмма временных интервалов, равных перерывам между запросами учащегося в электронную библиотеку.

2. Находится пороговое значение времени, при котором существенно изменяется характер распределения.

3. Используя полученное пороговое значение, вычисляется суммарное время изучения учебного материала, частота и другие показатели. Статистические данные, накопленные по предложенным показателям,

могут стать основанием для каких-либо последующих действий преподавателя и, в некоторой степени, сглаживают проблему отсутствия личного контакта преподавателя со студентом в системах дистанционного образования.

В четвертой главе рассматриваются вопросы разработки программных средств, реализующих многофункциональную автоматизацию контроля качества профессионального обучения в системе переподготовки персонала предприятий, на основе предложенных ранее математических моделей, методов и алгоритмов.

Существующие системы автоматизации образовательных процессов, имеют следующую типовую схему. Автоматизированная система разработки тестов и формирования банков тестовых заданий (рис. 4).

Рис. 4. Схема формирования банка тестовых заданий 17

Аналогичная схема автоматизации применяется и при проведении тестирования (рис. 5).

6а аы д«нньж т«сто»ык материале*

Рис. 5. Схема проведения аттестации обучающихся Применение приведенных автоматизированных схем, вполне обоснованно, так как реализация процессов подготовки тестовых заданий и непосредственного проведения тестирований, как правило, осуществляется различными людьми или существенно разнесена во времени. Это же можно сказать и о процессах анализа результатов тестирований.

В системе профессионального обучения и переподготовки персонала предприятий процессы разработки тестовых заданий, непосредственного тестирования обучаемых и анализа результатов этих тестирований, прежде всего не носят массового характера, особенно при текущем контроле, и осуществляются практически одними и теми же лицами, однако требуют повышенной оперативности в реализации.

Таким образом, необходима разработка схем автоматизации, позволяющая совмещать процессы проверки заданий и непосредственное проведение тестирований и параметризации заданий и оценки их пригодности, на основе статистической обработки результатов тестирований. В соответствии с изложенными особенностями условий автоматизации контроля качества в системе профессионального обучения и переподготовки персонала предприятий предложена следующая схема автоматизации (рис. 6).

результатов тестирований и статистического анализа В соответствии с предложенной схемой процесс контроля качества обучения является многоконтурным. Важнейшим из этапов является разработка

и проверка тестовых материалов, так как именно качество тестовых заданий определяет качество контроля. В последующем при проведении фактических тестирований сами задания или параметры заданий (уровни сложностей) по результатам статистической обработки могут корректироваться.

Реализуемые алгоритмы расчета результатов тестирований могут, при необходимости включать, или не включать дополнительные современные методы обработки результатов тестирований, в том числе привлечение данных, накопленных ранее, или от внешних (экспертных) источников.

Таким образом, осуществляется практическая реализация, поставленных в работе, целей и задач автоматизации контроля качества профессионального обучения в системе переподготовки персонала предприятий. В заключении приведены основные результаты и выводы по работе.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ.

1. Предложена методика сокращения объема выборки для оценки сложности тестовых заданий на основе учета экспертных оценок, использование которой повышает надежность применения методов современной теории тестирования.

2. Разработана новая методика формирования банка параметризованных заданий в условиях ограниченного количества статистических данных и изменяющего состава тестов и ее автоматизация

3. Предложен новый алгоритм расчета параметров результатов тестирования при объединении тестовых выборок, расширяющий область применения современной теории тестирования для небольших учебных групп.

4. Разработан комбинированный алгоритм формирования однородных групп объектов с заданным распределением для решения задач мониторинга процессов обучения и проведения педагогических исследований в системе переподготовки персонала предприятий и дистанционного обучения.

5. Впервые предложена система показателей для контроля процессов обучения и непрерывного информационного мониторинга в автоматизированных системах администрирования учебного процесса, а также способы представления показателей на основе статистических методов обработки накапливаемых массивов данных, повышающие информативность данных и перечень решаемых функциональных задач.

6. Предложена методика разделение смеси распределений для оценки количественных и временных данных о работе учащихся с электронными библиотеками.

7. Предложен алгоритм контроля изменений параметров тестовых заданий на основе анализа значений накопленных сумм, обеспечивающий экономичное использование ресурсов хранения данных.

8. Разработана структура и алгоритмы реализации многофункциональной системы контроля качества профессионального обучения в системе переподготовки персонала предприятий.

9. Проведена экспериментальная отработка разработанных программных средств и внедрение с использованием фактических данных тестирований и практическая проверка предложенных алгоритмов.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

В журналахвходящих в перечень периодических изданий ВАК.

1. Певцов К. С. Согласование экспертных оценок и значений латентных переменных, полученных с помощью IRT при проведении тестирования // Известия высших учебных заведений. Проблемы полиграфии и издательского дела № 3'2009. - М., 2009. - С.62-68.

В других изданиях.

2. Попов Д. И., Певцов К. С. Способ определения времени изучения учебного материала и активности сеансов тестирования через Интернет // Материалы 5-ой научно-методической конференции "Инновационные методы и средства оценки качества образования". - М.: Изд-во МГУП, 2007. - С181-185.

3. Попов Д. И., Попова Е. Д., Певцов К. С. Обзор стандартов и спецификаций в электронном обучении и тестировании // Материалы 5-ой научно-методической конференции "Инновационные методы и средства оценки качества образования". - М.: Изд-во МГУП, 2007. - С186-189.

4. Певцов К. С. Мониторинг и поддержка обучения в СДО // Сборник тезисов докладов международной конференции по вопросам обучения с применением E-Learning "Online Educa Moscow 2007". - M.: Маркет ДС, 2007. -С161-164.

5. Певцов К. С. Автоматизация задач оценки качества тестовых материалов и аттестации знаний учащихся // Вестник МГУП № 5 2008. - М.: Изд-во МГУП , 2008. - С.93-95.

6. Демидов Д. Г., Остроух А. В., Певцов К. С. Автоматизация процессов разработки тестовых материалов // Вестник МГУП № 6 2008. - М.: Изд-во МГУП , 2008. - С.47-49.

Патенты, свидетельства на программы для ЭВМ.

1. Певцов К. С. Программный комплекс автоматизированного контроля качества профессионального обучения в системе переподготовки персонала промышленных предприятий «Статистика» - свидетельство об официальной регистрации программы для ЭВМ № 2009615453 // Федеральная служба по интеллектуальной собственности, патентам и товарным знакам. — 01.10.2009.

Подписано в печать 08.10.09.

Формат 60x84/16. Печ. л. 1.25. Тираж 100 экз. Заказ № 309/275. Отпечатано в РИЦ Московского государственного университета 127550, Москва, ул. Прянишникова, 2а