автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Математические модели и комплексы программ для автоматизированной оценки результатов обучения с использованием латентных переменных
- доктора технических наук
- Елисеев, Иван Николаевич
- город
- Новочеркасск
- год
- 2013
- специальность ВАК РФ
- 05.13.18
- цена
- 450 рублей
Автореферат диссертации по теме "Математические модели и комплексы программ для автоматизированной оценки результатов обучения с использованием латентных переменных"
<р
На правах рукописи
Елисеев Иван Николаевич
МАТЕМАТИЧЕСКИЕ МОДЕЛИ И КОМПЛЕКСЫ ПРОГРАММ ДЛЯ АВТОМАТИЗИРОВАННОЙ ОЦЕНКИ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ С ИСПОЛЬЗОВАНИЕМ ЛАТЕНТНЫХ ПЕРЕМЕННЫХ
Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ
Автореферат
диссертации на соискание ученой степени доктора технических наук
2 6 ДЕК 2013
005544579
Новочеркасск - 2013
005544579
Работа выполнена на кафедрах «Прикладная математика» федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова» и «Энергетика и безопасность жизнедеятельности» Института сферы обслуживания и предпринимательства (филиала) федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Донской государственный технический университет».
Научный консультант: доктор технических наук, профессор
Ткачёв Александр Николаевич
Официальные оппоненты: Кравец Олег Яковлевич,
доктор технических наук, профессор ФГБОУ ВПО «Воронежский государственный технический университет», профессор кафедры автоматизированных и вычислительных систем Маслак Анатолий Андреевич, доктор технических наук, профессор филиала ФГБОУ ВПО «Кубанский государственный университет» в г. Славянске-на-Кубани, профессор кафедры «Математика, информатика и методика их преподавания»
Наводнов Владимир Григорьевич,
доктор технических наук, профессор ФГБОУ ВПО «Поволжский государственный технологический университет», заведующий кафедрой прикладной математики и информационных технологий
Ведущая организация: федеральное государственное автономное образовательное учреждение высшего профессионального образования «Южный федеральный университет»
Зашита состоится 14 февраля 2014 года в 10® часов на заседании диссертационного совета Д 212.304.02 в ФГБОУ ВПО «Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова» по адресу: 346428, г. Новочеркасск, Ростовской обл., ул. Просвещения, 132 (главный корпус, ауд. 149).
с диссертацией можно ознакомиться в научно-технической библиотеке ЮРГПУ (НПИ). Автореферат диссертации размещён на официальном сайте ВАК vak.ed.gov.ru и на сайте www.npi-tu.ru.
Автореферат разослан « _201 ^ г.
Ученый секретарь диссертационного совета
кандидат технических наук, профессор
А.Н. Иванченко
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы исследования. В современных условиях быстрого обновления техники и технологий, увеличения риска возникновения техногенных катастроф возросла роль человеческого фактора во многих сферах деятельности, и как следствие, возросли требования к надёжности оценивания уровня профессиональной подготовки кадров. Особенно это касается оборонных предприятий и взрывоопасных производств, железнодорожного, водного и воздушного транспорта, учреждений и подразделений Министерства по чрезвычайным ситуациям, Министерств обороны и внутренних дел. Уровень профессиональной подготовки специалистов и персонала служб можно оценить, прежде всего, на основе результатов их обучения в системе непрерывного образования: в ссузе, вузе, по программам повышения квалификации и переподготовки, в учебных центрах различных министерств и ведомств. Неадекватная оценка профессиональной подготовки специалиста может приводить к ошибкам в управлении персоналом, при принятии управленческих решений, большим материальным убыткам и даже к человеческим жертвам. В связи с этим особую актуальность приобретает решение проблем снижения погрешности автоматизированной оценки результатов обучения, которая обеспечивается автоматизированной системой независимой оценки (АСНО).
Эффективная работа АСНО невозможна без использования математического моделирования и надёжных инструментальных средств диагностики результатов обучения. Их состав и предъявляемые требования во многом определяются используемыми подходами к оценке качества подготовки обучаемых. Специалистам и персоналу различных служб часто приходится работать в условиях быстро изменяющейся обстановки, требующей умения оперативно менять способы действия в незнакомой ситуации и находить наилучший. Поэтому для обучения и переподготовки кадров преимущественнб"используется компетентностный подход, согласно которому о результатах обучения судят по наличию у обучаемых компетенций, соответствующих их профессиональной деятельности. В связи с этим актуальным становится решение проблемы формализации процедуры оценивания уровня сформированности компетенций слушателей и студентов, теоретического обоснования и реализации используемых для этого моделей и инструментария, разработки программно-алгоритмических средств обработки результатов диагностики обучения (входных данных (ВД)), а также оценки качества диагностических средств (ДС) и текущего уровня подготовки обучаемых. Современные подходы к оценке учебных достижений слушателей и студентов базируются на использовании классической теории тестирования и теории латентных переменных, математический аппарат и основы которых были созданы известными зарубежными и отечественными учёными. Под термином «Латентная переменная (параметр)» принято понимать теоретический конструкт, который характеризует некое скрытое свойство или качество (например, уровень подготовки обучаемого, трудность тестового задания), которые непосредственно измерены быть не могут. Достоинствами классической теории тестирования являются обеспечение получения информации о показателях качества ДС, наглядность выполняемых расчётов и про-
стая интерпретация данных обработки. Основной недостаток — зависимость результатов оценивания параметров обучаемых от трудности заданий ДС. Применение теории латентных переменных, базирующейся на моделях Раша, обеспечивает возможность независимости оценки вычисляемых значений латентного параметра «уровень подготовки» обучаемых б, от значений «трудности заданий» ДС. Это способствует повышению объективности получаемых оценок уровня подготовки обучаемых. По этой причине в диссертационной работе сделан акцент на применение именно теории латентных переменных.
Создание математического аппарата классической теории тестирования и теории латентных переменных обеспечило разработку программно-алгоритмических средств обработки результатов диагностики, оценки качества ДС и уровня подготовки обучаемых. Зарубежными учёными Е.В. Andersen, D. Andrich, A. Birnbaum, L.L.Guttman, J. M. Linacre, F.M. Lord, G.N. Masters, B.D. Wright и учёными России (B.C. Аванесов, A.A. Маслак, В.Г. Наводнов, М.Б. Челышкова и др.) были созданы программные средства, реализующие возможности и теории латентных переменных, и классической теории тестирования. С их помощью можно решить многие задачи, связанные с оценкой результатов обучения. Вместе с тем, практика работы с существующим программным обеспечением (ПО) показала, что ему присущи достаточно серьёзные недостатки, связанные с наличием нерешённых проблем в самой теории латентных переменных. В частности, не обоснованы условия существования и единственности получаемых оценок латентных параметров моделей Раша, их сходимость и качество, например, состоятельность. Без решения этих проблем нельзя считать оценки латентных параметров надёжными, а полученные с их помощью оценки результатов обучения объективными.
Одной из важных для отечественного образования и не решённых в рамках теории латентных переменных задач является моделирование и параметризация диагностических тестов, в частности калибровка (определение трудности) тестовых заданий по выборкам ограниченного объёма (40-50 человек). Из-за малого объёма выборки погрешности и интервалы оценивания латентного параметра «трудность задания», рассчитываемые на основе стандартных методик параметрической статистики, могут в несколько раз превышать значения самих оценок. Одним из возможных способов решения задачи является применение методов имитационного моделирования. Однако реализация данного подхода затруднена из-за отсутствия теоретико-методологических основ создания моделей нормативных дихотомических матриц ответов заданного размера, позволяющих снизить влияние случайных факторов на параметризацию диагностических средств. Второй возможный способ решения задачи заключается в использовании непараметрических методов математической статистики, но их применение требует теоретического обоснования и экспериментальной проверки.
К перечню нерешённых задач в области разработки теоретико-методологической базы вычисления оценок латентных параметров модели Раша следует отнести и проблему математического обоснования их вычислительных процедур, хотя сами итерационные выражения для расчёта оценок в литературных источниках приводятся. Алгоритмы нахождения оценок латентных парамет-
ров на основе упомянутых процедур являются, как правило, коммерческой тайной и недоступны. По этой причине разработка отечественных программных средств невозможна без построения итерационных вычислительных алгоритмов, позволяющих создать программное обеспечение, которое обеспечивает обработку новых результатов обучения и не уступает по своим функциональным возможностям лучшим зарубежным аналогам.
В соответствии с изложенным проблема исследования определяется необходимостью устранения противоречий между требованиями(ем):
1. Автоматизации, независимости и низкой погрешности оценивания уровня подготовки обучаемых по выборкам ограниченного объёма и отсутствием теоретических основ создания необходимых для этого математических моделей, программно-алгоритмических и методических средств. Оценивания уровня сформи-рованности общекультурных и профессиональных компетенций (ОК и ПК) обучаемых и отсутствием теоретической и методологической базы для построения моделей АСНО новых результатов обучения - компетенций;
2. Наличия качественных средств диагностики уровня сформированности компетенций и отсутствием теоретической и методической базы, обеспечивающей повышение точности расчёта характеристик и показателей качества диагностических средств по выборкам ограниченного объёма.
Актуальность диссертационного исследования обусловлена сформулированными неотложными потребностями обучения и отсутствием реальных возможностей их обеспечения.
Работа выполнена в рамках гранта по аналитической ведомственной целевой программе (АВЦП) «Развитие научного потенциала высшей школы (20092011 гг.)» (РН 3.4.173224 и 3.4.1/10601) Минобрнауки РФ; утверждённых научных направлений «Научно-методическое обеспечение инновационного развития высшей школы» ФГБОУ ВПО «ЮРГТУ (НПИ)» и «Методы, технические и программные средства измерения латентных переменных в области образования, социальных и экономических системах» ФГБОУ ВПО «ЮРГУЭС»; ЕЗН Минобрнауки РФ «Разработка методов и программных средств для расчёта латентных переменных по экспериментальным выборкам малого объёма» (ЮРГУЭС-4.08Ф, №ГР 01.200.802798).
Целью диссертационной работы является обеспечение автоматизированной независимой оценки результатов компетентностно-ориентированного обучения на основе развития теории латентных переменных, разработки и обоснования математических моделей, создания программно-инструментальных средств.
Для достижения указанной цели были поставлены следующие задачи исследования:
- теоретически обосновать процедуры расчёта латентных параметров обучаемых и средств диагностики, а также разработать необходимые для этого алгоритмы и комплексы программ;
- обосновать условия существования и единственности оценок латентных параметров обучаемых и средств диагностики, исследовать состоятельность оценок, рассчитанных по дихотомической матрице ответов ограниченного размера;
- разработать методы, обеспечивающие снижение погрешности расчёта оценок латентных параметров обучаемых и средств диагностики на основе компьютерного моделирования матрицы ответов ограниченного размера;
- экспериментально и теоретически исследовать применимость непараметрических методов математической статистики для повышения точности калибровки заданий диагностических средств по дихотомическим матрицам ответов ограниченного размера; разработать необходимые для этого алгоритмы и программное обеспечение;
- разработать модель дихотомической матрицы ответов, применение которой позволит снизить влияние искажающих факторов на результаты исследования латентных параметров и характеристик диагностических средств;
- разработать методологические основы оценки уровня сформированности компетенций обучаемых и модель мониторинга, позволяющую объективно отслеживать результаты обучения и показатели качества диагностических средств;
- разработать модель системы оценки уровня подготовки выпускников учреждений по обучению, повышению квалификации и переподготовке кадров, обеспечивающую объективную оценку их профессиональной подготовки и соответствие её требованиям стандарта;
- провести вычислительные эксперименты, подтверждающие эффективность новых вычислительных алгоритмов и справедливость полученных теоретических результатов.
Объектом исследования является процесс независимой оценки результатов обучения при подготовке, повышении квалификации и переподготовке кадров в учреждениях различных министерств и ведомств.
Предмет исследования: теоретические основы, математические модели, вычислительные алгоритмы, комплексы программ систем автоматизированной оценки результатов обучения.
Методы исследования. Теоретическую основу исследования составляют: теория латентных переменных, теория вероятностей и математической статистики. Для решения поставленных задач применялись методы: вычислительной математики, имитационного моделирования, математического анализа, теории множеств и матричной алгебры, теоретического и экспериментального исследования.
На защиту выносятся:
- обоснование условий существования и единственности оценок максимального правдоподобия латентных параметров основной модели Раша и разработанный на их основе алгоритм проверки дихотомической матрицы ответов на соответствие этим условиям;
- теоретическое и экспериментальное обоснование состоятельности оценок максимального правдоподобия латентных параметров основной модели Раша, рассчитанных по допустимым квазинормативным дихотомическим матрицам ответов ограниченного размера;
- метод расчета квазигенеральных оценок латентных параметров «уровень подготовки» обучаемого и «трудность задания» ДС путём моделирования допустимой нормативной дихотомической матрицы ответов с ограниченным числом
строк и столбцов нормативными матрицами с их существенно большим количеством;
- метод калибровки заданий теста путём моделирования допустимой квазинормативной дихотомической матрицы ответов ограниченного размера аналогичными матрицами с существенно большим количеством строк и с равными значениями столбцовых сумм, позволяющий получить квазигенеральные оценки трудности заданий;
- модель нормативной дихотомической матрицы ответов, методика и алгоритм её формирования;
- модель мониторинга уровня компетенций обучаемых и оценки качества средств диагностики;
- модель системы независимой оценки уровня подготовки выпускников учреждений, осуществляющих обучение, повышение квалификации и переподготовку кадров, по уровню сформированное™ их компетенций.
- алгоритмы и комплексы программ для расчёта параметров и характеристик обучаемых и средств диагностики.
Научная новизна исследования:
1. Впервые получены условия допустимости, которым должны удовлетворять дихотомические матрицы результатов тестирования, используемые для расчёта оценок максимального правдоподобия латентных параметров основной модели Раша, выполнение которых обеспечивает существование и единственность оценок. Предложены алгоритм проверки дихотомической матрицы ответов на соответствие её условиям допустимости и алгоритм расчёта доли таких матриц ответов заданного размера. Показано, что доля допустимых дихотомических матриц ответов зависит от соотношения числа их строк и столбцов;
2. Впервые показано, что оценки максимального правдоподобия латентных параметров основной модели Раша, рассчитанные по квазинормативным допустимым матрицам ответов ограниченного размера (N,¿>50) являются состоятельными. Установлено, что при одновременном увеличении числа и строк, и столбцов матрицы ответов обеспечивается состоятельность оценок параметров и «уровень подготовки» обучаемого, и «уровень трудности» задания. Если увеличивается только число строк матрицы, а количество столбцов фиксировано и все столбцовые суммы одинаковы, состоятельны только оценки параметра «уровень трудности» задания, а оценки параметра «уровень подготовки» обучаемого, стремятся по вероятности к первоначальным значениям. Установлены минимально достаточные размеры нормативной допустимой матрицы ответов, по которой могут быть рассчитаны генеральные оценки латентных параметров <9 и р.;
3. Предложена новая модель нормативной дихотомической матрицы ответов, методика и алгоритм её формирования по заданным законам распределения латентных параметров 0> , /Г, отличающаяся от экспериментальных матриц ответов высокой адекватностью модели Раша и высокими показателями качества соответствующего ей виртуального диагностического средства. Предложена методика экспертизы качества диагностических средств по нормативным дихотомиче-
ским матрицам ответов ограниченного размера, отличающаяся от известных меньшей погрешностью калибровки заданий этих средств;
4. Теоретически и экспериментально обоснован новый метод калибровки заданий теста путём моделирования допустимой квазинормативной дихотомической матрицы ответов ограниченного размера Л';7х1я аналогичными матрицами с существенно большим числом строк и с одинаковыми значениями столбцовых сумм, позволяющий получить квазигенеральные оценки трудности заданий;
5. Предложен новый метод расчета квазигенеральных оценок латентных параметров в'ю и /Г„ путём моделирования допустимой нормативной дихотомической матрицы ответов ограниченного размера ^„хЬи нормативными матрицами с существенно большим числом строк и столбцов;
6. На основе предложенной методологии оценки сформированности компетенции по значениям его личностного, когнитивного и интегративно-деятельностного компонентов впервые разработана модель мониторинга, позволяющая объективно отслеживать уровень сформированности компетенций обучаемых и проводить экспертизу качества диагностических средств. Разработана новая модель АСНО уровня подготовки выпускников учреждений по обучению, повышению квалификации и переподготовке кадров, обеспечивающая объективную оценку соответствия его требованиям соответствующих стандартов;
7. Предложены новые вычислительные алгоритмы для обработки результатов диагностики обучения и проверки их качества, отличающиеся от известных надёжной сходимостью итерационных оценок к оцениваемому параметру и позволяющие создать ПО для объективной формализованной оценки параметров и характеристик обучаемых и средств диагностики.
Теоретическая значимость:
- полученные в диссертационной работе научные результаты по исследованию существования и единственности оценок максимального правдоподобия латентных параметров основной модели Раша, состоятельности этих оценок, рассчитанных по допустимой квазинормативной матрице ответов ограниченного размера, вносят вклад в дальнейшее развитие теории латентных переменных;
- получили своё дальнейшее развитие и совершенствование теория построения программно-алгоритмических средств обработки результатов диагностики обучения (входных данных) и оценки качества диагностических средств за счёт математического обоснования и реализации новых алгоритмов расчёта оценок латентных параметров моделей Раша, разработки компьютерных моделей нормативных дихотомических матриц ответов, методики и алгоритма их формирования, создания новых компьютерных алгоритмов и программного обеспечения, реализованных в программных комплексах ИЬР-1М, ШЬР-2, ШЬР-тиШ;
- созданы теоретико-методологические основы мониторинга результатов компетентностно-ориентированного обучения и оценки качества диагностических средств по матрицам ответов ограниченного размера, моделирования автоматизированных систем независимой оценки уровня подготовки выпускников учреждений, осуществляющих обучение, повышение квалификации и переподготовку кадров в рамках реализации компетентностного подхода.
Практическая значимость результатов работы:
1. Разработаны программные комплексы ЫЬР-1М и ШЬР-2 который обеспечивает обработку результатов диагностики обучения, представленных квазинормативной матрицей ответов, надёжную оценку качества диагностических материалов и получение независимых оценок уровня подготовки обучаемых;
2. Использование методов калибровки тестовых заданий и расчёта квазигенеральных оценок латентных параметров путём моделирования допустимой квазинормативной матрицы ответов ограниченного размера позволяет с доверитель' ной вероятностью 0,95 существенно снизить погрешности расчёта параметров (не
менее чем в 2 раза при выборочной дисперсии уровня подготовки обучаемых, не превышающей 0,58 логит");
3. Замена реальной допустимой нормативной дихотомической матрицы ответов её моделью с высокими показателями качества при параметризации средств диагностики обучения обеспечивает снижение влияния искажающих факторов на результаты параметризации, за счёт чего достигается повышение точности оценивания результатов обучения. С помощью моделирования нормативных дихотомических матриц ответов установлено, что погрешность калибровки тестовых заданий трудностью >0,18 логит не превышает 6 % при объёме выборки N=200 и 3 % при N=300;
4. Методологические основы оценки уровня сформированное™ компетенций обучаемых и методика экспертизы качества диагностических средств обеспечивают надёжное количественное оценивание результатов компетентностно-ориентированного обучения и эффективное управление его процессом;
5. Модель мониторинга уровня сформированное™ компетенций обучаемых позволяет объективно отслеживать уровень их подготовки в процессе обучения и получать информацию о качестве диагностических средств. Использование модели обеспечит создание в короткие сроки качественных средств диагностики, пригодных для проведения итоговой государственной аттестации выпускников;
6. Модель системы оценки уровня подготовки выпускников учреждений по обучению, повышению квалификации и переподготовке кадров, базирующаяся на методологии оценки компетенций обучаемых, позволяет получить объективную информацию о владении выпускников компетенциями и о соответствии их уровня требованиям соответствующих стандартов.
Все перечисленные в пп. 1 -6 результаты позволят обеспечить высокую надёжность независимой оценки уровня подготовки обучаемых.
Достоверность и обоснованность полученных научных результатов подтверждена соответствием фундаментальным положениям математического анализа, теории вероятностей и математической статистики; корректностью применения математического аппарата; строгим доказательством сформулированных утверждений; их обоснованной математической трактовкой и непротиворечивостью известным (опубликованным) данным; соответствием (с точностью до 2 %) ожидаемых данных эмпирическим; результатами вычислительных экспериментов; устойчивой повторяемостью результатов; представительным количеством использованных источников информации; сочетанием количественного и качественного
анализа; положительной оценкой на международных и всероссийских конференциях, полученной в результате критического обсуждения. Выводы, полученные с помощью разработанных моделей и методов, находятся в логическом соответствии с основными положениями теории латентных переменных.
Реализация результатов работы. Результаты диссертационной работы внедрены и используются в следующих организациях:
- Государственное бюджетное учреждение Ростовской области «Ростовский областной центр обработки информации в сфере образования» - программный продукт Ш1ЛММ, методика обработки результатов диагностики и расчёта характеристик и латентных параметров обучаемых и средств диагностики;
- ФГБОУ ВПО «Донской государственный технический университет» - программный комплекс МЫММ, теоретическая модель мониторинга сформированное™ компетенций обучаемых и оценки качества диагностических средств, метод расчета уровня сформированности компетенций обучаемого и методология их независимой оценки, методика экспертизы качества диагностических средств;
- ФГБОУ ВПО «Ростовский государственный строительный университет» -метод и методология независимой оценки уровня сформированности общекультурных компетенций студентов, модель мониторинга сформированности компетенций обучаемых и оценки качества диагностических средств, программный комплекс ШЫММ;
- ФГБОУ ВПО «Южно-Российский государственный университет экономики и сервиса» - программные комплексы Ы1_Р-1М, ШЬР- тиШ, программы для построения психограмм и моделирования дихотомических матриц ответов, методы и методики расчёта характеристик и параметров обучаемых и средств диагностики процесса обучения, методология оценки уровня сформированности компетенций и модель его мониторинга;
- ОАО «Системный оператор единой энергетической-системы» - программный комплекс ШЬР-1М, теоретическая модель мониторинга независимой оценки уровня сформированности компетенций обучаемых, методика экспертизы качества диагностических средств по дихотомическим матрицам ответов ограниченного размера;
- ФГОУ «Академия дополнительного профессионального образования «Учебный центр подготовки руководителей»» - методология оценки уровня сформированности компетенций студентов (использована в докладе автора диссертации на семинаре проректоров по учебной работе вузов России и положительно оценена участниками семинара (отзыв от 29.10.2011)).
Внедрение результатов работы подтверждено соответствующими актами.
Результаты диссертационного исследования использованы в учебных пособиях с грифом УМО «Методологические основы разработки и оценки качества педагогических измерительных материалов (на примере дисциплины «Основы теории цепей»)» и «Теория линейных электрических цепей в тестах» для обучения студентов ВПО направления подготовки 210300 «Радиотехника» по указанной дисциплине.
Основные результаты исследования получены при выполнении. НИР «Разработка оценочных и диагностических средств для независимой оценки качества
образования в многоуровневых университетских комплексах» в рамках АВЦП «Развитие научного потенциала высшей школы (2009-2011 г.г.)» (РН 3.4.1/3224 и 3.4.1/10601) Минобрнауки РФ и НИР «Разработка методов и программных средств для расчёта латентных переменных по экспериментальным выборкам малого объёма» по ЕЗН Минобрнауки РФ (ЮРГУЭС-4.08Ф, № ГР 01.200.802798). НИР выполнены в ФГБОУ ВПО «ЮРГУЭС» под научным руководством автора настоящего диссертационного исследования.
Программное обеспечение для ЭВМ, реализующее новые методы и алгоритмы расчёта характеристик ДС и параметров обучаемых, зарегистрированы в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам (РОСПАТЕНТ).
Апробация. Основные положения и научные результаты исследований докладывались и получили одобрение на: ежегодных Международных форумах и конференциях «Современное образование: содержание, технологии, качество» (г. Санкт-Петербург, СПбГЭТУ «ЛЭТИ», 2010-2013); ежегодных Международных научно-методических конференциях НИТЭ (Астрахан. гос. техн. ун-т, 1998, 2000); Международных и Всероссийских научных конференциях в г. Таганроге «Системы и модели в информационном мире», «Методы и алгоритмы принятия эффективных решений» и др. (ТТИ ЮФУ, 2008-2011); Международной научно-практической конференции «Информатизация образования-2011» в г. Ельце (гос. ун-т им. И.А. Бунина, 2011); Международном семинаре «Физико-математическое моделирование систем» (г. Воронеж, 2011); Всероссийской и Международной научно-методической конференции «Пути совершенствования подготовки специалистов для текстильной промышленности» в МГТУ им. А.Н. Косыгина (1995, 2002); ежегодных Всероссийских научно-методических конференциях «Развитие тестовых технологий в России» (г. Москва, ФЦТ, 1999-2007); Всероссийских научно-методических семинарах «Автоматизированные системы управления учебным процессом в ВУЗе: опыт, проблемы, возможности» (г. Шахты, 2003, 2008); Всероссийской научно-методической конференции «Фундаментализация высшего технического образования» (г. Новочеркасск, НГТУ, 2000); ежегодных Всероссийских научно-практических конференциях в г. Славянске-на-Кубани «Теория и практика измерения латентных переменных в образовании и других социально-экономических системах» (2007-2010); ежегодных Всероссийских научно-практических конференциях в г. Красноярске «Тестирование в сфере образования: проблемы и перспективы развития» (СГТУ, 2009, 2010, 2013); Всероссийской научно-технической конференции «Приоритетные направления развития науки и технологий» (г. Тула, 2011).
Публикации. Результаты диссертации изложены в монографии, 52 печатных работах, в том числе в 23 статьях, опубликованных в ведущих рецензируемых научных журналах, рекомендованных ВАК, в 11 свидетельствах о регистрации программ для ЭВМ, в 18 статьях сборников материалов Международных и Всероссийских конференций, симпозиумов и семинаров.
Структура работы. Диссертация состоит из введения, шести глав, заключения, списка использованных источников из 261 наименования и двенадцати
приложений. В работе содержится 54 таблицы и 64 рисунка. Общий объём работы — 371 страница.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснована актуальность исследования, сформулирована цель работы. Определены научная новизна, теоретическая и практическая значимость и основные положения, выносимые на защиту, проведён краткий анализ вопросов, подлежащих исследованию. Приводятся сведения об апробации и реализации результатов работы.
В первой главе «Теоретическое обоснование выбора математических моделей для оценки результатов обучения и постановка задач исследования» на основе анализа литературных источников выбраны подходы к оценке уровня подготовки обучаемых, сформулированы критерии и показатели качества ДС, теоретически обоснована возможность использования моделей Раша для оценки результатов обучения. Показано, что для снижения погрешности расчёта оценок уровня подготовки обучаемых необходимо повышать точность калибровки заданий средств диагностики и увеличивать их количество.
Во второй главе «Разработка алгоритмов и комплексов программ для расчёта параметров, характеризующих результаты обучения и качество диагностических средств» на базе вероятностных моделей Раша получены рекуррентные соотношения и разработаны теоретические основы построения алгоритмов и комплексов программ для расчёта оценок латентных параметров обучаемых и ДС. Использованные допущения и основания: - латентные параметры «уровень подготовки» обучаемого 0п и «уровень трудности» задания p¡ (латентные параметры основной модели Раша) являются независимыми (в соответствии с аксиомой о локальной независимости П.Ф. Лазарсфельда);- расчёт оценок параметров осуществляется по матрице ответов (результатов тестирования) X;- в качестве метода, на котором базируется исследование, используется метод максимального правдоподобия (ММП).
Вероятность Р. принятия элементом матрицы - случайной величиной xnj значения 1 в дихотомической модели Раша полностью определяется значениями вп, Pj. Поэтому для любой матрицы ответов X события, состоящие в том, что результат выполнения j—го задания п—м студентом окажется равным xnJ, независимы в совокупности. Вероятность совпадения элемента xnj дихотомической матрицы ответов с соответствующим элементом матрицы вероятностей, рассчитанной по дихотомической модели Раша, определится выражением
В силу теоремы умножения вероятностей для независимых событий функция правдоподобия Л для N тестируемых и L заданий будет равна произведению вероятностей Pn¡, а логарифмическая функция правдоподобия Я будет иметь вид:
l = lnA = fjXnOn-fjYJPj -£¿4 + -Pji » (!)
17=1 J = 1 /?—1 j=1
l n
где ^xnJ=X„ - первичный балл л-го участника тестирования; ^ хп! = - пер-
j=I n=i
вичный балл / -го задания.
Используя необходимое условие экстремума функции нескольких переменных, на основании формулы (1) получены выражения (2), позволяющие рассчитать значения вп и Pj, соответствующие максимальному значению вероятности
логарифмической функции X:
дЛ i ехр(в„-р,) ' -
— = <pJ0„.Pj) = x„ -S, / L n\ = -1p.j » = >'N. дв„ M 1 + exP\Q„ ~ Pj ) j.i
ÔA ^ expie^-p,) * —
— = = -у, + x— ; ' > = -у, +ур„ = 0,) = i,l.
i/
Сумма ■ в первом уравнении — это ожидаемый балл Л„, который получит
J-1
тестируемый п за успешно выполненные задания. Сумма ]Г PnJ во втором равенстве представляет собой ожидаемый балл Y'.' j—го задания.
Решая полученную нелинейную систему уравнений (2) методом секущих, получим рекуррентные выражения для расчёта латентных параметров 6>„, р* :
L ехп(в"" - Р"") /Д'°> h )/■ Y V ыРУп Pj )
~f ехР(е<:>-р<;>) + ехр(Ь„-р<Г) ' (3)
js 1 + ехр(в1»> -/}'/') £ 1 + ехр(Ъп - р<; > ) _
Л' ехр(вп>-Р'и>) (Ра)>-с ■)■(-¥ . + У W;_К
[Pj <-jSI 1 j ^ . 1й<1) 7m) pO>=p<«>__"=l + е\р\вп -Pj )
Pj Pj * ехр(в<:>-Р'Г) f expi^-cj) ' J ' ^
h i+- ; h i+«prô" - с, j для первых итераций и
Г0„ -в, !,,) в„)\
" l ехр(в\;>-р<;>) l ехр(в\Г'-РГ')
è 1+ep^i'■' -P'j") hI+1 ' -/?г '' ; (Pj -Pj ,+ргп1Ы,) nU>\
e«+V = â(»__,^\ + ехр{в„ -Pj )
Pi ~Pi * ехр(в\У-р\'>) £ ехМвГ'-рГ') ' Ьх 1 + ехр(в<„'> -p<;>) h 1 + ехр(в1Г> - Р<Ы>)
для последующих итераций (i>l). В выражениях (3), (4) O'J'', и pf>, с; - начальные границы интервалов, внутри которых находятся корни уравнений.
Значения в(п0> и р'}ц рассчитываются на основе выражений =1'{0-PJJ-P-/) (p„=X„-L~\ Pj=Yj.N-')• В качестве вторых начальных границ интервалов принимаются значения Ь„ = о"" ± лвп и с, = р'^' ± лр]. Величины А0п и лр1 выбираются минимальными так, чтобы signШК,Р?>)) * sign Ш^'.Р?')) и sign (<р21(е<:>х+ sign ^¿efv.pf). Если р„= 1, Pj = 1 или р„=0, pj = 0, то профиль ответов и - го участника тестирования или j- го задания из обработки исключаются. Теоретическое обоснование алгоритмов расчёта оценок латентных параметров политомических моделей Раша для рейтинговой шкалы и частичного доверия проводится аналогично. В заключении второй главы изложены результаты разработки программных комплексов RILP- 1М и RILP- 2, реализующих полученные рекуррентные соотношения и предложенные алгоритмы, оценена достоверность полученных с их помощью результатов расчёта.
В третьей главе «Теоретическое исследование свойств оценок латентных параметров дихотомической модели Раша» теоретически и с помощью вычислительного эксперимента исследуются условия существования и единственности оценок МП латентных параметров основной модели Раша, вопросы их состоятельности при расчёте по входным данным ограниченного объёма, разрабатываются необходимые для этого алгоритмы и ПО. Для установления условий существования и единственности оценок МП латентных параметров основной модели Раша было введено новое понятие «допустимая дихотомическая матрица ответов (результатов тестирования)» X . Матрица X е МЛ7 (МЛ£—множество всех матриц размера N*L, J, = {l,....L }, ¿ = 1,2,...) является допустимой, если матрица Z, полученная из X путём упорядочивания строк по невозрастанию строчных сумм, обладает следующими свойствами: а) для каждого jsJL найдутся номера i.l е УЛ., для которых ::J =0, zy =1; б) для любого k е ./v_, имеются номера i,j,l такие, что / е Jk, / с J j. к <1 < N, причем = 0, = 1. Свойство а) означает отсутствие в матрицах Z и X столбцов, состоящих из одних нулей или из одних единиц (экстремальных столбцов). Второе требование сводится к наличию случайности в расположении элементов г . матрицы Z, связанной с ошибками в профилях ответов участников тестирования.
Исследование условий существования и единственности оценок МП латентных параметров выполнено исходя из принятых ранее допущений. При использовании основной модели Раша функция правдоподобия Л для N тестируемых и L заданий будет равна произведению вероятностей Pv:
=пп т
1=1 у=1 1
* ехр(х0(в,-Р;)) (5)
+ ехр((в, -Pj))
В силу инвариантности оценок латентных параметров модели Раша достижение функцией (5) своего наибольшего на RK*L значения в некоторой точке
(в"..........Р'[) означает, что это же значение она принимает и во всякой точке
вида +5....,e°N + S,p° +S....,pl + 5), где S - действительное число. Поэтому с целью обеспечения единственности точки экстремума функции Л придадим одному из её (N + L) аргументов постоянное значение, например, pL = 0.
Показано, что необходимым и достаточным условием достижения функцией Л(?7) ('] = (&,.....6>л.,/7,.....своего наибольшего значения на J?A+i_1 является
допустимость матрицы X.
Для доказательства использована логарифмическая функция максимального
_ N L
правдоподобия f(rj) = -1пЛ(^) = £ ]Г (Iп(\ + е'р')-х1](в1-Р1)). Единственной точ-
¡=1 м
ке глобального максимума j)0 =(û°..........на ЛЛ-+Ы функции Л(г]) соответствует точка глобального минимума функции f(Jf). В должно быть выполнено необходимое условие экстремума функции нескольких переменных. Для функции f(Jf) оно сводится к системе уравнений
У =х„
+ exp(ei-pj)
(6)
I -У,
+ fvn//J _ я i J ь 1
-ехр(в1~р])
Выразим /(/;) через функцию <р(т) = 1п(\ + ст) при^всех гей, учитывая, что <р(т)-т = (р{-т)\
= Е ¿>ГГ-1/*Г0,-/^- (7)
ы
Рассуждением от противного показано, что матрица 2 удовлетворяет условиям допустимости а) и б). Нарушение условия а) возможно в двух случаях:
1). Найдётся номер ieJx такой, что строчная сумма X, совпадёт с одним из концов отрезка [0;Ц, или номер /' е./,_,, для которого столбцовая сумма У] совпадёт с одним из концов отрезка [0;№]. Однако из очевидных неравенств
о,-?,
О <-7—г- < 1 следует, что левые части уравнений (6) находятся внутри указан. 1 + е ' Р<
ных отрезков. Таким образом, по крайней мере, одно из уравнений (6) не имеет решений; система несовместна, что противоречит выбору точки ?/,>;
2). При любом /е./х 0 << £, а при любом у е 3О <У1 < N. Тогда с необходимостью выполняется одно из равенств }', =0, У, =Л'• Положив <> = (-\)"•',
Ч =(в°-8.....в1-3,р?-3....,р1_х-6), 5 = Х ^<р((-\)х"(в- ~Р))), приняв во внима-
/=1 ¡=\
n
ние выражение (7) и возрастание функции <р(т) на Д получим /(ц') = 5 + ^^(8(9)' -5)) =
n V
^З + ^^бв®-\)<3 + ^<р((-\)''- (в? ~Р1)) = /(:Па), что противоречит определению
770 как точки глобального минимума функции /(;;). При доказательстве выполнения утверждения б) используется условие допустимости дихотомической матрицы в виде, сформулированном и доказанном в теореме: матрица X е Мхь допустима в том и только в том случае, если не существует множеств д, а,/х,cJL, удовлетворяющих следующим двум условиям: г = 1,2; для всех
г е .А ,1'еОг,у £ ^, Ху = 2 - г, где = = .111Л',). Пусть утверждение б)
неверно. Тогда для некоторого имеет место импликация
k<l<N,jeJL, =1=>г^ =1 при всех(8)
А'
Зададим множества 0 и равенствами 01 = {р,: г е ,1к}. 52 = у {у е : = 1) и
/=<+1
положим 0,'у = |+ ^ ' 6 -11, В'х> = + ^ ^ 6 . Пусть I е (в этом случае К, /еО, 21 '
= 0) и .....в'к' .Рх' ,—,Р'11\) - точка глобального экстремума. Тогда в ре-
зультате преобразований с учётом импликации (8) получается неравенство
n £ _
X1)*" у-(°'' -= /(>?«)> которое противоречит определению точки
,=1 >1 ' '
1](1. Заметив, что А',1' =0, а /0]2)</(>1о)> к этому же противоречию придём и в случае Ь е 5, и цг=(в[г> .....в^ ,р[г) ,...,0^).
Показано, что т]6 - единственная точка глобального максимума функции Мп) Для допустимой матрицы X. Как и прежде, вместо Л(^) рассматривалась
_ _ _ Л' _
функция /(т}) = -1пЛ(>7). Выражение (7) записывалось в виде /(ч) = ^/¡(ч,), где
/=1
_ _ ь
?7, =(в1,р1.....ДцАЛ('П1) = ~Р])), и доказывалась строгая выпуклость
м
функций /,(1,) на Я1. С этой целью исследовались их вторые дифференциалы
/,(>],). Введём обозначение =<р"(0, е ,7Л,у е./, и заметим, что ввиду чёт-
ности функции = (1п(\ + е'))" независимо от значения ср"((-1 )*'' (в, -р} )) = г,у.
При всех / б 3К, у е имеем^4 = Хм/г>УГ-1/'у х = ^ , = о в
50, у=1 7=1 °Р)°Р!
случае /€Л.„/^у; = ¿"Йг^-1^'*
х<р"((-1/г'' ■(в,-Pj)) = -t(/. Используя полученные выражения для производных,
находим матрицу квадратичной формы Л2/,('}'") аргументов А?, .оУ?,,... <//?£_, в виде:
-',1 ',1 0 ... О -1,2 0 /,2 ... О
-I,
Все главные определители Д„, этой матрицы положительны. Ла = ^ 11; > 0, по-
/=1
скольку (/(г) > 0 при всех гей, 1и > 0, / е./,,, / е./,. Зафиксировав произвольное
2<т<Ь и выполнив несложные преобразования, получим 4,„ =
,>0.
-а)
Тогда в силу критерия Сильвестра в каждой точке 1] пространства переменных в,,/?,,...,второй дифференциал ¿У2/,!''?,является положительно определённой квадратичной формой аргументов .....с//?/_1, из чего следует строгая выпук-
лость функций /,('],) ■ Доказана положительная определённость квадратичной формы
(9)
Зафиксируем произ-
1=1
аргументов ¿/<9,.....Лвк,с1рх.....¿¡73в каждой точке ;;бДЛ
вольный ненулевой вектор .....^„^„.„^.^еЛ'""1. Пусть *0 при некотором /еЛ" Тогда Л2//';, ^>0.при том, что все другие слагаемые в сумме (9) неотрицательны.^Следовательно, с!2/(?])> О. К тому же выводу приходим и при с!р 1 * 0 для некоторого у е./,_,: в этом случае в (9) положительны все слагаемые. Таким образом, с12/(?]) - положительно определённая квадратичная форма,
и /(?;) - строго выпуклая на Г(
функция. Точка глобального минимума ??0
функции /(77) является для неё и точкой локального минимума, поэтому в соответствии с теоремой о единственности локального минимума у строго выпуклой функции других точек локального (и подавно, глобального) минимума функция /(т?) не имеет. Следовательно, для функции Л(77) является единственной точкой глобального максимума.
Из приведённых доказательств следует, что оценки МП латентных параметров дихотомической модели Раша существуют и являются единственными только в том случае, когда используемая для их расчёта дихотомическая матрица ответов является допустимой. Поэтому недопустимые матрицы ответов должны удаляться из обработки результатов тестирования. Ввиду важности полученного вывода для практики вычисления надёжных оценок латентных параметров, было исследовано влияние размеров матрицы ответов на её допустимость. Для расчёта доли Х'1Ь допустимых матриц от общего числа матриц заданного размера было получено следующее выражение:
=(1-2-l)n +(1 —2~n)l - 1-Пс;сХ2!"'-№-"1-XCX2N<'-L>.
n.2 1-2 t-2
Ha его базе был разработан алгоритм расчёта величины X'NL и реализующая его программа, которые позволили с помощью вычислительного эксперимента оценить значения A'XL для некоторых дихотомичесикх матриц, имеющих практическое значение. Было установлено, что X'NL существенно снижается для матриц с малым числом столбцов L и большим числом строк N. Например, для N=500 и L=10 значение ¿500]0 может снижаться до 37,6 %. Поэтому перед обработкой матриц ответов необходимо проверять выполнение для них условий допустимости. Для этого были разработаны алгоритм и программа для выявления недопустимых дихотомичесикх матриц ответов, которая входит в состав программного комплекса RILP-1M.
Для проверки качества оценок МП ß] и в\ латентных параметров основной
модели Раша исследовалась их состоятельность. Исследования проводились для двух случаев. В первом случае при выполнении исследований использовались следующие допущения: число столбцов L матрицы ответов ограничено; число строк N может быть бесконечно большим (N—>а>); трудность всех L заданий одинакова:/?, = ß2 = ... = ßL =0; элементы 0; удовлетворяют неравенству \в\ < М0,= 1,2,..JV, где Ма некоторая положительная постоянная; матрица ответов X удовлетворяет условиям допустимости, а её элементы ху взаимно независимы; для обеспечения единственности оценок в* ,ß* придаём одной из них конкретное числовое значение, например, ß'r = 0. Пусть для N.L > 2 в],/Г являются оценками МП параметров 0,, ßj, рассчитанными по дихотомическим результатам тестирования N студентов с уровнем подготовки 0,,02.....0Л, при использовании теста с L
заданиями нулевой трудности. Пусть Y - матрица, полученная из X е A/v; вычёркиванием экстремальных строк (если они есть). Введём событие С = {матрица Y допустима} и рассмотрим оценки максимального правдоподобия в",/?' параметров 0,, ßj, i GT,j <=JL, рассчитанные по матрице ответов )'. Покажем, что при N —►« вероятность наступления события С стремится к 1. Обозначим функцию успеха модели Раша через а(в, -ß,). Примем обозначения: P(xv = I) = и(в, -ß]) = и(в,) = р,, P(x,j =0) = l-p, =q,, j eJL,i = l,2,-; р„=и(М0), q„ =1-р0. Нетрудно видеть, что е-Щ !
и(-М0) =-—— =-— = \-а(М0) 0,5 < и(Л/(|) < 1 . Поэтому можно записать
1 + е 0 1 + е 0
0 < qa < 0,5 < р0 < 1, qa <р,< р,л. qu < ql < p(t, i = 1,2.....Вводя вспомогательные события, благоприятствующие событию С, и оценивая вероятности их наступления, получим оценку снизу вероятности наступления события С в виде
L
Р(С)>2 (\-aN)-L + \ = L(\-(Tfl)-L + \ = \-LcrN, где а = 1 -paqB s(0;1). Так как по-
j-1
лученная снизу оценка величины Р(С) стремится к 1 при N ->■ да, то и ДО—>1- Следовательно, при Л' ->« вероятность того, что матрица Y будет
допустимой, стремится к единице, а это означает, что существуют оценки максимального правдоподобия параметров вl,f}J,ieJN,jeJL, и они являются единственными.
Введём в рассмотрение событие Е = { наступило событие С, и р* < б при всех jeJL}. Показано, что Р(Е)—>1,а значит, найдётся номер Л'„=Л'0(г) такой, что Р(Е)>\-е2 при всех Л'> Л'(1. Из сходимостей Р(С)и Р(Е) к 1 следует сходимость по вероятности к нулю оценок максимального правдоподобия /?* латентных параметров /?.= О ( / е./, ). Из теоремы об умножении вероятностей событии СиЛ следует РГ(Е) = —-- = —1—1—-->- = 1. Это значит, что
с Р(С) Р(С) 1
Нт Р(\в'\ < е) = 1, что является условием состоятельности оценок р' при /?.= 0. А-№ I 1 I J
Путём введения в рассмотрение ещё нескольких вспомогательных событий и оценивания вероятности их наступления, доказывается, что оценки в' стремятся по вероятности к значениям 0," = 1п[х1-(Ь-х,)~х].
Для экспериментальной проверки полученных результатов использовался вычислительный эксперимент. Моделировались дихотомические матрицы с ¿н =49 и изменяющимся от 500 до 3007 значением N. Трудность всех виртуальных заданий в логитах задавалась равной 0 в первом эксперименте и 0,491 во втором. Анализ значений р']0 показал, что их отличия от р] =0 составили не более 0,002 ло-гит, а от значения 0,491 - 0,6 %. Оценки в' практически полностью совпали с в" во всех случаях.
Во втором случае исследовалась состоятельность оценок в* и /?* при .¥ —► -х и Ь да, причём трудность заданий Р1 выбиралась различной. Остальные допущения, принятые ранее, не изменялись.Состоятельность оценок ()],р] параметров в, ,Р1 понимается в том смысле, что для Е>й^,Ь>2,вх,вг,...,вк, рх,рг.....^еЛ существует событие В = {матрица^допустима, а компоненты в*,р* каждого главного решения системы (6) удовлетворяют неравенствам |<?* — < -Р]| < е /„, / Доказано, что для любых чисел М, с > 0 найдутся номер и число сг>0 такие, что при М,Ь>К\, 1птах(Ы,Ь)<сгтт(Ы,Ъ), \в¡\<M,\pJ\<M.(i<=Jh,,j <=JL) вероятность ?(Ъ)>\-е.
Доказательство выполнения этого условия осуществляется путём введения ряда вспомогательных событий и оценивания вероятности их наступления, на основе чего устанавливаются оценки снизу вероятностей наступления событий .Г={ матрица X допустима), независимых в совокупности событий
Н,
n
y'i-UPij
<a2t2N\,j <eIl и K¡ =
l
7=1
<a2t2l,i e iy>. В результате по-
лучаем: P(F)>l-3r; для всех j^I P(Hj)>\-be >0 и для всех ''e/v
l l l
P(Ki)>l-be-La. Тогда P(H) = P(Y\ Hj)= Y\P( H j ) >\\(^-Ье-Ка ) = (l-be'Na )L и ана-
M № • j=1
логичным образом найдем P(K)>(\-be~La )к. Здесь: T = mii{c¡0,■ 0,1г) s (0/0,5), a, b —
задаваемые положительные числа; а - наименьшее значение производной функции и(0/ -ß]) на определённом отрезке [-М2;М1], причем а>0. Доказано, что
L L
P(H)=P(Y\H])=\-L + Y P(Hj). Оценивая снизу вероятность события G=FHK с
j=1 i=i
учётом последнего равенства и найденных оценок для вероятностей, получим P{G) >1—5г. Показано, что в случае выполнения неравенств N.L>Na. \в\ < М,|/?7 | < М,i е JN.j € J,, событие G благоприятствует событию В. Поэтому Р(в) > P(g) > 1 - 5г > 1 - е, что и требовалось доказать.
Экспериментальная проверка полученного теоретического результата проводилась на основе вычислительного эксперимента. Предполагалось, что распределения оценок ß'j и 9* являются нормальными. Допустимость данного предположения подтверждена сведениями из литературных источников и исследованиями автора работы. На основе данных обработки нормативной дихотомической матрицы ответов размером 60x49 моделировались аналогичные матрицы размером 501x500 (М1), 1002x1000 (М2), 1503x1500 (МЗ), 2004x2006 (М4) и 2505x2505 (М5). Смоделированные матрицы обрабатывались, после чего сравнивались между собой полученные графики зависимостей долей верных ответов виртуальных тестируемых от их уровня подготовки в'<к> {pi(9*'k> J), а также графики зависимостей долей pj верных ответов на виртуальные задания от их трудности ß]""'(.Pj(Р]""'))■ Из рис. 1 видно, что наибольшие различия значений в'п> (~3%) наблюдаются для графиков, полученных по матрицам М2 и МЗ (кривые 2 и 3). Значения оценок в'(к> практически не изменяются, начиная с матрицы МЗ размером 1500x1503 (кривые 3-5 почти совпадают).
Р, 0,88
0,86
0,84
0,82
2,2 2,3 2,4 2.5 в, логит
Рис. 1. Зависимости р,(в'а') для моделей матриц разного размера: 1-М1; 2-М2;
З-МЗ; 4-М4; 5-М5
\
4. 1 2
Таким образом, оценки латентных параметров в*, /?', рассчитанные по дихотомической матрице ответов ограниченного размера (N.1. >50), являются состоятельными. Квазигенеральные значения оценок могут быть вычислены по смоделированным матрицам, для которых N,1. > 1500.
В четвёртой главе «Расчёт оценок латентных параметров модели Раша на основе моделирования дихотомических матриц ответов» исследовалась возможность повышения точности калибровки заданий теста по матрицам ответов ограниченного размера с помощью модифицированных бутстреп-метода и метода складного ножа, и решались задачи разработки моделей дихотомической матрицы ответов для параметризации ДС, необходимых для этого алгоритмов и ПО.
Результатами теоретического анализа и вычислительного эксперимента было показано, что полученные с помощью упомянутых методов предельные оценки трудности заданий Р"'псн' и Д*;®' стремятся по вероятности к оценкам МП р], рассчитанным по исходной матрице. Вследствие этого не имеет смысла использовать для повышения точности калибровки заданий бутстреп-метод и метод складного ножа, которые нередко используются за рубежом для обработки статистических данных. В процессе исследований было также выявлено, что при объёме выборки N < 46 и £ = N ■ <1 изменение состава выборки тестируемых оказывает достаточно сильное влияние на значения оценок трудности заданий /?*. Поэтому для калибровки заданий диагностического теста рекомендуется использовать допустимые нормативные дихотомические матрицы результатов тестирования с числом строк не менее 46 и > 1. Для проведения исследования поведения оценок /.!'!}с"' и р'(,В1 были разработаны алгоритмы и программные комплексы МЬР-МиШ и ЩЬР-МиШ2, на которые получены свидетельства об официальной регистрации программ для ЭВМ. _
Проблема повышения точности расчёта оценок латентных параметров основной модели Раша по выборкам ограниченного объёма была решена на основе компьютерного моделирования генеральной дихотомической матрицы ответов и нормативных дихотомических матриц ответов заданного размера. Предложенный алгоритм формирования таких матриц изображён на рис. 2. Значения указанных на схеме величин рассчитываются в соответствии с разработанной автором методикой. На основе моделирования дихотомических матриц ответов разных размеров показано, что относительная погрешность у калибровки заданий трудностью |/?7| > 0.18 логит составляет 6 % при N=200 и снижается до 3 % при Ы= 300.
В пятой главе «Разработка инструментария и моделей мониторинга результатов обучения и оценки качества диагностических средств» разработаны методологические основы оценки уровня сформированности компетенций обучаемых, методы расчёта квазигенеральных оценок латентных параметров основной модели Раша, модели мониторинга результатов обучения и оценки качества ДС. Теоретической основой предложенного метода расчёта квазигенеральных оценок латентных параметров по дихотомическим матрицам ответов ограниченного размера являются результаты, полученные в третьей главе.
Рис. 2. Блок-схема алгоритма формирования дихотомической матрицы ответов
Основные этапы метода:
- обработка дихотомической матрицы ответов ограниченного размера Nих1и, выявление типа и параметров распределений оценок 0] и /?*;
- формирование по найденным параметрам распределений оценок 0] и /?* (/' = 1. = 1, £„) модели матрицы ответов размером 1500x1500, расчёт на её основе оценок 0" и р) (/ = 1,1500, .V = 1,1500);
- выбор из массива значений в] и р* оценок 0*а и р]н, соответствующих экспериментальным значениям величин р[ и р], которые в свою очередь соответствуют исходным оценкам в' и р' экспериментальной матрицы ответов.
Этапы метода калибровки заданий теста путём моделирования дихотомической матрицы ответов ограниченного размера ИпхЬ11 матрицей Л^хЬн (Л'0> 500), в основном, сходны с рассмотренными для предыдущего метода. Отличие заключается в том, что моделирование матрицы выполняется для каждого значения р] и все её столбцовые суммы одинаковы. Экспериментальная проверка методов в рамках вычислительного эксперимента, проведённого с использованием реальных матриц ответов с И, Ь>50, показала их высокую эффективность: с 95 %-ой доверительной вероятностью погрешность расчёта оценок латентных параметров
снижается не менее чем в 2 раза при выборочной дисперсии уровня подготовки студентов (а'в )2 < (0.76)2-0,58 логит2.
На базе описанных методов и метода оценки уровня сформированности компетенций обучаемого, а также разработанной методики экспертизы качества ДС были созданы методологические основы независимой оценки качества подготовки обучаемых по значению уровня сформированности их компетенций. Базовыми положениями методологии являются: 1) уровень овладения компетенцией оценивается на основе показателей личностно - профессионального развития обучаемого по направлениям, определяемым личностным (ЛКК), когнитивным (ККК) и интегративно-деятельностным (ИДКК) компонентами компетенции, которыми представлена её структура; 2) количественная оценка уровня сформированности каждого из трёх компонентов компетенции носит вероятностный характер и оценивается своим банком качественных ДС; 3) ВД получены путём тестирования (анкетирования) обучаемых с применением методов социологических и психологических исследований; 4) обработка ВД, анализ и интерпретация её результатов проводятся с помощью ПО, работа которого базируется на использовании теории латентных переменных и классической теории тестирования. В качестве моделей измерения используются модели Раша; 5) уровень подготовки обучаемых оценивается соответствием уровня сформированности их компетенций требованиям образовательных стандартов.
На основе полученных в предыдущих главах результатов и сформулированных положений методологии, создана модель АСНО уровня подготовки выпускников учреждений, осуществляющих подготовку, повышение квалификации и переподготовку кадров. Структурная схема модели рассмотрена на примере подготовки бакалавра в соответствии с ФГОС ВПО (рис. 3).
Использование модели позволяет количественно оценить уровень подготовки выпускника и его соответствие требованиям ФГОС. Предложена модель мониторинга уровня сформированности компетенций студентов в процессе обучения, которая отличается от модели рис. 3 наличием дополнительного блока по проверке качества средств диагностики и их доработке. Это позволяет создать банк качественных ДС для проверки владения компетенциями к моменту итоговой государственной аттестации выпускников.
В шестой главе «Применение результатов диссертационного исследования для независимой оценки результатов обучения» рассматриваются примеры применения разработанного инструментария к оценке уровня сформированности компетенций студентов, обучающихся по программам высшего и среднего профессионального образования. В таблицах 1 и 2 представлены фрагменты результатов расчёта оценок уровня знаний (когнитивного компонента компетенции) тестируемых и трудности заданий педагогического теста, который использовался для получения входных данных. Расчёт исходных оценок в', р'} производился по экспериментальной матрице ответов М1 размером 51x50. Оценки 0'а, р*{ рассчитаны по матрице М4 размером 50x45, полученной путём удаления из М1 неадекватных элементов.
Вход:
(требования потребителя, требования ФГОС по НП)
Аналнз требований потребителя н ФГОС
Разработка стратегии оценки качества подготовки
Кластерный анализ реестра компетенции, формирование кластеров по блокам _оценки ЛКК, ККК и ИДКК_
Формирование блоков ДС для оценкн ЛКК, ККК и ИДКК
I--->С
Сбор входных данных (ВД) (тестирование, анкетирование)
3 2
3
Анализ ВД и их обработка
Анализ показателей качества ДС и ВД по блокам ЛКК. ККК и ИДКК
Аналнз х.;, определение принадлежности выпускника к категории (по блокам) |
Выборы весовых коэффициентов н расчет УС компетенции в,= аме^ а,;1|,2+ ацВ;3 | Расчет интегральных показателен УС ОК 6К=У1К! вк| и ПК Ор^Х у,,, 0;., |
Оценка профессиональной подготовки выпускника 6=Гу 9К+ г20р н определение _принадлежности к категории_
Рис. 3. Модель АСНО качества подготовки выпускников
Таблица 1 — Исходные 0'л и квазигенеральные в'0 оценки параметров 0, уровня подготовки студентов в логитах (сг^„,^=1,014 логит, Дрг=0,2952 логит)
/ 4, $0 п-(2) в1рг Л2фг V
16 -1,278 0,7396 -1.2823 -1,0584 0.2239 3
18 -0,786 0,6812 -0,7921 -0,5425 0,2496 3
17 -0,457 0,657 -0,468 -0,196 0.272 2
8 -0.145 0.6449 -0,1612 0,133 0.2942 2
4 0,161 0.0,6449 0,1413 0,4574 0,3161 2
7 0,367 0.649 0,3455 0.6755 0,33 2
10 0,797 0.6752 0,772 1.1325 0.3605 2
19 1,152 0,7155 1,1249 1,5111 0,3862 2
50 1,563 0,784 1,5273 1,9493 0,422 2
33 2,565 1,0782 2,5222 3.008 0,4858 2
Оценки /?*„,, и /]'п, 0'„ найдены методами калибровки тестовых заданий и расчёта квазигенеральных оценок латентных параметров путём моделирования матрицы М4. В таблицах 1 и 2: Ав, Лр и Л1врг, Л20рг - полуширина 95 %-х доверительных ин-
тервалов оценивания значений 0], [}] и /?*,,, в'а соответственно; прг - кратность отношения 4?1 к и Лр к ; - относительные различия оценок р] и /?*0. Из таблиц видно, что применение описанных в пятой главе методов расчёта оценок латентных параметров по матрицам ответов ограниченного размера позволяет с доверительной вероятностью 0,95 снизить погрешности их расчёта не менее чем в 2 раза.
Таблица 2 - Исходные р] , /?*, и квазигенеральные р]и, р)0г оценки латентных параметров р1 в логитах О("„,от=1,06 логит, 0рг=О,6884 логит)
.1' Р) 4>,> Р'л Р)« Л2Ррг V ы% Р) 0..'
05 -1,611 0,846 -1,652 -1,6606 0,1708 5 3,0 -1,6566
25 -1,023 0,7194 -1.057 -1,0566 0,1989 4 3,2 -1,0324
40 -0,674 0,6692 -0,701 -0,6968 0,2178 3 3,3 -0,678
22 -0,172 0,625 -0,189 -0,1796 0,247 2 4,2 -0,1716
44 0,014 0,6149 0,001 0,0112 0,2582 2 25,0 0,0117
26 0,195 0,6109 0,187 0,1978 0,2691 2 1,4 0,209
01 0,554 0,6129 0,557 0,5662 0.2918 2 2.2 0,574
13 1,017 0.637 1,037 1,0423 0,3195 2 2,4 1,0528
27 1,651 0,7094 1,699 1,6954 0.3957 2 2,6 1,7142
На примере оценивания личностных качеств обучаемых с помощью опросников Т. Лири для исследования межличностных отношений в коллективе и опросника Л.П. Калининского «Профиль личностных свойств» показано, что созданные во 2-5 главах диссертации алгоритмы, программное обеспечение и инструментарий для обработки результатов обучения позволяют количественно оценить степень сформированности ОК обучаемых, выявить аномалии в их личностных качествах, мешающие формированию компетенций.
Оценка интегративно-деятельностного компонента компетенции производилась на основе измерения качества выполнения и защиты дипломной работы. В таблице 3 представлены оценки в* параметра <9 «качество дипломной работы» и погрешности их расчёта е„. , полученные по политомической матрице ответов, сформированной на основе оценок эксперта. Для расчёта значений в* использовался алгоритм, базирующийся на политомической модели частичного доверия. В качестве диагностического теста применялся разработанный с участием автора набор индикаторов, который приведён в диссертации. Категория в качества дипломной работы определялась по значению индивидуального балла X, (Х,тах=48) с помощью представленной в диссертационной работе таблицы. Качество оценивается положительно, если в>2. Представленная в таблице 3 информация свидетельствует о хорошем качестве дипломных работ (С>2, в' >0) у большинства выпускников, что является признаком достаточно высокого уровня сформированности интегративно-деятельностного компонента компетенции.
Таким образом, результаты шестой главы позволяют сделать вывод о том, что созданные модели АСНО результатов обучения, методология и инструмен-
тальные средства обеспечивают независимую количественную оценку новых результатов образования в виде компетенций обучаемых и позволяют судить о соответствии их уровня сформированности требованиям стандарта.
Таблица 3 — Оценки параметра «качество дипломной работы» (логит)
в: £о, х, G i в] Eo¡ х, G
1 3,556 0,43 41 4 17 1,699 0,40 28 3
2 3,961 0,49 43 4 18 2,003 0,38 30 3
3 2,812 0,37 36 3 19 -1,779 0,58 13 2
4 4,522 0,59 45 4 20 -1,158 0,54 15 2
5 5,496 0,87 Al 4 21 3,556 0,43 41 4
6 3.746 0,45 42 4 22 -0,876 0,53 16 2
7 3,556 0,43 41 4 23 2,284 0,37 32 3
8 4,920 0.69 46 4 24 1,855 0,39 29 3
9 4,214 0,53 44 4 25 -0,349 0,50 18 2
10 4,522 0,59 45 4 26 2,946 0,38 37 4
11 4.522 0,59 45 4 27 4,214 0,53 44 4
12 4,214 0,53 44 4 28 0,996 0,44 24 3
13 3,085 0,39 ' 38 4 29 0,137 0,48 20 2
14 4,522 0,59 45 4 30 -1,158 0,54 15 2
15 3,746 0,45 42 4 31 1,537 0,41 27 3
16 1.537 0,41 27 3 32 4,522 0,59 45 4
В заключении изложены итоги выполненного исследования.
В приложениях приведены руководства пользователя для работы с программными комплексами RILP-1M, RILP-multi, RILP-2, акты внедрения результатов диссертационного исследования, иллюстративные и другие материалы.
_ ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИОННОЙ РАБОТЫ
1. Математически обоснована допустимость использования моделей Раша для оценки результатов обучения. На базе модели Раша для дихотомической переменной и метода максимального правдоподобия получены рекуррентные соотношения, обеспечивающие надёжную сходимость итерационного процесса расчёта оценок латентных параметров — «трудности заданий (индикаторов)» /3j диагностического средства и «уровня подготовки» обучаемых в, по результатам их диагностики (тестирования, анкетирования). Предложен алгоритм расчёта оценок максимального правдоподобия латентных параметров, обеспечивающих независимую оценку результатов обучения и проверку качества диагностических средств.
2. Получены рекуррентные выражения для расчёта значений уровня подготовки студентов вп, уровня трудности тестовых заданий Д и уровня трудности каждого из шагов задания t¡¡ по результатам диагностики, базирующиеся на использовании метода максимального правдоподобия и политомических моделей Раша для рейтинговой шкалы и частичного доверия. Разработаны алгоритмы итерационных процедур для расчёта оценок указанных латентных параметров, которые позволяют количественно оценить качество диагностических материалов и личностные параметры обучаемого, определяющие уровень владения компетенциями.
3. Впервые на основе результатов теоретических исследований и вычислительного эксперимента показано, что для существования и единственности оценок максимального правдоподобия латентных параметров основной модели Раша дихотомическая матрица ответов, по которой рассчитываются оценки, должна удовлетворять установленным условиям допустимости, которые теоретически обоснованы и сформулированы. Предложен алгоритм проверки дихотомической матрицы ответов на соответствие её условиям допустимости, позволяющий выявлять и удалять из обработки недопустимые матрицы, что обеспечит повышение объективности оценки результатов обучения. Теоретически и результатами вычислительного эксперимента доказано, что доля недопустимых дихотомических матриц ответов в общем объёме матриц результатов тестирования может достигать больших значений (=62,4 %), когда число строк в матрице велико (N= 500), а число столбцов мало (L= 10). При увеличении числа столбцов L до 50 доля недопустимых матриц снижается до 3 %. Предложен алгоритм расчёта доли допустимых матриц результатов тестирования заданного размера.
4. Впервые показано, что оценки максимального правдоподобия латентных параметров основной модели Раша, рассчитанные по квазинормативным допустимым матрицам ответов ограниченного размера (JV,i>50) являются состоятельными. Установлено, что при одновременном увеличении числа и строк, и столбцов матрицы ответов обеспечивается состоятельность оценок параметров и «уровень подготовки» обучаемого, и «уровень трудности» задания. Если увеличивается только число строк матрицы, а количество столбцов фиксировано и все столбцовые суммы одинаковы, состоятельны только оценки параметра «уровень трудности» задания, а оценки параметра «уровень подготовки» обучаемого стремятся по вероятности к первоначальным значениям 0° = 1п(р, q~'). Установлены минимально достаточные размеры нормативной допустимой матрицы ответов, по которой могут быть рассчитаны генеральные оценки латентных параметров <9 и ßj.
5. Предложен новый метод калибровки заданий теста путём моделирования допустимой квазинормативной дихотомической матрицы ответов ограниченного размера N„xLH аналогичными матрицами с существенно большим числом строк и с одинаковыми значениями столбцовых сумм, позволяющий получить квазигенеральные оценки трудности заданий. Предложен новый метод расчета квазигенеральных оценок максимального правдоподобия латентных параметров в1 и ß 1 основной модели Раша путём моделирования матрицы ответов NHxLu нормативными матрицами Ъ\хЬ\ с существенно большим числом строк и столбцов (Л',,¿¡>1500). С доверительной вероятностью 0,95 методы обеспечивает снижение погрешностей расчёта оценок не менее чем в 2 раза, если выборочная дисперсия уровня подготовки обучаемых (сг', )2 не превышает 0,58 логит".
6. Впервые на основе результатов вычислительного эксперимента и теоретических исследований показано, что использование модифицированных бутст-реп-метода и метода складного ножа не обеспечивает достижения выигрыша в точности расчёта трудности заданий диагностического средства по единственной квазинормативной дихотомической матрице ответов ограниченного размера.
Предложена модель генеральной дихотомической матрицы ответов, формирование которой осуществляется на базе основной модели Раша по заданным законам распределения латентных параметров в. , р]. Оценки латентных параметров в"т, р'п, рассчитанные по этой модели матрицы, могут использоваться в качестве генеральных при решении задач моделирования и параметризации диагностических тестов. Предложены методика и алгоритм формирования модели нормативной дихотомической матрицы ответов, позволяющие осуществлять моделирование качественных матриц заданного размера, использование которых обеспечивает снижение влияния искажающих факторов на результаты параметризации и моделирования диагностических тестов. С использованием моделей допустимых дихотомических матриц ответов показано, что погрешность калибровки тестовых заданий трудностью > 0.18 логит не превышает 6% при N=200иЗ % при N=300.
7. Разработаны методологические основы независимой оценки уровня сформированности компетенций обучаемых, базирующиеся на принятых подходах к диагностике компетенций, использовании вероятностных моделей Раша, методов математической статистики и теории латентных переменных, методов социологических и психодиагностических исследований. Предложена методика экспертизы качества диагностических средств по матрицам ответов ограниченного размера на основе дихотомической модели Раша и теории латентных переменных в сочетании с классической теорией тестов. Предложен метод расчёта уровня сформированности компетенции обучаемого по значениям оценок её личностного, когнитивного и интегративно-деятельностного компонентов. Применение перечисленного инструментария обеспечивает надёжную диагностику результатов компетентностно-ориентированного обучения.
8. Предложена модель мониторинга уровня сформированности компетенций обучаемых, позволяющая объективно отслеживать уровень их подготовки, получать информацию о качестве диагностических средств. Использование модели обеспечит создание в процессе обучения слушателей и студентов средства диагностики с высокими показателями качества, необходимые для проведения итоговой государственной аттестации выпускников. Предложена модель системы оценки уровня подготовки выпускников учреждений по обучению, повышению квалификации и переподготовке кадров, позволяющая объективно оценить профессиональную подготовку выпускников и соответствие её требованиям соответствующих стандартов.
9. Разработаны пакеты и комплексы программ (ШЬР-1, ЮЬР-2, МЬР-МиШ и их модификации), реализующие предложенные модели и алгоритмы расчёта оценок латентных параметров обучаемых и средств диагностики, которые отличаются от известных надёжной сходимостью итерационных оценок к оцениваемому параметру. Применение созданного ПО обеспечивает автоматизацию и повышение эффективности работы АСНО результатов обучения. С использованием применяемых в образовании и социологических исследованиях диагностических тестов и опросников показано, что созданные в процессе диссертационного исследования модели и инструментарий АСНО обеспечивают независимую оценку новых результатов обучения - компетенций обучаемых.
ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ
Монография
1. Елисеев, И.Н. Методы, алгоритмы и программные комплексы для расчёта характеристик диагностических средств независимой оценки качества образования: монография / И.Н. Елисеев. — 2 изд., перераб. и доп. - Новочеркасск: Лик, 2013.-285 с.
Публикации в ведущих научных журналах из списка ВАК
2. Елисеев, И.Н. Диагностика индивидуальных свойств личности в студенческой среде на основе модели Раша / И.Н. Елисеев // Стандарты и мониторинг в образовании. - 2009. - № 3. - С. 35-38.
3. Елисеев, И.Н. Алгоритмы итерационных процедур вычисления оценок уровня подготовки студентов / И.Н. Елисеев // Известия вузов. Электромеханика. -2013.№3. С. 83-90.
4. Елисеев, И.Н. Исследование существования и единственности оценок максимального правдоподобия параметров латентных переменных однопарамет-рической дихотомической модели Раша / И.Н. Елисеев, И.С Шрайфель // Информатизация образования и науки. - 2011. - № 3 (11). - С. 117-129.
5. Елисеев, И.Н. Исследование погрешности расчёта трудности заданий теста на основе моделирования дихотомической матрицы ответов / И.Н. Елисеев// Педагогическая информатика. - 2011. -№ 4. - С. 92-101.
6. Елисеев, И.Н. Калибровка заданий теста с использованием бутстреп-метода /И.Н. Елисеев // Программные продукты и системы. 2010. № 2. С 96-99.
7. Елисеев, И7Н. Методология оценки уровня компетенций студента / И.Н. Елисеев // Информатика и образование. - 2012. - №4. - С.80-85.
_ 8. Елисеев, И.Н. Модель мониторинга уровня компетенций студентов и оценки качества диагностических средств / И.Н. Елисеев // Известия вузов. Северо-Кавказский регион. Технические науки. - 2012. - №3. - С. 126-132.
9. Елисеев, И.Н. Модель системы оценки качества подготовки выпускников бакалавриата и магистратуры / И.Н. Елисеев // Информатизация образования и науки. - 2012. - №3(15). - С.106-115.
10. Елисеев, И.Н. Модель дихотомической матрицы результатов тестирования / И.Н. Елисеев // Программные продукты и системы. - 2011. - № 3.- С. 80-86.
11. Елисеев, И.Н. Модель оценивания латентных параметров дихотомической модели Раша / И.Н. Елисеев, И.С. Шрайфель // Известия вузов. СевероКавказский регион. Технические науки. - 2011.-№ 6.-С. 37-46.
12. Елисеев, И.Н. Оценка уровня подготовленности выпускников колледжа на основе измерения качества квалификационных работ / И.Н. Елисеев // Стандарты и мониторинг в образовании. - 2010. - № 1. - С. 47-49.
13. Елисеев, И.Н. О состоятельности дихотомической модели Раша / И.Н. Елисеев, И.С. Шрайфель // Известия вузов. Северо-Кавказский регион. Технические науки. - 2012. - №5. - С. 127-136.
14. Ларина, Т.Н. Оценка уровня компетенций студента на основе модели Раша [Электронный ресурс] / Т.Н. Ларина, И.Н. Елисеев // Инженерный вестник
Дона: электронный научный журнал - 2012. - № 4. 4.1. Режим доступа: http://www.ivdon.ru/rnagazine/latest/ (дата обращения 26.10.2012)
15. Елисеев, И.Н. Программный комплекс RILP-1 / И.Н. Елисеев, И.И. Елисеев, A.B. Фисунов // Программные продукты и системы. - 2009. - № 2. С. 178-181.
16. Елисеев, И.Н. Расчёт параметров тестовых заданий при представлении результатов тестирования в виде политомической переменной / И.Н. Елисеев, И.И. Елисеев // Известия вузов. Северо-Кавказский регион. Технические науки. -2002. -№3. - С. 123-125.
17. Елисеев, И.Н. RILP-Multi для расчёта предельных оценок параметров индикаторов бутстреп-методом / И.Н. Елисеев, И.И. Елисеев, A.B. Фисунов // Программные продукты и системы. - 2011. - №2. - С. 114-117.
18. Елисеев, И.Н. Теоретические основы алгоритма расчёта латентных переменных программным комплексом RILP-1M / И.Н. Елисеев // Программные продукты и системы. - 2011. - №2. - С. 67-72.
19. Елисеев, И.Н. Теоретические основы алгоритма расчёта латентных переменных программным комплексом RILP-2 / И.Н. Елисеев // Известия вузов. Северо-Кавказский регион. Технические науки. - 2011. - №3. - С. 3-8.
20. Елисеев, И.Н. Теоретическое обоснование алгоритма расчёта латентных переменных программным комплексом RILP-2 на основе модели рейтинговой шкалы / И.Н. Елисеев, И.И. Елисеев // Известия вузов. Северо-Кавказский регион. Технические науки. - 2011. - №4. - С. 14-19.
21. Елисеев, И.Н. Теоретические основы расчёта доли допустимых дихотомических матриц ответов / И.Н. Елисеев, И.С. Шрайфель // Информатизация образования и науки. - 2011, - № 4. - С. 60-74.
22. Елисеев, И.Н. Экспериментальные исследования состоятельности оценок латентных параметров модели Раша / И.Н. Елисеев // Программные продукты и системы. - 2012. - №3. - С. 166-171. _
23. Елисеев, И.Н. Экспериментальное подтверждение состоятельности оценок трудности заданий теста / И.Н. Елисеев // Программные продукты и системы. - 2012. - №2. - С. 153-156.
24. Елисеев, И.Н. Экспертиза качества тестов по электротехническим дисциплинам / И.Н. Елисеев // Известия вузов. Электромеханика. - 2011. - №2. -С. 75-80.
Свидетельства о регистрации программ для ПЭВМ
25. Свидетельство об официальной регистрации программы для ЭВМ, №2009610643. Измеритель латентных переменных RILP-1 / И.Н. Елисеев, A.B. Фисунов, И.И. Елисеев. - Заявл. 02.12.2008, г. Москва. - Опубл. 28.01.2009.
26. Свидетельство об официальной регистрации программы для ЭВМ,
№ 2010611109. RILP-2 / И. Н. Елисеев, А.И. Шерстобитов, A.B. Фисунов, И.И. Елисеев. - Заявл.08.12.2009. Москва. - Опубл. 05.02.2010.
27. Свидетельство об официальной регистрации программы для ЭВМ, №2011615213. RILP-1M / И. Н. Елисеев, A.B. Фисунов, И.И. Елисеев. - Заявл. 12.05.2011, г. Москва. - Опубл. 01.07.2011.
28. Свидетельство об официальной регистрации программы для ЭВМ,
№ 2010611111. RILP-Multi / И. H. Елисеев, А.В.Фисунов, И.И. Елисеев. - Заявл. 08.12.2009, г. Москва. - Опубл. 05.02.2010.
29. Свидетельство об официальной регистрации программы для ЭВМ,
№ 2011615220. RILP-Multi2 / И.Н. Елисеев, A.B. Фисунов, И.И. Елисеев. - Заявл. 12.05.2011, г. Москва. - Опубл. 01.07.2011.
30. Свидетельство об официальной регистрации программы для ЭВМ, №2011615214. Программа для повышения адекватности элементов дихотомической матрицы принятой модели измерения / И.Н. Елисеев, A.B. Фисунов, A.C. Папян. - Заявл. 12.05.2011, г. Москва. - Опубл. 01.07.2011.
31. Свидетельство об официальной регистрации программы для ЭВМ, №2011615215. Программа формирования генеральных выборок латентных переменных модели Раша / И.Н. Елисеев, A.B. Фисунов, A.C. Папян. - Заявл. 12.05.2011, г. Москва. - Опубл. 01.07.2011.
32. Свидетельство об официальной регистрации программы для ЭВМ, №2011615218. Программа моделирования дихотомической матрицы результатов тестирования / И.Н. Елисеев, A.B. Фисунов, A.C. Папян. - Заявл. 12.05.2011, г. Москва. - Опубл. 01.07.2011.
33. Свидетельство об официальной регистрации программы для ЭВМ, №2009610893. Программа для построения психограмм / И.Н. Елисеев, A.B. Фисунов, И.И. Елисеев. - Заявл. 16.12.2008, г. Москва. - Опубл. 09.02.2008.
34. Свидетельство об официальной регистрации программы для ЭВМ, №2011615217. Программа для выявления недопустимых дихотомических матриц результатов тестирования / И.Н. Елисеев, И.С. Шрайфель, A.B. Фисунов. - Заявл. 12.05.2011, г. Москва. - Опубл. 01.07.20П.
35. Свидетельство об официальной регистрации программы для ЭВМ, №2011615216. Программа расчета доли недопустимых дихотомических матриц результатов тестирования / И.Н. Елисеев, И.С. Шрайфель, A.B. Фисунов. - Заявл. 12.05.2011, г. Москва. - Опубл. 01.07.2011.
Публикации в сборниках научных статей, трудов и материалов конференций
36. Елисеев, И.Н. Алгоритм проверки дихотомической матрицы результатов тестирования на соответствие условиям допустимости / И.Н. Елисеев, A.B. Фисунов // Перспективы развития гуманитарных и технических систем (Пер-спективы_ГТС_11): материалы всерос. науч. конф. - Таганрог, 2011. - С. 22-25.
37. Елисеев, И.Н. Алгоритм расчёта уровня подготовки студентов с использованием латентных переменных / И.Н. Елисеев // Современный учебно-воспитательный процесс: теория и практика: материалы V всероссийской (с международным участием) заочной научно-практической конференции. - Красноярск, СГТУ, 2013. Ч. 2. - С. 212-219.
38. Елисеев, И.Н. Диагностика коммуникативных компетенций студентов на основе политомической модели Раша / И.Н. Елисеев, Т.Н. Ларина, Л.Ю. Лит-виненко // Современное образование: содержание, технологии, качество: материалы XVII международной научно-методической конференции. - Санкт-Петербург, СПбГЭТУ «ЛЭТИ», 2011. Т. 2. - С. 7-9.
39. Елисеев, И.Н. Диагностика формально-динамических свойств личности на основе политомической модели Раша / И.Н. Елисеев, Л.Ю. Литвиненко // Информационное общество: идеи, технологии, системы: материалы международной научной конференции. Таганрог, ТТИ ЮФУ, 2010. Ч. 2. - С. 30-38.
40. Елисеев, И.Н. Измерение качества квалификационных работ выпускников колледжа на основе модели Раша / И.Н. Елисеев, Л.Н. Скорева, Ю.С. Пономарёва // Системы и модели в информационном мире (СМИ-2009) (Таганрог, март 2009г.): сб. статей международной научной конференции. - Таганрог, ТТИ ЮФУ, 2009. Ч. 1,-С. 33-39.
41. Елисеев, И.Н. Исследование погрешности калибровки заданий теста на модели дихотомической матрицы ответов / И.Н. Елисеев, A.B. Фисунов, A.C. Папян // Актуальные вопросы исследования общественных и технических систем (АВИОТС-2011): материалы Всероссийской научной конференции - Таганрог, ТТИ ЮФУ, 2011. Ч. 1. - С. 36-42.
42. Елисеев, И.Н. Исследование темперамента личности на основе методов теории латентных переменных / И.Н. Елисеев, Л.Ю Литвиненко // Системы и модели в информационном мире (СМИ-2009) (Таганрог, март 2009 г.): сб. статей межд. научной конференции. - Таганрог, ТТИ ЮФУ, 2009. Ч. 1. -С. 27-33
43. Елисеев, И.Н. Использование модели Раша для диагностики социально-личностных компетенций / И.Н. Елисеев // Современное образование: содержание, технологии, качество: материалы международного форума. - Санкт-Петербург, СПбГЭТУ «ЛЭТИ», 2010. - Т.2. - С. 239-241.
44. Елисеев, И.Н. Метод оценки уровня сформированное™ компетенций и качества подготовки выпускника / И.Н. Елисеев // Современное образование: содержание, технологии, качество: материалы XIX международной научно-методической конференции. - Санкт-Петербург, СПбГЭТУ «ЛЭТИ», 2013. - Т. 1. -С. 83-84.
45. Елисеев, И. Н. Метод чистки теста путём последовательного удаления неадекватных респондентов и заданий / И.Н. Елисеев // Тестирование в сфере образования: проблемы и перспективы развития: материалы III всероссийской (с международным участием) научно-практической конференции. - Красноярск, СГТУ, 2010. -С. 27-31.
46. Елисеев, И.Н. Методологические основы оценки уровня сформированное™ компетенций выпускника бакалавриата (магистратуры) / И.Н. Елисеев // Современное образование: содержание, технологии, качество: материалы XVIII международной научно-методической конференции. - Санкт-Петербург, СПбГЭТУ «ЛЭТИ», 2012. - Т. 2. - С. 139-141.
47. Елисеев, И.Н. Расчёт латентных параметров диагностических материалов на основе дихотомической модели Раша / И.Н. Елисеев, И.С. Шрайфель // Физико-математическое моделирование систем: материалы VII междунар. семинара. - Воронеж: ГОУ ВПО «Воронежский гос. техн. ун-т», 2011. Ч. 3. - С. 80-85.
48. Елисеев, И. Н. Оценка качества опросника «Уровень сформированности гражданственности и патриотизма» для измерения латентной переменной «Гражданственность и патриотизм» / И.Н. Елисеев, Л.В. Литвиненко, A.C. Папян // Методы и алгоритмы принятия эффективных решений» (МАПР - 09) (Таганрог, ок-
тябрь 2009 г.): материалы международной научной конференции. - Таганрог, ТТИ ЮФУ, 2009. Ч. 1. - С. 31-35.
49. Елисеев, И.Н. Оценка общекультурных компетенций с помощью теста-опросника Лири / И.Н. Елисеев, Т.Н. Ларина, Л.В. Носкова // Перспективы развития гуманитарных и технических систем (Перспективы_ГТС_11): материалы всероссийской научной конференции. - Таганрог, ТТИ ЮФУ, 2011. 4.1. - С. 16-21.
50. Елисеев, И.Н. Программный комплекс RILP-1 для измерения латентных переменных / И.Н. Елисеев, И.И. Елисеев, A.B. Фисунов // Инновации в обществе, технике и культуре: материалы международной научной конференции. - Таганрог, ТТИ ЮФУ, 2008, 4.2. - С. 22-28.
51. Елисеев, И.Н. Программный комплекс RILP-MULTI для расчета предельных оценок латентных переменных / И.Н. Елисеев, И.И. Елисеев, A.B. Фисунов // Методы и алгоритмы принятия эффективных решений (МАПР-09): материалы межд. научной конференции. - Таганрог, ТТИ ЮФУ, 2009. Ч. 2. -С. 35-38.
52. Елисеев, И.Н. Расчёт параметров опросника Русалова для исследования формально-динамических качеств индивидуальности / И.Н. Елисеев, Л.Ю. Литви-ненко // Информатизация образования-2011: материалы международной научно-практической конференции. - Елец, Елецкий государственный университет им. И.А. Бунина, 2011. Т. 2. - С. 107-114.
53. Елисеев, И.Н. Чистка теста с использованием специализированных программных средств для расчёта латентных переменных / И.Н. Елисеев, И.И. Елисеев, Т.Н. Ларина // Теория и практика измерения латентных переменных в образовании и других социально-экономических системах: сб. ст. IX всероссийской (с международным участием) научно-практической конференции. - Славянск-на-Кубани, 2007. - С.66-69. ~
Личный вклад автора в работах, опубликованных в соавторстве
Постановка задач исследований, планирование натурного и вычислительного экспериментов, обработка их данных и анализ полученных результатов, их обобщение в виде выводов и рекомендаций, интерпретация, изложение содержания работ в виде научных публикаций, апробация являются личным вкладом автора во все работы, выполненные в соавторстве. Кроме того, личный вклад автора состоит в том, что в работах: [4; 11; 13; 21; 47] обоснованы процедуры исследования свойств оценок латентных параметров модели Раша, теоретические результаты подтверждены данными натурного и вычислительного экспериментов и интерпретированы, разработаны алгоритмы и методы расчёта квазигенеральных оценок латентных параметров; [15-17; 20; 25-33; 36; 50; 51] теоретически обоснованы и разработаны алгоритмы работы компьютерных программ, структура программных комплексов, выполнен анализ качества их работы по результатам натурного и вычислительного экспериментов; [14; 38-42; 34; 35; 48; 49; 52; 53] теоретически обоснованы и разработаны методики и алгоритмы расчёта оценок латентных параметров и оценивания качества диагностических средств.
Елисеев Иван Николаевич
МАТЕМАТИЧЕСКИЕ МОДЕЛИ И КОМПЛЕКСЫ ПРОГРАММ ДЛЯ АВТОМАТИЗИРОВАННОЙ ОЦЕНКИ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ С ИСПОЛЬЗОВАНИЕМ ЛАТЕНТНЫХ ПЕРЕМЕННЫХ
Автореферат
Подписано в печать 10.12.2013 Формат 60x84 '/16. Бумага офсетная. Печать цифровая. Усл. печ. л. 2.0. Тираж 130. Заказ № 46-1333.
Южно-Российский государственный технический университет (Новочеркасский политехнический институт)
Отпечатать в ИД «Политехник» 346428. г. Новочеркасск, ул. Первомайская, 166 idp-npi@maii.ru
Текст работы Елисеев, Иван Николаевич, диссертация по теме Математическое моделирование, численные методы и комплексы программ
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «ЮжноРоссийский государственный технический университет (Новочеркасский политехнический институт)» (ФГБОУ ВПО
«ЮРГТУ (НПИ)»)
Институт сферы обслуживания и предпринимательства (филиал) федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Донской государственный технический университет» (ИСОиП (филиал) ДГТУ)
са&^с/^ На правах рукописи
05201450556
ЕЛИСЕЕВ ИВАН НИКОЛАЕВИЧ
Математические модели и комплексы программ для автоматизированной оценки результатов обучения с использованием латентных переменных
Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ
Диссертация на соискание ученой степени доктора технических наук
Научный консультант: - доктор технических наук, профессор,
Ткачёв А.Н.
Новочеркасск - 2013
Оглавление
Введение..............................................................................................................................................................................................................................................................6
1 Теоретическое обоснование выбора математических моделей для оценки результатов обучения и постановка задач исследования..............................................................20
1.1 Краткий обзор состояния диагностики результатов обучения
в профессиональном образовании....................................................................................................................20
1.2 Анализ основных подходов к оценке результатов обучения................................................................31
1.3 Критерии и показатели качества диагностических средств....................................................33
1.3.1 Надёжность гомогенного теста..............................................................................................................35
1.3.2 Валидность теста................................................................................................................................................40
1.3.3 Разрешающая способность теста..........................................................................................................42
1.4 Расчёт параметров, характеризующих результаты обучения, на основе классической теории тестирования................................................................................................................43
1.5 Теоретические обоснование возможности использования дихотомической модели Раша для оценки результатов обучения................................................................................48
1.6 Свойства дихотомической модели Раша....................................................................................................53
1.7 Теоретическое обоснование возможности использования моделей Раша
для политомической индикаторной переменной..............................................................................56
1.8 Представление и интерпретация данных обработки........................................................................60
1.8.1 Интерпретация на основе классической теории тестирования................................60
1.8.2 Интерпретация данных на основе теории латентных переменных......................62
1.8.3 Оценка адекватности результатов тестирования дихотомической модели Раша................................................................................................................................................................................65
1.8.4 Построение гистограмм и информационных функций заданий............................67
Выводы к главе 1........................................................................................................................................................................68
2 Разработка алгоритмов и комплексов программ для расчета параметров, характеризующих результаты обучения и качество диагностических средств.. 73
2.1 Математическое обоснование алгоритма расчета латентных параметров на основе дихотомической индикаторной переменной......................................................................73
2.1.1 Решение нелинейных уравнений методом секущих................................................................76
2.1.2 Решение нелинейных уравнений методом Ньютона..............................................................79
2.2 Алгоритмы расчета оценок максимального правдоподобия латентных параметров основной модели Раша................................................................................................................80
2.3 Математическое обоснование расчета латентных параметров политомической модели Раша для рейтинговой шкалы........................................................................................................82
2.3.1 Получение итерационных выражений на основе метода секущих............................89
2.3.2 Итерационные процедуры на основе использования метода Ньютона..................91
2.4 Алгоритмы расчета оценок максимального правдоподобия латентных параметров модели рейтинговой шкалы..................................................................................................91
2.5 Математическое обоснование расчета латентных параметров политомической модели частичного доверия..................................................................................................................................96
2.5.1 Итерационные процедуры на основе метода секущих........................... 101
2.5.2 Получение итерационных выражений с помощью метода Ньютона.......... 102
2.6 Алгоритмы расчета оценок максимального правдоподобия латентных параметров модели частичного доверия................................................. 103
2.7 Программный комплекс RILP-1M........................................................ 105
2.8 Программный комплекс RILP-2.......................................................... 111
2.9 Оценка достоверности результатов расчета латентных параметров программным комплексом RILP -1М..................................................... 115
2.10 Оценка достоверности результатов расчета латентных параметров программным комплексом RILP-2........................................................ 118
2.10.1 Оценка достоверности данных, полученных с использованием модели Раша для рейтинговой шкалы......................................................... 119
2.10.2 Оценка достоверности данных, полученных на основе алгоритма для модели частичного доверия......................................................... 121
Выводы к главе 2.................................................................................. 124
3 Теоретическое исследование свойств оценок латентных параметров дихотомической модели Раша.................................................................. 126
3.1 Исследование существования и единственности оценок максимального правдоподобия латентных параметров дихотомической модели Раша........... 126
3.1.1 Постановка задачи...................................................................... 126
3.1.2 Допустимая дихотомическая матрица результатов тестирования............ 127
3.1.3 Теоретическое обоснование существования и единственности оценок латентных параметров дихотомической модели Раша.......................... 128
3.2 Расчет доли допустимых дихотомических матриц результатов тестирования... 134
3.3 Результаты вычислительного экперимента по расчёту доли допустимых дихотомических матриц результатов тестирования.................................... 137
3.4 Исследование состоятельности оценок латентных параметров основной
модели Раша при ограниченном числе заданий теста................................. 138
3.5 Экспериментальное подтверждение состоятельности оценок трудности задание теста при их фиксированном количестве................................................ 144
3.6 Исследование поведения оценок латентных параметров модели Раша при неограниченном увеличении объёма выборки и числа заданий теста............. 149
3.7 Экспериментальные исследования состоятельности оценок латентных параметров при неограниченном увеличении числа заданий теста................ 156
3.8 Сходимость итерационных оценок, рассчитанных методом Ньютона............ 159
3.9 Распределение значений латентных параметров дихотомической модели Раша 162 Выводы к главе 3.................................................................................. 166
4 Расчёт оценок латентных параметров модели Раша на основе моделирования дихотомических матриц ответов............................................................... 168
4.1 Краткий обзор современных методов обработки выборок ограниченного объема........................................................................................... 168
4.2 Метод складного ножа и его использование для калибровки тестовых заданий 171
4.3 Бутстреп-метод и его применение для калибровки заданий теста................ 173
4.4 Теоретический анализ значений бутстреп-оценок.................................... 174
4.5 Теоретический анализ значений оценок, рассчитанных с использованием метода складного ножа...................................................................... 177
4.6 Результаты экспериментальных исследований оценок, рассчитанных методами бутстреп и складного ножа................................................................. 179
4.7 Модель генеральной дихотомической матрицы результатов
тестирования................................................................................... 182
4.7.1 Актуальность создания модели генеральной дихотомической матрицы ответов..................................................................................... 182
4.7.2 Методика формирования модели генеральной дихотомической матрицы результатов тестирования............................................................. 185
4.7.3 Проведение вычислительного эксперимента по формированию квазигенеральной дихотомической матрицы ответов........................... 190
4.8 Алгоритм формирования модели дихотомической матрицы ответов.............. 196
4.9 Исследование погрешности калибровки тестовых заданий на основе моделирования нормативных дихотомических матриц ответов..................... 199
4.9.1 Методика формирования моделей нормативных дихотомических
матриц ответов разных размеров.................................................... 199
4.9.2 Проведение вычислительного эксперимента и анализ результатов исследования погрешностей калибровки тестовых заданий.................... 201
Выводы к главе 4.................................................................................... 204
5 Разработка инструментария и моделей мониторинга результатов обучения и
оценки качества диагностических средств.................................................. 207
5.1 Метод оценки уровня сформированности компетенций обучаемого............... 207
5.2 Метод калибровки заданий теста на основе моделирования нормативных дихотомических матриц ответов........................................................... 209
5.3 Метод расчета квазигенеральных оценок латентных параметров на основе моделирования нормативных дихотомических матриц ответов..................... 211
5.4 Оценка эффективности методов калибровки заданий и расчёта квазигенеральных оценок латентных параметров при эмпирическом законе распределения.................................................................................. 216
5.5 Методика экспертизы качества педагогического теста................................ 224
5.6 Основные положения методологии оценки результатов компетентностно-ориентированного обучения................................................................ 229
5.7 Модель мониторинга уровня подготовки обучаемых и оценки качества диагностических средств..................................................................... 230
5.8 Модель автоматизированной системы оценки уровня подготовки выпускников образовательных учреждений............................................................... 235
Выводы к главе 5...................................................................................... 239
6 Применение результатов диссертационного исследования для независимой
оценки результатов обучения.................................................................... 241
6.1 Оценка качества диагностических средств и уровня сформированности когнитивного компонента компетенции.................................................. 241
6.2 Оценка уровня сформированности личностного компонента компетенции с помощью опросника Т. Лири................................................................ 252
6.2.1 Исследование качества опросника Т. Лири для оценки межличностных отношений.................................................................................. 252
6.2.2 Оценка компетенций студентов с помощью опросника Т. Лири.............. 259
6.3 Оценки уровня сформированности личностного компонента компетенции с помощью опросника Л. П. Калининского..................................................................... 263
6.3.1 Исследование качества опросника Л. П. Калининского «Профиль личностных свойств»................................................................... 263
6.3.2 Оценка личностных качеств обучаемых с помощью опросника Л. П. Калининского............................................................................. 270
6.4 Оценка качества выпускной квалификационной работы и интегративно-деятельностного компонента компетенции............................................................. 274
Выводы к главе 6..................................................................................... 282
Заключение........................................................................................... 284
Список литературы................................................................................. 288
Приложение А — Руководство пользователя для работы с программным
комплексом ЫЬР- 1М................................................................................ 317
Приложение Б - Руководство пользователя для работы с программным
комплексом ЫЬР-2с1о1НЕТ......................................................................... 328
Приложение В - Блок-схемы алгоритмов проверки дихотомических матриц
результатов тестирования на соответствие условиям допустимости.......................... 334
Приложение Г — Руководство пользователя для работы с программным комплексом
ШЬР-МиШ................................................................................................... 338
Приложение Д - Таблицы данных и алгоритм формирования моделей
дихотомических матриц ответов....................................................................................... 343
Приложение Е- Параметры индикаторов опросников Т. Лири и Л.П. Калининского 346 Приложение Ж — Акт внедрения результатов научно-исследовательских, опытно-
конструкторских и технологических работ в ГБУ РО РОЦСО............................... 353
Приложение И - Акт о внедрении результатов докторской диссертационной работы
Елисеева Ивана Николаевича в ФГБОУ ВПО «ДГТУ»................................................. 355
Приложение К - Акт о внедрении результатов докторской диссертационной
работы Елисеева Ивана Николаевича в ФГБОУ ВПО «РГСУ»..................................... 357
Приложение Л - Документы, подтверждающие внедрение результатов докторской
диссертационной работы Елисеева И.Н. в ФГБОУ ВПО «ЮРГУЭС»......................... 359
Приложение М - Справка о внедрении результатов исследования.............................. 370
Приложение Н - Отзыв..................................................................................................... 371
Введение
В современных условиях быстрого обновления техники и технологий, увеличения риска возникновения техногенных катастроф возросла роль человеческого фактора во многих сферах деятельности, и как следствие, возросли требования к надёжности оценивания уровня профессиональной подготовки кадров. Особенно это касается оборонных предприятий и взрывоопасных производств, железнодорожного, водного и воздушного транспорта, учреждений и подразделений Министерства по чрезвычайным ситуациям, Министерств обороны и внутренних дел. Уровень профессиональной подготовки специалистов и персонала служб можно оценить, прежде всего, на основе результатов их обучения в системе непрерывного образования: в ссузе, вузе, по программам повышения квалификации и переподготовки, в учебных центрах различных министерств и ведомств. Неадекватная оценка профессиональной подготовки специалиста может приводить к ошибкам в управлении персоналом, при принятии управленческих решений, большим материальным убыткам и даже к человеческим жертвам. В связи с этим особую актуальность приобретает решение проблем снижения погрешности автоматизированной оценки результатов обучения, которая обеспечивается автоматизированной системой независимой оценки (АСНО).
Эффективная работа АСНО невозможна без использования математического моделирования и надёжных инструментальных средств диагностики результатов обучения. Их состав и предъявляемые требования во многом определяются используемыми подходами к оценке качества подготовки обучаемых. Специалистам и персоналу различных служб часто приходится работать в условиях быстро изменяющейся обстановки, требующей умения оперативно менять способы действия в незнакомой ситуации и находить наилучший. Поэтому для обучения и переподготовки кадров преимущественно используется компетентностный подход, согласно которому о результатах обучения судят по наличию у обучаемых компетенций, соответствующих их профессиональной деятельности. В связи с этим актуальным становится решение проблемы формализации процедуры оценивания
уровня сформированности компетенций слушателей и студентов, теоретического обоснования и реализации используемых для этого моделей и инструментария, разработки программно-алгоритмических средств обработки результатов диагностики обучения (входных данных (ВД)), а также оценки качества диагностических средств (ДС) и текущего уровня подготовки обучаемых. Современные подходы к оценке учебных достижений слушателей и студентов базируются на использовании классической теории тестирования и теории латентных переменных, математический аппарат и основы которых были созданы известными зарубежными и отечественными учёными. Под термином «Латентная переменная (параметр)» принято понимать теоретический конструкт, который характеризует некое скрытое свойство или качество (например, уровень подготовки обучаемого, трудность тестового задания), которые непосредственно измерены быть не могут. Достоинствами классической теории тестирования являются обеспечение получения информации о показателях качества ДС, наглядность выполняемых расчётов и простая интерпретация данных обработки. Основной недостаток - зависимость результатов оценивания параметров обучаемых от трудности заданий ДС. Применение теории латентных переменных, базирующейся на моделях Раша, обеспечивает возможность независимости оценки вычисляемых значений латентного параметра «уровень подготовки» обучаемых
-
Похожие работы
- Разработка и реализация моделей измерения латентных переменных с нечеткими множествами данных
- Автоматизированная информационная система адаптивного обучения на основе компетентностного подхода
- Методическое обеспечение оперативного автоматизированного контроля результативности группового обучения
- Идентифицируемость и обучение гауссовских графовых моделей с латентными переменными
- Автоматизация процессов контроля качества профессионального обучения в системе переподготовки персонала предприятий
-
- Системный анализ, управление и обработка информации (по отраслям)
- Теория систем, теория автоматического регулирования и управления, системный анализ
- Элементы и устройства вычислительной техники и систем управления
- Автоматизация и управление технологическими процессами и производствами (по отраслям)
- Автоматизация технологических процессов и производств (в том числе по отраслям)
- Управление в биологических и медицинских системах (включая применения вычислительной техники)
- Управление в социальных и экономических системах
- Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей
- Системы автоматизации проектирования (по отраслям)
- Телекоммуникационные системы и компьютерные сети
- Системы обработки информации и управления
- Вычислительные машины и системы
- Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях (по отраслям наук)
- Теоретические основы информатики
- Математическое моделирование, численные методы и комплексы программ
- Методы и системы защиты информации, информационная безопасность