автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Исследование и разработка методов контроля качества образования на основе планов

№.

10-4 2364

Лапин Виталий Александрович

На ?юавахшк(

копией

ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОВ КОНТРОЛЯ КАЧЕСТВА ОБРАЗОВАНИЯ НА ОСНОВЕ ПЛАНОВ

Специальность: 05.13.11 -Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание ученой степени кандидата технических наук

Москва-2010

Работа выполнена в Российском государственном социальном университете. Научный руководитель:

Официальные оппоненты

Ведущая организация

доктор технических наук, профессор Свиридов Александр Петрович

доктор технических наук, профессор Климанов Вячеслав Петрович

кандидат технических наук, доцент Цветаева Ирина Леонтьевна

Московский государственный институт радиотехники, электроники и автоматики (технический университет)

Защита состоится « ^» 2010 г. власов на заседании

диссертационного совета Д212.341.07 при Российском государственном социальном университете по адресу: 129226, г. Москва, ул. Вильгельма Пика, д. 4, к. 2, зал диссертационного совета.

С диссертацией можно ознакомиться в библиотеке Российского государственного социального университета по адресу: 129226, г. Москва, ул. Вильгельма Пика, д. 4, к. 3.

Автореферат разослан ^010г-

Ученый секретарь диссертационного совета Д 212.341.07, к.ф.-м.н.

Е.В. Чумакова.

Р о С и А я госурлгс ; 'п:ннля j Б И ЕЛ llu'l t ¡ч A j

1. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. Среди различных отношений человек - человек можно выделить такие отношения, когда один человек оценивает скрытые свойства другого в той или иной шкале измерения. Примеры: педагогические, производственные отношения, отношения эксперт - испытуемый при психологической диагностике и др. Общность этих отношений позволяет рассматривать их на примере контроля знаний (КЗ). Математическое описание различных отношений человек - человек, когда один человек оценивает латентные свойства другого, впервые предложено в работах А.П. Свиридова.

В современных отечественных и зарубежных системах электронного и дистанционного обучения широко используются стандартизированные методы компьютерного контроля знаний (ККЗ) на основе лишь одноступенчатых планов, когда обучаемому из программы контроля предлагается выборка вопросов и по ответам на нее выставляется оценка («зачтено» - «не зачтено» при двухбалльном (ДКЗ) и оценки от 2 до 5 при четырехбалльном КЗ (ЧКЗ)). Предлагаемое диссертационное исследование посвящено решению актуальных проблем анализа и синтеза планов контроля знаний.

Состояние научной разработанности проблемы. Исследования в области систем электронного и дистанционного обучения выполняются в нашей стране и за рубежом. Примеры систем дистанционного образования: зарубежные университеты - Национальный технологический университет США, Калифорнийский Университет (Сакраменто), Лондонский университет, Массачу-сетский технологический институт; отечественные университеты - МГТУ им Н.Э. Баумана, Российский университет дружбы народов, Московский государственный институт электроники и математики (технический университет), Томский государственный университет, Санкт-Петербургский государственный институт точной механики и оптики, Московский энергетический институт (технический университет) и др.

Существенный вклад в разработку теоретических основ компьютерного обучения и контроля принадлежит отечественным ученым И.А. Башмакову, В.П. Беспалько, JT.C. Болотовой, Д.О. Жукову, A.A. Золотареву, В.П. Климанову Ю.Н. Кушелеву, В.В. Нечаеву, И.П. Нореикову, В.М, Панчеико, Б.М. Позднеепу, А.Я. Савельеву, А.П. Свиридову, H.A. Селезневой, А.И. Субетто, Н.Ф.Талызиной, И.Л. Цветаевой, В.Е. Шукшуиову, а также зарубежным ученым А. Бирнбауму (Birnbaum), К. Клауеру (Klauer), К. Кубиигеру (Kubinger), Г. Ли-нерту (Lienert), ФЛорду (Lord), М. Новику (Novik), Дж. Рашу (Rasch), К. Раатцу (Raatz) и др.

Однако, несмотря на фундаментальную разработку проблем стандартизированного ККЗ, не решенными в теории методологии, в частности, остаются следующие актуальные проблемы: 1) синтеза плана контроля на втором уровне

(например, уровне оценки качества образования по учебной дисциплине, специализации или направлению подготовки) по результатам выборочного контроля, например, выборки студентов на первом уровне при наличии искажений в измерениях; 2) синтеза одноступенчатых и последовательных планов ККЗ с учетом забывания; 3) анализа одноступенчатого плана КЗ при прекращении контроля как по числу неправильных, так и по числу правильных ответов на вопросы выборки, 4) программной реализации методов анализа и синтеза одноступенчатых, двухступенчатых и последовательных планов ККЗ.

Решению проблем 1-4 и посвящено настоящее диссертационное исследование.

Объеш1 исследования: одноступенчатые и последовательные планы ККЗ для двухуровнего анализа системы образования, когда решение о качестве образования на втором уровне принимается по результатам проверки выборки студентов.

Предмет исследования: программная реализация методов анализа и синтеза планов ККЗ.

Целью исследования является разработка и реализация математического и программного обеспечения стандартизированного ККЗ по альтернативному признаку на основе одно-, двухступенчатых и последовательных планов для двухуровнего анализа системы образования, при отсутствии и наличии искажений в распознавании истинности ответов и с учетом забывания учебного материала.

Задачи исследования:

1. Выполнить анализ современных зарубежных и отечественных систем электронного и дистанционного образования и современного состояния математического и компьютерного моделирования КЗ и на этой основе выделить нерешенные проблемы и сформировать требования к диалоговой системе.

2. Разработать метод анализа одноступенчатого плана ДКЗ при ограничении контроля по числам неправильных и правильных ответов.

3. Разработать методы синтеза плана контроля на втором уровне по результатам выборочного контроля на первом уровне при учете искажений в измерения и синтеза одноступенчатых и последовательных планов ДКЗ по альтернативному признаку для более раннего момент времени по требованиям для более позднего момента времени с учетом забывания.

4.Реализовать диалоговую систему для известных и разработанных методов анализа и синтеза планов ККЗ с целью упрощения решения задач анализа и синтеза планов.

5.Разработать программы и планы ККЗ по курсу web-технологий и по теории автоматического регулирования для совместного проекта РГСУ-SRH Высшая школа Гейдельберга.

Теоретико-методологическую основу исследования составили методы теории принятия решений, теории вероятности и математической статистики.

Достоверность и обоснованность подтверждается корректностью выводов математических зависимостей в описании разработанных методов, экспериментальными исследованиями системы дистанционного обучения по курсу "WEB-технологий" и диалоговой системы "Анализ и синтез планов компьютерного контроля знаний".

В ходе исследования была решена научная задача разработки методов анализа и синтеза планов ККЗ для двухуровневого анализа системы образования с учетом ошибок в измерениях и забывания.

Отличие теоретических и эмпирических данных исследования от результатов полученных другими авторами, состоит в том, что впервые были разработаны методы синтеза планов ККЗ для двухуровневого анализа системы образования с учетом ошибок в измерениях и программная реализация методов анализа и синтеза одноступенчатых, двухступенчатых и последовательных планов ККЗ в виде диалоговой системы.

База исследования. Исследование проведено на кафедре моделирования информационных систем и сетей Российского государственного социального университета, в SRH -Высшей школе Гейдельберга (оборудование фирмы Phoenix Contact).

Основные результаты, полученные лично соискателем, и их научная новизна состоит в том, что:

1. На основе теоретического анализа современных зарубежных и отечественных систем электронного и дистанционного образования и современного состояния математического и компьютерного моделирования КЗ выделены не решенные проблемы и сформированы требования для создания диалоговой системы анализа и синтеза планов контроля знаний.

2.Разработан метод анализа усеченного одноступенчатого плана ДКЗ с ограничением как по числу неправильных, так и по числу правильных ответов, обеспечивающий дополнительное снижение среднего числа задаваемых вопросов и для подготовленных обучаемых (студентов).

3.Разработаны метод синтеза одноступенчатого и последовательного планов контроля на втором уровне (уровне оценки качества образования по учеб-

ной дисциплине, специализации или направлению подготовки) по результатам выборочного контроля выборки студентов на первом уровне, отличающийся учетом искажений в измерениях (из-за угадывания правильных ответов), а также метод синтеза одноступенчатых и последовательных планов ДКЗ с учетом забывания, позволяющий проводить контроль в более ранний момент времени по требованиям для более позднего момента времени и обеспечивающий заданные требования к контролю.

4. Разработана диалоговая система реализации известных (для одноступенчатых, двухступенчатых и последовательных планов) и разработанных методов анализа и синтеза планов ККЗ с целью упрощения решения задач анализа и синтеза планов.

5. Разработаны программы и планы ККЗ для компьютерного учебного курса по web - технологиям, а также по теории автоматического регулирования для совместного проекта РГСУ - SRH - Высшая школа Гейдельберга (Международный конкурс xplore New Automation Award 2005 фирмы Phoenix Contact).

Теоретическая значимость исследования.

Впервые разработан: 1) метод синтеза одноступенчатых и последовательных планов контроля для двухуровневого анализа системы образования, когда качество подготовки по учебной дисциплине, специальности и направлению подготовки оценивается по результатам контроля выборки студентов, проводимого с ошибками в измерениях и 2) метод синтеза одноступенчатых и последовательных планов контроля с учетом забывания учебного материала.

Практическая значимость исследования определяется ориентацией ее результатов на применение в широко распространенных системах электронного и дистанционного образования, а также программных системах оценки персонала с целью повышения точности классификации испытуемых и сокращения длительности контроля и состоит в создании диалоговой системы «Анализ и синтез планов компьютерного контроля знаний». Произведена ее государственная регистрация, номер регистрации: 50201000377 от 17.03.2010.

Основные положения, выносимые на защиту.

1. Метод анализа предложенного автором усеченного одноступенчатого плана ДКЗ, отличающегося прекращением контроля, когда число неправильных ответов превышает максимально допустимое, или когда число правильных ответов равно минимальному достаточному числу для получения оценки «зачтено», и обеспечивающего сокращение времени контроля.

2. Метод синтеза одноступенчатого или последовательного плана ДКЗ на втором уровне по результатам выборочного контроля на первом уровне при учете искажений в измерениях (из-за угадывания правильных ответов).

3. Методы синтеза одноступенчатых и последовательных планов ДКЗ для проведения в более ранний момент времени по требованиям для более позднего момента времени (учет забывания).

4.Программная реализация известных (для одноступенчатых, двухступенчатых и последовательных планов) и разработанных методов анализа и синтеза планов по альтернативному признаку в виде диалоговой системы (русский и немецкий язык).

5. Разработка программы и планов контроля знаний по компьютерному учебному курсу «Web-технологий" и совместно с асп. Немсцверидзе З.Ш. программы и планов контроля по теории автоматического регулирования для совместного проекта РГСУ и SRH- Высшей школы Гейдельберга.

Апробация и внедрение результатов исследования. Основные результаты диссертации докладывались и обсуждались при проведении следующих научных конференций и чтений: III Всероссийский научно-педагогический конгресс «Воспитательная работа в современном вузе: проблемы, направления и пути совершенствования, Российский государственный социальный университет» г. Москва, (РГСУ), 2003 ; Научные чтения «Социология и информационные технологии в XXI веке», Руза, РГСУ, 2006; 55-я Научно-техническая конференция (НТК) в Московском государственном институте радиотехники, электроники и автоматики (технический университет) г. Москва, (МИРЭА), 2006; VI Международный социальный конгресс «Глобализация и будущее Росси» г. Москва, РГСУ, 2006; Зимние научные чтения «Информационные технологии и коммуникационные ресурсы XXI в. в социальной сфере», Руза, РГСУ, 2007; VII Всероссийский социально - педагогический конгресс «Современной социальное образование: опыт и проблемы модернизации», г. Москва, РГСУ, 2007; 56-я НТК, посвященная 60-летию, г. Москва, МИРЭА, 2007; Зимние научные чтения «Технологии информатизации современного российского социума», Руза, РГСУ, 2008; 57-я НТК. г. Москва, МИРЭА, 2008; Зимние научные чтения «Современные информационные технологии: теория и социальная практика» г. Москва, РГСУ, 2009; 58-я НТК МИРЭА, Секция Автоматизированных и информационных ресурсов, технологий и систем, г. Москва, МИРЭА, 2009; Презентация совместного проекта РГСУ и SRH- Высшая школа Гейдельберга на Международном конкурсе «xplore New Automation Award 2005» фирмы Phoenix Contact, Бломберг 2005 (Германия); Научные семинары кафедры моделирования информационных систем и сетей РГСУ.

Результаты исследования:

- внедрены в учебный процесс кафедры моделирования информационных систем и сетей РГСУ по ряду учебных дисциплин;

- включены в совместный проект РГСУ и SRH - Высшей школы Гейдельберга, получившего третью премию на Международном конкурсе xplore New Automa-

tion Award 2005 фирмы PhoenixContact;

практически использованы в рамках госбюджетного научно-исследовательского проекта «Гуманизация и интеллектуализация информационных технологий и систем социального, гуманитарного и политехнического образования» в рамках аналитической ведомственной целевой программы Минобрнауки РФ «Развитие научного потенциала высшей школы РФ (2009-2010 годы)».

Публикации. Основные положения диссертационной работы опубликованы в 11 статьях, из них 2 работы опубликованы в изданиях, рекомендованных ВАК РФ.

Структура диссертации. Диссертация состоит из введения, трёх глав и списка литературы из 99 наименований. Объём основного текста составляет 160 печатных страниц, включая 7 таблиц, 76 рисунков.

2. ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении дана общая характеристика работы, обоснована актуальность выбранной темы, сформулированы цель работы, проблемы и задачи, подлежащие решению, ее научная новизна и практическая значимость, приведены сведения о внедрении.

В первой главе приведен обзор зарубежных и отечественных систем дистанционного образования (СДО), рассмотрены основные методы и принципы ДО, а также планы ККЗ, проблемы их анализа и синтеза и тенденции развития. В результате проведенного анализа сформулированы основные цели диссертационного исследования и определены основные технические требования к разработанной диалоговой системе анализа и синтеза планов ККЗ с указанием возможных сфер ее применения.

Рассмотрены методы анализа и синтеза планов двух-, четырех-и пятибалльного ККЗ для двух случаев, когда истинность ответов обучаемых (студентов) оценивается без искажений и с искажениями (при использовании выборочного способа ввода ответов).

Рассмотрены одноступенчатые планы ККЗ, используемые в настоящее время, и более эффективные по числу заданных вопросов двухступенчатые и последовательные планы ДКЗ и приведены основные количественные характеристики для их анализа и синтеза.

При использовании усеченных одноступенчатых планов ДКЗ математическое ожидание числа задаваемых вопросов для обучаемого со степенью неподготовленности Р равно:

Ín при P = О

£±1+(„_£±1)Г(Р)--2!-p°(i-py-<,0<pz\

р р с!(и-с-1)!

При действии различных источников ошибок вместо вероятности Р фиксируется величина Р. В силу этого взаимосвязь между оперативным характеристиками (ОХ) плана ДКЗ при наличии ошибок (L(P)) и при их отсутствии (L*(P)) в распознавании истинности ответов имеет вид:

L(P)=L*(P).

Риски недооценки и переоценки знаний а и /? при распознавании ответов с ошибками определяются на основе связей:

cc=l-L(P,)=l-L*(P,), P=L(PJ = L*(PJ.

Задача синтеза одноступенчатого плана ДКЗ сводится к определению параметров плана: объема выборки вопросов п* и максимально допустимого числа ошибок с* для получения оценки "зачтено". При этом в качестве входных данных задаются параметры P¡, Р2, ос*, /3*: P¡ - максимальная вероятность неправильного ответа, когда еще выставляется оценка "зачтено", Р2- минимальная вероятность неправильного ответа, когда уже выставляется оценка "не зачтено", а* - риск недооценки знаний, J3* - риск переоценки знаний. Приведены соотношения для синтеза одноступенчатого плана (п,с) ДКЗ по двум точкам ОХ при отсутствии и наличии ошибок в определении истинности ответов. В общем случае наличия искажений в распознавании истинности ответов объем выборки вопросов п и максимально допустимое число ошибок с определяются на основе соотношений:

л+Л ф-'а-аШа-^+Ф"^/? )Д(1-Л) _

й£и_2-L +-—-Ц.-У-á-— V"-0,5

2 2

(Ф-1 (a)JP (1 - Я ) + Ф"1 {рЦР (1 -Р 1 xf ^

" =-—-„ ~ - Ф(х) = -г== \е 2 dt

(Р2-РХГ _¿

где Ф - стандартное нормальное распределение N(0;1), Ф~'(а), Ф~'(1-а), Ф~'(Р) - квантили нормального распределения N(0;1) уровней а, 1-а, Д При Ф(х) < 0.5 значение х отрицательно. При этом модуль этого х определяется с помощью соотношения: Ф(-х) = 1 - Ф(х).

Далее во второй главе приведены основные соотношения для расчета характеристик четырех- и пятибалльного ККЗ на базе одноступенчатых планов. Если четырехбалльный ККЗ (ЧКЗ) проводится по одноступенчатому плану (п,с5,с4,с3) или усеченному одноступенчатому плану (п,с5,с4,с3)у, то вероят-

ности получения различных оценок (ОХ) при биномиальном распределении числа неправильных ответов на выборку вопросов равны:

*(/>) = £с"Рт(1-Р)"~т -> "отлично"

ш>0

Ь4 * (Р) = Хс;/"" (1 - ру-т -> "хорошо"

сЗ

А *(Р) = - Р)""" -» "удовлетворительно"

т-С4+|

5

1г * (Р) = 1 -^Ц(Р) -> "неудовлетворительно"

/-з

где С5, с4, сз - максимальные числа ошибок для получения оценок "5", "4", "3", а п - объем выборки вопросов. На основе этих соотношений при заданных границах выставления оценок можно рассчитать вероятности принятия правильных и ошибочных решений относительно оценок а^, Ц = 2, 3, 4, 5. Характеристики пятибалльного ККЗ по одноступенчатому плану (п,сьс2,с3,с4) определяются подобно ЧКЗ.

Во второй главе рассмотрены более сложные планы контроля и способы их соединения: последовательное, параллельное соединения и итерация планов.

Автором предложен способ синтеза одноступенчатых и последовательных планов ДКЗ с учетом забывания, когда требования к контролю задаются для более позднего момента времени, а контроль проводится в более ранний момент времени. Для определения плана контроля в момент времени по требованиям для момента времени (12 когда функция распределения времени забывания т известна, введем следующие события: А - правильный ответ в момент времени /=0, В - правильный ответ в момент времени />0, АВ - отсутствие забывания в интервале [ОД), т.е. одновременное наступление событий А и В.

Пусть - функция распределения времени забывания, тогда условная вероятность Р(В/А) того, что правильный ответ в момент времени 0 и в интервале [ОД) не будет забыт, равна Р(В/А)=]-Г(0. Вероятность 0(0 того, что ответ в интервале [Од) останется правильным, равна:

0(0 =Р(А, В) ~Р(А) *Р(В/А)=0ор-Р(0], где вероятность правильного ответа в момент времени 1=0. В случае экспоненциального распределения времени забывания получаем: О(0=0оехр(-Х1).

Пусть и д2((г) - границы для принятия гипотез М1 ("зачтено") и Н2 ("не зачтено") в момент времени тогда в случае экспоненциального распределения времени забывания получаем:

=<21ехр(-Х12), <2,(1,)=0,ехр(-к0,

где б/ - минимальный уровень подготовки обучаемого в момент времени 1=0, при котором уже ставится оценка "зачтено" или

где к= Аналогично для связи между вероятностями Q2(tj) и Q2O2)'' Q2(ii)=Q2[Q2(t2)/Qzl,/k где Q2 - максимальная вероятность правильного ответа обучаемого в момент времени t=0, когда ставится оценка «не зачтено».

На основе Qt(ti), /-1,2 и заданных рисков недооценки и переоценки а и /? можно определить одноступенчатый и последовательный план ДКЗ в момент времени ti по требованиям для более позднего момента t2 (tj <?2)-

Получены соотношения для границ выставления оценок "зачтено" и "не зачтено" для моментов времени (} и (2 при ККЗ с ошибками в определении истинности ответов (напр., при применении выборочного способа ввода ответов). Показано, что ККЗ, проводимый в более ранний момент времени и удовлетворяющий требованиям для более позднего момента времени, проводится по более жестким планам как по письменным или устным, так и выборочным ответам.

Автором предложены одноступенчатые планы ДКЗ с двойным усечением, когда контроль прекращается не только при превышении максимального допустимого числа ошибок с для оценки «зачтено», но и при достижении минимального числа правильных ответов для оценки «зачтено». При этом ДКЗ прекращается при допущении обучаемым (с+1) ошибки и в случае (n-с) правильных ответов. Такие планы можно назвать простыми планами с двойным усечением (fully curtailed inspection).

На рис. 1 в качестве примера изображена диаграмма хода ККЗ с границами выставления оценок «зачтено (Н,)» и «не зачтено (Н2)» для одноступенчатого плана (п = 8, с = 2)d с двойным усечением.

Рис.1 Диаграмма хода ККЗ по одноступенчатому плану (п = 8, с = 2)" с двойным усечением.

Для таких планов в случае биномиального распределения £,(п,р) числа неправильных ответов и отсутствия искажений в распознавании истинности ответов математическое ожидание числа задаваемых вопросов (англ.: average sample

number=ASN) равно: n-c

при P = 0

M'(n /P) = \-—-

LUc(P) + - (P)] npuO<P<\

c +1

при P = 1

Функция M(n/P) при P=0 принимает значение Я(п/0)=п-с . При Рт е[0;1) она достигает максимума М' (п' /Р„)(arrearage sample number limit), а затем уменьшается до М'(п/Р = I) = с +1.

Решение о качестве образования по направлению подготовки, специальности или учебной дисциплины (2-й уровень) часто принимается по результатам выборочного контроля студентов (обычно с выборочным способом ввода ответов) - 1-й уровень. Для такого двухуровневого анализа системы образования автором разработан метод синтеза одноступенчатых и последовательных планов КЗ, причем при контроле на 1-ом уровне возможны искажения при распознавании истинности ответов (при использовании выборочного способа ввода ответов) по двум точкам ОХ.

Для синтеза одноступенчатых и последовательных планов контроля на 2-м уровне по двум точкам ОХ (Р2,,1~а2)ё (Р22,р2) необходимо определить: 1) риски недооценки и переоценки знаний на 1-м уровне и 2) максимальную вероятность Ргх неподготовленного студента, когда качество образования на 2-м уровне ещё признаётся удовлетворительным, и минимальную вероятность неподготовленного студента Р22, когда качество образования на 2-м уровне оценивается уже как неудовлетворительное. Для их определения введём обозначения.

Обозначения для планов контроля 1-го уровня:

Р„ иР„-максимальная вероятность неправильного ответа для получения оценки "зачтено" (гипотеза Нм) при отсутствии и наличии ошибок в распознавании истинности ответов, Qn = l-P„,Qtl =!-?„,

Pl2 up,2 -минимальная вероятность неправильного ответа для получения оценки "не зачтено" (гипотеза Н12)в случае отсутствия и наличия ошибок в распознавании ответов, (?l2 = 1-P,:,Q,} = 1-P,],

а',,а,ё риски недооценки и переоценки знаний плана контроля 1-го уровня при отсутствии и наличии ошибок в распознавании ответов.

По двум точкам ОХ

a) (Plt,\-ai)u (Р\г>Р\)- ПРИ безошибочном распознавании ответов и

б) (Рп,\-а1)иРп,/31)- при распознавании истинности ответов с ошибками синтезируется одноступенчатый или последовательный план ДКЗ.

Обозначения для плана контроля 2-го уровня: Ргх и Р21 -максимальная вероятность неподготовленного студента в группе для признания качества подготовки по учебной дисциплине или направлению подготовки удовлетворительным (гипотеза Н21) при отсутствии и наличии ошибок 1-го и 2-го рода на 1-м уровне контроля:

Ри и Р22 - минимальная вероятность неподготовленного студента в группе для признания качества подготовки неудовлетворительным при отсутствии и наличии ошибок 1-го и 2-го рода на 1-м уровне:

и /?2 - риски недооценки и переоценки качества подготовки по учебной дисциплине или направлению подготовки (2-й уровень).

Рассмотрим случай, когда контроль знаний на первом уровне осуществляется с рисками недооценки и переоценки знаний ахё Д. С учётом введенных обозначений искомые вероятности Ргх и Р21 определяются при этом так:

0« = Оз, (1~а>)+Р2,Р, £>:, <2» =<2„(1-а,)+= Я»

Теперь по двум точкам ОХ (Д,,1-аг2) и (РИ.А) синтезируется одноступенчатый или последовательный план ДКЗ для 2-го уровня.

В третьей главе приведены основные методы анализа и синтеза одноступенчатых, двухступенчатых и последовательных планов двух-, четырех- и пятибалльного КЗ по альтернативному признаку, реализованные в разработанной диалоговой системе «Анализ и синтез планов компьютерного контроля знаний". Методы анализа и синтеза планов ККЗ, реализованные в ней, отмечены в табл. 1 плюсом (+) и разработанные, но не реализованные - минусом (-).

В табл. 1 обозначено: ОП, ДП, и ПП - одно -, двухступенчатый и последовательный план. Методы 1А, 1Г, 2А и 2Д реализованы проф. Свиридовым и асп Лапиным В.А., методы ЗА,ЗД - проф Свиридовым А.П. и асп. Немсцверидзс З.Ш., а методы 1Б, 1В проф. Свиридовым А.П. асп. Лапиным В.А. и асп. Нем-сцверидзе 3.111.

Таблица 1.

Реализация методов анализа и синтеза планов ККЗ в диалоговой системе.

ОП дп Г1П

ДКЗ А ЧКЗ Б пкз в ДКЗ г ДКЗ д

Не экономичные Анализ 1 + + + + -

Синтез 2 + - - - +

Экономичные Синтез 3 + - - - +

Разработано руководство пользователя. Показана общая схема работы программного комплекса и дано описание основных переменных, функций, методов и процедур. Приведены тестовые примеры расчета.

На рис. 2 приведены графики средних чисел задаваемых вопросов М*,,(п) и Мр(п) при исходных данных плана (10,2).

к.ШШПМ . ш.........................! Поаолииа к графикам

Ип/в) Гр*фнк чвресг а Цм га п*« ■•игр*«« аиАарачнмя агв«»аи

Рис. 2. Графики М*,,(п) и Мр(п) для усеченного одноступенчатого плана (10,2) ДКЗ при отсутствии (нижняя кривая) и наличии (верхняя кривая) ошибок в распознавании истинности ответов Дано описание системы дистанционного образования по курсу «\Vcb-технологий», приведены примеры разработанных программ ККЗ, а также планы ДКЗ и ЧКЗ, для которых определены основные характеристики на основе разработанной диалоговой системы: ОХ, математическое ожидание числа задаваемых вопросов, средняя оценка в зависимости от степени неподготовленно-

сти обучаемого (студента) и др.

На рис. 3 представлены ОХ L,*(P) и L¡(Р'), 1=2,3,4,5 усеченного одноступенчатого плана ЧКЗ (12,1,3,5)у- при распознавании истинности ответов без ошибок и с ошибками. ОХ L,(P) сдвинуты вправо в сторону больших значений Р относительно ОХ L¡*(P), ¡=2,3,4,5.

В завершающейся части главы приведены примеры выборки вопросов для программы контроля по лабораторному практикуму, а также основные характеристики планов КЗ для совместного проекта РГСУ и SRH-Высшей школы Гейдельберга.

В приложениях приведены акты о внедрении результатов диссертационной работы, грамота о присуждении 3-го места на Международном конкурсе, вопросы по курсу Web - технологий и документ подтверждающий регистрацию диалоговой системы, листинг программы.

.л.р.ти.им* характеристик саеаа и|

ЬЧЧ. LS1I1. U-M. НЩ. l)-[ll. L3IHI И'П. UI4

« К I"

Поисками» к графикам

Рис.3. Оперативные характеристики ОХ *(Р) и ¿¡(Р), ¡=2,3,4,5.

Основные выводы по результатам исследования:

1. Выполнены аналитический обзор отечественных и зарубежных систем дистанционного образования, а также анализ современного состояния работ по математическому моделированию процесса контроля знаний, что позволило сформулировать основные цели и задачи диссертационного исследования.

2. Предложены одноступенчатые планы ДКЗ с двойным усечением (с ограничением как по числу неправильных, так и по числу правильных ответов) и для них разработан способ анализа.

3. Рассмотрены основные количественные характеристики планов контроля знаний (оперативные характеристики, риски недооценки и переоценки знаний, среднее число задаваемых вопросов) и методы анализа и синтеза одноступенчатых планов двух- и четырёхбалльного компьютерного контроля знаний при отсутствии и наличии искажений в распознавании истинности ответов. Синтез одноступенчатого плана осуществляется по двум точкам оперативной характеристики. Разработан способ синтеза одноступенчатых и последовательных планов ДКЗ по двум точкам оперативной характеристики для более раннего момента времени по требованиям для более позднего момента при известном распределении времени забывания. Разработан метод синтеза одноступенчатых и последовательных планов ККЗ для двухуровневого анализа системы образования, когда решение, например, о качестве образования по направлению подготовки, специальности или учебной дисциплине (2-й уровень) принимается по результатам стандартизированного контроля на 1-м уровне (уровень проверки качества подготовки отдельных студентов), причем при контроле на 1-м уровне имеют место искажения в распознавании истинности ответов (например, при использовании выборочного способа ввода ответов).

4. Разработана (совместно с проф. Свиридовым А.П. и асп. Немсцве-ридзе З.Ш.) диалоговая система «Анализ и синтез планов компьютерного контроля знаний».

5. Разработаны программы и планы контроля по компьютерному учебному курсу «Web-технологий» и совместно с асп. Немсцверидзе 3.LLI. программа и планы контроля для совместного проекта РГСУ и SRH- Высшей школы Гейдельберга, получившего 3-ю премию на Международном конкурсе фирмы Phoenix Contact (Бломберг, ФРГ).

3. ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Лапин В.А., Свиридов А.П. Анализ и синтез планов компьютерного контроля качества образования. //Инновации. Образование. Качество, М., 2009, N 9, с. 23-27.

2. Лапин В.А. Компьютерный контроль качества подготовки специалистов по проектированию и технологии электронных средств и систем. // Проектирование и технология электронных средств, Владимир: ВГУ, 2008, N 3, с. 70-74.

3. Свиридов А.П., Лапин В.А., Немсцверидзе З.Ш. Методы анализа и синтеза планов компьютерного контроля знаний и обработка ошибок 1-го и 2-го рода //Ученые записки РГСУ, М.: Изд-во РГСУ, 2008, N 5 (61), с. 149-155

4. Свиридов А.П., Лапин В.А., Немсцверидзе З.Ш. Нечеткие экспертные системы и нейронные сети: учебное пособие//Российский государственный социальный университет, М.: Изд-во РГСУ, 2008,108 с.

5. Свиридов А.П., Лапин В.А., Немсцверидзе З.Ш. Система анализа и синтеза планов компьютерного контроля и диагностирования знаний: 57 Научно-техническая конференция, Сборник трудов, проблемы высшего образования, часть 5 // Московский государственный институт радиотехники, электроники и автоматики (технический университет), М.: Изд-во МИРЭА, 2008, с. 102-106

6. Нечаев В.В., Свиридов А.П., Лапин В.А., Немсцверидзе З.Ш. Нейронные сети и нейросетевые технологии //Учебное пособие Московский государственный институт радиотехники, электроники и автоматики (технический университет).- М.: МИРЭА, 2008.- 98 с.

7. Свиридов А.П., Лапин В.А., Немсцверидзе З.Ш. Система анализа и синтеза планов компьютерного контроля и диагностирования знаний //Всероссийский социально-педагогический конгресс Социальное образование и кадровое обеспечение социальной сферы. - М.: РГСУ 2009.-c.152-153

8. Свиридов А.П., Симонов В.Л., Лапин В.А., Немсцверидзе З.Ш. Нейро-пакет JavaNNS: лабораторный практикум по нейросетям, нейрокомпьютерам и нейро-нечетким системам // Российский государственный социальный университет, - М.: Изд-во РГСУ, 2009, 148 с.

9. Свиридов А.П. Лапин В.А., Немсцверидзе З.Ш. Нейросети, нейрокомпьютеры и нейро-нечеткие системы // Московский государственный институт радиотехники, электроники и автоматики (технический университет), М.: Изд-во МИРЭА, 2009, 145 с.

10. Свиридов А.П., Лапин В.А., Немсцверидзе З.Ш. Выборочные планы компьютерного контроля качества образования: анализ и синтез //Российский государственный социальный университет, М.: Изд-во РГСУ, 2009, с.94-100

П.Свиридов А.П., Лапин В.А. Компьютерный контроль знаний на основе выборочных планов: 58 Научно-техническая конференция, Сборник трудов, проблемы высшего образования, часть 5 // Московский государственный институт радиотехники, электроники и автоматики (технический университет), М.: Изд-во МИРЭА,2009.-С.72-75

Лапин Виталий Александрович

ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОВ КОНТРОЛЯ КАЧЕСТВА ОБРАЗОВАНИЯ НА ОСНОВЕ ПЛАНОВ

Специальность 05.13.11 -Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание учёной степени кандидата технических наук

Научный руководитель: доктор технических наук, профессор Свиридов Александр Петрович

Изготовление оригинал-макета: Лапнн Виталий Александрович

Подписано в печать: 29.04.2010

Заказ № 3457 Тираж - 100 экз. Формат 60*84/8. Бумага типографская N 2. Печать - ризография. Типография «11-й ФОРМАТ» ИНН 7726330900 115230, Москва, Варшавское ш., 36 (499) 788-78-56 wwvv.autorcferat.ru

10-15103

200Э060638

2009060638