автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка моделей и методов управления базами данных для комплексов компьютерного контроля знаний

484961

Лапии Виталий Александрович

На пршюхщшписи

г-Г

РАЗРАБОТКА МОДЕЛЕЙ И МЕТОДОВ УПРАВЛЕНИЯ БАЗАМИ ДАННЫХ ДЛЯ КОМПЛЕКСОВ КОМПЬЮТЕРНОГО КОНТРОЛЯ ЗНАНИЙ.

Специальность: 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание учёной степени кандидата технических наук

9 ИЮН 2011

Москва-2011

4849612

Работа выполнена в Российском государственном социальном университете.

Научный руководитель:

доктор технических наук, профессор Свиридов Александр Петрович

Официальные оппоненты

доктор технических наук, профессор Климанов Вячеслав Петрович

кандидат технических наук, доцент Хорев Павел Борисович

Ведущая организация

Московский институт

государственный радиотехники, и автоматики

электроники и а! (технический университет)

Защита состоится 2011 г. в часов

г. в

часов на заседании

диссертационного совета Д212.341.07 при Российском государственном социальном университете по адресу: 129226, г. Москва, ул. Вильгельма Пика, д. 4, к. 2, зал диссертационного совета.

С диссертацией можно ознакомиться в библиотеке Российского государственного социального университета по адресу: 129226, г. Москва, ул. Вильгельма Пика, д. 4, к. 3.

Автореферат разослан

Ученый секретарь диссертационного совета

Д 212.341.07, к.ф.-м.н., доц.

Е.В. Чумакова.

1. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность темы. Отличительная особенность системы образования в настоящее время и в перспективе - широкое использование систем электронного, дистанционного обучения, тестирования и сертификации, электронных образовательных ресурсов (ЭОР) и средств их проектирования, тренажёров, в особенности для объектов и процессов с "высокой ценой" ошибки людей: 1) тепловые, атомные и гидроэлектростанции, 2) химико-технологические и другие опасные производства, 3) оказание первой медицинской помощи личным составом спасательных служб и т.п.

В условиях, когда конкуренция сместилась в основном в сферу качества, сертификация качества подготовки специалистов становится непременной функцией любого предприятия любой рыночной экономики и выделяется в самостоятельную отрасль.

В современных условиях проблемы гражданской обороны, защиты населения от чрезвычайных ситуаций, проблемы управления безопасностью инженерных сооружений социальной сферы являются составной частью национальной безопасности страны. При этом одно из перспективных направлений повышения безопасности жизнедеятельности связано с подготовкой людей и усвоением необходимых знаний, умений, навыков и компетенций для грамотного поведения в чрезвычайных ситуациях, Сократить ущерб могут лишь люди, правильность их поведения и степень организации

Важной и ответственной задачей в указанных областях является разработка моделей и методов управления базами данных для комплексов компьютерного контроля знаний с возможностью использования результатов для адаптации способа обучения или тренировки к индивидуальным характеристикам обучаемых.

При этом решение о качестве подготовки обучаемых или специалистов принимается на основе стандартизированных (тестовых) методов компьютерного контроля знаний (ККЗ) с использованием одноступенчатых или усечённых одноступенчатых планов. Для испытуемого из программы, контроля базы данных формируется выборка вопросов и по ответам на них выставляется оценка «зачтено» - «не зачтено» при двухбалльном КЗ (ДКЗ) и оценки от 2 до 5 в случае четырехбалльного КЗ (ЧКЗ).

Существенный вклад в разработку теоретических основ методов и алгоритмов принятия решений в базах знаний и данных систем компьютерною контроля знаний (ККЗ) принадлежит отечественным ученым И.А. Башмакову,

A.М. Бершадскиму, Д.О. Жукову, А.Д. Иванникову, В.П. Климанову, М.Р. Когаловскому, И.А. Косареву, Б.Г. Литваку, В.В. Нечаеву, И.П. Норенкову, A.B. Осипову, В.М. Панчен ко, Б.М. Позднееву, А .Я. Савельеву, А.П. Свиридову, БЛ. Советову, H.A. Селезневой, А.И. Субетто, В.А. Сухомлину, Ю.Ф. Тельнову,

B.Ф. Хорошевскому, В.Е. Шукшунову, а также зарубежным X. Бальцельту (Н. Balcelt), В. Глаттхаару (W. Glatthaar), Т. Флору (Th. Flor), А. Кобзе (A. Kobsa),

М. Новику (Ыстк) и др.

Однако, несмотря на фундаментальную разработку проблем создания моделей, методов и алгоритмов управления базами данных комплексов ККЗ, не решёнными, в частности, остаются следующие актуальные задачи: 1) синтеза плана контроля на втором уровне (например, уровне оценки качества образования по учебной дисциплине, специализации или направлению подготовки) по результатам контроля выборки студентов на первом уровне при наличии искажений в измерениях; 2) синтеза одноступенчатых и последовательных планов ККЗ с учетом забывания; 3) анализа одноступенчатого плана КЗ при прекращении контроля как по числу неправильных, так и по числу правильных ответов на вопросы выборки, 4) программной реализации методов анализа и синтеза одноступенчатых, двухступенчатых и последовательных планов ККЗ для систем управления базами данных и знаний.

Решению проблем 1-4 и посвящено настоящее диссертационное исследование.

Объект исследования: базы данных для комплексов ККЗ, системы управления базами данных для принятия решений и обработки информации о качестве подготовки испытуемых в системах электронного, дистанционного обучения, тренировки, тестирования и сертификации.

Предмет исследования: модели и методы управления базами данных комплексов компьютерного контроля качества подготовки.

Целью исследования является повышение эффективности систем управления базами данных для комплексов компьютерного контроля качества профессиональной подготовки на основе разработки моделей и методов.

Задачи исследования:

1. Разработка модели анализа одноступенчатого плана ДКЗ при ограничении контроля по количеству неправильных и правильных ответов для управления базами данных комплексов ККЗ.

2. Разработка методов синтеза одноступенчатых и последовательных планов контроля для двух уровневого анализа системы образования и контроля качества на основе баз данных комплексов ККЗ.

3.Разработка модели синтеза одноступенчатых и последовательных планов ДКЗ с учётом забывания для управления базами данных комплексов ККЗ.

4. Разработка приближенного метода синтеза одноступенчатых планов четырехбалльного контроля для баз данных комплексов ККЗ.

5.Разработка диалоговой системы "Анализ и синтез планов компьютерного контроля знаний", а также программы и планов ККЗ по курсу \уеЬ-технологий и по теории автоматического регулирования для совместного проекта РГСУ-БЯН Высшей школы Гейдельберга.

Теоретико-методологическую основу исследования составили методы

теории принятия решений, теории вероятностей и математической статистики, современные методы проектирования программных комплексов.

Достоверность и обоснованность результатов диссертационного исследования подтверждается математической корректностью выводов в описании разработанных моделей и методов, экспериментальными исследованиями системы дистанционного обучения по курсу "WEB-технологий" и диалоговой системы "Анализ и синтез планов компьютерного контроля знаний".

В ходе исследования была решена научная задача разработки методов анализа и синтеза планов ККЗ для двухуровневого анализа системы образования с учетом ошибок в измерениях и забывания для баз данных комплексов ККЗ.

Отличнс теоретических и эмпирических данных исследования от результатов, полученных другими авторами, состоит в том, что были разработаны методы синтеза планов ККЗ для двухуровневого анализа системы образования с учётом ошибок в измерениях и забывания, предназначенные для баз данных комплексов ККЗ.

База исследования. Исследование проведено на кафедре моделирования информационных систем и сетей Российского государственного социального университета и в SRH -Высшей школе Гейдельбсрга (оборудование фирмы Phoenix Contact).

Основные результаты, полученные лично соискателем, и их научная новизна состоит в том, что:

1. Разработана модель анализа усеченного одноступенчатого плана ДКЗ для баз данных комплексов ККЗ с ограничением как по числу неправильных, так и по числу правильных ответов, обеспечивающего дополнительное снижение среднего числа задаваемых вопросов для подготовленных обучаемых (студентов).

2. Разработаны методы синтеза одноступенчатого и последовательного планов контроля на втором уровне оценки качества образования по учебной дисциплине, специализации или направлению подготовки по результатам контроля выборки студентов на первом уровне, отличающиеся учётом искажений в измерениях истинности ответов и качества подготовки студентов, и ориентированное на базы данных комплексов ККЗ.

3. Разработана модель синтеза одноступенчатых и последовательных планов ДКЗ для баз данных комплексов ККЗ, отличающаяся учётом забывания.

4. Разработан приближенный метод синтеза одноступенчатых планов четырехбалльного контроля для баз данных комплексов ККЗ.

Теоретическая значимость исследования состоит в разработке для баз данных комплексов ККЗ: 1) методы синтеза одноступенчатых и последовательных планов контроля для двухуровневого анализа системы образования, когда качество подготовки по учебной дисциплине, специальности

и направлению подготовки оценивается по результатам контроля выборки студентов, проводимого с ошибками в измерениях, и 2) модель синтеза одноступенчатых и последовательных планов контроля с учётом забывания учебного материала.

Практическая значимость исследования определяется возможностью применения его результатов в базах данных комплексов ККЗ систем электронного и дистанционного образования, тестирования и сертификации, ЭОР и средств их проектирования, тренажеров, а также в формирующейся общероссийской системе оценки качества образования с целью повышения точности классификации испытуемых и сокращении длительности контроля. Она состоит и в создании диалоговой системы «Анализ и синтез планов компьютерного контроля знаний». Произведена её государственная регистрация во ВНТИЦ, номер регистрации: 50201000377 от 17.03.2010.

Основные положения, выносимые на защиту:

1. Модель анализа одноступенчатого плана ДКЗ для управления базами данных комплексов ККЗ при ограничении контроля по количеству неправильных и правильных ответов.

2. Методы синтеза одноступенчатых и последовательных планов контроля для двух уровневого анализа системы образования и контроля качества на основе баз данных комплексов ККЗ.

3. Модель синтеза одноступенчатых и последовательных планов ДКЗ для баз данных комплексов ККЗ с учёт забывания.

4. Приближенный метод синтеза одноступенчатых планов четырехбалльного контроля для баз данных комплексов ККЗ.

Апробация и внедрение результатов исследования. Основные результаты диссертации докладывались и обсуждались при проведении следующих научных конференций и чтений: III Всероссийский научно-педагогический конгресс «Воспитательная работа в современном вузе: проблемы, направления и пути совершенствования, Российский государственный социальный университет» (РГСУ), г. Москва, 2003 ; Научные чтения «Социология и информационные технологии в XXI веке», Руза, РГСУ, 2006; 55-я Научно-техническая конференция (НТК) в Московском государственном институте радиотехники, электроники и автоматики (технический университет) (МИРЭА), г. Москва, 2006; VI Международный социальный конгресс «Глобализация и будущее Росси» г. Москва, РГСУ, 2006; Зимние научные чтения «Информационные технологии и коммуникационные ресурсы XXI в. в социальной сфере», РГСУ, Руза, 2007; VII Всероссийский социально - педагогический конгресс «Современное социальное образование: опыт и проблемы модернизации», г. Москва, РГСУ, 2007; 56-я НТК, посвященная 60-летию МИРЭА, г. Москва, МИРЭА, 2007; Зимние научные чтения «Технологии информатизации современного российского социума», Руза, РГСУ, 2008; 57-я НТК, г. Москва, МИРЭА, 2008; Зимние научные чтения

«Современные информационные технологии: теория и социальная практика», г. Москва, РГСУ, 2009; 58-я НТК МИРЭА, Секция Автоматизированных и информационных ресурсов, технологий и систем, г. Москва, МИРЭА, 2009; Презентация совместного проекта РГСУ и SRH- Высшей школы Гейдельбсрга на Международном конкурсе «xplore New Automation Award 2005» фирмы Phoenix Contact, Бломберг 2005 (Германия); Научные семинары кафедры моделирования информационных систем и сетей РГСУ. 59-я НТК МИРЭА, Москва (05.2010).

Результаты исследования:

- внедрены в учебный процесс кафедры моделирования информационных систем и сетей РГСУ по ряду учебных дисциплин;

- включены в совместный проект РГСУ и SRH - Высшей школы Гейдельберга, получившего третью премию на Международном конкурсе xplore New Automation Award 2005 фирмы PhocnixContact;

практически использованы в рамках госбюджетного научно-исследовательского проекта «Гуманизация и интеллектуализация информационных технологий и систем социального, гуманитарного и политехнического образования» в рамках аналитической ведомственной целевой программы Минобрнауки РФ «Развитие научного потенциала высшей школы РФ (2009-2011 годы, раздел 2.1.1. «проведение фундаментальных исследований в области естественных наук»)».

Публикации. Основные положения диссертационной работы опубликованы в 12 статьях, из них 3 работы опубликованы в изданиях, рекомендованных ВАК РФ.

Структура диссертации. Диссертация состоит из введения, трёх глав и списка литературы из 140 наименований, 6 приложений. Объём основного текста составляет 141 печатных страниц, включая 11 таблиц, 72 рисунков.

2. ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении дана общая характеристика работы, обоснована актуальность выбранной темы, сформулированы цель работы, проблемы и задачи, подлежащие решению, ее научная новизна и практическая значимость, приведены сведения о внедрении.

В первой главе приведен краткий анализ баз данных, комплексов ККЗ зарубежных и отечественных систем дистанционного обучения, тестирования, тренировки и сертификации качества профессиональной подготовки персонала с точки зрения используемых в них моделей и методов, а также рассмотрены основные планы ККЗ, проблемы их анализа и синтеза и тенденции развития. В результате проведенного анализа сформулированы основные цели диссертационного исследования и определены основные технические требования к разработанной диалоговой системе анализа и синтеза планов ККЗ с указанием возможных сфер ее применения.

Приведен краткий аналитический обзор современного состояния работ по стандартизированным (тестовым), нечётким и нейросетевым методам контроля для баз данных комплексов ККЗ (в основном по публикациям проф. А.П. Свиридова).

Рассмотрены методы анализа и синтеза планов двух-, четырех - и пятибалльного ККЗ для двух случаев, когда истинность ответов обучаемых (студентов) оценивается без искажений и с искажениями (при использовании выборочного способа ввода ответов).

Проанализированы одноступенчатые планы ККЗ, используемые в настоящее время в базах данных комплексов ККЗ, и более эффективные по числу заданных вопросов двухступенчатые и последовательные планы ДКЗ и приведены основные количественные характеристики для их анализа и синтеза.

При использовании усеченных одноступенчатых планов (п,с) ДКЗ, когда контроль прекращается при превышении максимально допустимого числа ошибок с при ответе на ¡<п вопросов, математическое ожидание числа задаваемых вопросов для обучаемого со степенью неподготовленности Р равно:

Ги при Р = О

[ р р с1(л-с-1)!

При действии различных источников ошибок в измерении истинности ответов вместо вероятности Р фиксируется величина Р. В силу этого взаимосвязь между оперативными характеристиками (ОХ) плана ДКЗ при наличии ошибок (ЦР)) и при их отсутствии (1*(Р)) в распознавании истинности ответов имеет вид:

ЦР) Ь*(Р).

Риски недооценки и переоценки знаний акр при распознавании ответов с искажениями определяются на основе связей:

а-1-ЦР1)=1-Ь*(Р,), р = ЦР2) = 1*(Р2).

Задача синтеза одноступенчатого плана ДКЗ сводится к определению параметров плана: объема выборки вопросов п* и максимально допустимого числа ошибок с* для получения оценки "зачтено". При этом в качестве входных данных задаются параметры Р!г Р2, а*, /?*: Р) - максимальная вероятность неправильного ответа, когда ещё выставляется оценка "зачтено", Р2 -минимальная вероятность неправильного ответа, когда уже выставляется оценка "не зачтено", а* - риск недооценки знаний, Р* - риск переоценки знаний. Приведены соотношения для синтеза одноступенчатого плана (п,с) ДКЗ по двум точкам ОХ при отсутствии и наличии ошибок в определении истинности ответов. В общем случае наличия искажений в распознавании истинности ответов объем выборки вопросов п и максимально допустимое число ошибок с определяются на основе соотношений:

п = „-2—Ц-3L!-!-ЗЫ-2-Л-о,5

2 2

(ф-На^РО-РМФ^ЫРЛ-Р. 1

Л =-i-]-_ Т -: ф(х)=-= \е 2 Л

(.Р2-РХГ

где Ф-стандартное нормальное распределение N(0;1), Ф~'(а), Ф~'(1-а), ф-'(Р) - квантили нормального распределения N(0;1) уровней а, 1-а, Д

Далее в первой главе приведены основные соотношения для расчета характеристик четырех- и пятибалльного ККЗ на базе одноступенчатых планов. Если четырехбалльный ККЗ (ЧКЗ) проводится по одноступенчатому плану (п,с5,с4,с3) или усеченному одноступенчатому плану (п,с5,с4,с3)у, то вероятности получения различных оценок (оперативные характеристики - ОХ) при биномиальном распределении числа неправильных ответов на выборку вопросов равны:

г5

Ц * (Р) = (1 - ру~" -» "отлично"

т-О

L, *{Р) = ¿С„"Р"(1- Р)°-" -» "хорошо"

„=С,+1

сЗ

I, * (Р) = YjC"p" i1" pY~" "удовлетворительно"

nreC.+l

5

¿2 * (Р) = 1 - £ £( (Р) "неудовлетворительно"

/=3

где cs, с4, сз - максимальные числа ошибок для получения оценок "5", "4", "3", а и - объем выборки вопросов. На основе этих соотношений при заданных границах выставления оценок можно рассчитать вероятности принятия правильных и ошибочных решений относительно оценок ц, ij = 2, 3, 4, 5. Характеристики пятибалльного ККЗ по одноступенчатому плану (п,с|,с2,сз,с4) определяются подобно ЧКЗ.

Рассмотрены нечёткие и нейросетевые методы ККЗ. В случае нечётких экспертных систем качество подготовки оценивается на основе нечётких правил: их левая (условная) часть содержит нечёткие значения входных лингвистических переменных (ЛП) (напр., доля ошибок, трудность заданий и время их выполнения,...), а правая часть - чёткое или нечёткое значение одной или нескольких выходных ЛП (качество подготовки,...). Применяются в основном MISO-структура (Multi Input-Single Output, много входов - один выход) и MIMO-структура (Multi Input-Multi Output, много входов - много выходов) базы нечётких правил.

Нейросетевые методы ККЗ реализованы в основном на базе многослойных персептронов, сетей АКТ и Кохонена.

Во второй главе рассмотрены предложенные автором модели и методы управления базами данных комплексов компьютерного контроля качества подготовки.

Автором предложена модель синтеза одноступенчатых и последовательных планов ДКЗ для баз данных комплексов ККЗ с учетом забывания, когда требования к контролю задаются для более позднего момента времени, а контроль проводится в более ранний момент времени. Для определения плана контроля в момент времени по требованиям для момента времени 12 (¡2 >1]), когда функция распределения времени забывания т известна, введем следующие события: А - правильный ответ в момент времени /=0; В -правильный ответ в момент времени 1>0, АВ - отсутствие забывания в интервале [0,т.е. одновременное наступление событий А и В.

Пусть Р(1) — функция распределения времени забывания, тогда условная вероятность Р(В/А) того, что правильный ответ в момент времени 1=0 и в интервале [0,1) не будет забыт, равна Р(В/А)=1-Г(1). Вероятность <2(0 того, что ответ в интервале [0,1) останется правильным, равна:

д(1)=Р(А,В)=Р(А)*Р(В/А)=до[1-К(0], где Qo - вероятность правильного ответа в момент времени 1=0. В случае экспоненциального распределения времени забывания получаем:

<2(1)=<2фхр(гк).

Пусть 0/(12) и - границы для принятия гипотез Н| ("зачтено") и Н2 ("не зачтено") в момент времени ¡2, тогда в случае экспоненциального распределения времени забывания получаем:

где 2/ - минимальный уровень подготовки обучаемого в момент времени ?=0, при котором уже ставится оценка "зачтено" или

о^вш^/д,]'*,

где к~ У О- Аналогично для связи между вероятностями (¿¿(и) и 0.2(12)-

где - максимальная вероятность правильного ответа обучаемого в момент времени /=0, когда ставится оценка «не зачтено».

На основе <2)(У> 1—1,2. и заданных рисков недооценки и переоценки а и /? можно определить одноступенчатый и последовательный планы ДКЗ в момент времени ^ по требованиям для более позднего момента 12 (¡, <И2).

Получены соотношения для границ выставления оценок "зачтено" и "не зачтено" для моментов времени 1| и при ККЗ с ошибками в определении истинности ответов (напр., при применении выборочного способа ввода ответов). Показано, что ККЗ, проводимый в более ранний момент времени и

удовлетворяющий требованиям для более позднего момента времени, проводится по более жестким планам как по письменным или устным, так и выборочным ответам.

С целыо сокращения времени контроля для баз данных комплексов ККЗ автором предложена модель анализа одноступенчатых планов ДКЗ с двойным усечением, когда контроль прекращается не только при превышении максимального допустимого числа ошибок с для оценки «зачтено», но и при достижении минимального числа правильных ответов для оценки «зачтено». При этом ДКЗ прекращается при допущении обучаемым (с+1) ошибки и в случае (n-с) правильных ответов. Такие планы можно назвать простыми планами с двойным усечением (fully curtailed inspection).

На рис. 1 в качестве примера изображена диаграмма хода ККЗ с границами выставления оценок «зачтено (Н,)» и «не зачтено (Н2)» для одноступенчатого плана (п = 8, с = 2)" с двойным усечением, где п=8 - объём выборки вопросов, с=2 - максимальное число ошибок для получения оценки "зачтено".

Для таких планов в случае биномиального распределения 6Дп,р) числа неправильных ответов на выборку вопросов и отсутствия искажений в распознавании истинности ответов математическое ожидание числа задаваемых вопросов (англ.: average sampie number= ASN) равно:

- с при Р = 0

М'(п /Р) =

^Wm^P-LluAP)] приО<Р<1

с + 1 при Р = 1

Функция М(п/Р) при Р=0 принимает значение М(пЮ)=п-с. При Рт с [0;1) она достигает максимума М' (п / Рт) (arrearage sample number limit), а затем уменьшается до М'(п/Р-1) = с + 1. Одноступенчатые планы с двойным усечением обеспечивают сокращение среднего числа задаваемых вопросов примерно на величину с/n для подготовленных студентов по сравнению с известными усеченными одноступенчатыми планами (п, с)°. Для плана (8,2)" оно ровно 25%.

Приведено 8-уровневое стратифицированное представление структуры высшего образования с использованием отношения «состоит из» между элементами i-ro и (i-l)-ro уровней.

,■' Тра*жторкж1 Траектория 2

Н1 (Зачтено)

---------л--------* ^

' Траектория 3

—.—

Рис. Г Диаграмма хода ККЗ по одноступенчатому плану (п = 8, с = 2) с двойным усечением.

Решение о качестве образования по направлению подготовки, специальности или учебной дисциплине (2-й уровень, 2-я страта) часто принимается по результатам контроля выборки студентов (обычно с выборочным способом ввода ответов) - 1-й уровень (1-я страта). Для такого двухуровневого анализа системы образования и контроля качества на основе баз данных комплексов ККЗ автором разработаны методы синтеза одноступенчатых и последовательных планов КЗ по двум точкам ОХ, причем при контроле на 1-ом уровне возможны искажения в измерениях истинности ответов и качества подготовки студентов.

Для синтеза одноступенчатых и последовательных планов контроля на 2-м уровне (2-й страте) по двум точкам ОХ (Р:,,/-а2)и(Р!2,р,) необходимо определить: 1) риски недооценки и переоценки знаний на 1-м уровне (1-й страте) и 2) максимальную вероятность Рг, неподготовленного студента, коща качество образования на 2-м уровне (2-й страте) ещё признаётся удовлетворительным, и минимальную вероятность неподготовленного студента, Рп, когда качество образования на 2-м уровне (2-й страте) оценивается уже как неудовлетворительное. Для их определения введём обозначения.

Обозначения для планов контроля 1-го уровня (1-й страты): Ри иРп -максимальная вероятность неправильного ответа для получения оценки "зачтено" (гипотеза Ни) при отсутствии и наличии ошибок в распознавании истинности ответов, Ои-1-Ри,Оп = 1-Р„,

Рп и Р,2 - минимальная вероятность неправильного ответа для получения оценки "не зачтено" (гипотеза Н12)в случае отсутствия и наличия ошибок в распознавании ответов, 0,2 = 1-Рп, <2(> = 1-Р13,

а,*,«*, м/?,*,/?,- риски недооценки и переоценки знаний плана контроля 1-го уровня (первой страты) при отсутствии и наличии ошибок в распознавании ответов. По двум точкам ОХ

а) (Р^,\-а')и(Рп,р1)- при безошибочном распознавании ответов и

б) (/5,,1-а,) и Рп,р,)- при распознавании истинности ответов с ошибками синтезируется одноступенчатый или последовательный план ДКЗ. Обозначения для плана контроля 2-го уровня (2-й страты): Р21 и Р21 - максимальная вероятность неподготовленного студента в группе для признания качества подготовки по учебной дисциплине или направлению подготовки удовлетворительным (гипотеза Н21) при отсутствии и наличии ошибок 1-го и 2-ш'рода на 1-м уровне (1-й страты) контроля:

Рц " Лг -минимальная вероятность неподготовленного студента в группе для признания качества подготовки неудовлетворительным при отсутствии и наличии ошибок 1-го и 2-го рода на 1-м уровне (1-й страты):

а2 и р2 - риски недооценки и переоценки качества подготовки по учебной дисциплине или направлению подготовки (2-й уровень, 2-я страта).

Рассмотрим случай, когда контроль знаний на первом уровне 1-й страты осуществляется с рисками недооценки и переоценки знаний щ и /?,. С учётом введенных обозначений искомые вероятности Д, и Ри определяются при этом так:

&, =0,1('-а,) + Р,1Р,Л, Оа =0,/1-сс,) + Р:2Р,, Л, = /-0„

Теперь по двум точкам ОХ (А,Д-а2)и(Р22,Д) синтезируется одноступенчатый или последовательный план ДКЗ для 2-го уровня (2-й страты), полагая, что ККЗ на 1-м уровне (1-й страте) осуществляется с ошибками в распознавании истинности ответов.

В завершающей части 2-й главы предложен приближенный метод синтеза одноступенчатых планов (п,с5,с4,с3) ЧКЗ. Параметры плана п,с5,с4,с3 определяются по трем парам точек ОХ ДКЗ:

1) (Р3,1-аП54) и (Р2,р5432), 2) (Р5,1-а„25) и (Р4,Р5.4)2) и 3) (Р„1-аг,543 ) и (Р0,Р543 2 ), где 1' =0,1...,5- граничные значения степени неподготовленности для оценок 2,3,4 и 5, а а^ в Ри ■ риски недооценки и переоценки знаний. Например, а32 54 - риск выставления оценок 3 или 2 вместо заслуженных оценок 5 или 4, а (354 п - риск выставления оценок 5 или 4 вместо заслуженных 3 или 2.

В третьей главе приведены основные методы анализа и синтеза одноступенчатых, двухступенчатых и последовательных планов двух-, четырех-и пятибалльного КЗ по альтернативному признаку, реализованные в разработанном программном комплексе «Анализ и синтез планов компьютерного контроля знаний". Методы анализа и синтеза планов ККЗ, реализованные в ней, отмечены в табл. 1 плюсом (+) и разработанные, но не реализованные - минусом (-).

В табл. 1 обозначено: ОП, ДП, и ПП - одно двухступенчатый и последовательный план. Методы 1А, 1Г, 2А и 2Д реализованы проф. Свиридовым и асп Лапиным В.А., методы ЗА,ЗД - проф Свиридовым А.П. и асп. Немсцверидзе З.Ш., а методы 1Б, 1В проф. Свиридовым А.П. асп. Лапиным В.А. и асп. Немсцверидзе З.Ш.

Таблица 1.

Реализация методов анализа и синтеза планов ККЗ в диалоговой системе.

ОП ДП ПП

ДКЗ А ЧКЗ Б Г1КЗ в ДКЗ г ДКЗ д

Не экономичные Анализ 1 + + + + _

Синтез 2 + - - - +

Экономичные Синтез 3 + _ _ — +

Разработано руководство пользователя. Показана общая схема работы программного комплекса и дано описание основных переменных, функций, методов и процедур. Приведены тестовые примеры расчета.

На рис. 2 приведены графики средних чисел задаваемых вопросов М*р(п) и Мр(п) при исходных данных одноступенчатого плана (10,2): п=10 - объём выборки вопросов, с=2 - максимальное число ошибок для получения оценки "зачтено".

■Вш 88* -

\

\ \

\ \

\ N

! К

^ теме ^

Рис. 2. Графики М*р(п) и Мр(п) для усеченного одноступенчатого плана (10,2) ДКЗ при отсутствии (нижняя кривая) и наличии (верхняя кривая) искажений в распознавании истинности ответов.

Дано описание системы дистанционного образования по курсу «АШз-технологий», приведены примеры разработанных программ ККЗ, а также планы ДКЗ и ЧКЗ, для которых определены основные характеристики на основе разработанной диалоговой системы: ОХ, математическое ожидание числа задаваемых вопросов, средняя оценка в зависимости от степени неподготовленности обучаемого (студента) и др.

На рис. 3 представлены ОХ Ь,*(Р) и Ь,(Р), ¡=2,3,4,5 усеченного одноступенчатого плана ЧКЗ (12,1,3,5)у при распознавании истинности ответов без ошибок и с ошибками. ОХ 1,(Р) сдвинуты вправо в сторону больших значений Г' относительно ОХ Ь*(Р), ¡=2,3,4,5.

В завершающейся части главы представлены основные результаты практического использования предложенных моделей и методов управления базами данных комплексов компьютерного контроля качества образования для систем электронного, дистанционного обучения по курсу «\теЬ-технологий» и совместного проекта РГСУ и ЭКН-Высшей школы Гейдельберга. Предложенные автором одноступенчатые планы контроля с двойным усечением (с ограничением по числам неправильных и правильных ответов) и одноступенчатые и последовательные планы для двухуровневого анализа системы образования обеспечивают сокращение среднего числа задаваемых вопросов (времени контроля) и среднего числа контролируемых студентов примерно на 28% (план (7,2)л) и 36% (план (11,4)д) по курсу «шеЬ-технологий» и на 25% (план (8,2)л) для совместного проекта РГСУ и вКН-Высшей школы Гейдельберга для подготовленных студентов по сравнению с известными усеченными одноступенчатыми планами (7,2)уи (11,4)у и (8,2/.

Приведены примеры выборки вопросов для программы контроля по лабораторному практикуму, а также основные характеристики планов КЗ для совместного проекта РГСУ и SRH-Высшей школы Гейдельберга.

В приложениях представлены акты о внедрении результатов диссертационной работы, грамота о присуждении 3-го места на Международном конкурсе, вопросы по курсу Web - технологий и документ, подтверждающий регистрацию диалоговой системы, листинг программы. Основные выводы по результатам исследования: 1. Разработана модель анализа предложенного автором усеченного одноступенчатого плана ДКЗ для баз данных комплексов ККЗ, отличающегося

прекращением контроля, когда число неправильных ответов превышает максимально допустимое, или когда число правильных ответов равно минимальному достаточному числу для получения оценки «зачтено», и обеспечивающего сокращение времени контроля.

2. Разработаны методы синтеза одноступенчатого и последовательного планов ДКЗ на втором уровне по результатам контроля выборки студентов на первом уровне, при учёте искажений в измерениях истинности ответов и качества подготовки студентов, предназначенные для баз данных комплексов ККЗ.

3. Разработана модель синтеза одноступенчатых и последовательных планов ДКЗ для баз данных комплексов ККЗ отличающихся учётом забывания.

4. Разработан приближенный метод синтеза одноступенчатых планов четырехбалльного контроля для баз данных комплексов ККЗ.

5. Разработаны диалоговая система «Анализ и синтез планов компьютерного контроля знаний» на основе предложенных автором моделей и методов анализа и синтеза одноступенчатых и последовательных планов контроля, а также программы и планы контроля по компьютерному учебному курсу «Web-технологий», программа и планы контроля для совместного проекта РГСУ и SRH- Высшей школы Гейдельберга, получившего 3-ю премию на Международном конкурсе фирмы Phoenix Contact (Бломберг, ФРГ).

Применение одноступенчатых планов контроля с двойным усечение (7,2)" и (11,4)л в системах управления базами данных по курсу «web-технологий» и плана (8,2)д в совместном проекте РГСУ-SRH- Высшей школы Гейдельберга обеспечило сокращение среднего числа задаваемых вопросов (длительность контроля) примерно на 28% (план (7,2)д) и 36% (план (11,4)д) и 25% (план (8,2)д) для подготовленных студентов по сравнению с известными усеченными одноступенчатыми планами (7,2/, (11,4)", (8,2)у.

3. ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Лапин В.А., Свиридов А.П. Анализ и синтез планов компьютерного контроля качества образования //Качество. Инновации. Образование., М„ 2009, N9, с. 23-27.

2. Лапин В.А. Компьютерный контроль качества подготовки специалистов по проектированию и технологии электронных средств и систем // Проектирование и технология электронных средств, Владимир: ВГУ, 2008, N3, с. 70-74.

3. Лапин В.А., Свиридов А.П., Немсцверидзе З.Ш. Методы анализа и синтеза планов компьютерного контроля знаний и обработка ошибок 1-го и 2-го рода //Ученые записки РГСУ, М.: Изд-во РГСУ, 2008, N 5 (61), с. 149-155

4. Лапин В.А., Свиридов А.П. Немсцверидзе З.Ш. Нечеткие экспертные системы и нейронные сети: учебное пособие//Российский

государственный социальный университет, М.: Изд-во РГСУ, 2008, 108 с.

5. Лапин В.А., Свиридов А.П., Немсцверидзе З.Щ. Система анализа и синтеза планов компьютерного контроля и диагностирования знаний: 57 Научно-техническая конференция, Сборник трудов, проблемы высшего образования, часть 5 // Московский государственный институт радиотехники, электроники и автоматики (технический университет), М.: Изд-во МИРЭА, 2008, с. 102-106

6. Лапин В.А., Нечаев В.В., Свиридов А.П., Немсцверидзе З.Ш. Нейронные сети и нейросетевые технологии //Учебное пособие Московский государственный институт радиотехники, электроники и автоматики (технический университет).- М.: МИРЭА, 2008,98 с.

7. Лапин В.А., Свиридов А.П., Немсцверидзе З.Ш. Система анализа и синтеза планов компьютерного контроля и диагностирования знаний //Всероссийский социально-педагогический конгресс Социальное образование и кадровое обеспечение социальной сферы. - М.: РГСУ 2009, с. 152-153

8. Лапин В.А., Свиридов А.П., Симонов ВЛ., Немсцверидзе З.Ш. Нейропакет лабораторный практикум по нейросетям, нейрокомпьютерам и нейро-нечетким системам // Российский государственный социальный университет, - М.: Изд-во РГСУ, 2009, 148 с.

9. Лапин В.А., Свиридов А.П., Немсцверидзе 31И. Нейросети, нейрокомпьютеры и нейро-нечеткие системы//Московский государственный институт радиотехники, электроники и автоматики (технический университет), М.: Изд-во МИРЭА, 2009,145 с.

Ю.Лапин ВЛ., Свиридов А.П., Немсцверидзе З.Ш. Выборочные планы компьютерного контроля качества образования: анализ и синтез //Российский государственный социальный университет, М.: Изд-во РГСУ, 2009, с.94-100

11. Лапин В.А., Свиридов А.П. Компьютерный контроль знаний на основе выборочных планов: 58 Научно-техническая конференция, Сборник трудов, проблемы высшего образования, часть 5//Московский государственный институт радиотехники, электроники и автоматики (технический университет), М.: Изд-во МИРЭА,2009, с.72-75

12.Свиридов А.П., Лапин В.А., Немсцверидзе З.Ш.. Тестовые методы контроля знаний и диалоговая система их реализации//М.: РГСУ, Десятые ежегодные научные чтения, Сб. статей, 2010.-С.133-137

Лапин Виталий Александрович

РАЗРАБОТКА МОДЕЛЕЙ И МЕТОДОВ УПРАВЛЕНИЯ БАЗАМИ ДАННЫХ ДЛЯ КОМПЛЕКСОВ КОМПЬЮТЕРНОГО КОНТРОЛЯ ЗНАНИЙ.

Автореферат диссертации на соискание учёной степени кандидата технических наук

Научный руководитель: доктор технических наук, профессор Свиридов Александр Петрович

Изготовление оригинал-макета: Лапин Виталий Александрович

Подписано в печать: 18.05.2011

Заказ № 5570 Тираж -100 экз. Формат 60*84/8. Бумага типографская N 2. Печать - ризография. Типография «11-й ФОРМАТ» ИНН 7726330900 115230, Москва, Варшавское ш., 36 (499)788-78-56 www.autoreferat.ru

Список используемых обозначений и сокращений.

Введение.

Общая характеристика работы.

Структура диссертации и взаимосвязь отдельных глав.

1. Краткий анализ современного состояния отечественных и зарубежных систем дистанционного образования, компьютерного контроля качества профессиональной подготовки персонала и методов моделирования контроля, тестирования знаний и сертификации качества подготовки.

1.1. Анализ отечественных и зарубежных систем дистанционного образования сточки зрения используемых в них моделей и методов управления базами данных для комплексов компьютерного контроля знаний.

1.2. Анализ систем компьютерного контроля (тестирования) и подтверждения качества профессиональной подготовки персонала с точки зрения используемых в них планов контроля.

1.3. Стандартизированные (тестовые), нечеткие и нейросетевые методы контроля знаний.

1.3.1. Основные понятия и характеристики стандартизированного (тестового) контроля знаний.

1.3.2. Планы компьютерного контроля (тестирования) знаний и их основные характеристики.

1.3.3. Одноступенчатые планы контроля знаний.

1.3.3.1 Анализ планов двухбалльного контроля знаний.

1.3.3.2. Синтез одноступенчатого плана двухбалльного контроля знаний.

1.3.3.3. Четырехбалльный компьютерный контроль знаний по одноступенчатому плану (п, С5, С4, С3)

1.3.3.4. Пятибалльный компьютерный контроль знаний по плану (п,с1,с2,сз,с4).

1.3.4. Двухступенчатые планы.

1.3.5. Последовательные планы контроля (тестирования) знаний.

1.3.6. Нечеткие продукционные системы классификации.

1.3.7. Идентификация моделей отношений педагог-обучаемый или эксперт-кандидат при контроле знаний, тестировании и сертификации качества подготовки искусственными нейронными сетями (ИНС).

1.4. Технические и эксплуатационные требования к разрабатываемой диалоговой системе.

1.5. Обоснование выбора темы и области применения разработки.

Выводы по 1-й главе:.

2. Разработка моделей и методов управления базами данных для комплексов компьютерного контроля знаний.

2.1. Представление сложных планов (компьютерного) контроля качества образования. Многоуровневое стратифицированное представлениеструктуры высшего образования.

2.2 Определение плана компьютерного контроля знаний для момента времени I] по требованиям для более позднего момента времени t2 ^ при известном распределении времени забывания.

2.3. Усеченные одноступенчатые планы контроля знаний с ограничениями по числам правильных и неправильных ответов.

2.4 Методы синтеза одноступенчатых и последовательных планов контроля на втором уровне оценки качества по учебной дисциплине, специальности или направлению подготовки по результатам контроля выборки студентов на первом уровне с учетом искажений в измерениях истинности ответов.

2.5 Синтез одноступенчатых планов четырехбалльного контроля знаний.

Выводы по 2-й главе:.

3.Разработка программного комплекса.

3.1. Диалоговая система «Анализ и синтез планов компьютерного контроля знаний».

3.1.1. Общий порядок функционирования.

3.1.2. Задание конкретных показателей.

3.1.3. Работа с меню.

3.1.3.1 Опции.

3.1.3.2 Кнопки.

3.2. Работа программы при анализе и синтезе планов контроля.

Анализ планов.

3.3. Описание основных методов, процедур, функций, переменных и файлов.

3.4. Практическое использование программы.

3.5. Тестовые примеры работы.

3.5.1. Цели и методика экспериментов.

3.5.2. Сбор и анализ результатов экспериментальных исследований.

3.5.2.1. Анализ усеченного одноступенчатого плана ДКЗ при отсутствии ошибок в распознавании истинности ответов.

3.5.2.2. Анализ усеченного одноступенчатого плана двухбалльного контроля знаний при наличии ошибок в распознавании истинности ответов.

3.5.2.3. Синтез одноступенчатого плана двухбалльного контроля знаний при отсутствии искажений в распознавании истинности ответов.

3.5.2.4. Анализ одноступенчатого плана четырехбалльного контроля знаний с учетом ошибок в распознавании истинности ответов.

3.5.2.5. Вывод по результатам экспериментальных исследований работоспособности диалоговой системы «Анализ и синтез планов компьютерного контроля знаний».

3.6. Описание работы системы дистанционного обучения по курсу веб-технологий.

3.6.1. Системные требования.

3.6.2. Структура файлов системы.

3.6.3 Руководство пользователя.

3.6.3.1. Модуль «Регистрация».

3.6.3.2. Модуль «Курсы».

3.6.3.3. Модуль «Обучение».

3.6.3.4. Модуль «Администрирование».

3.6.3.5. Система выборки вопросов.

3.7 Практическое применение разработанных планов контроля и программного комплекса для синтеза и анализа планов контроля знаний.

3.7.1. Компьютерный учебный курс «web-технологий».

3.7.2.Программа и планы контроля для совместного проекта РГСУ и SRH-Высшей школы Гейдельберга.

Выводы по 3-й главе.

Общая характеристика работы.

Актуальность темы. Отличительная особенность системы образования в настоящее время и в перспективе - широкое использование систем электронного, дистанционного обучения, тестирования и сертификации, электронных образовательных ресурсов (ЭОР) и средств их проектирования, тренажёров, в особенности для объектов и процессов с "высокой ценой" ошибки людей: 1) тепловые, атомные и гидроэлектростанции, 2) химико-технологические и другие опасные производства, 3) оказание первой медицинской помощи личным составом спасательных служб и т.п.

В условиях, когда конкуренция сместилась в основном в сферу качества, сертификация качества подготовки специалистов становится непременной функцией любого предприятия любой рыночной экономики и выделяется в самостоятельную отрасль.

В современных условиях проблемы гражданской обороны, защиты населения от чрезвычайных ситуаций, проблемы управления безопасностью инженерных сооружений социальной сферы являются составной частью национальной безопасности страны. При этом одно из перспективных направлений повышения безопасности жизнедеятельности связано с подготовкой людей и усвоением необходимых знаний, умений, навыков и компетенций для грамотного поведения в чрезвычайных ситуациях, Сократить ущерб могут лишь люди, пра- ' вильность их поведения и степень организации

Важной и ответственной задачей в указанных областях является разработка моделей и методов управления базами данных для комплексов компьютерного контроля знаний с возможностью использования результатов для адаптации способа обучения или тренировки к индивидуальным характеристикам обучаемых.

При этом решение о качестве подготовки обучаемых или специалистов принимается на основе стандартизированных (тестовых) методов компьютерного контроля знаний (ККЗ) с использованием одноступенчатых или усечённых одноступенчатых планов. Для испытуемого из программы контроля базы данных формируется выборка вопросов и по ответам на них выставляется оценка «зачтено» - «не зачтено» при двухбалльном КЗ (ДКЗ) и оценки от 2 до 5 в случае четырехбалльного КЗ (ЧКЗ).

Состояние научной разработанности проблемы. Существенный вклад в разработку теоретических основ методов и алгоритмов принятия решений в базах знаний и данных систем компьютерного контроля знаний (ККЗ) принадлежит отечественным ученым И.А. Башмакову, A.M. Бершадскому, Д.О. Жукову, А.Д. Иванникову, В.П. Климанову, М.Р. Когаловскому, И.А. Косареву, Б.Г. Литваку, В.В. Нечаеву, И.П. Норенкову, A.B. Осипову, В.М. Панченко, Б.М. Позднееву, А.Я. Савельеву, А.П. Свиридову, Б.Я. Советову, H.A. Селезневой, А.И. Субетто, В.А. Сухомлину, Ю.Ф. Тельнову, В.Ф. Хорошевскому, В.Е. Шукшунову, а также зарубежным X. Бальцельту (Н. Balcelt), В. Глаттхаару (W. Glatthaar), Т. Флору (Th. Flor), А. Кобзе (A. Kobsa), М. Новику (Novik) и др.

Однако, несмотря на фундаментальную разработку проблем создания моделей, методов и алгоритмов управления базами данных комплексов ККЗ, не решёнными, в частности, остаются следующие актуальные задачи: 1) синтеза плана контроля на втором уровне (например, уровне оценки качества образования по учебной дисциплине, специализации или направлению подготовки) по результатам контроля выборки студентов на первом уровне при наличии искажений в измерениях; 2) синтеза одноступенчатых и последовательных планов ККЗ с учетом забывания; 3) анализа одноступенчатого плана КЗ при прекращении контроля как по числу неправильных, так и по числу правильных ответов на вопросы выборки, 4) программной реализации методов анализа и синтеза одноступенчатых, двухступенчатых и последовательных планов ККЗ для систем управления базами данных и знаний.

Решению проблем 1-4 и посвящено настоящее диссертационное исследование.

Объект исследования: системы управления базами данных для принятия решений и обработки информации о качестве подготовки испытуемых (студенtob) в комплексах электронного, дистанционного обучения, тренировки, тестирования и сертификации.

Предмет исследования: модели и методы управления базами данных комплексов компьютерного контроля качества подготовки.

Целью исследования является создание и обоснование моделей и методов эффективного управления базами данных комплексов компьютерного контроля качества подготовки.

Задачи исследования:

1. Проанализировать современное состояние методов планирования компьютерного контроля знаний (в том числе на основе статистической теории обучения) и на этой основе создать модели для анализа и синтеза одноступенчатых и последовательных планов ДКЗ при ограничении контроля по количеству неправильных и правильных ответов, а также с учетом забывания для управления базами данных комплексов ККЗ.

2. Разработать методы синтеза одноступенчатых и последовательных планов ДКЗ и ЧКЗ при двухуровневом анализе системы образования и контроля качества подготовки для управления базами данных комплексов ККЗ.

3. Создать диалоговую систему "Анализ и синтез планов компьютерного контроля знаний", а также программы и планы ККЗ по курсу web-технологий и по теории автоматического регулирования для совместного проекта РГСУ-SRH Высшей школы Гейдельберга.

4. Обосновать практические рекомендации по использованию разработанных моделей, методов и диалоговой системы.

Теоретико-методологическую основу исследования составили методы теории принятия решений, теории вероятностей и математической статистики, статистической теории обучения, современные методы проектирования программных комплексов.

Достоверность и обоснованность результатов диссертационного исследования подтверждается математической корректностью выводов в описании разработанных моделей и методов, экспериментальными исследованиями системы дистанционного обучения по курсу "WEB-технологий" и диалоговой системы "Анализ и синтез планов компьютерного контроля знаний".

В ходе исследования была решена научная задача разработки моделей и методов анализа и синтеза планов ККЗ для двухуровневого анализа системы образования с учётом ошибок в измерениях и забывания для баз данных комплексов ККЗ.

Отличие теоретических и эмпирических данных исследования от результатов, полученных другими авторами, состоит в том, что в развитие методов стандартизированного контроля знаний впервые разработаны модель синтеза планов ККЗ с учетом забывания и метод синтеза планов контроля для двухуровневого анализа системы образования при наличии ошибок в измерениях, предназначенные для управления базами данных комплексов ККЗ.

База исследования. Исследование проведено на кафедре моделирования информационных систем и сетей Российского государственного социального университета и в SRH -Высшей школе Гейдельберга (оборудование фирмы Phoenix Contact).

Основные результаты, полученные лично соискателем, и их научная новизна состоят в том, что:

1. Разработаны модели: а) анализа одноступенчатого планагДКЗ с двойным усечением для баз данных комплексов ККЗ, когда контроль прекращается при превышении максимально допустимого числа ошибок и при минимально i 1 достаточном числе правильных ответов для отметки «зачтено», обеспечивающего дополнительное снижение среднего числа задаваемых вопросов для подготовленных обучаемых (студентов), и б) синтеза одноступенчатых и последовательных планов ДКЗ для баз данных комплексов ККЗ, предназначенных для проведения контроля в более ранний момент по требованиям для позднего момента времени и отличающихся учётом забывания.

2. Разработаны: а) методы синтеза одноступенчатого и последовательного планов контроля на втором уровне оценки качества образования по учебной дисциплине, специализации или направлению подготовки по результатам проверки выборки студентов на первом уровне, отличающиеся учётом искажений в измерениях истинности ответов и качества подготовки студентов и ориентированные на базы данных комплексов ККЗ, и б) приближенный метод синтеза одноступенчатых планов четырехбалльного контроля для баз данных комплексов ККЗ по заданным условиям выставления отметок в зависимости от степени неподготовленности студентов и рискам недооценки и переоценки знаний, состоящего в применении трех дихотомий (разбиение на 2 класса подготовки).

3. Разработана диалоговая система "Анализ и синтез планов компьютерного контроля знаний", а также программа и планы ККЗ по курсу \veb-технологий и по теории автоматического регулирования для совместного проекта РГСУ-8БШ Высшей школы Гейдельберга.

4. Обоснованы практические рекомендации по использованию разработанных моделей, методов и диалоговой системы.

Теоретическая значимость исследования состоит в разработке для баз данных комплексов ККЗ: 1) методов синтеза одноступенчатых и последовательных планов контроля для двухуровневого анализа системы образования, когда качество подготовки по учебной дисциплине, специальности и направлению подготовки оценивается по результатам проверки выборки студентов, проводимого с ошибками в измерениях, и 2) модели синтеза одноступенчатых и последовательных планов контроля с учётом забывания учебного материала.

Практическая значимость исследования определяется возможностью применения его результатов в базах данных комплексов ККЗ систем электронного и дистанционного образования, тестирования и сертификации, ЭОР и средств их проектирования, тренажеров, а также в формирующейся общероссийской системе оценки качества образования с целью повышения точности классификации испытуемых и сокращении длительности контроля. Она состоит и в создании диалоговой системы «Анализ и синтез планов компьютерного контроля знаний». Произведена её государственная регистрация во ВНТИЦ, номер регистрации: 50201000377 от 17.03.2010.

Основные положения, выносимые на защиту:

1. Модели анализа одноступенчатых планов ДКЗ, предназначенные для определения среднего объема контроля, отличающиеся ограничением контроля по количеству неправильных и правильных ответов и обеспечивающие сокращение среднего объема или среднего времени контроля, и синтеза одноступенчатых и последовательных планов ДКЗ, предназначенные для определения планов контроля по заданным требованиям к их проведению, отличающиеся учетом забывания и позволяющие проводить контроль в более ранний момент по требованиям для более позднего момента времени, для управления базами данных комплексов ККЗ.

2. Методы синтеза одноступенчатых и последовательных планов ДКЗ и ЧКЗ для двухуровневого анализа системы образования и контроля качества подготовки обучающихся (студентов), состоящие в определении планов по заданным требованиям к их проведению и предназначенные для управления базами данных комплексов ККЗ.

3. Диалоговая система "Анализ и синтез планов компьютерного контроля знаний", предназначенная для определения оперативных характеристик, среднего объема контроля, рисков недооценки и переоценки знаний и других характеристик (задачи анализа планов) и расчета планов контроля по заданным требованиям к их проведению (обратная задача синтеза планов), а также программы и планы ККЗ по курсу шеЬ-технологий и по теории автоматического регулирования для совместного проекта РГСУ-БЯН Высшей школы Гейдельберга.

Апробация и внедрение результатов исследования. Основные результаты диссертации докладывались и обсуждались при проведении следующих научных конференций и чтений: III Всероссийский научно-педагогический конгресс «Воспитательная работа в современном вузе: проблемы, направления и пути совершенствования, Российский государственный социальный университет» (РГСУ), г. Москва, 2003 ; Научные чтения «Социология и информационные технологии в XXI веке», Руза, РГСУ, 2006; 55-я Научно-техническая конференция (НТК) в Московском государственном институте радиотехники, электроники и автоматики технический университет) (МИРЭА), г. Москва, 2006; VI Международный социальный конгресс «Глобализация и будущее Росси» г. Москва, РГСУ, 2006; Зимние научные чтения «Информационные технологии и коммуникационные ресурсы XXI в. в социальной сфере», РГСУ, Руза, 2007; VII Всероссийский социально — педагогический конгресс «Современное социальное образование: опыт и проблемы модернизации», г. Москва, РГСУ, 2007; 56-я НТК, посвященная 60-летию МИРЭА, г. Москва, МИРЭА, 2007; Зимние научные чтения «Технологии информатизации современного российского социума», Руза, РГСУ, 2008; 57-я НТК, г. Москва, МИРЭА, 2008; Зимние научные чтения «Современные информационные технологии: теория и социальная практика», г. Москва, РГСУ, 2009; 58-я НТК МИРЭА, Секция Автоматизированных и информационных ресурсов, технологий и систем, г. Москва, МИРЭА, 2009; Презентация совместного проекта РГСУ и SRH- Высшей школы Гейдельберга на Международном конкурсе «xplore New Automation Award 2005» фирмы Phoenix Contact, Бломберг 2005 (Германия); Научные семинары кафедры моделирования информационных систем и сетей РГСУ. 59-я НТК МИРЭА, Москва (05.2010).

Результаты исследования внедрены:

- в учебный процесс кафедры моделирования информационных систем и сетей РГСУ по ряду учебных дисциплин;

- в совместный проект РГСУ и SRH — Высшей школы Гейдельберга, получившего третью премию на Международном конкурсе xplore New Automation Award 2005 фирмы PhoenixContact;

- в содержание госбюджетного научно-исследовательского проекта «Гуманизация и интеллектуализация информационных технологий и систем социального, гуманитарного и политехнического образования» в рамках аналитической ведомственной целевой программы Минобрнауки РФ «Развитие научного потенциала высшей школы РФ (2009-2011 годы, раздел 2.1.1. «проведение фундаментальных исследований в области естественных наук»)».

Публикации. Основные положения диссертационной работы опубликованы в 12 статьях, из них 3 работы опубликованы в изданиях, рекомендованных ВАК РФ.

Структура диссертации и взаимосвязь отдельных глав.

Диссертация изложена на 141 стр. основного текста, включая 11 таблиц, 72 рисунка, состоит из введения, 3 глав, заключения, списка литературы из 140 наименований и 6 приложений.

Выводы по 3-й главе.

В данной главе получены следующие основные результаты:

1. Приведены основные методы анализа и синтеза одноступенчатых, двухступенчатых и последовательных планов двух -, четырех — и пятибалльного контроля знаний по альтернативному признаку, реализованные в разработанной диалоговой системе.

2. Разработано руководство для пользователя диалоговой системы. Оно содержит блок-схему программы, полный список переменных и процедур для более полного понимания работы программы, описание приемов работы с главным меню программы, способов выбора конкретного плана, ввода конкретных параметров для анализа и синтеза планов и способов вывода графиков характеристик плана.

3. Приведены примеры практического применения разработанной диалоговой системы по анализу синтезу планов контроля качества образования. Задача анализа: задан план и для него определяются основные характеристики. Задача синтеза: заданы требования к проведению контроля и по ним рассчитывается план.

4. Работоспособность диалоговой системы проверялась на основе сравнения результатов расчетов вручную и посредством диалоговой системы. Установлено совпадение этих результатов.

5. Представлена система дистанционного обучения по курсу \veb-технологий и для нее разработано руководство пользователя. Для простоты применения системы подробно описаны все действия, которые необходимо проделать пользователю для входа в систему, изучения курса, прохождения обучения и тестирования по курсу \уеЬ-технологий. Так как система сделана как интернет-сайт, то она занимает мало места на диске, не требует предварительной установки и настройки на компьютере пользователя, является переносимой между операционными системами Windows и Linux.

6. Разработаны программы и планы контроля знаний по 11 главам КУК «web-технологий». Применение в системах управления базами данных и знаний этого курса одноступенчатых планов (7,2)а и (11,4)а с двойным усечением, предложенных автором, обеспечивало сокращение среднего числа задаваемых вопросов, а , след., и длительности контроля соответственно примерно на 2/7 = 0.28 и 4/11= 0.36 для подготовленных студентов по сравнению с обычным усеченными одноступенчатыми планами (7,2)6 и (11,4)0.

7. Разработаны совместно с асп. Немсцверидзе программа и планы контроля для совместного проекта Российского государственного социального университета и SRH-Высшей школы Гейдельберга, получившего 3-ю премию на Международном конкурсе xplore New Automation Award 2005 фирмы Phoenix Contact (Бломберг, ФРГ) (грамота в приложении №2). Применение в системах управления базами данных и знаний этого проекта предложенного автором одноступенчатого плана (8,2)ä с двойным усечением позволило сократить среднее число задаваемых вопросов и соответственно длительность контроля для подготовленных студентов примерно на 2/8=0.25 по сравнению с обычным усеченным одноступенчатым планом (8,2)°.

8. Приведены основные характеристики планов контроля, используемых в КУК по web-технологиям и лабораторном практикуме РГСУ - SRH Высшей школы Гейдельберга.

Заключение.

В данном диссертационном исследовании получены следующие основные результаты:

1. Разработана модель анализа предложенного автором усеченного одноступенчатого плана ДКЗ, отличающегося прекращением контроля, когда число неправильных ответов превышает максимально допустимое, или когда число правильных ответов равно минимальному достаточному числу для получения оценки «зачтено», и обеспечивающего сокращение времени контроля.

2. Разработаны методы синтеза одноступенчатого и последовательного планов ДКЗ на втором уровне по результатам контроля выборки студентов на первом уровне при учёте искажений в измерениях истинности ответов и качества подготовки студентов.

3. Разработана модель синтеза одноступенчатых и последовательных планов ДКЗ для его проведения в более ранний момент времени по требованиям для более позднего момента времени (учёт забывания).

4. Разработан приближенный метод синтеза одноступенчатых планов четырехбалльного ККЗ.

5. Разработаны диалоговая система «Анализ и синтез планов компьютерного контроля знаний» на основе предложенных автором моделей и методов анализа и синтеза одноступенчатых и последовательных планов контроля, а также программы и планы контроля по компьютерному учебному курсу «Web-технологий», программа и планы контроля для совместного проекта РГСУ и SRH- Высшей школы Гейдельберга, получившего 3-ю премию на Международном конкурсе фирмы Phoenix Contact (Бломберг, ФРГ).

Применение одноступенчатых планов контроля с двойным усечение (7,2)ди (11,4)д в системах управления базами данных и знаний по курсу «web-технологий» и плана (8,2)д в совместном проекте РГСУ-SRH- Высшей школы Гейдельберга обеспечило сокращение среднего числа задаваемых вопросов (длительность контроля) примерно на 28% (план (7,2)л) и 36% (план (11,4)д) и 25% (план (8,2)д) для подготовленных студентов по сравнению с известными усеченными одноступенчатыми планами (7,2)у, (11,4)у, (8,2)у.

1. Арбузов Ю.В., Ахромушкин Е.А., Беляков A.B. и др., Информатизация образования: направления, средства, технологии / Под общ. ред. С.И. Маслова. М.: МЭИ, 2004. - 868 с.

2. Афонин А.Ю., Бабешко В.Н., Булакина М.Б. и др., Образовательные Интернет-ресурсы / Под ред. А.Н. Тихонова и др. — Просвещение, 2004.

3. База и Генератор образовательных ресурсов, http://bigor.bmstu.ru/

4. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. — М.: Информационно-издательский ДОМ »ФИЛИНЪ", 2003. 616 с.

5. Беляев, Ю.К.: Выборочные методы контроля. — М.: Наука, 1975.

6. Беспалько В.П. Образование и обучение с участием компьютера (педагогика третьего тысячелетия). — М.: Изд-во Московского психолого-социального института, 2002

7. Болотов В.А., Ефремов Н.Ф. Система оценки качества российского образования//Педагогика, N 1, 2006.-С.22-31

8. Бондин O.A. Сборник программированных задач по курсу «Теория автоматического управления». Часть I. Линейные непрерывные системы автоматического регулирования (управления, основные характеристики, устройства). — М.: МЭИ, 1964.- 184с.

9. Вайк А., Уокер Д., Кокс Р., PHP. Справочник. М.: ДиаСофт, 2001.

10. Вальд А. Последовательный анализ. М., 1960.

11. Васильев A.C. Компьютерный учебный, контролирующий курс "Веб-технологии" для дистанционного обучения кафедры ИТС. Дипломный проект-М.:МИРЭА, 2006. 177 с.

12. Веллингтон JL, Томсон JI., Разработка веб-приложений с помощью PHP и MySQL. М.: Вильяме, 2004. - 800 с.

13. Викиучебник. http://ru.wikibooks.org/wiki/

14. Гнеденко Б.В. Теория вероятностей. — М.: Наука, 1965.