автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Модели и методы проектирования программных систем анализа и контроля знаний

Немсцвсридзе Зураб

004607732

МОДЕЛИ И МЕТОДЫ ПРОЕКТИРОВАНИЯ ПРОГРАММНЫХ СИСТЕМ АНАЛИЗА И КОНТРОЛЯ ЗНАНИЙ

Специальность 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание учёной степени кандидата технических наук

Москва-2010

004607782

Работа выполнена в Российском государственном социальном университете.

Научный руководитель

доктор технических наук, профессор Свиридов Александр Петрович

Официальные оппоненты

доктор технических наук, профессор Жданов Владимир Сергеевич

кандидат технических наук, доцент Хорев Павел Борисович

Ведущая организация

ОАО «Всероссийский научно-исследовательский институт автоматизации управления в непромышленной сфере им. В.В. Соломатина (ОАО "ВНИИНС")»

Защита состоится «28» июня 2010 г. в 15— на заседании диссертационного совета Д.212.341.07 при Российском государственном социальном университете по адресу: 129226, г. Москва, ул. Вильгельма Пика, д. 4, к. 2, зал заседаний диссертационного совета.

С диссертацией можно ознакомиться в библиотеке Российского государственного социального университета по адресу: 129226, г. Москва, ул. Вильгельма Пика, д. 4, к. 3.

Автореферат разослан «27» мая 2010 г.

Ученый секретарь

диссертационного совета Д.212.341.07, к. ф.-м. н.,

Чумакова Е.В.

1. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. В настоящее время и в перспективе развитие системы образования и её соответствие требованиям в значительной степени определяется и будет определяться состоянием и качеством алгоритмов и программ систем электронного, дистанционного образования, электронных образовательных ресурсов (ЭОР), методами проектирования и анализа алгоритмов и программ для них, учётом индивидуальных характеристик и потребностей студентов и пользователей.

В России и мире динамично развивается система образовательных порталов. Среди международных проектов можно выделить: 1) Консорциум Open Courseware (OCW) (свыше 100 университетов США, Австралии, Канады и др.); 2) Open Education Recourse Commons (OER); 3) глобальный виртуальный университет в рамках Университета ООН и др.

Создано значительное число автоматизированных обучающих систем и инструментальных средств проектирования ЭОР: 1) Отечественные - БиГОР (База и генератор образовательных ресурсов), Магистр 2008, СДТ RedClass, Прометей, Дельфин и др. и 2) зарубежные (WebCT, Microsoft class server, Adobe acrobat connect, Moodle, Lersus, и др.).

Важнейшими составляющими этих систем являются алгоритмы и программы управления процессом усвоения знаний, организации компьютерного контроля и самоконтроля, выявления структуры знаний студентов и/или пользователей. Их совершенствование - актуальное направление исследований в области систем электронного, дистанционного образования и ЭОР.

Разработке моделей и методов проектирования и анализа алгоритмов и программ компьютерного выявления структуры и контроля знаний посвящены работы И.А. Башмакова, JI.C. Болотовой, B.C. Жданова, Д.О. Жукова, В.В. Нечаева, И.П. Норенкова, Б.М. Позднеева, А.Я. Савельева, А.П. Свиридова, H.A. Селезнёвой, А.И. Субетто, Н.Ф. Талызиной, А.Н. Тихонова и др. Среди зарубежных авторов следует отметить работы А. Бирнбаума (Birnbaum), Ф. Бодендорфа, Э Вагнера, А. Кобзы, К Кубингера, Ф. Лорда, Дж. Раша, Е. Рича, Р. Вилленски и др.

Однако при проектировании и анализе алгоритмов и программ выявления структуры и контроля знаний не учитываются экономические показатели при синтезе планов контроля, реально не используются безусловные и условные алгоритмы компьютерного выявления структуры знаний, отсутствует программная реализация моделей и методов анализа и синтеза планов компьютерного контроля знаний (ККЗ). Решению этих актуальных проблем посвящено данное диссертационное исследование.

Объект исследования - алгоритмы и программы компьютерного выявления структуры и контроля знаний.

Предмет исследования - модели и методы проектирования и анализа алгоритмов и программ компьютерной идентификации структуры и контроля знаний студентов.

Целью исследования является разработка моделей и методов синтеза экономичных планов ККЗ и условных алгоритмов выявления структуры знаний для систем электронного, дистанционного образования и ЭОР. Задачи исследования:

1. Выполнить аналитический обзор методов проектирования и анализа алгоритмов и программ выявления структуры и контроля знаний известных отечественных и зарубежных систем электронного, дистанционного образования и ЭОР с целью определения нерешённых проблем.

2. Разработать модель синтеза условных алгоритмов идентификации состояния знаний обучаемых (студентов).

3. Разработать приближенные методы синтеза экономичных одноступенчатых и последовательных планов ККЗ при учёте: 1) стоимости задания одного вопроса и анализа ответа на него и 2) потерь при выставлении оценок «зачтено» и «не зачтено» без контроля.

4. Разработать способ упрощения таблиц покрытия положений учебного материала контрольными заданиями, обеспечивающий сокращение затрат ресурсов памяти и длительности контроля знаний.

5. Реализовать диалоговую систему «Анализ и синтез планов компьютерного контроля знаний» на основе предложенных автором приближенных методов синтеза экономичных одноступенчатых и последовательных планов ККЗ при отсутствии и наличии искажений в распознавании истинности ответов.

Теоретико-методологическую основу исследования составляют теория принятия решений, теория графов, техническая диагностика, вероятностно-статистические методы.

Достоверность и обоснованность подтверждается: 1) согласованностью с имеющимися результатами других авторов, 2) корректностью выводов математических зависимостей в описании разработанных моделей и методов и 3) экспериментальными исследованиями системы дистанционного обучения по курсу «Администрирование сетевых систем» и диалоговой системы «Анализ и синтез планов компьютерного контроля знаний».

В ходе исследования была решена научная задача создания моделей и методов синтеза условных алгоритмов идентификации состояний знания студента и экономичных планов контроля знаний для проектирования программных систем.

Отличие теоретических и эмпирических данных исследования от результатов, полученных другими авторами, состоит в том, что были предложены способы синтеза условных алгоритмов идентификации состояний знаний студентов методом ветвей и границ (МВГ) для двух случаев: без ограничения и с ограничениями среднего времени идентификации.

База исследования. Работа выполнена на кафедре моделирования информационных систем и сетей Российского государственного социального университета (РГСУ) и в SRH-Высшей школе Гейдельберга на оборудовании фирмы Phoenix Contact в рамках совместного проекта.

Основные результаты, полученные лично соискателем, и их научная новизна состоят в том, что:

1. Предложена модель синтеза условных алгоритмов идентификации состояний знания студента на основе МВГ, позволяющих повысить эффективность программных систем примерно в два раза по сравнению с безусловными алгоритмами.

2. Разработаны приближенные методы синтеза экономичных одноступенчатых и последовательных планов ККЗ при отсутствии и наличии искажений в распознавании истинности ответов, повышающих эффективность программных систем контроля знаний.

3. Разработан способ упрощения таблиц покрытия положений учебного материала контрольными заданиями, обеспечивающий снижение затрат ресурсов памяти и длительности контроля знаний.

4. На основе предложенных автором приближенных моделей и методов синтеза экономичных одноступенчатых и последовательных планов ККЗ реализована диалоговая система «Анализ и синтез планов компьютерного контроля знаний».

5. Разработаны программы и планы контроля по компьютерному учебному курсу «Администрирование сетевых систем», а также программа и планы контроля по теории автоматического регулирования для совместного проекта РГСУ и SRH- Высшей школы Гейдельберга, получившего 3-ю премию на Международном конкурсе фирмы Phoenix Contact (Бломберг, ФРГ).

Теоретическая значимость исследования. Разработаны: 1) модель и метод синтеза условных алгоритмов идентификации структуры знаний студента на основе МВГ, позволяющих повысить эффективность разрабатываемой программной системы анализа и контроля знаний, и 2) модели и методы синтеза экономичных одноступенчатых и последовательных планов контроля знаний, обеспечивающих сокращение среднего времени контроля знаний.

Практическая значимость исследования заключается в создании модели и метода синтеза условных алгоритмов выявления структуры знаний, требующих примерно в два раза меньше времени реализации по сравнению с безусловными алгоритмами, моделей и методов синтеза экономичных планов ККЗ для программных систем электронного, дистанционного образования и инструментальных средств проектирования ЭОР. Она состоит и в создании диалоговой системы «Анализ и синтез планов компьютерного контроля знаний» (на русском и немецком языках). Система зарегистрирована во ВНТИЦ, регистрация №50201000377 от 17.03.2010 г.

Основные результаты, выносимые на защиту:

1. Модель синтеза условных алгоритмов идентификации структуры знаний студентов на основе МВГ, обеспечивающих сокращение времени выявления состояния знаний до 50% по сравнению с безусловными алгоритмами.

2. Приближенные методы синтеза экономичных одноступенчатых и последовательных планов ККЗ, отличающихся учётом стоимости

задания одного вопроса и потерь при выставлении оценок «зачтено» и «не зачтено» без контроля и позволяющих сократить время проведения контроля знаний (КЗ).

3. Способ упрощения таблиц покрытия учебного материала контрольными заданиями, обеспечивающий сокращение размерности таблиц и на этой основе уменьшающий затраты ресурсов памяти и время контроля знаний.

4. Диалоговая система «Анализ и синтез планов компьютерного контроля знаний» на основе приближенных моделей и методов синтеза экономичных одноступенчатых и последовательных планов.

Апробация и внедрение результатов исследования. Основные результаты работы представлялись на следующих конференциях и семинарах: Вторая межрегиональная научно-практическая конференция «Наука и молодёжь в XXI веке», г. Троицк, 2004; III Всероссийский научно-педагогический конгресс «Воспитательная работа в современном вузе: проблемы, направления и пути совершенствования», Российский государственный социальный университет (РГСУ), г. Москва, 2003; Презентация совместного проекта РГСУ и SRH-Высшей школы Гейдельберга на Международном конкурсе «xplore New Automation Award 2005» фирмы Phoenix Contact, г. Blomberg, 2005; Научные чтения «Социология и информационные технологии в XXI веке», РГСУ, г. Руза, 2006; 55-я научно-техническая конференция, Московский государственный институт радиотехники, электроники и автоматики (технический университет) (МИРЭА), г. Москва, 2006; VI Международный социальный конгресс «Глобализация и будущее России», РГСУ, г. Москв, 2006; Зимние научные чтения «Информационные технологии и коммуникационные ресурсы XXI в. в социальной сфере», РГСУ, г. Руза, 2007; 56-я научно-техническая конференция, МИРЭА, г. Москва, 2007; VII Всероссийский социально - педагогический конгресс «Современной социальное образование: опыт и проблемы модернизации», РГСУ, г. Москва, 2007; Зимние научные чтения «Технологии информатизации современного российского социума», РГСУ, г. Руза, 2008; 57-я научно-техническая конференция, МИРЭА, г. Москва, 2008; 58-я научно-техническая конференция, МИРЭА, г. Москва, 2009; Зимние научные чтения «Современные информационные технологии: теория и социальная практика», РГСУ, г. Руза, 2009; 59-я научно-техническая конференция, МИРЭА, г. Москва, 2010.

Результаты диссертационной работы:

• внедрены в учебный процесс кафедры моделирования информационных систем и сетей РГСУ как на стадии изучения отдельных дисциплин («Нейросети и нейрокомпьютеры», «Нейро-нечеткие системы и технологии», «Системы искусственного интеллекта» и др.), читаемых для студентов специальностей «Автоматизированные системы обработки информации и управления» и «Программное обеспечение автоматизированных систем и вычислительной техники», так и при проведении ККЗ;

• внедрены в рамках совместного проекта РГСУ и SRH-Высшей школы

Гейдельберга (Германия) (третья премия на Международном конкурсе xplore New Automation Award 2005 фирмы Phoenix Contact г. Blomberg, Германия);

• практически использованы в госбюджетном научно-исследовательском проекте «Гуманизация и интеллектуализация информационных технологий и систем социального, гуманитарного и политехнического образования» в рамках аналитической ведомственной целевой программы Минобрнауки РФ «Развитие научного потенциала высшей школы (20092010 годы)».

Публикации. Основные результаты диссертационного исследования опубликованы в 14 печатных работах, из них 3 статьи в журналах, рекомендованных ВАК РФ.

Структура диссертации: диссертационная работа состоит из введения, четырёх глав, заключения и списка литературы из 75 наименований. Общий объём основного текста составляет 144 страницы, в том числе 65 рисунков и 29 таблиц.

2. ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении дана общая характеристика работы, обоснована актуальность темы диссертации, её научная новизна и практическая значимость, сформулированы цель и решаемые задачи, указаны положения, выносимые на защиту, приведены сведения о внедрении.

В первой главе приведены обзор международных стандартов дистанционного образования: IMS, SCORM и др., а также анализ программных систем анализа и контроля знаний отечественных и зарубежных реализаций электронного, дистанционного обучения и ЭОР.

В главе дан обзор моделей и методов проектирования и анализа алгоритмов и программ компьютерной идентификации структуры знаний студента и/или пользователя.

Пусть КЗ подлежит усвоение я положений учебной дисциплины (или операций). Обозначим через /, задание, которое проверяет усвоение подмножества SI,, i=\,...,m положений из общего числа п положений. В простейшем случае выполнение задания /, правильно (1), если все положения подмножества il„ i=\.....m усвоены, и неправильно (0) - в противном случае, когда не усвоено хотя бы одно положение подмножества il,. Выполнение задания связано, естественно, с некоторыми затратами ch i=l,...,m .

Обозначим через 1 положения, усвоение которых проверяется каким-либо заданием (т.е. для правильного выполнения его соответствующие положения должны быть усвоены), и 0 - положения, усвоение которых не проверяется этим заданием. При этом каждому заданию t, можно поставить в соответствие т-разрядный двоичный код t,. Из этих кодов для m заданий можно сформировать матрицу Г = |г,-1/ = 1,2.....m;j = 1,2,..,л, причём элементы её определяются так:

1 при _/' е

[О при у ей,.

Заданиям /,, /=1 ,.,.,/и могут быть сопоставлены вектор-столбец мощностей а-(а[,...,ат)т и вектор-столбец затрат с={си с2,..., с„,)7. Мощность а, задания ь равна числу положений, проверяемых этим заданием. Мерой затрат может быть математическое ожидание времени выполнения задания, стоимость предъявления задания и оценки правильности его выполнения и т.п.

Таблица 1

Вопрос Положения Мощность Затраты (время ответа), мин

1 2 3 4

и 1 1 6,92

!2 1 1 2 14,67

<7 1 1 8,1

/14 1 1 1 3 17,63

Ь> 1 2 3 4

0,215 0,05 0,161 0,09

В табл. 1 приведен пример таблицы покрытия учебного материала четырех положений теории информации вопросами ¡¡, 12, Ь к г^. В ней указаны мощности и время выполнения заданий, а также вероятности Р, неусвоения каждого из четырех положений и числа вопросов, проверяющих то или иное положение.

В заключительной части главы автором предложен способ упрощения таблиц покрытия учебного материала контрольными заданиями, обеспечивающий снижение затрат ресурсов памяти и длительности контроля знаний, и рассмотрены безусловные алгоритмы компьютерной идентификации состояния знаний.

Примеры операций алгоритма упрощения таблиц покрытия:

1. Если ^<^,7 = 1,2,...,пЛ*к, то /-я строка поглощается к-й. При этом /-я строка исключается из матрицы Т.

2. Если =/,),,7 = 1,2,...,/л,у#р,то в матрице Т следует оставить один из столбцов (/ или р).

3. Если >/,>,,( = 1,2,...,«,_/то р-н столбец (положение) следует исключить из матрицы Г(р-й столбец поглощаетсяу-м столбцом).

Во второй главе приведен способ синтеза оптимальных условных алгоритмов идентификации состояния знаний на основе метода динамического программирования (МДП).

Введем обозначения: р(е/) - априорная вероятность состояния знаний еР причем О <р(е^ < 1, а С(хо, б/) - цена пути в графе алгоритма из корневой вершины х0 в в) (суммарные затраты времени на идентификацию состояния знаний ер

j=l,...,N), тогда математическое ожидание затрат на обход графа б (суммарные затраты времени на идентификацию всех состояний знания еу, у=1,...,Лг) (критерий оптимальности) условного алгоритма идентификации состояний знания студента равно

В главе рассмотрен способ преобразования некоторого исходного вопросника для идентификации состояния знаний в оптимальный.

Оптимальный вопросник G0 для идентификации N состояний знания при помощи заданий с основаниями к„, и затратами с, является деревом с корнем х0 и числом висячих вершин N, в котором внутренним вершинам х, расположенным в порядке неубывания относительно рангов г(х), соответствуют веса р(х) в порядке невозрастания, а цены путей С(х0,х) - в порядке неубывания. В оптимальном вопроснике <70 вопросы х располагаются в порядке неубывания затрат с(х) и невозрастания оснований к(х). Оптимальные вопросники используются для определения нижней границы затрат.

В главе приведен алгоритм синтеза оптимальных реализуемых вопросников для выявления состояний знания на основе МДП для программных систем анализа и контроля знаний. Вопросник для определения состояния знаний, каждое задание которого из множества X принадлежит одновременно и множеству U допустимых заданий (XclJ), называется реализуемым.

Рассмотрен пример синтеза оптимального реализуемого вопросника на основе МДП (число положений теории информации и кодирования - 4, число вопросов - 4, табл. 1) для случая, когда неусвоенным может быть лишь одно положение. При этом возможными состояниями знаний студента являются: е0, еь еъ е3, и е4, где е0 - состояние, когда студент знает все четыре положения; е, -состояние, когда студент не знает только i-e положение (/=1,2,3,4).

На основе табл. 1 составлена таблица «состояния знания - ответы на вопросы», а по ней синтезирован оптимальный вопросник с корнем í, и с математическим ожиданием затрат на обход, равным 24,57 мин. (рис.1). Отметим, что в случае безусловных алгоритмов это время равно сумме времён ответа на четыре вопроса - 47,3 мин, т.е. использование оптимального условного алгоритма обеспечивает сокращение времени работы программной системы при идентификации примерно на 48%.

Автором предложена модель синтеза оптимальных условных алгоритмов идентификации состояний знания обучаемого (студента) на основе МВГ. Он основан на определении нижней (при минимизации) или верхней (при максимизации) границы целевой функции оптимизации. В качестве целевой функции при синтезе алгоритмов определения состояния знаний используем время их реализации. В силу этого МВГ сводится к определению нижней границы требуемого времени идентификации структуры знаний. При этом в качестве нижней границы (НГ) критерия оптимальности (например, математического ожидания затрат на обход графа) можно использовать математическое ожидание затрат на обход вопросника, который может быть и

, 17,63 0,83

0,12

6,92 нереализуемым.

1,0 На основе МДП оптимальный

1 реализуемый вопросник

синтезировался снизу вверх - от висячих вершин (состояний знания) к нулевой. Синтез оптимального реализуемого вопросника на основе МВГ осуществляется сверху вниз - от нулевой вершины (корня) к висячим.

В соответствии с алгоритмом синтеза оптимального вопросника составим два списка: 1) априорных вероятностей или весов состояний знания (висячих вершин) и 2) пар оснований и затрат для заданий. Список 1 в случае полной идентификации содержит Л'а априорных вероятностей состояний знания или весов идентифицируемых множеств Ва, а в случае неполной идентификации - с!а сумм априорных вероятностей или весов состояний знания подмножеств Е^, /*=1 ,...,с1а. Для составления списка 2 необходимо рассчитать число заданий |Ха| с наибольшими основаниями и наименьшими затратами из заданий в Та, которое требуется для синтеза оптимального вопросника с 7Уа (или ¿4) висячими вершинами.

Для этого основания заданий из Та следует расположить в порядке невозрастания Л, > А',+1, а из полученного ряда взять первые Ь чисел так, чтобы выполнялось условие

ь

(*,-!)+1.

1 = 1

Если имеет место неравенство, то из последнего 6-го основания следует вычесть число а > О, обеспечивающее равенство ь-1

(*,-1) + (*.

0,03

Рис. 1. Граф оптимального условного алгоритма идентификации состояния знаний

Естественно, что Ь=\Ха\. Теперь из затрат для заданий из Та возьмем Ь наименьших затрат. Таким образом формируется список 2.

На рис. 2 приведены этапы и шаги синтеза оптимального условного алгоритма выявления состояния знаний на основе МВГ для того же примера, что и в МДП. Оптимальные вопросники на основе МДП и МВГ совпадают (рис. 1). Программная система реализации условного алгоритма, синтезированного по МВГ, позволяет сократить среднее время выявления состояния знаний обучаемого (студента) по разделу Теории информации и кодирования примерно в два раза по сравнению с безусловным алгоритмом.

Рис. 2. Этапы и шаги синтеза оптимального вопросника по МВГ.

В третьей главе сначала рассматриваются способы анализа одноступенчатых планов четырех- и пятибалльного ККЗ. Предложены приближённые методы синтеза экономичных одноступенчатых и последовательных планов ККЗ при отсутствии и наличии ошибок в измерениях. При наблюдении результатов познавательной деятельности обучаемого принципиально возможно выставление оценок «зачтено» и «не зачтено» без контроля.

Однако эти решения связаны с определенными потерями. Эти потери могут быть представлены двумя линейными функциями от степени неподготовленности Р:

У'(Р)=а\+Ь\Р - потери при принятии гипотезы Н| ( «зачтено» ) без контроля, Уг (Р)=а2+ЬгР - потери при принятии гипотезы Н2 («не зачтено») без контроля, причем:

я, < а2 из-за К,'(0) < К2*(0), а2+Ь2 < ах+Ь\ из-за К1*(1)=д1+й1 > а2+^2=^2*(1)-Точку пересечения Р0' прямых можно определить в виде решения уравнения У\ (Р)=У2*(Р):

К = а-^г » 0<ро<1-ъ, -ь2

Вероятность ошибки Р0 можно назвать граничным качеством подготовки. Если известно Р<Ро , то обучаемому без контроля может быть выставлена

оценка «зачтено». При известном значении Р и Р > Р0* без контроля обучаемому может быть выставлена оценка «не зачтено».

Обычно значение Р неизвестно и оценка выставляется по ответам на выборку вопросов по плану с оперативной характеристикой (ОХ) Ь (/'). Проведение такого контроля сопряжено с некоторыми затратами, пропорциональными, например, объему выборки вопросов п: С(п)=пс1^с12, где с1\ > 0, (¡2 > 0, причем (1\ - затраты, связанные с заданием одного вопроса/задачи. Следовательно, математическое ожидание затрат составит:

У'(Р) = (а1 + ¿,Р)ГИ + (а2 + Ь2Р^ - «Л, + с1,,

Путем рационального выбора числа задаваемых вопросов п и максимально допустимого числа ошибок с для получения оценки «зачтено» эти потери могут быть минимизированы.

Автором предложены приближённые способы синтеза одноступенчатых планов ККЗ, состоящих в определении параметров п и с плана. Если ОХ ¿„ с (Р) одноступенчатого плана КЗ биномиального типа, то при безошибочном распознавании истинности ответов с ошибками справедливо следующее приближённое решение для определения объема выборки вопросов п и максимально допустимого числа ошибок с для получения оценки «зачтено» с использованием результатов ван дер Вардена:

с\Ро)в 0,\93Р0'[Р0'(1-Ро)]тсГ2'3 -0,5, п'(Ро) = (с\Р0')+0,5)/Ро, где

(Ь-ь,)

относительные затраты, связанные с заданием одного вопроса/задачи и проверкой соответствующего ответа.

При распознавании истинности ответов с ошибками параметры экономичного одноступенчатого плана ККЗ определяются по тем же соотношениям путем подстановки граничного качества подготовки при наличии искажений в распознавании истинности ответов.

Предложены методы синтеза экономичных последовательных планов ККЗ. Последовательный план ККЗ (Р\, а, Р2, Р) определяется параметрами:

Р1 - максимальная степень неподготовленности (вероятность неправильного ответа на вопрос) студента, когда ещё принимается гипотеза Н| -(«зачтено»), а - риск недооценки знаний студента, Р2 - минимальная степень неподготовленности (вероятность неправильного ответа на вопрос) студента, когда уже принимается гипотеза Я2 («не зачтено»), Р - риск переоценки знаний студента.

В работе показано, как определяются эти параметры в зависимости от параметров функций потерь V' (Р) и У2" (Р) и относительных затрат й, связанных с заданием одного вопроса и анализа ответа на него.

Экономичные одноступенчатые и последовательные планы ККЗ позволяют повысить эффективность программных систем контроля знаний в

реализациях электронного, дистанционного образования и ЭОР.

В четвертой главе рассматривается диалоговая система «Анализ и синтез планов компьютерного контроля знаний», разработанная в ходе диссертационного исследования. В табл. 2 реализованные методы обозначены плюсом (+), разработанные, но не реализованные - минусом (-). Обозначения: ОП, ДП и ПП - одно-, двухступенчатый и последовательный план.

Таблица 2

ОП ДП ПП

ДКЗ А чкз Б ПКЗ В ДКЗ г ДКЗ д

Не экономичные Анализ 1 + + + +

Синтез 2 + — _ ■

Экономичные Синтез 3 + _ _ _ +

Методы 1А, 1Г, 2А и 2Д реализованы проф. Свиридовым А.П., асп Лапиным В.А., методы ЗА, ЗД - проф Свиридовым А.П., асп. Немсцверидзе З.Ш., методы 1 Б, 1В - проф. Свиридовым А.П., асп. Лапиным В.А., асп. Немсцверидзе З.Ш. «Язык»: русский (по умолчанию), немецкий. Вид главного меню приведен на рис.3.

Приведены практические примеры использования диалоговой системы для синтеза экономичных и не экономичных одноступенчатых и последовательных планов ДКЗ. Пример исходных данных:

• штраф за выставление оценки «зачтено» без контроля студенту, не усвоившему весь учебный материал (для него Р= 1), - 10000 УЕ;

• штраф за выставление оценки «не зачтено» без контроля студенту, усвоившему весь учебный материал (для него Р=0), - 2000 УЕ;

• премия за выставление оценки «зачтено» без контроля студенту, усвоившему весь учебный материал (для него Р=0), - 4000 УЕ;

• премия за выставление оценки «не зачтено» без контроля студенту, не усвоившему весь учебный материал (для него Р= 1), - 0 УЕ;

• стоимость задания одного вопроса и анализа ответа на него: <^=16 УЕ.

Рис. 3. Вид меню программы.

Для данных условий экономичные одноступенчатые планы: при

безошибочном распознавании истинности - (12,4), а при наличии искажений (например, при использовании выборочного способа ввода ответов со средним числом возможных ответов на вопрос 5=4) - (12,3). Приведены и экономичные последовательный планы

Далее в главе представлена система дистанционного обучения по курсу «Администрирование сетевых систем», приведены примеры разработанных автором программ ККЗ и планов двухбалльного и четырехбалльного ККЗ. Для используемых планов на основе разработанной диалоговой системы определены основные характеристики: оперативные характерисчтики, средние числа задаваемых вопросов, а также средняя оценка в зависимости от степени неподготовленности обучаемого. Приведены также примеры выборки вопросов для одной из программ контроля по лабораторному практикуму ряда учебных дисциплин для совместного проекта РГСУ и SRH-Высшей школы Гейдельберга, получившего третью премию в Международном конкурсе «xplore New Automation Award 2005» фирмы Phoenix Contact (составлена вместе с асп. Лапиным В.А.), а также основные характеристики планов ККЗ для совместного проекта.

В заключительной части главы представлены основные результаты практического использования предложенных моделей и методов проектирования программных систем анализа и контроля знаний. Оптимальный условный алгоритм, синтезированный по МВГ, обеспечил повышение эффективности программной системы по разделу теории информации и кодирования на 48% по сравнению с безусловным алгоритмом. Можно предположить, что и в аналогичных задачах будет получен примерно тот же результат.

Повышение эффективности программных систем анализа и контроля знаний реализаций электронного, дистанционного образования и ЭОР обеспечивают и способ упрощения таблиц покрытия учебного материала контрольными заданиями и предложенные модели и методы синтеза экономичных одноступенчатых и последовательных планов ККЗ.

В приложениях приведены копии актов о внедрении результатов диссертационной работы, грамота о присуждении третьего места, примеры вопросников и таблиц покрытия учебного материала контрольными заданиями по компьютерному учебному курсу «Администрирование сетевых систем». Основные выводы по результатам исследования:

1. Выполненный анализ моделей и методов проектирования и анализа алгоритмов и программ идентификации структуры и контроля знаний известных отечественных и зарубежных систем электронного, дистанционного обучения, ЭОР и средств их создания выявил целесообразность их дополнения безусловными и условными алгоритмами выявления структуры знаний студента. Учёт вероятностей различных состояний знаний, а также времени предъявления вопроса и ответа на него позволяет сократить среднее время определения состояния знаний студента.

2. Разработана модель синтеза условных алгоритмов идентификации

состояний знания методом ветвей и границ, позволяющих повысить эффективность программных систем анализа и контроля знаний до 50% по сравнению с безусловными алгоритмами.

3. Разработаны приближённые методы синтеза экономичных одноступенчатых и последовательных планов компьютерного контроля знаний, повышающих эффективность программных систем анализа и контроля знаний. Приведены примеры экономичных планов контроля знаний.

4. Разработан способ сокращения размерности таблиц покрытия положений учебного материала контрольными заданиями, обеспечивающий снижение затрат ресурсов памяти и длительности контроля знаний

5. На основе предложенных автором приближённых методов синтеза экономичных одноступенчатых и последовательных планов ККЗ при отсутствии и наличии искажений в распознавании истинности ответов реализована диалоговая система «Анализ и синтез планов компьютерного контроля знаний».

6. Разработаны программы и планы контроля по компьютерному учебному курсу «Администрирование сетевых систем», а также программа и планы контроля по теории автоматического регулирования для совместного проекта РГСУ и SRH- Высшей школы Гейдельберга, получившего 3-ю премию на Международном конкурсе фирмы Phoenix Contact (Бломберг, ФРГ).

3. ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Немсцверидзе З.Ш. Компьютерное диагностирование качества подготовки специалистов по проектированию и технологии электронных средств и систем // Проектирование и технология электронных средств, Владимир: ВГУ, 2008, N 4, с. 76-81.

2. Свиридов А.П., Немсцверидзе З.Ш. Компьютерное диагностирование качества образования // Качество. Инновации. Образование, М.:, 2009, N 10, с.10-13.

3. Немсцверидзе З.Ш. Методы анализа и синтеза планов компьютерного контроля знаний и обработка ошибок 1-го и 2-го рода //Учёные записки РГСУ, М.: Изд-во РГСУ, 2008, N 5 (61), с. 149-155.

4. Немсцверидзе З.Ш. Современные технологии дистанционного обучения // Вторая межрегиональная научно-практическая конференция «Наука и молодёжь в XXI веке», Троицк: Изд-во «Ранж», 2004, - с. 40-42.

5. Лапин В.А., Немсцверидзе З.Ш., Свиридов А.П. Нечёткие экспертные системы и нейронные сети: учебное пособие//Российский государственный социальный университет, М.: Изд-во РГСУ, 2008, с. 108.

6. Лапин В.А., Немсцверидзе З.Ш., Нечаев В.В., Свиридов А.П. Нейронные сети и нейросетевые технологии: учебное пособие // Московский государственный институт радиотехники, электроники и автоматики (технический университет), М.: Изд-во МИРЭА, 2008, с. 98.

7. Лапин В.А., Немсцверидзе З.Ш., Свиридов А.П. Система анализа и синтеза планов компьютерного контроля и диагностирования знаний: 57 Научно-техническая конференция, Сборник трудов, проблемы высшего образования, часть 5 // Московский государственный институт радиотехники, электроники и автоматики (технический университет), М.: Изд-во МИРЭА, 2008, с. 102-106.

8. Лапин В.А., Немсцверидзе З.Ш., Свиридов А.П., Симонов В.Л. Нейропакет JavaNNS: лабораторный практикум по нейросетям, нейрокомпьютерам и нейро-нечетким системам // Российский государственный социальный университет, М.: Изд-во РГСУ, 2009, с. 148.

9. Лапин В.А., Немсцверидзе З.Ш., Свиридов А.П. Нейросети, нейрокомпьютеры и нейро-нечеткие системы: лабораторный практикум на основе нейропакета JavaNNS // Московский государственный институт радиотехники, электроники и автоматики (технический университет), М.: Изд-во МИРЭА, 2009, с. 145.

Ю.Лапин В.А., Немсцверидзе З.Ш., Свиридов А.П. Выборочные планы компьютерного контроля качества образования: анализ и синтез // Российский государственный социальный университет, М.: Изд-во РГСУ, 2009, с. 94-100.

П.Лапин В.А., Немсцверидзе З.Ш., Свиридов А.П. Система анализа и синтеза планов компьютерного контроля и диагностирования знаний // Российский государственный социальный университет, М.: Изд-во РГСУ, 2009, с. 152-153.

12.Немсцверидзе З.Ш., Свиридов А.П. Качество образования: методы компьютерного диагностирования // Российский государственный социальный университет, М.: Изд-во РГСУ, 2009, с. 87-94.

13.Немсцверидзе З.Ш., Свиридов А.П. Компьютерное диагностирование знаний на основе безусловных и условных алгоритмов // Московский государственный институт радиотехники, электроники и автоматики (технический университет), М.: Изд-во МИРЭА, 2009, с. 68-72.

14.Свиридов А.П., Лапин В.А., Немсцверидзе З.Ш., Слесарева H.A. Тестовые методы контроля знаний и диалоговая система их реализации // РГСУ, Десятые ежегодные научные чтения. Сб. статей, 2010.-С.133-137

Немсцверидзе Зураб Шамильевич

МОДЕЛИ И МЕТОДЫ ПРОЕКТИРОВАНИЯ ПРОГРАММНЫХ СИСТЕМ АНАЛИЗА И КОНТРОЛЯ ЗНАНИЙ

Специальность 05.13.11 -Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание ученой степени кандидата технических наук

Научный руководитель: доктор технических наук, профессор Свиридов Александр Петрович

Изготовление оригинал-макета: Немсцверидзе Зураб Шамильевич

Подписано в печать: 25.05.2010

Заказ № 3495 Тираж -100 экз. Формат 60*84/8. Бумага типографская N 2. Печать - ризография. Типография «11-й ФОРМАТ» ИНН 7726330900 115230, Москва, Варшавское ш., 36 (499) 788-78-56 www.autoreferat.ru

ОСНОВНЫЕ ТЕРМИНЫ, ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

ВВЕДЕНИЕ

1. АНАЛИТИЧЕСКИЙ ОБЗОР СИСТЕМ ДИСТАНЦИОННОГО ОБРАЗОВАНИЯ И МЕТОДОВ КОНТРОЛЯ КАЧЕСТВА ОБРАЗОВАНИЯ

1.1 Системы дистанционного образования

1.2. Анализ систем электронного обучения (табл. 1.2)

1.3. Методы контроля состояния знаний и готовности к деятельности. Безусловные алгоритмы компьютерного контроля качества образования

1.3.1. Основные понятия и модели контроля состояния знаний и готовности к деятельности

1.3.2. Применение планов контроля при компьютерном контроле состояния знаний

1.4. Безусловные алгоритмы компьютерного контроля качества образования

1.4.1. Правила упрощения таблиц покрытия учебного материала контрольными заданиями

1.4.2. Синтез оптимальных безусловных алгоритмов контроля методом ветвей и границ

1.4.3. Пример синтеза безусловного алгоритма компьютерного контроля знаний 37 Выводы по первой главе

2. СИНТЕЗ ОПТИМАЛЬНЫХ УСЛОВНЫХ АЛГОРИТМОВ КОМПЬЮТЕРНОГО КОНТРОЛЯ КАЧЕСТВА ОБРАЗОВАНИЯ

2.1. Синтез оптимальных условных алгоритмов контроля знаний методом динамического программирования

2.2. Синтез оптимальных вопросников для контроля состояний знания

2.2.1. Понятие вопросника для выявления состояния знаний

2.2.2. Отображение вопросника для компьютерного контроля графом

2.2.3. Способ преобразования некоторого исходного вопросника для выявления состояний знания в оптимальный

2.3. Синтез оптимальных реализуемых вопросников для выявления состояний знания методом динамического программирования

2.3.1. Последовательность операций синтеза оптимального реализуемого вопросника для контроля состояний знания

2.3.2. Пример синтеза оптимального реализуемого вопросника для компьютерного контроля состояний знания методом динамического программирования.

2.4. Синтез оптимальных условных алгоритмов компьютерного контроля состояний знания методом ветвей и границ

2.4.1. Синтез оптимальных реализуемых вопросников

2.4.2. Пример синтеза оптимального реализуемого вопросника для компьютерного контроля знаний методом ветвей и границ

Выводы по второй главе

3. ЧЕТЫРЁХ- И ПЯТИБАЛЛЬНЫЙ КОНТРОЛЬ И ЭКОНОМИЧНЫЕ ПЛАНЫ КОНТРОЛЯ КАЧЕСТВА ОБРАЗОВАНИЯ

3.1. Четырёх- и пятибалльный контроль знаний

3.1.1. Оперативные характеристики

3.1.2. Графический анализ одноступенчатого плана четырехбалльного контроля знаний на основе номограмм Ларсона

3.1.3. Реализация психометрической функции педагога/эксперта адаптивной обучающей или поддерживающей системой

3.1.4. Пример определения оперативных характеристик усеченного одноступенчатого плана пятибалльного компьютерного контроля знаний

3.2. Оптимальные экономичные одноступенчатые и последовательные планы контроля результатов познавательной и иной деятельности при отсутствии и наличии ошибок в измерениях

3.2.1. Простые (одноступенчатые) планы двухбалльного контроля знаний

3.2.2. Оптимальные экономичные последовательные планы контроля знаний 107 Выводы по третьей главе

4. ОПИСАНИЕ РАБОТЫ СИСТЕМЫ ДИСТАНЦИОННОГО ОБУЧЕНИЯ ПО КУРСУ

АДМИНИСТРИРОВАНИЕ СЕТЕВЫХ СИСТЕМ»

4.1. Системные требования

4.1.1. Требования к рабочему месту клиента

4.1.2. Требования к серверу

4.2. Структура папок и расположение на сервере

4.3. Запуск программы

4.4. Диалоговая система «Анализ и синтез планов компьютерного контроля знаний»

4.4.1. Общий порядок функционирования

4.4.2. Задание конкретных показателей

4.4.3. Работа с меню

4.5. Работа программы при анализе и синтезе планов контроля

4.6. Описание основных методов, процедур, функций, переменных и файлов.

4.7. Практическое использование программы

4.7.1. Анализ одноступенчатого плана четырехбалльного контроля знаний с учетом ошибок в распознавании истинности ответов.

4.7.2. Синтез экономичных одноступенчатых и последовательных планов двухбалльного компьютерного контроля знаний

Выводы по четвертой главе

В настоящее время и в перспективе развитие системы образования и её соответствие требованиям в значительной степени определяется и будет определяться состоянием и качеством алгоритмов и программ систем электронного, дистанционного образования, электронных образовательных ресурсов (ЭОР), методами проектирования и анализа алгоритмов и программ для них, учётом индивидуальных характеристик и потребностей студентов и пользователей.

В России и мире динамично развивается система образовательных порталов. Среди международных проектов можно выделить: 1) Консорциум Open Courseware (OCW) (свыше 100 университетов США, Австралии, Канады и др.); 2) Open Education Recourse Commons (OER); 3) глобальный виртуальный университет в рамках Университета ООН и др.

Создано значительное число автоматизированных обучающих систем и инструментальных средств проектирования ЭОР: 1) Отечественные - БиГОР (База и генератор образовательных ресурсов), Магистр 2008, СДТ RedClass, Прометей, Дельфин и др. и 2) зарубежные (WebCT, Microsoft class server, Adobe acrobat connect, Moodle, Lersus, и др.).

Важнейшими составляющими этих систем являются алгоритмы и программы управления процессом усвоения знаний, организации компьютерного контроля и самоконтроля, выявления структуры знаний студентов и/или пользователей. Их совершенствование - актуальное направление исследований в области систем электронного, дистанционного образования и ЭОР.

Разработке моделей и методов проектирования и анализа алгоритмов и программ компьютерного выявления структуры и контроля знаний посвящены работы И.А. Башмакова, JI.C. Болотовой, B.C. Жданова, Д.О. Жукова, В.В. Нечаева, И.П. Норенкова, Б.М. Позднеева, А.Я. Савельева, А.П. Свиридова,

Н.А. Селезнёвой, А.И. Субетто, Н.Ф. Талызиной, А.Н. Тихонова и др. Среди зарубежных авторов следует отметить работы А. Бирнбаума (Birnbaum), Ф. Бодендорфа, Э Вагнера, А. Кобзы, К Кубингера, Ф. Лорда, Дж. Раша, Е. Рича, Р. Вилленски и др.

Однако при проектировании и анализе алгоритмов и программ выявления структуры и контроля знаний не учитываются экономические показатели при синтезе планов контроля, реально не используются безусловные и условные алгоритмы компьютерного выявления структуры знаний, отсутствует программная реализация методов анализа и синтеза планов компьютерного контроля знаний (ККЗ). Решению этих актуальных проблем посвящено данное диссертационное исследование.

Цели и задачи работы

Целью исследования является разработка моделей и методов синтеза экономичных планов ККЗ и условных алгоритмов выявления структуры знаний для систем электронного, дистанционного образования и ЭОР.

Задачи исследования:

1. Выполнить аналитический обзор методов проектирования и анализа алгоритмов и программ выявления структуры и контроля знаний известных отечественных и зарубежных систем электронного, дистанционного образования и ЭОР с целью определения нерешённых проблем.

2. Разработать модель синтеза условных алгоритмов идентификации состояния знаний обучаемых (студентов).

3. Разработать приближенные методы синтеза экономичных одноступенчатых и последовательных планов ККЗ при учёте: 1) стоимости задания одного вопроса и анализа ответа на него и 2) потерь при выставлении оценок «зачтено» и «не зачтено» без контроля.

4. Разработать способ упрощения таблиц покрытия положений учебного материала контрольными заданиями, обеспечивающий сокращение затрат ресурсов памяти и длительности контроля знаний.

5. Реализовать диалоговую систему «Анализ и синтез планов компьютерного контроля знаний» на основе предложенных автором приближенных методов синтеза экономичных одноступенчатых и последовательных планов ККЗ при отсутствии и наличии искажений в распознавании истинности ответов.

Теоретико-методологическую основу исследования составляют теория принятия решений, теория графов, техническая диагностика, вероятностно-статистические методы.

Достоверность и обоснованность подтверждается: 1) согласованностью с имеющимися результатами других авторов, 2) корректностью выводов математических зависимостей в описании разработанных методов и 3) экспериментальными исследованиями системы дистанционного обучения по курсу "Администрирование сетевых систем" и диалоговой системы "Анализ и синтез планов компьютерного контроля знаний".

В ходе исследования была решена научная задача создания методов синтеза условных алгоритмов идентификации состояний знания студента и экономичных планов контроля знаний для проектирования программных систем.

Отличие теоретических и эмпирических данных исследования от результатов, полученных другими авторами, состоит в том, что были предложены способы синтеза условных алгоритмов идентификации состояний знаний студентов методом ветвей и границ (МВГ) для двух случаев: без ограничения и с ограничениями среднего времени идентификации.

Теоретическая значимость исследования. Разработаны: 1) метод синтеза условных алгоритмов идентификации структуры знаний студента на основе МВГ, позволяющих повысить эффективность разрабатываемой

10 программной системы анализа и контроля знаний, и 2) методы синтеза экономичных одноступенчатых и последовательных планов контроля знаний, обеспечивающих сокращение среднего времени контроля знаний.

Практическая значимость исследования заключается в создании метода синтеза условных алгоритмов выявления структуры знаний, требующих примерно в два раза меньше времени реализации по сравнению с безусловными алгоритмами, и методов синтеза экономичных планов ККЗ для программных систем электронного, дистанционного образования и инструментальных средств проектирования ЭОР. Она состоит и в создании диалоговой системы "Анализ и синтез планов компьютерного контроля знаний" (на русском и немецком языках). Система зарегистрирована во ВНТИЦ, регистрация №50201000377 от 17.03.2010 г.

Апробация и внедрение результатов исследования. Основные результаты работы представлялись на следующих конференциях и семинарах: Вторая межрегиональная научно-практическая конференция «Наука и молодёжь в XXI веке», г. Троицк, 2004; III Всероссийский научно-педагогический конгресс «Воспитательная работа в современном вузе: проблемы, направления и пути совершенствования», Российский государственный социальный университет (РГСУ), г. Москва, 2003; Презентация совместного проекта РГСУ и SRH-Высшей школы Гейдельберга на Международном конкурсе «xplore New Automation Award 2005» фирмы Phoenix Contact, г. Blomberg, 2005; Научные чтения «Социология и информационные технологии в XXI веке», РГСУ, г. Руза (01.2006); 55-я научно-техническая конференция, Московский государственный институт радиотехники, электроники и автоматики (технический университет) (МИРЭА), г. Москва, 2006; VI Международный социальный конгресс «Глобализация и будущее России», РГСУ, г. Москва, 2006; Зимние научные чтения «Информационные технологии и коммуникационные ресурсы XXI в. в социальной сфере», РГСУ, г. Руза, 2007; 56-я научно-техническая конференция,

МИРЭА, г. Москва, 2007; VII Всероссийский социально - педагогический конгресс «Современной социальное образование: опыт и проблемы модернизации», РГСУ, г. Москва, 2007; Зимние научные чтения «Технологии информатизации современного российского социума», РГСУ, г. Руза, 2008; 57-я научно-техническая конференция, МИРЭА, г. Москва, 2008; 58-я научно-техническая конференция, МИРЭА, г. Москва, 2009; Зимние научные чтения «Современные информационные технологии: теория и социальная практика», РГСУ, г. Руза, 2009; 59-я научно-техническая конференция, МИРЭА, г. Москва, 2010.

Результаты диссертационной работы: внедрены в учебный процесс кафедры моделирования информационных систем и сетей РГСУ как на стадии изучения отдельных дисциплин («Нейросети и нейрокомпьютеры», «Нейро-нечеткие системы и технологии», «Системы искусственного интеллекта» и др.), читаемых для студентов специальностей «Автоматизированные системы обработки информации и управления» и «Программное обеспечение автоматизированных систем и вычислительной техники», так и при проведении ККЗ; внедрены в рамках совместного проекта РГСУ и SRH-Высшей школы Гейдельберга (Германия) (третья премия на Международном конкурсе xplore New Automation Award 2005 фирмы Phoenix Contact г. Blomberg, Германия); практически использованы в госбюджетном научно-исследовательском проекте «Гуманизация и интеллектуализация информационных технологий и систем социального, гуманитарного и политехнического образования» в рамках аналитической ведомственной целевой программы Минобрнауки РФ «Развитие научного потенциала высшей школы (2009-2010 годы)».

Публикации. Основные результаты диссертационного исследования опубликованы в 14 печатных работах, из них 2 статьи в журналах, рекомендованных ВАК РФ.

Структура диссертации: диссертационная работа состоит из введения, четырёх глав, заключения и списка литературы из 75 наименований. Общий объём основного текста составляет 143 страницы, в том числе 64 рисунка и 29 таблиц.

Выводы по четвёртой главе

В данной главе получены следующие основные результаты:

Рассмотрена система дистанционного обучения по курсу «Администрирование сетевых систем». Для неё разработана программа контроля успешности усвоения знаний по нескольким главам.

Приведён пример выборки вопросов для программы контроля знаний по лабораторному практикуму совместного проекта РГСУ и SRH-Высшая школа Гейдельберга, получившего третью премию на Международном конкурсе xplore New Automation Award 2005 фирмы Phoenix Contact, лабораторный практикум предназначен для следующих учебных дисциплин: техника регулирования/управления, техника автоматизации, сенсорика / акторика, микропрограммное управление, техника управления с визуализацией процессов, идентификация и автоматизация процессов, теория автоматического регулирования и управления.

Рассмотрены основные методы анализа и синтеза планов компьютерного контроля знаний, реализованные в разработанной диалоговой системе «Анализ и синтез планов компьютерного контроля знаний» (разработчики: проф.

A.П. Свиридов, асп. В.А. Лапин, З.Ш. Немсцверидзе):

Методы анализа одно-, двухступенчатых и последовательных планов двухбалльного ККЗ и реализованными проф. А.П. Свиридовым, и асп.

B.А. Лапиным,

Методы синтеза экономичных одноступенчатых и последовательных планов двухбалльного ККЗ реализованы проф. А.П. Свиридовым, и асп. З.Ш. Немсцверидзе,

Методы анализа одноступенчатых планов четырёх- и пятибалльного ККЗ разработаны А.П. Свиридовым, асп. В.А. Лапиным и асп. З.Ш. Немсцверидзе,

При анализе планов ККЗ для заданного плана определяются его основные количественные характеристики: оперативные характеристики, отображающие зависимости вероятностей выставления различных оценок от степени неподготовленности обучаемого (студента), среднее число задаваемых вопросов в зависимости от степени неподготовленности обучаемого, зависимость средней оценки от степени неподготовленности обучаемого (реализация психометрической функции педагога), реализованы два подхода к синтезу планов двухбалльного ККЗ: По двум точкам оперативной характеристики плана и с учётом экономических показателей потери при выставлении оценок «зачтено» и «не зачтено» и стоимости задания одного вопроса и анализа ответа на него.

Рассмотрен общий порядок функционирования диалоговой системы и приведены примеры её практического применения, программный комплекс зарегистрирован во ВНТИЦ, регистрация №50201000377 от 17.03.2010 г.

Заключение

Выполненный анализ методов проектирования и анализа алгоритмов и программ идентификации структуры и контроля знаний известных отечественных и зарубежных систем электронного, дистанционного обучения, ЭОР и средств их создания выявил целесообразность их дополнения безусловными и условными алгоритмами выявления структуры знаний студента. Учёт вероятностей различных состояний знаний, а также времени предъявления вопроса и ответа на него позволяет сократить среднее время определения состояния знаний студента.

Разработана модель синтеза условных алгоритмов идентификации состояний знания методом ветвей и границ, позволяющих повысить эффективность программных систем анализа и контроля знаний до 50% по сравнению с безусловными алгоритмами.

Разработаны приближённые методы синтеза экономичных i одноступенчатых и последовательных планов компьютерного контроля знаний, повышающих эффективность программных систем анализа и контроля знаний. Приведены примеры экономичных планов контроля знаний.

Разработан способ сокращения размерности таблиц покрытия положений учебного материала контрольными заданиями, обеспечивающий снижение затрат ресурсов памяти и длительности контроля знаний

На основе предложенных автором приближённых методов синтеза экономичных одноступенчатых и последовательных планов ККЗ при отсутствии и наличии искажений в распознавании истинности ответов реализована диалоговая система "Анализ и синтез планов компьютерного контроля знаний".

Разработаны программы и планы контроля по компьютерному учебному курсу «Администрирование сетевых систем», а также программа и планы контроля по теории автоматического регулирования для совместного проекта

РГСУ и SRH- Высшей школы Гейдельберга, получившего 3-ю премию на Международном конкурсе фирмы Phoenix Contact (Бломберг, ФРГ).

1. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем, М.: Информационно-издательский ДОМ «ФИЛИНЪ», 2003, -616 с.

2. Беляев, Ю.К., Выборочные методы контроля. М.: Изд-во Наука, 1975.

3. Беспалько В.П. Образование и обучение с участием компьютера (педагогика третьего тысячелетия), М.: Изд-во Московского психолого-социального института, 2002.

4. Болотов В.А., Ефремов Н.Ф. Система оценки качества российского образования // Педагогика, №1, М.: 2006, с. 22-31.

5. Бондин О.А. Сборник программных задач по курсу Теория автоматического управления Часть I. Линейные непрерывные системы автоматического регулирования (уравнения, основные характеристики, устройства), М.: Изд-во МЭИ, 1964, -184 с.

6. Долганюк В.А. Компьютерный учебный курс «Администрирование сетвых систем», М.: МИРЭА, 2006.

7. Ефремова Н.Ф., Корсунова Е.Ф. Независимое оценивание как инструмент формированиякомпетенций обучающихся // Педагогика, N 7, 2009, с. 57137

8. Зимняя И.А. (ред.). Становление ключевых социальных компетентностей на разных уровнях образовательной системы (дискутивная характеристика как база оценивания), М.: Исследовательский центр проблем качества подготовки специалистов, 2006.

9. Концепция общероссийской системы оценки качества образования (проект, версия 02.02.08, вторая редакция), http://ege.edu.ru, 2008.

10. Миттаг Х.И., Ринне X. Статистические методы обеспечения качества, пер. с нем., М.: Изд-во Машиностроение, 1995, -616 с.

11. Моисеев В.Б., УсмановВ.В., Таранцева К.Р., Пятирублевый Л.Г. Статистический подход к принятию решения по результатам тестирования для тестов закрытой формы // Открытое образование, №4, 2001, с. 37-42.

12. Нечаев В.В., Свиридов А.П., Панченко В.М., Лапин В.А., Немсцверидзе З.Ш. и др. Нейронные сети и нейросетевые технологии. Учебное пособие, М.:МИРЭА, 2008, -98 с.

13. Нечаев В.В., Свиридов А.П., Панченко В.М., Лапин В.А., Немсцверидзе З.Ш. и др. Нейронные сети, нейрокомпьютеры и нейро-нечеткие системы: лабораторный практикум на основе нейропакета JavaNNS. Научн. ред. Свиридов А.П., М.: МИРЭА, 2009, -144 с.

14. Норенков И.П.,Зимин A.M. Информационные технологии в образовании, М.: Изд-во МГТУ им. Н.Э. Баумана, 2004, -350 с.

15. Подготовка и переподготовка ИТ кадров. Проблемы и перспективы. Под ред. С.В. Коршунова, В.Н. Гузненкова, М.: Горячая линия - Телеком, 2005, -262 с.

16. Проблемы качества образования. Книга 5. Управление качеством образования // Материалы XIV Всероссийского совещания, Уфа: Исследовательский центр проблем качества подготовки специалистов, 2004, -78 с.

17. Проблемы качества образования. Книга 6. Общие проблемы качества образования // Материалы XIV Всероссийского совещания, Уфа: Исследовательский центр проблем качества подготовки специалистов, 2004. -68 с.

18. Свиридов А.П.: Программированный контроль знаний с выборочным способом ответа, В: Симпозиум N 15 Пятой Всероссийской конференции по программированному обучению и применению технических средств, -М.: Изд-во Педагогика, 1968, с. 7-16.

19. Свиридов А.П.: Ведение в статистическую теорию обучения и контроля знаний. 4.1. Стандартизированные методы контроля знаний, М.: Изд-во МЭИ, 1974, -134 с.

20. Свиридов А.П.: Обучение и самообучение обучающих и контролирующих машин, М.: Изд-во МЭИ, 1976, -182 с.

21. Свиридов А.П.: Основы статистической теории обучения и контроля знаний, М.: Изд-во Высшая школа, 1981, -262 с.

22. Свиридов А.П.: Разработка и исследование систем автоматизированного обучения на базе статистических моделей, М.: МЭИ, докт. дисс., 1984, -427 с.

23. Свиридов А.П. Нейросетевые статические и динамические модели педагогических отношений // Мульти- и телемедийные средства в образовании. М.: Изд-во МГСУ, 2002. - с. 8-16.

24. Свиридов А.П., Слесарев Д.А. Лапин В.А., Немсцверидзе З.Ш. и др.139

25. Нечеткие экспертные системы и нейронные сети. Учебное пособие. М.: РГСУ, 2008. - 110 с.

26. Свиридов А.П., Ларин В.А., Немсцверидзе З.Ш. и др. Нейропакет JavaNNS: лабораторный практикум по нейронным сетям, нейрокомпьютерам и нейро-нечетким системам. Научн. ред. Свиридов А.П. М.: РГСУ, 2009. -148 с.

27. Свиридов А.П. Статистическая теория обучения. Монография. М.: РГСУ, 2009. -576 с.

28. Селезнева Н.А.: Качество высшего образования как объект системного исследования. Лекция-доклад. Издание 3. М.: Исследовательский центр проблем качества подготовки специалистов, 2003. -95 с.

29. Соловов А.В. Электронное обучение: проблематика, дидактика, технологии. Самара: Новая техника, 2006.

30. Субетто А.И. Проблемы фувдаментализации и источников содержания высшего образования. Кострома, - М.: Исследоват. центр проблем качества подготовки специалистов, 1996, -332 с.

31. Талызина Н.Ф. Управление процессом усвоения знаний (психологические основы), 2-ое издание. М.: МГУ, 1984. -344 с.

32. Федеральный государственный стандарт общего образования: макет. Вариант №2, http://www.standart.edu.ru, 2007.

33. Хальд А. Математическая статистика с техническими приложениями. -М.: Иностранная литература, 1956.

34. Ясперс К. Смысл и назначение истории. М.: 1994.

35. Begriffe im Bereich der Qualitatssicherung, DGQ.l 1-04. Berlin: Beuth Verlag GmbH, 1987.-106 S.

36. Birnbaum A.: Some latent trait models and their use in inferring an Examinees ability. In: F.M. Lord&M.R. Novick. Statistical theories of mental test scores Reading Ma: Addison on Wesley Publishing Company, 1968.

37. Fischer G.H.: Einfuhrung in die Theorie psychologischer Tests. Bern: Huber,1401974.

38. Giegler H.: Tests und Testtheorie. In: Handbuch der Psychologie (Hrsg. R. Asanger und G. Winninger). Weinheim: Psychologie-Verlags-Union, 1992. S. 782-788.

39. Goldstein H.;Wood R.: Five decades of item response modelling. British Yornal of Mathematical&Statistical Psychology, 42, 1989. -S. 139-167.

40. Herbig M., Erven P. Sequentielle Priifplane in der padagogischen Diagnostik 11 Unterrichtswissenschaft, №1, 1975. -931 S.

41. Klauer K.J. (Hrsg.): Handbuch der Padagogischen Diagnostik, Bd. 1. -Dusseldorf: Padagogischer Verlag Schwann, 1977. -330 S.; Bd. 4. Dusseldorf: Padagogischer Verlag Schwann, 1978.

42. Kubinger K.D. (Hrsg.). Moderne Testheorie (mit einem Geleitwort van W.H. Tack). Weinheim, Miinchen: Psychologische - Verlags - Union, 1988. -310 S.

43. Larson H.R.: A Nomogramm of the Qumulative Binomial Distribution. Industrial Quality Control 23 (1966/67), S. 270-278.

44. Lienert G.A.: Testaufbau und Testanalyse. 3. Auflage. Weinheim: 1969. -599 S.

45. LindD.: Probabalistische Testmodelle in der empirischen Padagogik. -Mannheim, Leipzig, Wien, Zurich: Bl-Wiss.-Verlag, 1994.

46. Lord F.M. Novik M.R. Statistical Theories of mental Test scors, Reading Mass., 1968, Addison-Wesley.

47. Pearson K.: Tables of the incomplete Beta Funktion. London (Biometrica Office), 1934.

48. Rush G. Probubalistic models for some intelligence and attainment tests,141

49. Kopenhagen, I960. Nielsen and lydiehe the Danisch Institute for educational Research.

50. Schelten A.: Grundlagen der Testbeurteilung und Testerstellung. Heidelberg: Quelle&Meyer, 1980. -172 S.

51. Sixtl F. Sequentielles Testen in der padagogischen Diaaguostik, s. 137-144 // Klauer K.Y. (Hrsg.). Padagogische Diagnostik, Bd. 1. Dtisseldorf: Padagogischer Verlag Schwann, 1977. -330 S.

52. Sviridov A.P. WidmayerP., Oberhoff, W.-D., Unger, H. (Eds.): New Media for Education and Training in Computer Science. 2. Russian-German Symposium Moscow, Russian Federation, November, 23th-28th 1996. Sankt Augustin: Infix, 1996. -S. 204.

53. Sviridov A.P. Rechnergestutzte Kenntnis-Prufung. Dtisseldorf: Superbrain -Verlag, 2006. -434 S.

54. Tkachov F.V. From novel mathematics to efficient algorithms. Do we have proper SD foundation to build future? Tokyo, 2001. -10 S.

55. Uhlmann, W.: Statistische Qualitatskontrolle. Stuttgart: B.GTeubner, 1982 (2. Aufl.). -292 S.

56. Vogt, H.: Methoden der statistischen Qualitatskontrolle. Stuttgart: B.G. Teubner, 1988.

57. Waerden B.L.: Sequentielle Qualitatskontrolle als Minimumproblem. Ann. Math. Statistics, 4, 1965. -S. 187-202.

58. Waerden B.L.: Mathematische Statistik. Berlin, Goettingen, Heidelberg: 1971.

59. Wald A. Sequential Analysis. New York : 1947.65.http://www.winehq.org/, 2010.

60. Федеральный портал «Российское образование».http://www.edu.ru/db/portal/sites/portalpage.htm, 2009. 67.Образовательная система Прометей, http://www.prometeus.ru, 2008.

61. База и Генератор образовательных ресурсов, http://bigor.bmstu.ru, 2008.

62. Competentum. http://www.e-training.ru/index.php?sid=press&subid=160, 2009.

63. ИТ академия http://it-academy.ru/index.php?id=603, 2009. 71 .Open courseware http://www.opencoursware.tium.org, 2009.

64. Система тестирования Question Mark. http://www.e-learning.su/upload/content/content om perception 4.php, 2009.

65. Линейка продуктов RedClass. http://www.redlab.rU/m/35510/35575/index.html, 2009.

66. Stillus система поддержки открытого образования, http://stillus.rgotups.ru, 2009.

67. Викиучебник. http://ru.wikibooks.org/wiki/, 2009.