автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Методы, алгоритмы и система управления процессом обучения на основе семантико-логического анализа учебной информации

На правах рукописи

Макаров Андрей Владимирович

Методы, алгоритмы и система управления процессом обучения на основе семантико-логического анализа учебной информации

Специальность

05.13.10 - «Управление в социальных и экономических системах»

Автореферат

диссертации на соискание ученой степени кандидата технических наук

г 8 НОЯ 2013

Рязань-2013

005540718

Работа выполнена на кафедре «Физика и прикладная математика» Муромского института (филиала) ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых».

Научный руководитель:

Са.мохнн Анатолий Васильевич

доктор технических наук, профессор

Официальные оппоненты:

Белов Владимир Викторович

доктор технических наук, профессор, ФГБОУ ВПО «Рязанский государственный радиотехнический университет», профессор кафедры ВПМ

Миловзоров Александр Владимирович

кандидат технических наук, доцент, ОГБОУ ДПО «Рязанский институт развития образования», проректор по научно-исследовательской и опытно-экспериментальной работе

Ведущая организация:

ФГБОУ ВПО «Нижегородский государственный технический университет им. Р.Е. Алексеева», г. Нижний Новгород

Защита состоится 23 декабря 2013 года в 12:00 часов на заседании диссертационного совета Д 212.211.02 в ФГБОУ ВПО «Рязанский государственный радиотехнический университет» по адресу:

390005, г. Рязань, ул. Гагарина, д.59/1.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Рязанский государственный радиотехнический университет».

Автореферат разослан «¿5"» ноября 2013 года.

Ученый секретарь диссертационного совета

канд. техн. наук, доцент С0&~ Д.А. Перспелкин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы.

Современные методы и системы обработки учебной информации позволяют во многом автоматизировать процесс управления обучением. Наблюдаемый сегодня спад уровня предметной подготовленности учащихся на этапе среднего полного образования становится наиболее заметным при переходе к следующему образовательному этапу — этапу высшего профессионального образования. Недостаточный уровень предметной подготовленности студентов-первокурсников, в особенности по предметам естественнонаучного цикла, значительно осложняет усвоение ими учебного материала, предусмотренного учебным планом выбранного направления подготовки. По этой причине ВУЗы вынуждены проводить специализированную допод-готовку студентов первых курсов с тем, чтобы привести предметную подготовленность учащихся к соответствию объективным требованиям со стороны структуры и содержания изучаемых дисциплин. При этом невозможно за сравнительно малый промежуток времени полностью заполнить в знаниях учащихся пробелы, накопленные ими в течение нескольких лет. В этой связи становится очевидной необходимость заблаговременного начала управления предметной подготовкой учащегося во время его обучения на этапах среднего полного образования.

Ориентированность среднего полного образования, равно как и соответствующих ему традиционных форм доподготовки учащихся, на специфику итоговых аттестационных процедур, вместе с их несовершенством, приводит к несоответствию текущего содержания и уровня обучения требованиями высшего профессионального образования. Таким образом, вопрос управления процессом обучения, с точки зрения восстановления преемственной взаимосвязи школа-вуз, до сих пор остается открытым.

Развитие информационно-коммуникационных технологий, методов аутоди-дактики и теории педагогических измерений значительно расширило возможности разработки адаптивных информационно-образовательных систем, построенных по принципу индивидуализации обучения. Теоретико-методологическую основу исследования вопросов, связанных с управлением обучением посредством информационно-коммуникационных технологий, составляют работы таких авторов, как B.C.Аванесов, А.Г.Александров, В.П. Беспалько, JI.A.Демидова, JI.B. Зайцева,

A.П. Карпенко, B.C. Ким, Е.Г. Комаров, И. Б. Моргунов, А.Н. Пылькин, И.В. Роберт,

B.М. Соколов, Ю.Г. Татур, P. Brusilovsky и др. Результаты применения информационно-образовательных систем, как средств управления процессом обучения, позволяют положительно судить о все возрастающей роли инфокоммуникационйых технологий в образовании и перспективности адаптивных технологий обучения, как самостоятельной ветви развития подобных систем.

Однако применяемые в существующих системах управления процессом обучения методы и алгоритмы анализа учебной информации не позволяют вполне учитывать смысловую и структурно-логическую составляющую анализируемых содержания обучения и результатов образовательной деятельности учащихся. Недостаточная достоверность результатов и неполнота аналитических показателей процедур семантико-логического анализа учебной информации приводит к снижению эффективности функционирования системы управления обучением.

Таким образом, возникает противоречие между объективной необходимостью повышения качества предметной подготовки учащихся и несовершенством методов, алгоритмов и подсистем анализа учебной информации, как основы управления процессом обучения. Исходя из вышеизложенного, задача совершенствования существующих и разработка новых методов и алгоритмов анализа учебной информации является актуальной.

Целью диссертационной работы является повышение достоверности и расширение полноты результатов диагностики уровня усвоения учебного материала и результатов анализа учебной информации.

В соответствии с поставленной целью в диссертационной работе решаются следующие задачи:

1. Исследование состояния задачи управления обучением.

2. Разработка модели интегративного семантико-логического представления содержания обучения и результатов образовательной деятельности учащихся.

3. Совершенствование методов и алгоритмов диагностики уровня усвоения учебного материала.

4. Разработка методов и алгоритмов анализа учебной информации.

5. Создание информационной системы управления процессом обучения.

6. Проведение экспериментальных исследований разработанных методов, алгоритмов и системы.

Методы исследования. В работе использованы методы дискретной математики, основные понятия теории графов и теории множеств, математический аппарат и понятия семантических сетей, методы структурного анализа и проектирования, а также методы объектно-ориентированного программирования.

Научная новизна работы состоит в следующем:

1. Предложена формальная информационная модель интегративного семантико-логического представления содержания обучения и результатов образовательной деятельности учащихся. Модель основана на объединении преимуществ семантических сетей и объектно-ориентированного подхода, а также применении словаря смысловых отношений и использовании механизма структурных паттернов. Предлагаемая модель обеспечивает получение достоверных, наиболее общих для всех обучаемых аналитических показателей при проведении статистического и семантико-логического анализов учебной информации.

2. Разработан метод диагностики уровня усвоения учебного материала. Метод отличается усовершенствованием структурирования контрольно-измерительного материала путем добавления дополнительного информационного слоя, содержащего множество семантико-логических взаимосвязей контрольных заданий. Разработанный метод обеспечивает более высокую достоверность числовых показателей уровня усвоения учебного материала.

3. Разработан метод числовой оценки степени взаимозначимости учебных элементов. Метод основан на нелинейной регрессионной модели, построенной на базе модифицированной сигмоидальной функции. Разработанный метод обладает высокой достоверностью результатов прогнозирования числовой оценки уровня усвоения учебного элемента, определяемых на основе числовой оценки степени взаимозначимости учебных элементов.

4. Предложен алгоритм формирования содержания контрольно-измерительного материала. Алгоритм отличается формализацией общих правил отбора контрольных заданий посредством модели функциональных зависимостей взаимозначимости учебных элементов и весов групп контрольных заданий в соответствии с их сложностями. Предлагаемый алгоритм, учитывая правила отбора контрольных заданий, определяемые педагогом-экспертом, совместно с объективированными результатами анализа взаимозначимости учебных элементов, обеспечивает повышение степени автоматизации процедуры формирования контрольно-измерительного материала.

5. Разработан метод и алгоритм расчета уровня семантико-логической связности результатов диагностики предметной подготовленности обучаемого. Метод основан на объединении и дальнейшем семантико-логическом анализе структуры контрольно-измерительного материала и результатов диагностики предметной подготовленности обучаемого. Метод направлен на выделение и последующую обработку смысловых цепочек контрольных заданий. Предложенный алгоритм выделения и обработки нитей контрольных заданий, являющийся модификацией алгоритма поиска в глубину на графе, обеспечивает численное определение уровня смысловой связности результатов предметной подготовленности обучаемого — нового аналитического показателя процедуры диагностики уровня усвоения учебного материала.

Практическая значимость работы заключается в создании на основе разработанных модели, методов и алгоритмов программной информационно-образовательной системы управления процессом обучения, которая позволяет:

-формировать и использовать учебный материал с произвольным числом уровней декомпозиции и классов учебных элементов, включая возможность предварительного создания структурных паттернов фрагментов учебного материала;

- повысить степень достоверности количественных показателей уровня усвоения учебного материала, а также численно определять степень достоверности и применимости решения каждого контрольного задания;

-повысить степень автоматизации процедуры формирования контрольно-измерительного материала;

- определять взаимозависимости между учебными элементами в автоматическом режиме; ..,.

- определять численно уровень смысловой связности ответов ученика на контрольные задания в соответствии с семантико-логической структурой контрольно-измерительного материала;

- автоматизировать расчет числовых свойств и показателей качества единиц контрольно-измерительного материала;

- определять и сокращать степень рассогласованности текущего и требуемого уровней предметной подготовленности учащихся.

Основные положения, выносимые на защиту:

1. Формальная информационная модель интегративного семантико-логического представления содержания обучения и результатов образовательной деятельности учащихся.

2. Метод и алгоритм диагностики уровня усвоения учебного материала на основе учета семантико-логических взаимосвязей контрольных заданий.

3. Метод числовой оценки степени взаимозависимости учебных элементов на основе нелинейной регрессионной модели.

4. Алгоритм формирования содержания контрольно-измерительного материала на основе модели функциональных зависимостей взаимозначимости учебных элементов и весов групп контрольных заданий.

5. Метод расчета уровня семантико-логической связности результатов диагностики предметной подготовленности обучаемого.

Апробаиия работы.

Основные положения и результаты диссертационной работы докладывались и обсуждались на Всероссийских межвузовских научных конференциях «Наука и образование в развитии промышленной, социальной и экономической сфер регионов России»: II Всероссийские научные «Зворыкинские чтения» (г. Муром, 2010-2012 гг.), на Всероссийской научной конференции «Роль инновационных университетов в реализации Национальной Образовательной инициативы «Наша новая школа» и в рамках фестиваля «Путь в науку» (г. Нижний-Новгород, 2011), на Международной конференции «Стратегия качества в промышленности и образовании» (г. Варна, 2010), а также на семинарах кафедры физики и прикладной математики МИ (филиал) ВлГУ.

Включенные в диссертацию результаты получены при выполнении хоздоговорной НИР №01201353396 «Исследование методов генерации учебно-методического материала и разработка алгоритмов функционирования информационной системы».

Публикации. По теме диссертации опубликовано 9 печатных работ, из них 3 статьи в ведущих рецензируемых журналах из перечня ВАК РФ. Получено 2 свидетельства о регистрации программного продукта. Список публикаций приведен в конце автореферата.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложения. Общий объем работы составляет 152 страницы, включая 49 рисунков и 5 таблиц. Список литературы включает 130 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулирована научная задача, приведена аннотация диссертационной работы.

В главе 1 «Обзор и анализ концептуальных основ, методов, алгоритмов и систем управления процессом обучения» дано представление о сущности современной образовательной системы, приведены результаты обзора и анализа современных средств управления процессом дополнительного обучения. Сформулированы и обоснованы задачи диссертационной работы.

В разделе 1.1 рассматриваются сущность, основные определения и базовые принципы современной образовательной системы. Принятая в 1989 году концепция непрерывного образования во многом определила развитие системы образования на следующие десятилетия. Базовая структура современной образовательной системы включает в себя два основных этапа — система среднего полного образования и система высшего образования. К системе высшего образования предъявляются требо-

Е

-О-

I,

Обучаемый

к

: :

иос

С -О-

1с

И,

С'

А*

вания со стороны государственных образовательных стандартов, работодателя, а также выпускника. В свою очередь система высшего образования, согласно принципу нисходящего установления требований в системе непрерывного образования, выступает в роли «заказчика» по отношению к системе среднего полного образования.

К базовым принципам современной образовательной системы, являющимся также концептуальной основой анализа, проектирования и разработки систем управления процессом обучения, относят: непрерывность, преемственность, инте-гративностъ, дифференциацию и открытость.

Анализ современного состояния образовательной системы позволяет говорить о несоблюдении ряда вышеизложенных принципов. Нарушение преемственной взаимосвязи систем высшего профессионального и среднего полного образования, недостаточное следование на практике принципам интегративности и дифференциации в вопросах проектирования содержания обучения явилось одной из основных причин значительного снижения уровня предметной подготовленности учащихся на этапе среднего полного образования. Невозможность проведения полной доподготовки обучаемого с целью ликвидации накопленных пробелов в знаниях за сравнительно малый промежуток времени, рождает закономерную необходимость обращения к решению задач управления процессом обучения.

В разделе 1.2 представлены результаты исследования задач управления процессом обучения. В общем виде задача обучения может быть сформулирована как задача управления. На рис. 1 приведена общая схема управления процессом обучения, где Е— состояние внешней среды, С — состояние ученика, 1Е, ¡с — соответствующие измерители, Е', С' — результаты измерения величин Е и С, — ресурсы, выступающие в роли ограничений на управление, А* — цель управления обучением, заключающаяся в переводе обучаемого в состояние С", X — управляющие воздействия. Объектом управления является обучаемый, а информационно-образовательная система выступает в роли субъекта управления. Из схемы ясно, что управление процессом обучения основывается на алгоритме управления, эффективность которого напрямую зависит от точности и полноты диагностики и анализа состояний внешней среды и ученика.

В разделе 1.3 приведены результаты анализа современных методов проектирования структуры содержания обучения. К наиболее часто применяемым структурно-логическим методам проектирования и анализа содержания обучения относится усовершенствованный метод матриц логических связей. Метод графов является дополнением метода матриц логических связей. Обзор и анализ рассматриваемых методов позволяет выделить ряд требований к информационным моделям и методам представ-

Рис. 1. Общая схема управления процессом обучения

ления и анализа содержания обучения и результатов образовательной деятельности учащихся.

В разделе 1.4 выполнен обзор и анализ современных систем управления процессом обучения. Ориентированность современных информационно-образовательных систем на решение задачи управления обучением на одном определенном образовательном этапе или в рамках одной образовательной программы, недостаточно развитые средства совместного автоматизированного анализа содержания обучения и результатов образовательной деятельности, позволяет сделать вывод о нецелесообразности непосредственного использования существующих систем для решения задачи управления процессом обучения с целью обеспечения преемственности и индивидуализации управления процессом обучения на смежных образовательных этапах.

В разделе 1.5 проанализированы модели, методы и алгоритмы, применяемые при построении систем управления процессом обучения. Результаты анализа существующих моделей, методов и алгоритмов, проведенного в соответствии с выводами, полученными в результате анализа современных систем управления процессом обучения, позволяют судить о следующем:

- информационные модели учебного материала и модели ученика, не позволяют непосредственно решать задачу интеграции содержания обучения и результатов образовательной деятельности всех учащихся в рамках сетевых информационно-образовательных систем;

— сложность практической реализации информационных моделей (семантические сети, графовая модель, онтологическая модель), наиболее полно соответствующих предъявляемым к ним педагогическим требованиям, приводит к снижению доли их применения в разрабатываемых информационно-образовательных системах;

— недостаточность учета семантико-логического контекста контрольно-измерительного материала приводит к снижению степени объективированности и невозможности расширения числа показателей, входящих в состав результатов диагностики уровня усвоения учебного материала;

- ориентированность методов и алгоритмов анализа учебной информации на анализ информации отдельно взятого ученика, затрудняет получение наиболее общих показателей, необходимых для корректировки структуры и содержания обучения и повышения эффективности генерации управляющих воздействий.

В разделе «Выводы. Постановка задач исследования» сформулированы и обоснованы задачи диссертационной работы, решение которых позволит повысить степень объективированности результатов диагностики уровня усвоения учебного материала и анализа учебной информации. Отсутствие целостного, готового решения обозначенных выше задач рождает закономерную необходимость поиска новых решений, посредством синтеза и совершенствования существующих, а также разработки новых моделей, методов, алгоритмов и систем управления процессом обучения.

Глава 2 «Разработка методов, моделей и алгоритмов управления процессом обучения» посвящена предлагаемым в работе модели интегративного представления учебной информации, методам и алгоритму диагностики уровня усвоения учебного материала и формирования контрольно-измерительного материала, методу и алгоритму расчета уровня семантико-логической связности результатов диагно-

стики предметной подготовленности обучаемого, а также методу числовой оценки взаимозависимостей учебных элементов.

В разделе 2.1 описывается модель интегративного семантико-логического представления содержания обучения и результатов образовательной деятельности учащихся. Совокупность информации, представляемой согласно предлагаемой модели посредством информационных единиц и взаимосвязями между ними, будем называть учебной информацией. Базовой структурной единицей описываемой модели является тройка «субъект-предикат-объект».

информации

С целью унификации смысловых отношений, на основе которых выполняется структурная составляющая формализации учебной информации, в предлагаемой модели применяется внутрисистемный семантический словарь отношений.

Использование базовой структурной единицы и типов информационных единиц предлагаемой модели позволяет разработать унифицированные структурные паттерны, позволяющие снизить трудоемкость разработки соответствующих подсистем диагностики уровня усвоения учебного материала и анализа учебной информации. В общем виде паттерны на основе предлагаемой модели представляют собой совокупность информационных единиц, объединенных посредством семантико-логических взаимосвязей, в соответствии с требованиями формализуемого фрагмента предметной области.

В разделе 2.2 приведено описание метода и алгоритма диагностики уровня усвоения учебного материала на основе учета семантико-логических взаимосвязей контрольных заданий, а также производных метода и алгоритма расчета уровня се-мантико-логической связности результатов диагностики предметной подготовленности обучаемого.

Ключевой особенностью учебного материала как информации, в том числе и контрольно-измерительного материала, является его сетевая структура, образованная семантико-логическими взаимосвязями. Закономерно предположить, что подобно единицами теоретического учебного материала, между единицами контрольно-измерительного материала также существуют семантико-логические взаимосвязи, определяющие смысловые и иерархические отношения между ними.

А

гТуре гТуре гТуре <Туре гТуре гТуре

Gf О Ь (±f © tD

BCD BCD

a) 6)

Рис. 3. Варианты распределения решений контрольных заданий +/--верное/неверное решение контрольного задания;

А, В, С, D — контрольные задания; гТуре — тип смыслового отношения, в данном случае «решение основывается на».

На рис. 3 контрольное задание А является более сложным, комплексным по отношению к контрольным заданиям В, С и D. Иными словами, решение задачи А основывается на умении успешно решать задачи В, С и D, что подтверждается установленными отношениями между ними. Распределение решений контрольных заданий в случае а) наглядно иллюстрирует возникающее противоречие, когда более сложное задание решено «верно», однако те задания, на которых основывается решение более сложного, решены «неверно». При увеличении числа связанных заданий возрастает достоверность определения «угадывания» верного ответа, в случае закрытого типа задания. Случай б) позволяет в простейшем виде проиллюстрировать сложности, возникающие у обучаемого при синтезе решения более сложного задания на основе умений решать более простые.

В качестве основы совершенствования методов диагностики уровня усвоения учебного материала выдвинута следующая гипотеза-, степень объективированности и достоверности численной оценки решения контрольного задания будет повышена, если при ее расчете учитывать семантико-логические взаимосвязи задания с другими контрольными заданиями, входящими в состав контрольно-измерительного материала. На основе выдвинутой гипотезы предложена модель контрольно-измерительного материала, являющаяся частным состоянием модели интегративно-го представления учебной информации.

Определим, что итоговый балл, рассчитываемый для каждого контрольного задания th зависит от верности решения непосредственно контрольного задания ij, а также правильности решения смежных ему контрольных заданий и степени их взаимосвязанности с заданием tt. Базовыми параметрами модели контрольно-измерительного материала являются:

- множество контрольных заданий (узлов графа);

- множество семантико-логических взаимосвязей между контрольными заданиями (ребра графа);

- множество весов (количественная мера уровня сложности) контрольных заданий;

- множество весов (количественная мера степени важности) семантико-логических взаимосвязей;

- множество индикаторов правильности решения отдельного контрольного задания.

Процедура диагностики уровня усвоения учебного материала согласно предлагаемому методу заключается в выполнении следующих шагов:

1. Осуществление отбора множества контрольных заданий, как основы контрольно-измерительного материала;

2. Определение весов (количественной меры сложности) каждого из контрольных заданий;

3. Установление семантико-логических взаимосвязей и их параметров между контрольными заданиями согласно педагогическим целям диагностики и смысловому контексту заданий;

4. Обеспечение работы учащегося с контрольно-измерительным материалом;

5. Сохранение результатов работы учащегося над решением контрольных заданий;

6. Определение степени верности решения каждого контрольного задания;

7. Расчет количественной оценки качества решения каждого контрольного задания на основе степени верности решения и сложности самого контрольного задания и смежных ему контрольных заданий, а также параметров семантико-логических взаимосвязей между ними;

8. Расчет интегральной количественной оценки уровня усвоения учебного материала, соответствующего содержанию и структуре контрольно-измерительного материала, как суммы количественных оценок качества решения всех единиц контрольно-измерительного материала.

В количественной оценке правильности решения контрольного задания выделяется инвариантная (самостоятельная) часть задания и вариативная.

Примем сумму пропорциональных составляющих инвариантной и вариативной частей оценки задания равной ). Тогда необходимо установить следующее ограничение: Ц^1' 10и11 < 1. Инвариантная составляющая не зависит от правильности решения смежных контрольных заданий, тогда как вариативная, наоборот,

устанавливает зависимость итогового балла за контрольное задание от правильности решения смежных заданий и количественно равна сумме весов семантико-логических взаимосвязей задания.

В общем виде конечный интегральный балл, как количественная мера уровня усвоения учебного материала, соответствующего контрольным заданиям, есть величина Я, численно равная сумме баллов полученных учащимся за решение каждого контрольного задания: Я = Х"=1 /(С. О-

Определим, что численно оценка решения отдельно взятого контрольного задания зависит от непосредственно верности решения самого контрольного задания и верности решения, смежных ему контрольных заданий.

Согласно принятой гипотезе о введении пропорциональных зависимостей числовой оценки решения контрольного задания в случае от решения смежных ему заданий определим:

1-Х. ь к+1 1п

а) 6}

Рис. 4. Инвариантная а) и вариативная б) составляющие в итоговой численной оценке решения контрольного задания

- для расчета коэффициента пропорционального снижения итогового балла задания (коэффициент достоверности решения) в зависимости от параметров элементов множеств Т1п и Lln\

- для расчета коэффициента пропорционального снижения итогового балла задания (коэффициент применимости) в зависимости от параметров элементов множеств T0ut и Lout:

\T0ut\ / \TOut\ \

AppOut(G, i) = Yt (rt outhlouth) + I 1 - Yj l°uth ■ /1=1 \ /i=i /

В зависимости от определяемых относительно каждого контрольного задания множеств Tta и Tout функция f(G, i) принимает вид:

-при |Т1п| = О A |T0ut| = 0, rtiwti,

- при |Тщ| Ф О A |T0ut| = 0, rtiw4Trustln(G,i),

- при |Т1п| = О A |T0ut| Ф о, rt.wtiAppOut(_G, i),

- при |Т1п| Ф О A |T0ut| ф о, rtiw4Trustln{G. i)AppOut(G, i).

В разделе 2.3 рассматривается разработка метода и алгоритма расчета степени семантико-логичеекой связности результатов диагностики уровня усвоения учебного материала. Ключевой идеей метода является выделение смысловых нитей контрольных заданий из целостной структуры контрольно-измерительного материала с тем, чтобы численно оценить степень семантико-логической связности результатов диагностики предметной подготовленности обучаемого (далее величина 7"). Нить (цепочка) контрольных заданий — линейная взаимосвязанная последовательность контрольных заданий, порядок которых определен структурой исходного контрольно-измерительного материала.

Рис. 5. Схема метода расчета степени семантико-логической связности результатов диагностики уровня усвоения учебного материала

Настоящий метод можно условно разделить на пять этапов: среди них выделяются этапы смежные другие методам, вспомогательные и основные.

1. На первом этапе, являющимся смежным этапом по отношению к процедурам тестирования учащихся, выполняются задачи формирования контрольно-измерительного материала и последующей диагностики уровня усвоения учебного материала.

2. Второй этап — вспомогательный, включает в себя решение задачи унификации результатов диагностики путем приведения их к единому матричному виду.

3. Третий — основной этап обеспечивает решение двух ключевых задач: выделение нитей контрольных заданий, их последующую трактовку и вычисление текущих значений параметра Т*. Решение задач на этом этапе выполняется посредством проведения совместного семантико-логического анализа структуры контрольно-измерительного материала и результатов диагностики обучаемого.

4. На четвертом вспомогательном этапе проводится нормализация полученных значений Т* для каждой из выделенных нитей контрольных заданий, а затем выполняется конечная обработка и агрегация значений Т*.

5. Пятый — смежный этап, включает в себя обработку данных для последующей визуализации и построения графиков зависимостей уровня предметной подготовленности учащихся от Степени семантико-логической связности результатов диагностики для каждого из вариантов контрольно-измерительного материала (Рис. 6).

Анализ графика позволяет судить о трех основных диапазонах уровня подготовленности обучаемых, относительно параметра Г*, а именно для рассматриваемого контрольно-измерительного материала:

- от -3 до 0 логит — низкая степень семантико-логической связности результатов диагностики, учащийся слабо понимает внутренние смысловые взаимосвязи изучаемого материала;

- от 0 до 2 логит — оптимальный диапазон уровня усвоения учебного материала, характеризующийся высоким увеличением значения параметра Т* с ростом уровня подготовленности учащегося;

— от 2 до 3 логит— диапазон снижения темпов роста параметра Т*. Таким образом^ рассчитываемый параметр Т* позволяет численно оценить степень смысловой Целостности знаний учащихся, полученных в ходе изучения учебного материала.

В разделе 2.4 Представлен метод числовой оценки степени взаимозависимости учебных элементов на основе нелинейной регрессионной модели, построенной на базе модифицированной сигмоидальной функции. Основываясь на том, что содержание обучения образовано учебными элементами, между которыми устанавливаются семантико-логические взаимосвязи, закономерным является предположение —

I

~ч—

-4-3-2-1 О 1 2 3 4 Уровень подготовленности ученика

Рис. 6. График зависимости степени семантико-логической связности Т" от уровня подготовленности учащегося

результаты образовательной деятельности учащихся должны отражать характер се-мантико-логических взаимосвязей соответствующих учебных элементов. Исходя из этого, выдвигается гипотеза — количественное определение степени взаимозависимости смежных учебных элементов возможно на основе анализа соответствующих им результатов образовательной деятельности учащихся.

На рис. 7 изображен фрагмент структуры содержания, где А — узловой учебный элемент, Х1,Х2,... ,Хп — смежные узловому учебные элементы, \л/1,м/2, — — численная оценка степени взаимозависимости соответствующих учебных элементов. Пусть нормализованные числовые результаты образовательной деятельности учащихся, соответствующих учебным элементам А, Хи Х2,..., Хп имеют следующий вид (Таблица 1).

Рис. 7. Фрагмент структуры содержания обучения

Таблица 1 — Нормализованные результаты образовательной деятельности учащихся

Учащиеся Ср. балл — Хл Ср. балл — Х? Ср. балл — Х„ Ср. балл — А

г-1 0,63443 0,60082 0,64950 0,61803

2 0,87956 0,18444 0,31440 0,32119

1+1 0,41501 0,36454 0,11979 0,31092

Метод числовой оценки степени взаимозависимости учебных элементов на основе регрессионного анализа включает в себя выполнение следующих шагов:

1. Выбор узлового учебного элемента.

2. Определение на основе структурного анализа семантико-логических взаимосвязей учебных элементов смежных выбранному узловому элементу.

3. Агрегирование и нормализация данных о результатах обучения, соответствующих узловому элементу и смежных ему учебным элементам.

4. Определение вида регрессионной модели (линейная/нелинейная).

5. Определение параметров регрессионной модели: методов наименьших квадратов в случае линейной модели, либо методом Ньютона-Гаусса.

6. Анализ вектора параметров регрессионной модели.

7. Вывод результатов числовой оценки степени взаимозависимости учебных элементов.

Функция регрессионной модели, расположенной симметрично относительно начала координат, имеет вид:

е1.7(]л/1е1+иг2е2+и'3в3+-мпвп)

вл = 21

е1-7(и/1д1+Н'2б2+Юзвз+ - М/пвп)

0.5

где 1.7 — нормирующий коэффициент; \мг,..., и>п — искомые весовые коэффициенты семантико-логических взаимосвязей; вА, в1,..., вп — исходные значения средневзвешенных значений уровней усвоения учебного материала; Ь — граница включения уровней усвоения учебного материала.

----------- *........

ж*

.!

< к

6............. 4.......... ..:2.. _________2................4...............6

Я2 = 0,9426

Уровень подготовленности обучаемого, логит

Уровень подготовленности обучаемого, логит

Рис. 8. Распределение средневзвешенных уровней усвоения учебного материала

(V)—5„ 5г—(Т)......

Рис. 9. Сравнительные графики регрессионных функций построенной модели в зависимости от значения \чА

В разделе 2.5 предложен алгоритм формирования содержания контрольно-измерительного материала, основанный на применении модели функциональных зависимостей взаимозначимости учебных элементов и весов групп контрольных заданий в соответствии с их сложностями совместно с объективированными результатами анализа взаимозначимости учебных элементов. В основу разработки алгоритма

положена следующая гипотеза: использование результатов семантико-логического анализа учебной информации, а именно численной оценки уровня взаимозначимости учебных элементов в методах автоматизированного формирования содержания контрольно-измерительного материала позволит повысить показатели автоматизации процедуры диагностики и валидности результатов, выполняемой на их основе.

На рис. 10 приведен пример произвольного фрагмента структуры учебного материала, где 1Е,А,В,С,—,М — учебные элементы, а, Ъ, с,... ,п — взаимосвязи учебных элементов, тип смыслового отношения которых — «необходим для изучения». Согласно разработанному методу автоматизированное формирование контрольно-измерительного материала для проведения процедуры входной диагностики целевого учебного элемента включает в себя следующие шаги:

1) Выбор целевого учебного элемента 1агде1Е1етеп1, для которого определяется степень готовности учащегося к его изучению на основе анализа уровня предметной подготовленности учащегося.

2) Определение глубины ЫсЮерЬк, типа ге1БетапИсТуре и веса геШеьдМ семантико-логических взаимосвязей.

Рис. 10. Произвольный фрагмент структуры учебного материала

3) Анализ семантико-логической структуры учебного материала относительно целевого учебного элемента на основе определенных ранее параметров; формирование конечного массива учебных элементов arrEduElements. Els.

4) Определение числовой оценки степени взаимозависимости учебных элементов — величин arrEduElements. Weights.

5) Кластеризация контрольных заданий на основе анализа результатов диагностики уровня усвоения учебных элементов arrEduElements. Els. Каждому учебному элементу из массива arrEduElements. Els соответствует массив arrControlElements. Els, состоящий из отдельных контрольных заданий, для каждого из которых возможно получить величины w — число неверных решений задания, г — число верных решений задания и h — число попыток решения, в которых не был дан ответ. Для каждого г'-го задания на основе зависимости р£ = f(wu rf, ht) производится расчет параметра Pi — сложность (трудность) решения задания. Каждая строка матрицы имеет вид [controllD | рг | clasteri], где controlID — идентификатор контрольного задания, a clasteri — искомый номер кластера (группы сложности задания).

Пусть clast(X,n, [...]) функция итерационной кластеризации случайной величины, определяющая для каждого /-го задания номер кластера (группы сложности).

6) Установление функциональных зависимостей взаимозначимости учебных элементов и весов групп контрольных заданий в соответствии с их сложностями на основе модели M =< Е, С, п, = /, (е) ... сп = /„(<?)] >. Настройка функциональных зависимостей настоящей модели, наряду со значениями взаимозависимостями учебных элементов arrEduElements. Els, является определяющей в формировании контрольно-измерительного материала.

7) На основе полученных числовых значений степени взаимозависимости учебных элементов arrEduElements. Weights и установ-"'„ ленных на предыдущем шаге функциональных зависимостей формирование матрицы Km размерностью п ■ eCount такой, что

Значимость учебного элемента

Рис. 11. Модель функциональных зависимостей взаимозначимости учебных элементов и весов групп контрольных заданий в соответствии с их сложностями. Приведен пример для п = 3; /а(е) = (е - 1)2;/2(е) = 0.5 4- е -(е — 0.5)2; /3(е) = е2.

Km

fj(eômC°Unt fj(.eh)

где i — порядковый номер (элемент массива идентификаторов) учебных элементов arrEduElements. Els; j — порядковый номер группы контрольных заданий arrControlElements. Els; fMd/YfhCountfMh) — искомое нормализованное значение веса группы контрольных заданий соответствующего учебного элемента по каждой из групп сложностей контрольных заданий.

8) Формирование контрольно-измерительного материала с фиксированным содержанием. Определение числа контрольных заданий controlElementCount.

Расчет матрицы Kmc числа контрольных заданий, соответствующим учебным элементам arrEduElements. Els по каждой из групп сложностей: Kmc[i,j] = ROUND(controlElementCount ■ et ■ Km[i,j]).

9) На основе информации, содержащейся в строке матрице Kmc, о числе контрольных заданий, разделенных по принципу учебный элемент / группа сложности заданий, выборка из массива arrControlElements.Els заданий и формирование конечного контрольно-измерительного материала.

Распределение заданий по сложности и учебным элементам для рассматриваемого примера имеет вид, представленный на рис. 12.

Глава 3 «Разработка информационной системы управления процессом обучения» посвящена разработке архитектуры информационной системы управления процессом обучения, включая разработку базовых подсистем, а также обоснованию выбора программных средств реализации системы.

В разделе 3.1 описывается структурная модель разрабатываемой информационной системы.

Соотношение контрольных заданий учебный элемент/сложность

У

7

чшш

Шш —¡¡Ш—

......ШШ...... .....1Ш

1 ......! 1............J ■ ......¡ийщ......

0 А В с

1шш 0 2 0

[sail 1 4 2

[ai 2 2 2

Рис. 12. Диаграмма распределения заданий в контрольном материале

Рис. 13. Структурная модель информационной системы управления процессом обучения Выделены базовые подсистемы и модули информационной системы, показаны их логические взаимосвязи на уровне внутрисистемного обмена данными.

В разделе 3.2 предложена архитектура разрабатываемой информационной системы, в соответствии с которой обоснован выбор программных средств реализации

системы. Реализация разрабатываемой системы посредством веб-технологий обеспечит требуемый уровень открытости системы. В соответствии с этим базовый технологический стек разрабатываемой системы состоит из следующих компонентов:

- Графовая NOSQL СУБД — «Neo4j.rb», основанная на библиотеке «Neo4j Java library».

- MVC-фреймворк — «Ruby on Rails».

-Библиотека алгоритмов работы с искусственными нейронными сетями — «AI4R».

- Библиотека алгоритмов статистической обработки данных — «Statsample».

- Библиотеки визуализации данных, построения графиков и диаграмм — «D3.js» и «Google Charts».

Выбранные программные компоненты, позволяют обеспечить гибкость и масштабируемость разрабатываемой системы.

В разделе 3.3 рассматривается программная реализация базовых подсистем разрабатываемой информационной системы, включая подсистемы управления и анализа учебной информацией, диагностики уровня усвоения учебного материала.

В главе 4 «Экспериментальные исследования программной реализации разработанных модели, методов и алгоритмов» приведены результаты оценки разработанных модели, методов и алгоритмов согласно предлагаемой методике тестирования средств управления процессом обучения.

В разделе 4.1 рассматривается общая методика тестирования и оценки средств | управления процессом обучения.

В разделе 4.2 дается оценка результатам применения разработанных модели, методов и алгоритмов.

1. Результаты исследования реализации предлагаемой модели интегративного семантико-логического представления содержания обучения и результатов образовательной деятельности учащихся на основе графовой NOSQL СУБД Neo4J позволяют судить о ее состоятельности. Предложенный подход к объединению представляемых элементов учебной информации с точки зрения их семантико-логических взаимосвязей позволил при разработке модели наиболее полно удовлетворить существующие педагогические требования к формализации учебного материала и обеспечению анализа содержания обучения и результатов диагностики уровня усвоения учебного материала, а именно:

- поддержка произвольной семантико-логической декомпозиции учебной информации, посредством установления и управления параметрами межпредметных и внутрипредметных взаимосвязей учебных элементов;

- обеспечение возможности сквозной взаимосвязанности учебного материала смежных образовательных этапов;

- выполнение семантако-логического и статистического анализа интегрированных содержания обучения и результатов образовательной деятельности всех учащихся в рамках информационно-образовательной системы с целью повышения объективированности результатов анализа.

Приведены результаты сравнения производительности реализация предлагаемой модели на NOSQL СУБД Neo4J и СУБД MySQL для 1000 узлов, каждый из которых имеет 50 связей с другими узлами:

Таблица 2 — Результаты сравнения производительности СУБД]

Глубина запроса Время выполнения (в секундах) Кол-во записей

Кео4.Т Мувдь

2 1 0,04 0,028 -900

3 0,06 0,213 -999

4 0,07 10.273 -999

5 0.07 92 613,15 -999

2. Результаты анализа разработанных метода и алгоритма диагностики уровня усвоения учебного материала, основанных на учете смыслового контекста единиц контрольно-измерительного материала, определяемого семантико-логическими взаимосвязями между контрольными заданиями, позволили сделать вывод о том, что предлагаемые метод и алгоритм диагностики в отличие от существующих позволяют:

- повысить степень дифференцирующей способности контрольных заданий — на рис. 14: а) сравнение графического образа задания, построенного в соответствии с традиционными методами Т, и предлагаемым методом 8; б) увеличение количественной меры силы взаимосвязей контрольных заданий на 20%.

- выполнять расчет коэффициентов достоверности решения 1гизИп и коэффициент применения решения аррОиЬ для каждого контрольного задания, входящего в состав контрольно-измерительного материала;

- определять численно степень смысловой связности ответов обучаемого на контрольные задания в соответствии с семантико-логической структурой контрольно-измерительного материала (рис. 15);

- повысить гибкость управления педагогическими целями процедуры диагностики.

Уровень подготовленностиученикз Уровень лодготовленностмученика

Рис. 14. Графические образы контроль- Рис. 15. График зависимости значения ного задания Т* от уровня подготовленности

3. Анализ применимости метода числовой оценки степени взаимозависимости учебных элементов позволил установить ряд его преимуществ перед существующими методами анализа структуры и содержания учебной информации, основанных на статистических методах:

- возможность анализа малых массивов данных, не подчиняющихся законам распределения случайных величин;

- более высокая устойчивость к шумам в анализируемых данных.

4. На основании результатов оценки алгоритма формирования контрольно-измерительного материала можно сделать вывод о соответствии предлагаемого алгоритма базовым принципам отбора содержания тестирования значимости, ком-

плексности и вариативности. Предлагаемый алгоритм значительно упрощает процедуру формирования контрольно-измерительного материала для проведения итого-

Рис. 16. Информационные функции сформированного контрольно-измерительного

материала

В заключении сформулированы основные теоретические и практические результаты, полученные в ходе работы над диссертацией.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Исследовано состояние задачи управления процессом обучения. Выполнен обзор и анализ теоретических основ построения современных систем управления процессом обучения. Проведенный анализ показал отсутствие в информационно-образовательных системах должных средств семантико-логического анализа учебной информации, приводящее к снижению уровня достоверности результатов анализа и сокращению общего числа аналитических показателей.

2. Предложена формальная информационная модель интегративного семантико-логического представления учебной информации, выступающая в качестве основы совершенствования методов совместного анализа содержания обучения и результатов образовательной деятельности учащихся.

3. Разработан метод и алгоритм диагностики уровня усвоения учебного материала на основе учета семантико-логических взаимосвязей контрольных заданий, позволивший увеличить степень дифференцирующей способности контрольных заданий на 11 %—24%, и тем самым пропорционально повысить достоверность результатов диагностики. Предложены числовые зависимости оценки решения контрольного задания, как основы выполнения интерпретации результатов диагностики. Показана возможность получения ряда дополнительных показателей уровня усвоения учебного материала, а именно: коэффициент достоверности и коэффициент применения решения контрольного задания, а также числовой показатель степени смысловой связности ответов обучаемого на контрольные задания.

4. Предложен метод числовой оценки степени взаимозависимости учебных элементов на основе нелинейной регрессионной модели. Использование в качестве регрессии модифицированной сигмоидальной функции позволило повысить достоверность результатов прогнозирования числовой оценки уровня усвоения учебного элемента, определяемых на основе числовой оценки степени взаимозначимости учебных элементов.

5. Разработан алгоритм формирования содержания контрольно-измерительного материала на основе модели функциональных зависимостей взаимозначимости учебных элементов и весов групп контрольных заданий, который позволяет автоматизировать формирование содержания теста для проведения итоговых форм диагностики, опираясь при этом на объективированные показатели взаимозависимостей соответствующих учебных элементов.

6. Разработан метод и алгоритм расчета уровня семантико-логической связности результатов диагностики предметной подготовленности обучаемого. Объединение структуры контрольно-измерительного материала и результатов диагностики предметной подготовленности обучаемого позволило реализовать алгоритмы выделения и последующей обработки смысловых цепочек контрольных заданий. Предложенный алгоритм выделения и обработки нитей контрольных заданий, являющийся модификацией алгоритма поиска в глубину на графе, позволил численно определить уровень смысловой связности результатов предметной подготовленности обучаемого. Использование аналитического показателя процедуры диагностики уровня усвоения учебного материала Т* в системе управления процессом обучения позволило снизить на 17% общее число обучаемых, нуждающихся в повторном изучении учебного материала.

7. Разработана информационная система на базе предлагаемых модели, методов и алгоритмов, позволяющая решать задачу управления процессом обучения, направленного на обеспечение преемственной предметной подготовки обучаемых.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в гаданиях, рекомендованных ВАК РФ

1. Макаров, A.B. Концептуальные основы проектирования информационно-образовательной среды непрерывного физического образования / A.B. Макаров, А.Ф. Ан // Современные проблемы науки и образования. — 2011. — № 6; URL: www.science-education.ru/100-5211 (дата обращения: 01.02.2013).

2. Макаров, A.B. Метод и алгоритм диагностики уровня усвоения учебного материала на основе учета семантико-логических взаимосвязей контрольных заданий / A.B. Макаров // Наука и образование: электронное научно-техническое издание. -2012. - № 8; URL: www.technoniag.edu.ru/doc/434633.html (дата обращения: 01.02.2013).

3. Макаров, A.B. Метод автоматизированного формирования контрольно-измерительного материала на основе числовой оценки уровня взаимозначимости учебных элементов / A.B. Макаров, A.B. Самохин, К.В. Макаров // Наука и образование: электронное научно-техническое издание. — 2013. - № 2; URL: www.technomag.edu.ru/doc/533251 .html (дата обращения: 01.02.2013).

Публикации в прочих изданиях

4. Макаров, A.B. Подходы к построению интеллектуальных обучающих систем поддержки непрерывного физического образования / А.Ф. Ан, A.B. Макаров // Стратегия качества в промышленности и образовании. Сборник материалов конференции.-Варна: Т.2-С. 185-189, 2010.

5. Макаров, A.B. Метод автоматизированной диагностики уровня усвоения учебного материала на основе семантико-логических взаимосвязей контрольных заданий / A.B. Макаров // Алгоритмы, методы и системы обработки данных. - 2011. -№ 18. - С. 4-4; URL: http://amisod.ru/index.php7optiorFcom content&view=article& id=61 :amisod-201 l-3-18-makarov&catid=15:amisod-3-18-201 l&Itemid=l 11 (дата обращения: 11.02.2013).

6. Макаров, A.B. Вопросы применения NOSQL СУБД в информационно-образовательных системах / A.B. Макаров // Алгоритмы, методы и системы обработки данных. - 2012. - № 19. - С. 78-83; URL: http://amisod.ru/index.php? option=com_content&view=article&id= 105 :amisod-2012-1-19-makarov&catid= 16: amisod-2012-1-19 (дата обращения: 11.02.2013).

7. Макаров, A.B. Разработка интегративной модели учебно-образовательной информации / A.B. Макаров // Алгоритмы, методы и системы обработки данных. -2012. - № 20. - С. 35-43; URL: http://amisod.ru/index.php?option=com content &view=article&id=130:amisod-2012-2-20-makarov&catid=20:amisod-2012-2-20 (дата обращения: 11.02.2013).

8. Макаров, A.B. Подходы к проектированию метода числовой оценки степени взаимозависимости учебных элементов на основе модели персептрона / A.B. Макаров, К.В. Макаров // Алгоритмы, методы и системы обработки данных. - 2012. - № 21. - С. 35-43; URL: http://amisod.ru/index.php?option=com content&view=article& id=150:amisod-2012-3-21-makarov-makarov&catid=21:amisod-2012-3-21 (дата обращения: 11.02.2013).

9. Макаров, A.B. Алгоритм расчета степени семантико-логической связности результатов диагностики уровня подготовленности учащегося / A.B. Макаров, К.В. Макаров // Алгоритмы, методы и системы обработки данных. - 2013. - № 23. - С. 23-28; URL: http://amisod.ru/index.php?option=com_content&view=article&id=185: amisod-2013-l-23-makarov-makarov&catid=23:amisod-2013-1-23 (дата обращения: 07.04.2013).

Свидетельства о регистрации программы для ЭВМ

10. Программа диагностики предметной подготовленности учащихся на основе анализа семантико-логических взаимосвязей контрольных заданий / Самохин A.B., Макаров A.B. Свидетельство о государственной регистрации программы для ЭВМ №2013615379, 06 июня 2013 г.

11. Программа автоматического анализа семантико-логической структуры учебного материала / Самохин A.B., Макаров A.B. Свидетельство о государственной регистрации программы для ЭВМ №2013615382,2013 г.

Макаров Андрей Владимирович

Методы, алгоритмы и система управления процессом обучения на основе семантнко-логического анализа учебной информации

Автореферат диссертации на соискание ученой степени кандидата технических наук

Подписано в печать 11.11.2013 Формат 60x84/16. Усл. печ. л. 1,16. Тираж 100 экз. Заказ №2430

Издательско-полиграфический центр Муромского института (филиала) федерального государственного бюджетного

образовательного учреждения высшего профессионального образования «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых» 602264, Владимирская обл., г. Муром, ул. Орловская, 23.

Муромский институт (филиал) ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича

Столетовых»

04201452804

Макаров Андрей Владимирович

Методы, алгоритмы и система управления процессом обучения на основе семантико-логического анализа учебной информации

Специальность

05.13.10 — «Управление в социальных и экономических системах»

Диссертация

на соискание ученой степени кандидата технических наук

Научный руководитель: доктор технических наук, профессор А.В. Самохин

Муром-2013

Содержание

Введение...........................................................................................................................4

ГЛАВА 1. ОБЗОР И АНАЛИЗ КОНЦЕПТУАЛЬНЫХ ОСНОВ, МЕТОДОВ, АЛГОРИТМОВ И СИСТЕМ УПРАВЛЕНИЯ ПРОЦЕССОМ ОБУЧЕНИЯ.. 10

1.1 Сущность, базовые принципы и состояние современной образовательной системы...........................................................................................................................10

1.2 Анализ базовых схем управления процессом обучения.....................................15

1.3 Обзор методов проектирования и анализа содержания обучения.....................20

1.4 Обзор и анализ современных систем управления процессом обучения...........24

1.5 Обзор и анализ моделей, методов и алгоритмов, применяемых в системах управления процессом обучения.................................................................................29

1.5.1 Модели представления содержания обучения и результатов образовательной деятельности учащихся................................................................................................29

1.5.2 Методы и алгоритмы диагностики уровня усвоения учебного материала.... 46

1.5.3 Методы и алгоритмы анализа учебной информации.......................................59

Выводы по первой главе...............................................................................................61

ГЛАВА 2. РАЗРАБОТКА МЕТОДОВ, МОДЕЛЕЙ И АЛГОРИТМОВ УПРАВЛЕНИЯ ПРОЦЕССОМ ОБУЧЕНИЯ.......................................................65

2.1 Разработка модели интегративного семантико-логического представления содержания обучения и результатов образовательной деятельности учащихся ... 65

2.2 Разработка метода и алгоритма диагностики уровня усвоения учебного материала на основе семантико-логических взаимосвязей контрольных заданий 71

2.3 Разработка метода и алгоритма расчета степени семантико-логической связности результатов диагностики уровня усвоения учебного материала...........82

2.4 Разработка метода числовой оценки степени взаимозначимости учебных элементов.......................................................................................................................93

2.5 Разработка алгоритма формирования содержания контрольно-измерительного материала.......................................................................................................................99

Выводы по второй главе.............................................................................................105

ГЛАВА 3. РАЗРАБОТКА ИНФОРМАЦИОННОЙ СИСТЕМЫ УПРАВЛЕНИЯ ПРОЦЕССОМ ОБУЧЕНИЯ.....................................................107

3.1 Разработка структурной модели информационной системы управления процессом обучения....................................................................................................107

3.3 Реализация базовых подсистем и модулей информационной системы управления процессом обучения на основе разработанных моделей, методов и алгоритмов...................................................................................................................ИЗ

3.3.1 Подсистема управления учебными материалами...........................................113

3.3.2 Подсистема диагностики уровня усвоения учебного материала..................116

3.3.3 Аналитическая подсистема...............................................................................118

Выводы по третьей главе............................................................................................120

ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ РАЗРАБОТАННЫХ МОДЕЛИ, МЕТОДОВ И АЛГОРИТМОВ.....................121

4.1 Методика тестирования и оценки средств управления процессом обучения......121

4.2 Оценка результатов применения разработанных модели, методов и алгоритмов 122

4.2.1 Исследование модели интегративного семантико-логического представления содержания обучения и результатов образовательной деятельности учащихся . 122

4.2.2 Оценка метода диагностики уровня усвоения учебного материала.............125

4.2.3 Анализ применения метода числовой оценки степени взаимозависимости учебных элементов......................................................................................................130

4.2.4 Оценка алгоритма формирования контрольно-измерительного материала 132

Выводы по четвертой главе.......................................................................................133

Заключение.................................................................................................................134

Список литературы..................................................................................................136

Введение

Современные методы и системы обработки учебной информации позволяют во многом автоматизировать процесс управления обучением. Наблюдаемый сегодня спад уровня предметной подготовленности учащихся на этапе среднего полного образования становится наиболее заметным при переходе к следующему образовательному этапу — этапу высшего профессионального образования.

Недостаточный уровень предметной подготовленности студентов-первокурсников, в особенности по предметам естественнонаучного цикла, значительно осложняет усвоение ими учебного материала, предусмотренного учебным планом выбранного направления подготовки. По этой причине вузы вынуждены проводить специализированную доподготовку студентов первых курсов с тем, чтобы привести предметную подготовленность учащихся к соответствию объективным требованиям со стороны структуры и содержания изучаемых дисциплин. При этом невозможно за сравнительно малый промежуток времени полностью заполнить пробелы в знаниях учащихся, накопленные ими в течение нескольких лет. В этой связи становится очевидной необходимость заблаговременного начала управления предметной подготовкой учащегося во время его обучения на этапах среднего полного образования.

Ориентированность среднего полного образования, равно как и соответствующих ему традиционных форм доподготовки учащихся, на специфику итоговых аттестационных процедур, вместе с их несовершенством, приводит к несоответствию текущего содержания и уровня обучения требованиями высшего профессионального образования. Таким образом, вопрос управления процессом обучения, с точки зрения восстановления преемственной взаимосвязи школа-ВУЗ, до сих пор остается открытым.

Развитие информационно-коммуникационных технологий, методов аутодидактики и теории педагогических измерений значительно расширило возможности разработки адаптивных информационно-образовательных систем, построенных по принципу индивидуализации обучения. Теоретико-

методологическую основу исследования вопросов, связанных с управлением процессом обучения посредством информационно-коммуникационных технологий, составляют работы таких авторов, как B.C. Аванесов,

A.Г. Александров, В.П. Беспалько, JI.A. Демидова, Л.В. Зайцева, А.П. Карпенко,

B.C. Ким, Е.Г. Комаров, И. Б. Моргунов, А.Н. Пылькин, И.В. Роберт, В.М. Соколов, Ю.Г. Татур, P. Brusilovsky и др. Результаты применения информационно-образовательных систем, как средств управления процессом обучения, позволяют судить о все возрастающей роли инфокоммуникационных технологий в образовании и перспективности адаптивных технологий обучения, как самостоятельной ветви развития подобных систем.

Однако применяемые в существующих системах управления процессом обучения методы и алгоритмы анализа учебной информации не позволяют вполне учитывать смысловую и структурно-логическую составляющую анализируемых содержания обучения и результатов образовательной деятельности учащихся. Недостаточная достоверность результатов и неполнота аналитически показателей процедур семантико-логического анализа учебной информации приводит к снижению эффективности функционирования системы управления обучением.

Таким образом, возникает противоречие между объективной необходимостью повышения качества предметной подготовки учащихся и несовершенством методов, алгоритмов и подсистем анализа учебно-образовательной информации, как основы управления процессом обучения. Исходя из вышеизложенного, задача совершенствования существующих и разработка новых методов и алгоритмов анализа учебной информации является актуальной.

Целью диссертационной работы является повышение достоверности и расширение полноты результатов диагностики уровня усвоения учебного материала и результатов анализа учебной информации.

В соответствии с поставленной целью в диссертационной работе решаются следующие задачи:

1. исследование состояния задачи управления обучением;

2. разработка модели интегративного семантико-логического представления содержания обучения и результатов образовательной деятельности учащихся;

3. совершенствование методов и алгоритмов диагностики уровня усвоения учебного материала;

4. разработка методов и алгоритмов анализа учебной информации;

5. создание информационной системы управления процессом обучения;

6. проведение экспериментальных исследований разработанных методов, алгоритмов и системы.

Методы исследования. В работе использованы методы дискретной математики, основные понятия теории графов и теории множеств, математический аппарат и понятия семантических сетей, методы структурного анализа и проектирования, а также методы объектно-ориентированного программирования.

Научная новизна работы состоит в следующем:

1. Предложена формальная информационная модель интегративного семантико-логического представления содержания обучения и результатов образовательной деятельности учащихся. Модель основана на объединении преимуществ семантических сетей и объектно-ориентированного подхода, а также применении словаря смысловых отношений и использования механизма структурных паттернов. Предлагаемая модель обеспечивает получение достоверных, наиболее общих для всех обучаемых аналитических показателей при проведении статистического и семантико-логического анализов учебной информации.

2. Разработан метод диагностики уровня усвоения учебного материала. Метод отличается усовершенствованием структурирования контрольно-измерительного материала путем добавления дополнительного информационного слоя, содержащего множество семантико-логических взаимосвязей контрольных

заданий. Разработанный метод обеспечивает более высокую достоверность числовых показателей уровня усвоения учебного материала.

3. Разработан метод числовой оценки степени взаимозначимости учебных элементов. Метод основан на нелинейной регрессионной модели, построенной на базе модифицированной сигмоидальной функции. Разработанный метод обладает высокой достоверностью результатов прогнозирования числовой оценки уровня усвоения учебного элемента, определяемых на основе числовой оценки степени взаимозначимости учебных элементов.

4. Предложен алгоритм формирования содержания контрольно-измерительного материала. Алгоритм отличается формализацией общих правил отбора контрольных заданий посредством модели функциональных зависимостей взаимозначимости учебных элементов и весов групп контрольных заданий в соответствии с их сложностями. Предлагаемый алгоритм, учитывая правила отбора контрольных заданий, определяемые педагогом-экспертом, совместно с объективированными результатами анализа взаимозначимости учебных элементов, обеспечивает повышение степени автоматизации процедуры формирования контрольно-измерительного материала.

5. Разработан метод и алгоритм расчета уровня семантико-логической связности результатов диагностики предметной подготовленности обучаемого. Метод основан на объединении и дальнейшем семантико-логическом анализе структуры контрольно-измерительного материала и результатов диагностики предметной подготовленности обучаемого, направленного на выделение и последующую обработку смысловых цепочек контрольных заданий. Предложенный алгоритм выделения и обработки нитей контрольных заданий, являющийся модификацией алгоритма поиска в глубину на графе, обеспечивает численное определение уровня смысловой связности результатов предметной подготовленности обучаемого — нового аналитического показателя процедуры диагностики уровня усвоения учебного материала.

Практическая значимость работы заключается в создании на основе разработанных модели, методов и алгоритмов программной информационно-образовательной системы управления процессом обучения, которая позволяет:

- формировать и использовать учебный материал с произвольным числом уровней декомпозиции и классов учебных элементов, включая возможность предварительного создания структурных паттернов фрагментов учебного материала;

- повысить степень достоверности количественных показателей уровня усвоения учебного материала, а также численно определять степень достоверности и применимости решения каждого контрольного задания;

- повысить степень автоматизации процедуры формирования контрольно-измерительного материала;

- определять взаимозависимости между учебными элементами в автоматическом режиме;

- определять численно уровень смысловой связности ответов ученика на контрольные задания в соответствии с семантико-логической структурой контрольно-измерительного материала;

- автоматизировать расчет числовых свойств и показателей качества единиц контрольно-измерительного материала;

- определять и сокращать степень рассогласованности текущего и требуемого уровней предметной подготовленности учащихся.

Основные положения, выносимые на защиту:

1. Формальная информационная модель интегративного семантико-логического представления содержания обучения и результатов образовательной деятельности учащихся.

2. Метод и алгоритм диагностики уровня усвоения учебного материала на основе учета семантико-логических взаимосвязей контрольных заданий.

3. Метод числовой оценки степени взаимозависимости учебных элементов на основе нелинейной регрессионной модели.

4. Алгоритм формирования содержания контрольно-измерительного материала на основе модели функциональных зависимостей взаимозначимости учебных элементов и весов групп контрольных заданий.

5. Метод расчета уровня семантико-логической связности результатов диагностики предметной подготовленности обучаемого.

Апробация работы.

Основные положения и результаты диссертационной работы докладывались и обсуждались на Всероссийских межвузовских научных конференциях «Наука и образование в развитии промышленной, социальной и экономической сфер регионов России»: II Всероссийские научные «Зворыкинские чтения» (г. Муром, 2010-2012 гг.), на Всероссийской научной конференции «Роль инновационных университетов в реализации Национальной Образовательной инициативы «Наша новая школа» и в рамках фестиваля «Путь в науку» (г. Нижний-Новгород, 2011), на Международной конференции «Стратегия качества в промышленности и образовании» (г. Варна, 2010), а также на семинарах кафедры физики и прикладной математики МИ (филиал) ВлГУ .

Включенные в диссертацию результаты получены при выполнении хоздоговорной НИР № 01201353396 «Исследование методов генерации учебно-методического материала и разработка алгоритмов функционирования информационной системы».

Публикации. По теме диссертации опубликовано 9 печатных работ, из них 3 статьи в ведущих рецензируемых журналах из перечня ВАК РФ. Получено 2 свидетельства о регистрации программного продукта. Список публикаций приведен в конце автореферата.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложения. Общий объем работы составляет 152 страницы, включая 49 рисунка и 5 таблиц. Список литературы включает 130 наименований.

ГЛАВА 1. ОБЗОР И АНАЛИЗ КОНЦЕПТУАЛЬНЫХ ОСНОВ, МЕТОДОВ, АЛГОРИТМОВ И СИСТЕМ УПРАВЛЕНИЯ ПРОЦЕССОМ ОБУЧЕНИЯ

1.1 Сущность, базовые принципы и состояние современной образовательной

системы

В общем виде система образования представляет собой совокупность следующих взаимодействующих элементов [38]:

- преемственных образовательных программ и государственных образовательных стандартов различного уровня и направленности;

-сети реализующих их образовательных учреждений независимо от их организационно-правовых форм, типов и видов;

- органов управления образованием и подведомственных им учреждений и организаций;

- объединений юридических лиц, общественных и государственно-общественных объединений, осуществляющих деятельность в области образования.

Принятая в 1989 году концепция непрерывного образования во многом определила развитие системы образования на следующие десятилетия. Согласно принятым положениям базовыми принципами современной образовательной системы являются [54]:

1. Непрерывность — отражает взаимосвязанность компонентов, устойчивость объекта как системы и целостность учебно-познавательного процесса.

2. Преемственнос�