автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Адаптивное управление настройками в контуре аспектно-ориентированной архитектуры средств обучения

На правах рукописи

с? .

Сай Кхин Аунг Тинт

«АДАПТИВНОЕ УПРАВЛЕНИЕ НАСТРОЙКАМИ В КОНТУРЕ АСПЕКТНО - ОРИЕНТИРОВАННОЙ АРХИТЕКТУРЫ СРЕДСТВ ОБУЧЕНИЯ»

Специальность 05.13.11 Математическое и программное обеспечение вычислительных машин, систем и компьютерных сетей

Специальность 05.13.01 Системный анализ, управление и обработка информации (авиационная и ракетно-космическая техника)

АВТОРЕФЕРАТ

диссертации на соискание учёной степени кандидата физико-математических наук

Москва 2011

2 4 ФЕВ 2011

4856112

Работа выполнена в Московском авиационном институте(государственном техническом университете) на кафедрах «Вычислительная математика и программирование» и «Теория вероятностей»

Научный руководитель по специальности 05.13.11:

Научный руководитель по специальности 05.13.01:

кандидат физико -математических наук, доцент,

Марасанов Александр Михайлович

кандидат физико - математических наук, доцент,

Наумов Андрей Викторович

Официальные оппонетны:

доктор физико профессор,

Кузнецов Евгений Борисович,

математических наук,

кандидат технических наук, профессор,

Лупин Сергей Андреевич

Ведущая организация : Институт проблем информатики

Российской Академии Наук

Защита состоится 25 февраля 2011г. В 12 часов на заседании диссертационного совета Д 212.125.04 Московского авиационного института (государственного технического университета) по адресу: 125993, г. Москва, А-80, ГСП-3, Волоколамское шоссе, д. 4.

С диссертацией можно ознакомиться в библиотеке Московского авиационного института (государственного технического университета).

Автореферат разослан « 24 » января 2011 г.

Ученый секретарь

диссертационного совета Д 212.125.04, кандидат физико-математических наук, доцент

ОБШАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы.

В настоящее время тестирующим/обучающим компьютерным системам уделяется большое внимание, как со стороны преподавателей, так и со стороны учеников. С массовым распространением и удешевлением ПЭВМ, развитием глобальной сети Интернет существенно расширяется потенциальная аудитория дистанционно обучаемых и тестируемых.

В вузах наметился также отход от традиционных бумажных(бланковых) методик проверки знаний в направлении электронных учебников и динамичных систем компьютерного тестирования, способных адаптироваться в процессе своей работы под уровень знаний и навыков обучающихся. А следовательно, становится актуальной роль эксперта по знания (учителя), который должен не только грамотно сформулировать вопрос, но и дать анализ возможным вариантам ответа. Так как учитель физически не может постоянно находится в контуре обучающей/тестирующей системы, то требуется реализовать его роль и описать его поведение( в частности, реакцию на ответ) средствами языков и сред программирования. Таким образом, актуальной становится задача разработки и реализации функционала "виртуального учителя", как средства главного планирования, контроля и диспетчеризации всего процесса обучения/ тестирования, начиная с выбора стратегии опроса и завершая сеанс подведением итогов и выработкой рекомендаций для обучаемых.

В диссертационной работе рассматривается трехуровневая \VEB-ориентированная архитектура системы компьютерного обучения и тестирования. Предполагается хранение дидактического материала и метаданных на сервере, удаленный доступ пользователей к системе через интернет/интранет, обработку результатов и реализацию адаптивного управления процессом обучения(тестирования) на сервере приложений. Аспекты системы являются управляющими и валидирующими правилами планировщика, который предназначен для поддержки функций виртуального учителя каждого реального пользователя.

Известно, что архитектура любой информационной системы ( в том числе и обучающей ) должна максимально соответствовать информационным потребностям и функциональному разнообразию предметной области. Однако, выбор инструментальных средств и платформ реализации соответствующих приложений не так уж и велик. Если рассматривать интегрированное решение (языковая среда, архив данных, генератор форм и отчетов, сетевое взаимодействие компонент, надлежащий уровень безопасности, оперативный, отложенный и удаленный доступ и т.п.) в контексте "удобная, профессиональная, адаптивная, понятная, быстрая", то подобных предложений остается совсем мало.

UNIX-ориентированные инструментарии, достаточно гибкие и неуязвимые, чаще применяются для реализации разнообразных серверных решений мощных корпоративных информационных систем. Совокупные стоимости владений такими системами достаточно велики.

Среди Windows-ориентированных инструментариев, удовлетворяющих, хотя бы частично, сформулированным требованиям, можно выделить лишь Microsoft Visual Studio© с ее окружением и разнообразием технологий построения программного обеспечения. Актуальность разработки приложений под MS Windows© обусловлена, прежде всего, широким распространением ОС в пользовательской среде и достаточной простотой работой в ней.

«Обратная связь» компьютерной обучающей и тестирующей системы является актуальным фактором объективного контроля знаний. Если обучающий или тестирующий материал, предлагаемый слушателям, не соответствует уровню обучаемой группы, то крайне затруднительно делать вывод о его усвоении. При этом априорное деление слушателей на «сильных» и «слабых» не всегда возможно, а в условиях, например, удаленного тестирования или заочного обучения нереализуемо. Большинство современных электронных средств обучения обладают теми или иными механизмами адаптивности. Однако оперативность внесения изменений и гибкость многих из них, к сожалению, невысокая. Отчасти, это объясняется необходимостью анализа значительных объемов оперативных данных о динамике обучения или тестирования, что, в свою очередь, требует дополнительного времени, повышенной концентрации вычислительных ресурсов, централизованного управления и ручного вмешательства экспертов предметной области.

Таким образом, актуальным становится разработка алгоритмов статистического анализа результатов тестирования, рассчитанных на максимальную автономность работы(может успешно применяться в распределенных системах) и высокую скорость обработки результатов ("на лету") в рамках концепции обратной адаптивной связи через виртуального учителя.

Предлагаемые в диссертационной работе алгоритмы имеют объектную программную реализацию, выполняются достаточно быстро, не требуют мощных вычислительных ресурсов и составляют основу функционала виртуального учителя для формирования тактики опроса слушателей.

Цель работы - разработка и реализация системы адаптивного управления настройками для средств компьютерного дистанционного обучения и тестирования. Для достижения поставленной цели были определены следующие задачи:

• Исследовать адаптивные методики тестирующих систем и разработать архитектуру, алгоритмы и программные средства с использованием аспектно- ориентированного подхода.

• Создать схему хранения и манипулирования обучающим/тестирующим контентом.

• Реализовать механизм мониторинга, экспертизы и выработки управленческого воздействия на систему в процессе обучения/ тестирования.

• Применить оценочные методы и алгоритмы статистического анализа данных "на лету" в контуре функционала виртуального учителя.

• Реализовать пользовательский интерфейс и апробировать на реальных данных WEB - ориентированную систему обучения/тестирования.

Методы исследования

Программная реализация предложенных архитектурных решений обучающей и тестирующей компьютерной системы (ОТКС) базируется на платформе Microsoft .NET© с использованием интегрированных инструментальных и языковых средств MS Visual Studio©.

Апробация системы, накопление статистики, оценка применимости, достоверности и эффективности адаптивного управления ОТКС осуществлялись для различных разделов информатики. При решении поставленных задач в диссертационной работе были использованы методы теории вероятностей и математической статистики. Математические модели представлены в виде математических расчетов и соответствующих им компьютерных программ. При решении поставленных задач использовались методы математического и компьютерного моделирования, системного анализа, информатики, теории информационного поиска и теории моделей данных.

Научная новизна

1. Применен аспектно-ориентированный подход к процессу электронного обучения и тестирования.

2. Разработаны новые аспекты адаптационного ролевого механизма системы на базе предварительного сбора требований и динамических сценариев процесса обучения(тестирования).

3. Предложена новая роль "виртуального учителя" и определено ее место в системе управления процессом обучения.

4. Для построения обратной связи в системе виртуального учителя применен аппарат проверки статистических гипотез.

5. На базе современных средств программирования, реализован рабочий

прототип системы компьютерного обучения ( тестирования).

Достоверность результатов иследования - Научные результаты диссертационной работы получены на основании достоверных знаний прикладной информатики, моделей данных, теории информационого поиска и использовании строгого математического аппарата. Полученные результаты подтверждены положительными отзывами о них при обсуждении на международных и всероссийских научных конференциях.

Практическая значимость результатов диссертационного исследования заключается в реализации предложенных в работе моделей, методов и алгоритмов при разработке системы управления научно-образовательной ОТКС.

Предложенные компьютерные и математические модели и алгоритмы, а также система или ее отдельные модули могут быть использованы в качестве программного решения для ОТКС в различных прикладных областях.

Апробация работы

Результаты, полученные в работе, докладывались и обсуждались на 6-й Всероссийской конференции студентов, аспирантов и молодых учёных «Технологии Microsoft в теории и практике программирования» (Москва, 2009), на VII и VIII Международных конференциях по неравновесным процессам в соплах и струях (NPNJ'2008, 2010) (Алушта, 2008, 2010), на XVI международной конференции по вычислительной механике и современным прикладным программным системам (ВМСППС'2009) (Алушта, 2009)

Публикации

Основные материалы диссертационной работы опубликованы в 5 печатных работах, в том числе одна работа в издании, входящем в перечень ВАК.

Структура и объем диссертации

Диссертационная работа состоит из введения, трех глав, заключения, приложения и списка используемых источников. Основная часть диссертации содержит 110 страниц машинописного текста, включая 80 рисунков и 56 таблиц. Список литературы включает 87 наименований, в том числе 43 на иностранных языках. Общий объем диссертационной работы составляет 125 страниц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы исследования, описана проблематика предметной области, рассмотрены общие подходы к построению информационных систем в целом, и средств компьютерного обучения/тестирования в частности. Формулируются цели диссертационной работы и возникающие при этом задачи.

Первая глава посвящена исследованию существующих адаптивных методик компьютерного тестирования, как важнейшей части общего процесса дистанционного обучения. Цель этого исследования - выявление тех особенностей, которые являются характерными и уникальными. Первые необходимо изучить для разработки стандартного ( общепринятого) функционала обучающего приложения, вторые, нужны для выделения информационных особенностей предметной области и специфики тестирующего(обучающего) контента дисциплин по которым осуществляется обучение или тестирование. На основе обзора формируется и уточняется постановка задачи на разработку ОТКС, представленной в диссертационной работе. Исследование стремится обнаружить также, сильные и слабые стороны средств, разработанных другими авторами. Эта глава также рассматривает последние открытые технологии реализации программных средств компьютерного обучения, инструментальную и методологическую поддержку процесса подготовки материалов и процедуры проведения сеансов работы.

Проанализированы концепция проф. Васильева В.И. поэтапного оценивания уровня учебных достижений слушателей и требования к материалам компьютерных адаптивных испытаний, а также формы представления содержательной части заданий. Рассмотрены используемые на практике методики расчета надежности тестовых испытаний, построенные на базе постоянства результатов тестирования, а так же подходы В.Агоффа и Р.Эбеля к расчетам "критериального" балла (минимального значения для признания испытуемого успешно прошедшим тест) и методика его расчета на основе статистического анализа пробного тестирования.

Обзор наиболее значимых факторов отечественной и зарубежной системы экспертизы знаний позволил выявить характерные особенности состава, назначения и свойств различных ее форм.

Ручная (или частично автоматизированная) система бланкового тестировании применяемая для проверки, например, школьных знаний и навыков, является простой и понятной формой представления тестов и может быть принята за основу внешних(выходных) форм компьютерных средств. Ее отличают лаконичность и четкость формулировки вопросов, а также наличие нескольких вариантов ответов ( единственный верный из набора дистракторов, несколько верных и т.п.). Экспертом в ручной системе выступает учитель, который не может вмешаться в процесс тестирования (обучения), а лишь

проверяет верность ответов и анализирует статистику экзамена. Адаптивность системы в этом случае невысокая и сводится к подбору новых заданий по результатам проведенного опроса.

Система Экспертизы Онлайн (СЭО)- это средство, позволяющее более "широко" посмотреть на проблему проверки знаний и навыков слушателей и выступить в роли инструмента для социологического исследования. Такого типа обучающие ( тестирующие ) программы базируются вокруг социологических исследований в различных предметных областях ( бизнес, юриспруденция, общественное мнение и др.). Применение такого подхода в точных науках вызывает определенные трудности, связанные, в основном, с непростой валидацией различных разделов той или иной дисциплины как между собой, так и со смежными разделами.

Системы Оценки Онлайн (СОО) - это средство для аналитического исследования результатов "экспертизы онлайн" и опросов общественного мнения, с ключевыми особенностями такими как наличие пополняемого и модифицируемого банка вопросов, задание и управление временем теста или обучающего трека, обеспечением определенного уровня безопасность и идентификации слушателей на базе персональных данных и т.п.

Потребности СЭО и СОО были востребованы вследствие того, что проведение экзаменов, их проверка и обработка результатов были признаны более экономичными по времени и другим организационным ресурсам, чем бланковые формы проверки знаний. Кроме этого, образовался и постоянно пополняется банк типовых вопросов по различным дисциплинам, что существенно сокращает сроки формирования новых тестов, адаптированных под те или иные категории слушателей.

Менеджер Экзамена (МЭ) - это электронная система оценки знаний на основе интеграции клиентских рабочих мест в одноранговой вычислительной сети. МЭ позволяет слушателям увидеть старые и новые(адаптированные) установки экзаменов их лекторами, изменить или установить уровень сложности опроса, а в случае затруднений, автоматически перейти на соответствующий раздел электронного учебника или рассмотреть типовые ответы на контрольные вопросы раздела. Здесь уже прослеживаются элементы оперативного анализа ситуации, складывающейся во время тестирования( обучения) и попытки принятия управленческих воздействий на процесс опроса. Однако действия и альтернативы системы ограничены выбором вариантов действий: либо использовать предлагаемый каркас опросника, либо перейти в режим формирования индивидуальной последовательности на базе пожеланий пользователя или решений учителя. Применяется, в основном, для проверки знаний студентов в технических Вузах.

Онлайн Система Экспертизы Курсов (ОСЭК)- это средство, позволяющее через Интернет оценить такие факторы банка тестирующего (обучающего) контента как сбалансированность, адекватность, приемлемость,

сложность, понятность и др. ОСЭК позволяет также зарегистрированным студентам пройти онлайн тесты (курсы ). Это необходимо для формирования объективных оценок экспертиз и выработки рекомендаций по внедрению того или иного обучающего(тестирующего) курса в практику.

Адаптивное Испытание (АИ) - это сетевой ресурс, позволяющий в режиме онлайн проверить знания и навыки слушателей не по фиксированному сценарию теста, а адаптиво, выбирая тактику "следующего вопроса" исходя из предыдущего ответа. Испытательный Модуль АИ может "задавать" вопросы на основе способностей студента, а также анализировать полученные результаты и на их основе выдавать рекомендации слушателям. Единственным слабо формализованным элементом данной системы является описание "способностей студента" на базе механизма внутренних оценок.

Электронный Репетитор (ЭР) - это система, использующая функциональный граф понятий по которому строятся оценки уровня знаний и навыков обучаемого. Такой подход может быть положен в основу архитектуры обучающей (тестирующей) системы, если в предметной области возможно построение хорошо сформулированных иерархий всех понятий от базовых (корень флейма) до подчиненных и зависимых (дочерние узлы и листья флейма). Система эффективна для развития моторики обучаемого при решении стандартных задач и разрешения типовых ситуаций.

Выводы аналитического обзора позволили сформулировать основные требования, определяющие архитектуру системы адаптивного управления настройками:

- обучение и тестирование - две взаимодополняющие части испытательного процесса, обеспечивающие взаимный переход между блоками тестирования и справочных ресурсов(электронные учебники) локальных и глобальных сетей;

- классификация результатов испытаний обучаемого по многобальной шкале со степенью(весом) "правильности" его ответов;

- назначение и верификация трудности каждого задания и их последовательностей;

- выбор сценариев и вариантов продолжения работы с системой на основе адаптивных алгоритмов эмпирической и статистической природы, т.е. ряд алгоритмов "обратной связи" в управлении настройками ОТКС строится на базе статистической обработки результатов, а часть - на вычислении трудности теста и сопоставлении ее с уровнем подготовки испытуемых по их ответам.

Необходимо также расширить семантику хранимого обучающего(тестирующего) контента, дополнив информацию критериями оценивания, функциями переходов, различными весовыми коэффициентами, а так же стратегиями(ветвями) процесса обучения(тестирования) по разделам(дидактическим единицам). Для маршрутизации предлагается использовать карту знаний дисциплины с повышающими или понижающими

уровень трудности изменениями, реализованную в виде иерархии уровней связанных специализированной схемой хранения данных.

Архитектура ОТКС, максимально восприимчивая к возможным изменениям процесса взаимодействия слушателей с системой "на лету", имеет клиентский(пользовательский) и административный интерфейсы (рис. 1), а ее поведенческая(аспектная) составляющая реализует гибкий механизм экспертных оценок трудности заданий, динамику испытательного процесса и выработку управляющего воздействия на базе методик статистического анализа. Эти компоненты составляют основной функционал информационной поддержки виртуального учителя.

Структура клиент-серверного приложения

Рис . 1 Макроструктура клиент-серверного приложения

Во второй главе диссертационной работы представлены архитектурные решения ОТКС и реализация проекта средствами клиент-серверных технологий в операционной системе Microsoft Windows©.

В специальной литературе архитектуры информационных систем принято делить либо по уровням (двух-, трех, n-уровневые), т.е. по слоям разделяемых сетевых ресурсов со своей функциональностью; либо по известным парадигмам программирования (модульная, объектно-, контекстно-, аспектно-ориентированные). При этом первая классификация больше соответствует программно- аппаратному подходу в проектировании информационных систем, а вторая - логике и семантике построения средств информационной поддержки

предметных областей. Консолидация обычно достигается посредством кроссплатформенных решений ( например WWW), когда независимо от степени сложности разработанной архитектуры и средств реализации информационного приложения, конечному пользователю для полнофункциональной работы с системой необходим лишь WEB - браузер.

Архитектуры обучающих систем выделяются из общего числа тем, что помимо общих черт, удовлетворяют двум важным свойствам. Они должны быть масштабируемыми, т.е. работать на всем многообразии программно- аппаратных платформ при неконтролируемом количестве пользователей и быть гибкими и динамичными, т.е. подчиняться "на лету" правилам конструирования, валидации и адаптивности. Такая специфика делает аспектно- ориентированный подход в разработке обучающих/тестирующих систем более привлекательным, так как появляется возможность спроектировать автономные модули информационной системы (объекты), максимально независимые по данным и управлению и реализовать их поведенческие свойства на базе например XML - шаблонов приложений - легко модифицируемых и настраиваемых конструкций.

Анализ и сбор функциональных и нефункциональных требований для разработки архитектуры адаптивной обучающей/тестирующей системы и управления ее настройками был осуществлен на принципах построения поведенческой модели: "поток событий и реакций, который имеет место между обучаемым и системой в рамках ограничений испытаний".

Предлагающийся проект ОТКС включает три основные функциональные возможности, которые по данным связаны с архивом обучающего/тестирующего контента, а по управлению - с СУБД и настройками обратной связи: систему оценки трудности вопроса, автоматический генератор вопросов и интеллектуальная система оироса(планировщик).

Для оценки трудности вопросов используется комплексный подход: систематический метод формального статистического анализа верных и неверных ответов и их весовых коэффициентов по соответствующим категориям слушателей и априорная (субъективная) оценка сложности вопроса, предложенная экспертами предметной области на основе их личного опыта. Таким образом, гибридный алгоритм удобен как для новых тестов ( в этом случае доминирует экспертные оценки из-за отсутствия статистики ), так и для апробированных массовыми тестами решений ( в этом случае статистическая оценка имеет больший вес, чем экспертная).

Гибридный алгоритм позволяет, например, сформулировать "наводящий" вопрос, в случае, если обучаемый затрудняется в понимании формулировки вопроса или теряется в многообразии вариантов ответа(дистракторов). Реализуется данный подход виртуальным учителем посредством ассоциаций, которые устанавливаются между элементами обучающего/тестирующего контента в карте знаний дисциплины.

Функциональные требования ОТКС были категоризированы в 5 главных модулей:

> Пользовательский (Модуль обучаемого)

> Администраторский (Модуль Администратора)

> Экспертный (Модуль учителя)

> Оценочный ( Модуль статистики)

> Управляющий (Модуль адаптации, обратной связи)

Для каждого модуля определены роли и описаны соответствующие им функции, построены диаграммы прецедентов. Далее функциональные требования были отображены на информационный и событийный уровни, которые позволили связать между собой операции, потоки данных и последовательности их инициирующих событий.

Роль и функции эксперта по знаниям(учителя) (рис. 2), являются основными в процессе формирования и накопления содержательного материала ОТКС. Они включают формирование блока тестирующего/обучающего I контента, его разделение и систематизацию по дидактическим единицам, | верификацию вопросов и ответов, назначение весовых коэффициентов и задание уровня трудности. Таким образом, эксперт по знаниям настраивает функции виртуального учителя и формирует архив ассоциативно связанных заданий или их последовательностей(тестов).

Эксперт ПО (учитель) I

Рис . 2 Диаграмма прецедентов формирования архива заданий

12

В ОТКС на основе реляционной модели данных спроектирована и реализована специализированная схема хранения информации, которая логически объединяет накопительную составляющую( учетную информацию о пользователях в личных кабинетах, параметры тестовых заданий, результаты проведенных испытаний, статистику и др.) и оперативную подсхему для ( каждого испытуемого, где содержатся данные о процессе обучения/тестирования, параметры для адаптивного управления настройками виртуального учителя, информация о маршрутах по карте знаний дисциплины, I расчетные значения уровня трудности, пороговые значения и др. По запросам компонент системы осуществляется выбор данных, соответствующие операции предусмотрены так же для изменения, удаления и добавления данных в архив.

Технологической платформой(Ргате\уогк) реализации предлагаемой архитектуры ОТКС является ASP.NET МУС 2, которая содержит обширную библиотеку признаков и шаблонов, а также необходимый набор сервисных классов. Применен классический(для МУС) подход к условному делению приложения на три объекта:

1. Диспетчер. Получает входные и выходные данные, реализует | соответствующие вызовы и управляет представлениями.

2. Модель. Реализует логику управления и содержит ядро функциональных возможностей системы.

| 3. Представление. "Оформляет" результат для браузера. Динамично,

компактно и событийно определяет порядок работы с ОТКС.

Локализация и инвариантность модели относительно представления и диспетчера поддерживает достаточно высокий уровень абстракции этапов проектирования и модификации системы в жизненном цикле реализуемых функций.

Архитектура ОТКС(рис.З) представлена в виде схемы крупноблочного взаимодействия компонент, связанных между собой по управлению и данным.

I ..... — _.. --------- ...... хп II-» ASP.NET УУс-Ь гсрпср

Браузе») 1 * " * г» О «7 ...... 1 Сервлет J .1"

| 1_______________________________ №Т"П» 1 Менеджер С) 1 КС | | Класс Действия | | подтвер | 1>я1» Ассе« 1 1 ОЬ !«•«-»*! 1 СУБД и ждение.

Рис. 3 Архитектура ОТКС

Независимость приложений от данных при этом обеспечивается реляционной СУБД, а возможность управления реализуется автономностью модулей и наличием обратной связи.

При работе пользователь активирует некоторое событие на странице ASPX. Диспетчер получает запрос, загружает необходимую информацию из web.config и определяет требуемое действие. Запрос через интерфейсный слой проходит в слой данных, интерпретируется СУБД и его результат возвращается в интерфейсную среду, где отображается в соответствующем представлении(страница ASPX) согласно определенному maping, после чего страница передается браузеру в формате html.

Третья глава описывает методики статистического анализа и результаты их применения для адаптивного управления настройками системы в контуре обратной связи.

По результатам работы с «эталонными» группами слушателей определяются априорные вероятностные характеристики процесса обучения, такие как, вероятность сдачи теста «эталонным» слушателем целиком, распределение числа баллов набранных эталонным слушателем при решении тестовой задачи и др. Аппарат проверки статистических гипотез помогает виртуальному учителю принимать решение о соответствии уровня тестируемой группы уровню обучающей и тестирующей системы в целом, а также, о соответствии уровня отдельных заданий системы уровню группы.

Оценка вероятности успешной сдачи теста задается формулой

Р0 =т! п,

где ш - число эталонных слушателей, успешно сдавших тест.

Рассмотрим статистику Тп адаптивного критерия. Пусть Х„ - число студентов в оперативно исследуемой группе из п человек, сдавших тест, тогда

случайная величина Т = , " 0 сходится по распределению к

лКа-^о)

стандартной гауссовской случайной величине и~ N(0,1)).

Управляющее воздействие на систему генерации тестового контента формируется следующим образом. Для уровня вероятности ОС — 0.1 рассмотрим квантили Xа/1 и Хх_аП стандартной гауссовской случайной величины.

Если Тп е (Xа11,Хх__а11) то считается, что уровень теста

соответствует уровню слушателей в группе и может служить оценкой их знаний. При этом никакие управляющие воздействия на обучающую систему не требуются.

Если Тп <ХаП, то уровень теста необходимо понизить, а если Тп > Х\_а11, то уровень теста нужно повышать.

Часто бывает, что тестовый контент используется для оценки уровня знаний различных групп слушателей, обучаемых по разным программам, или разными преподавателями. В этом случае очень важно оперативно принимать решение о соответствии отдельных тестовых заданий уровню материала, прочитанного слушателям. Для этого используется аппарат проверки гипотезы о виде закона распределения с помощью критерия Пирсона.

Пусть на основе работы с эталонной группой для каждого тестового задания получены распределения количества баллов набираемых эталонными слушателями за это задание:

г, г2 2т-1 7

Р1 Р1 Р2 Рш-1 Рт

где Ъ\ , 1=1,..,т - количество баллов, набранных тестируемым за задание (например, от 0 до 1 с шагом 0.2, или 0. 25), pi=P(Z=Z¡), ¡=1,..,ш.

Рассмотрим статистику Сгп = > -, где Пк - число

4-1 пРк

тестируемых, набравших за это задание 2к баллов, в группе из п человек.

Величина Сп сходится при п —» оо по распределению к случайной величине,

имеющей распределение Хт-\ (хи-квадрат с т — 1 степенью свободы).

Тогда, управляющее воздействие на систему формируется следующим образом. Если реализация статистики (7П принадлежит доверительной области

(0,(т -1)), где х1Лт _ квантиль уровня а - 0.9 распределения хи-квадрат с (т — 1) степенью свободы, то уровень сложности задания считается соответствующим уровню группы. В противном случае задание требуется заменить.

На рис. 4 представлены данные тестовых испытаний 10 групп слушателей с количеством обучаемых равном 20 по некоторой дисциплине.

Часть заданий теста была признана несоответствующий уровню, что привело к выработке управляющего воздействия на подбор материалов.

Апробация материала

SQL Test

Н ¡дает» CTyPSHTOS «гиганта

шшш я- 2S

2Z X

г 2Z а

1 £ -а 50

2й а

Is ж •i

. Е а 2: ¿С 30

£ я г.

15 ¿С ¿С

1 КЯЕГОДА

кашагк.

•гааздащ-

; «KiPiTK. 1 ЕТЗЖЙЭ:«. 1 «С5ЮДЙЕ& ! :5£:S;EI23ss

Обгв—Ь

,-,:■:f.-; Г ЕЕ '■I 5? 1 «"

Tr«s-ui.i.si:. Tf • l.;f, .

T- > 1 SS-течи... Ti-ev1.St1.5E: T- < -UE-noi . Tr e ;-Ш,1Ж .

I- -- 1 sf

T-s;-1.S Е.Ш: Tn a M.tS.l.iS; .. T-i.lKISi.

Рис. 4 Экранная форма апробации тестов

Выходными формами ОТКС являются подробные отчеты о прохождении теста или трэка обучения, рекомендации виртуального учителя и эксперта по знаниям, а в случае успешного окончания учебного курса(преодоления пороговой интегральной оценки знаний) - именной сертификат слушателя.

В заключения приведены основные результаты работы.

В приложении представлены протоколы апробации системы (копии экранов), диаграммы состояний и взаимодействия ее компонент согласно реализованным ролям.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Основными результатами диссертационной работы являются: • Модель адаптивного управления настройками обучающей компьютерной системы (спецификация и взаимодействие аспектов -ролей, функций и полномочий).

• На базе принципов аспектно- ориентированного подхода разработана трехзвенная архитектура системы компьютерного обучения и тестирования.

• Декларированы правила семантического контроля дидактического контента и оценки их применимости и достоверности для применения адаптивных алгоритмов.

• Декларированы и реализованы функции "виртуального учителя".

• Создан рабочий прототип системы, реализующий разработанные в диссертации архитектурные и аспектные решения и проведена апробация методов анализа статистических данных на тестовых примерах цикла дисциплин информатики.

Значимость полученных результатов для улучшения национального образовательного процесса:

• стимулирование развития сетевой инфраструктуры ВУЗов для значительного расширения аудитории обучаемых;

• повышение объективности оценки знаний и навыков слушателей;

• анализ начального уровня знаний слушателей и динамичный выбор образовательной/тестирующей стратегии исходя из образовательного базиса; ;

• контроль и накопительная составляющая процесса обучения/ тестирования как одна из задач интегрированной компьютерной образовательной государственной программы.

Основное содержание диссертации изложено В изданиях, рекомендованных ВАК РФ:

1. Сай Кхин Аунг Тинт Архитектура и сценарии работы обучающей

системы // Вестник МАИ . 2009.Т.16 No.7. С.90-95. В других изданиях:

2. Сай Кхин Аунг Тинт. Объектная архитектура адаптивной обучающей

системы // Материалы VII Международной конференции по неравновесным процессам в соплах и струях (NPNJ'2008). - М.: Изд-во МАИ, 2008.-С.359-360.

3. Сай Кхин Аунг Тинт. База данных адаптивной обучающей и

тестирующей системы // Материалы XVI Международной конференции по вычислительной механике и современным прикладным программным системам(ВМСППС'2009), 25-31 мая 2009 г., Алушта. -М.:Изд-во МАИ-ПРИНТ,2009.-С.619-620 .

4. Сай Кхин Аунг Тинт. Спецификация элементов пользовательского

интерфейса в технологии ASP.NET // Технологии Microsoft в теории и практике программирования: Тр. VI Всерос. конф. студентов,

аспирантов и молодых ученых. Центральный регион . Москва , 1-2 апреля 2009 г. - М.: Вузовская книга, 2009. -с . 132-133.

5. А.В.Наумов, Сай Кхин Аунг Тинт. Алгоритм статистического анализа сложности тестов в адаптивной обучающей системе. // Материалы VIII Международной конференции по неравновесным процессам в соплах и струях (NPNJ'2010). - М.: Изд-во МАИ-ПРИНТ , 2010.-С.593-594.

ВВЕДЕНИЕ.

ГЛАВА 1. ИССЛЕДОВАНИЕ АДАПТИВНЫХ МЕТОДИК КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ И АНАЛИЗ ИХ РЕАЛИЗУЮЩИХ АРХИТЕКТУР.

1.1 Технологии компьютерного адаптивного тестирования.

1.2 Требования к материалам компьютерных адаптационных исследований.

1.3 Формы представления и требования к содержательной части заданий.

1.4 Критерии оценок и методики расчета критериального балла.

1.5 Обзор наиболее значимых факторов отечественной и зарубежной системы экспертизы знаний.

1.6 Выводы аналитического обзора, положенные в основу адаптивного управления настройками.

1.7 Обзор компьютерных средств реализации систем адаптивного управления настройками в Microsoft Windows.

Глава 2. АРХИТЕКТУРА ОТКС И РЕАЛИЗАЦИЯ ПРОЕКТА НА БАЗЕ КЛИЕНТ-СЕРВЕРНЫХ ТЕХНОЛОГИЙ.

2.1 Сбор и анализ требований к ОТКС.

2.2 Архитектура ОТКС.

2.3 Организация работы и регламент безопасности проекта ОТКС.

2.4 Объектная модель ОТКС.

2.5 Модели данных ОТКС.

2.6 Атрибутная детализация схемы и словари данных.

2.7 Реализация ОТКС. Операционные среды развертывания.

Глава 3. МЕТОДЫ СТАТИСТИЧЕСКОГО АНАЛИЗА И РЕЗУЛЬТАТЫ ИХ ПРИМЕНЕНИЯ ДЛЯ АДАПТИВНОГО УПРАВЛЕНИЯ НАСТРОЙКАМИ СИСТЕМЫ В КОНТУРЕ ОБРАТНОЙ СВЯЗИ.

3.1 Основные теоретические положения.".

3.2 Методы проверки соответствия сложности тестов уровню знаний группы в целом.

3.3 Проверка соответствия уровнения сложности задачи тестируемой группе.

3.4 Примеры использования статистических критериев.

3.5 Апробация статистичечких методов в контуре управляющих воздействий виртуального учителя.

Классический подход контроля уровня достижений обучаемого, основанный на дидактических измерениях обладает извесшой субъективностью, т.е. каждый преподаватель посвоему оценивает совокупность ответов, и даже групповой контроль нескольких преподавателей и формирование итоговой оценки экспертным путем не значительно способствуют увеличению объективности и ускорению процесса оценивания знаний. Автоматизация ( в широком смысле) подсказывает возможный путь совершенствования дидактических измерений: тестирование бланковое -> аппаратное -> компьютерное.

К достоинствам компьютерного обучения/тестирования следует отнести[44,48]: оценивание результатов осуществляется быстро и сохраняется- на длительное время; формирование и модификация большого количества вариантов вопросов и ответов, а также критериев и параметров их оценивания; управление стратегией проверок в ходе тестирования/обучения; сочетание индивидуального подхода к каждому юстируемому с оценками статистических данных по группам; временные ограничения или временное отслеживание процесса тестирования;

• использование мультимедийных компонент и графических изображений высокого качества (объем, цвет);

В настоящее время тестирующим/обучающим компьютерным системам уделяется большое внимание[31,40], как со стороны преподавателей, так и со стороны учеников. С массовым распространением и удешевлением ПЭВМ, развитием глобальной сети Интернет существенно расширяется потенциальная аудитория дистанционно обучаемых и тестируемых.

В вузах наметился также отход от традиционных бумажных(бланковых) методик проверки знаний в направлении электронных учебников и динамичных систем компьютерного тестирования[Зб,15], способных адаптироваться в процессе своей работы под уровень знаний и навыков обучающихся.

При этом, открытым остается вопрос о точности полученной в результате испытаний оценки и информативности(значимости) тестового материала. Следовательно, сам испытательный процесс должен обладать максимальной адаптивностью, т.е. быть чуствительным к ответам обучаемых и, по возможности, так формировать трек вопросов(ответов), чтобы выявить реальный уровень знаний и навыков обучаемого, а также дать оценку самому тестовому контенту и при необходимости выда1ь рекомендации по изменению тестовых заданий(усложнению, упрощению или исключению) в зависимости от группового и индивидуального уровня подготовки учащихся.

Становится актуальной роль эксперта по знания ( учителя), который должен не только грамотно сформулировать вопрос, но и дать анализ возможным вариантам ответа. Так как учитель физически не может постоянно находится в контуре обучающей/тестирующей системы, то требуется реализовать его роль и описать его поведение( в частности, реакцию на ответ) средствами языков и сред программирования. Таким образом, актуальной становится задача разработки и реализации функционала "виртуального учителя", как средства главного планирования, контроля и диспетчеризации всего процесса обучения/ тестирования, начиная с выбора стратегии опроса и завершая сеанс подведением,итогов и выработкой рекомендаций для обучаемых.

В диссертационной работе рассматривается трехуровневая WEB- ориентированная архитектура системы компьютерного обучения и тестирования. Предполагается хранение дидактического материала и метаданных на сервере архива данных, удаленный доступ пользователей к системе через интернет/интранег, обработку результатов и реализацию адаптивного управления процессом обучения(тестирования) на сервере приложений. Аспекты системы являются управляющими и валидирующими правилами планировщика, который предназначен для поддержки функций виртуального учителя каждого реального пользователя.

Известно, что архитектура любой информационной системы ( в том числе и обучающей ) должна максимально соответствовать информационным потребностям и функциональному разнообразию предметной области. Однако, выбор инструментальных средств и платформ реализации соответствующих приложений не так уж и велик. А если рассматривать интегрированное решение (языковая среда, база данных, генератор форм и отчетов, сетевое взаимодействие компонент, надлежащий уровень безопасности, оперативный, отложенный и удаленный доступ и т.п.) в контексте "удобная, профессиональная, адаптивная, понятная, быстрая", то подобных предложений остается совсем мало.

UNIX-ориентированные инструментарии, достаточно гибкие и неуязвимые, чаще применяются для реализации разнообразных серверных решений мощных корпоративных информационных систем. Совокупные стоимости владений такими системами достаточно велики.

Среди Windows-ориентированных инструментариев, удовлетворяющих, хотя бы частично, сформулированным требованиям, можно выделить лишь Microsoft Visual Studio© с ее окружением и разнообразием технологий построения программного обеспечения. Актуальность разработки приложений под MS Windows© обусловлена, прежде всего, широким распространением ОС в пользовательской среде и достаточной простотой работой в ней.

Обратная связь» компьютерной обучающей и тестирующей системы является актуальным фактором объективного контроля знаний. Если обучающий или тестирующий материал, предлагаемый слушателям, не соответствует уровнню обучаемой группы, то крайне затруднительно делать вывод о его усвоении. При этом априорное деление слушателей на «сильных» и «слабых» не всегда возмоно, а в условиях, например ,удаленного тестирования или заочного обучения нереализуемо. Большинство современных электронных средств обучения обладают теми или иными механизмами адаптивности. Однако оперативность внесения изменений и гибкость многих из них, к сожалению, невысокая. Отчасти это объясняется необходимостью анализа значительных объемов оперативных данных о динамике обучения или тестирования, что, в свою очередь, требует дополнительного времени, повышенной концентрации вычислительных ресурсов, централизованного управления и ручного вмешательства экспертов предметной области.

Таким образом, актуальным становится разработка алгоритмов статистического анализа результатов тестирования, рассчитанных на максимальную автономность работы(может успешно применяться в распределенных системах) и высокую скорость обработки результатов ("на лету") в рамках концепции обратной адаптивной связи через виртуального учителя.

Цели и задачи диссертационной работы: Провести исследование методик компьютерного тестирования и анализ средств их реализации в соответствии с ГОСТ РФ и международной сертификации.

Определить структуру и место прикладного программного обеспечения в конгуре аспектно- ориентированного подхода

Создать схему хранения и манипулирования обучающим/тестирующим контентом.

Реализовать механизм мониторинга, экспертизы и принятия решений в процессе обучения/тестирования.

Разработать критериальную базу оценок и пороги допустимости для функционала виртуального учителя.

Реализовать пользова1ельский интерфейс и апробировать на реальных данных WEB — ориентированную систему обучения/тестирования.

Применить оценочные меюды и алгоритмы статистического анализа данных "на лету".

Программная реализация предложенных архитектурных решений обучающей и тестирующей компьютерной системы (ОТКС) базируется на платформе Microsoft .NET© с использованием интегрированных инструментальных средств MS Visual Studio (ASP.NET,АDO.NET)© и языка компонентного программирования СU® .

Апробация системы , накопление статистики, оценка применимости, достоверности и эффективности адаптивного управления ОТКС осуществлялись для различных разделов информатики. При решении поставленных задач в диссертционной работе были использованы методы теории вероятностей и математической статистики. Математические модели представлены в виде компьютерных программ на языке программирования С# ASP.NET и математических расчетов. При решении поставленных задач использовались методы математического и компьютерного моделирования, системного анализа, информатики , теории информационного поиска и теории без данных.

Предлагаемые в диссертационной работе алгоритмы имею1 объектную программную реализацию, выполняются достаточно быстро, не требуют мощных вычислительных ресурсов и составляют основу функционала виртуального учшеля для формирования тактики опроса слушателей.

Ключевые слова: обучающая система, архитектура, диаграмма прецедентов, MS Windows, ASP.NET,ADO.NET, AJAX , SQL Server , КАТ - Компьютерное Адаптивное Тестирование, ОТКС - Обучающая Тестирующая Компьютерная Система

1.6 Выводы аналитического обзора, положенные в основу адаптивного управления настройками.

Анализ и исследование нормативных правил тестологии, опыта реализации автоматизированных компьютерных сисгем с адаптивным управлением и удаленным доступом позволил сформулировать ряд требовании к разработке и реализации обучающей и тестирующей системы(ОТКС). описанной в данной диссертационной работе.

Всю проблематику предметной области предполагается рассматривать в ракурсе следующих требований:

- обучение и тестирование - две равноправных составляющих, дополняющих друг друга в испытательном процессе, т.е. должна быть возможность перехода из системы тестирования, в информационно- справочный блок электронных учебников, электронных курсов или справочных ресурсов локальных и глобальных сетей, а также возврат к тесту;

- классификация 01веюв обучаемого по многобальнон шкале, а следовательно, необходим тщательный подбор формулировок и дистракторов заданий;

- определение, назначение и верификация трудности каждого задания и их последовательностей;

- выбор сценариев и вариантов продолжения работы с системой на основе адаптивных алгоритмов статистической и эмпирической природы, т.е. ряд алгоритмов "обратной связи" в управлении настройками ОТКС строится на базе статистической обработки результатов, а

часть - на вычислении трудности теста и сопоставлении ее с уровнем подготовки испытуемых по их ответам.

Для формализации и спецификации обучающего/тестового контента его удобно представить в виде иерархической структуры и ввести 3 вида оценок: статическую экспертную оценку, динамическую оценку на повышение сложности и динамическую оценку на понижение сложности. Имея соответсвующий набор весовых коэффициентов можно варьировать вычисляемую суперпозицию и на ее основе формировать управляющее воздействие. Набор вершин одинаковой иерархии определяет уровни трудности, а наборы исходящих и входящих дуг - параметры переходов для управления системой (некоторая аналогия с направленными нециклическими графами[11,16]).

D = U-;N + U',P + Г,;М где N -априорная экспертная оценка, Р - оценка по дуге на "понижение" М - оценка по дуге на "повышение", П'г, 1Г- и U; - весовые коэффициенты При этом \\'г <1К <И'1, так как ассоциативная связь по дуге повышения более трудоемкая.

Рассмотрим алгоритм анализа ответа испытуемого с использованием очереди теста, начального уровня сложности( credit), графа понятия и суперпозиции перерасчета трудности вопросов.

1. Инициализация очереди: Queue OPEN = new QueueList();

2. Выбор г-го узла из всего графа понятия и пометка его как "CLOSE".

3. Если Dr < credit, то повышение ( credit = credit -113) уровня. Открывется родительский узел в графе понятия OPEN.enqueue(parent of Nr). Перебираем всех потомков узла N, заносим их в очередь (OPEN.enqueue(descendants of N)) и пересчитываем уровень credit — credit - Vf, * nuindescendants;

4. Узел N - обработан (на повышение), удаляем его из очереди (OPEN.dequeue ());

5. Если Dr > = credit, то уровень трудности задания соответствует(или больше) заданному изначально( на первом шаге) или вычисленному в процессе испытания (в последующих итерациях). В очередь заносится случайным образом выбранный вопрос из узлов этого уровня, credit = credit - 1Г-* numdescendants;

6. Если трек испытания не завершен, то переход на шаг 3.

В данном алгоритме параметр credit постоянно уменьшается, что позволяет автоматически повышать трудность по графу теста, если испытуемый успешно справляется с выполнением одноуровневых заданий. Понижение уровня трудности выполняется в случае, если испытуемый неверно отвечает на задания одного уровня. Для соответствующего итерационного процесса предусмотрены дополнительные алгоритмические ограничения и проверки, которые позволяют предотвратить зацикливание и возникновение исключительных ситуаций.( например credit >=0) и др.

Таким образом, предлагается использовать механизм импирической адаптивности, т.е. отображать уровень представления знаний каждого испьпуемого на систему опроса. В случае совпадения параметров после нескольких случайно выбранных вопросов одного уровня, испытуемый переводится на уровень выше. Если тест завершается "с повышением", то статус испытуемого обновляется, также в сторону повышения. В противном случае, испытуемому предлагается переход к электронным учебным материалам. Усреднение оценки на повышение или понижение позволяет "сгладить" возможные выбросы, которые обычно носят субъективный или эмоциональный характер и не должны влиять на статус испытуемого.

Реализация хранения и манипулирования тестовым/обучающим контентом предполагает несколько подсхем архива данных.

Архив данных вопроса содержит полный набор вопросов. "Студенческий" архив локализует модель процесса индивидуального многоступенчатого испытания. Он содержит учетную информацию по слушателям, треки тестов, результаты, статистическую и экспертные оценки уровня и др.

Архив данных системы знаний(лес из деревьев тестов) включает спецификацию уровней, веса заданий и параметры повышения и понижения(маршрут изацию в системе). Таким образом, формируется абстрактная карта знаний.

Задания сгруппированы в наборы, в соответствии с уровнем трудности. Это необходимо для контроля взаимосвязанных или взаимодополняющих понятий. Отчасти это способствует более объективной оценки знаний и умений испыгуемого не только по отдельно взятой теме из дисциплины, но и с учетом всех обобщений.

На базе студенческого архива строится профиль студента в котором хранится его текущий уровень, необходимый системе для формирования первого задания.

Процесс маршрутизации испытуемого по абстрактной карте знаний может быть иллюстрирован крупноблочной схемой, представленной на рис. 1.4.

Рис 1.4 - Крупноблочная схема адаптивного процесса.

1.7 Обзор компьютерных средств реализации систем адап гивного управления настройками в Microsoft Windows.

В настоящее время для программной реализации информационных систем, обрабатывающих большие объемы данных и поддерживающих удаленный доступ пользователей ( к таким системам можно отнести обучающие/тестирующие электронные средства) выделяются распределенные архитектуры типа Клиент- Сервер приложений -Сервер баз данных[ 1,3,8,9,22,33,38,42]. Трех уровневые(в общем случае N-уровневые) решения пришли на смену традиционным представлениям в виде файл - серверных модульных приложении.

Такой подход привлекателен многопользовательким использованием функционала СУБД, скоростным доступом к данным по локальным и глобальным сетям, универсальной реализацией логики на сервере, централизованным хранением и доступом к информации. Сейчас подавляющее большинство информационных систем имеют "тонких" клиентов, что существенно расширяет их возможности по информационному обслуживанию погенциално широкой аудитории.

Современные операционные среды предлагают разнообразные платформы для реализации трех - и N - уровневых архитектур. На рис. 1.5 и 1.6 представлены иллюстрационные схемы состава, инструментальной среды и порядка взаимодействия различных компонентов платформы Microsoft .NET[79]

Visual Studio .NET

NET Серверы .NET Структура .NET Функции

Операционная система на серверах, рабочих станциях, мобильных и персональных компьютерах

Рис 1.5 - Microsoft .NET платформа Классические уровни[79] представления, логики и хранения информации в технологии

NET показаны на рис. 1.6

Представление и Доступ ASP.NET pages Windows Формы Сеть Услуги

Бизнес Логика .NET Управляемый Компонент СОМ+

Возможность соединения ADO.NET SOAP

Время выполнения Языковая среда (CLR)

Рис. 1.6 Концепты архитектуры .NET Здесь четко просматривается принцип взаимодействия клиент- серверного суррогата, реализованный в среде Microsoft Visual Studio[79], когда посредством движка CLR, объектно-ориентированных языков программирования (С#. С++), библиотек классов (ASP.NET, ADO.NET) и технологии промежуточного уровня MSIL имеется возможность разработки многоуровневого приложения.

WEB ориентированность платформы .NET поддерживается IIS[24] или ASP.NET Web Server[24], а возможность хранить значительные объемы данных - инсрументальными средствами семейства Microsoft SQL Server[53]

Инструментальное семейство средств реализации программной системы от Microsoft оказывается более полным и согласованным по сравнению с аналогичными компонентами UNIX-систем. К сожалению, при всех положительных чертах операционных систем семейства UNIX (таких, как повышенная надежность, защищенность, отказоустойчивость и т.п.), разработчики вынуждены отдавать предпочтение Windows из-за желания снизить совокупную стоимость владений разрабатываемой системы.

Анализ средств и технологий реализации сложных многоуровневых систем на базе .NET позволил сделать выбор в пользу следующих архитектурных решений[76] (рис. 1.7)

Структура клиент-серверного приложения

ASP NET

Интерфейс пользователя

Интерфейс ад м инистратора нет

Р1

Да

MS SQL 2005

J Пон'н ! П0П1 ~Г Г ТГОГП

1 Да

Г "

Lp г ИИ f.

МИ H ИГ--р л торя

L1HOH - I

1 J

-Р

De просы

OTbuIbl vj Основная ! База даннь

Р^лупьтзты lecToe

Рис. 1.7 Проект ОТКС На стороне клиента в произвольном браузере отображаются страницы пользовательского и административного интерфейсов. Их формирование осуществляется

30 сервером приложений на основе правил логики системы. Манипулирование данными выполняется с использованием функционала MS SQL Server, а сами информационные элементы(данные) хранятся в специализированном репозитории, декомпозированные на несколько подсхем по своему назначению. Компоненты С# и другие языковые и инструментальные особенности, реализованные в MS Visual Studio позволяют строить компьютерные модели гибкой, динамической и поведенческой направленности. Этот фактор является существенным в организации программной составляющей адаптивной системы управления настройками процесса электронного обучения(тестирования).

В основу методологии проектирования ОТКС положены принципы сбора и спецификации требований, выделения и описания ролей, детализация функций и действий, а также построение и реализация моделей и сценариев взаимодействия испытуемого с системой.

Так как одна из целей этого исследования состоит в том, чтобы построить такую архитектуру системы, чтобы впоследствии развивать ее шаг за шагом, наращивая функциональные и информационные возможности системы, то-роль эксперта по знаниям и s опрос ведущих лекторов дисциплины становится центральным звеном системы, которая должна* адаптировался в процессе своей работы. Два основных требования - это совершенствование и интеллектуализация процесса формирования заданий и учебного материала и оценивание сложное!и заданий для отображения их на абстрактную карту знаний.

Многократная проверка и уточнение формулировок вопросов и ответов повышает не только качественные характеристики дидактического материала, но и устойчивость всей системы по отношению к внешнему воздействию испытуемых. Апробация алгоритмов оценивания и уточнения экспертных оценок, увеличение .выборки результатов для статистических исследований позволяют повысить достоверность выводов и рекомендаций, которые получают испытуемые в процессе или по завершению работы с системой. Эргономика интерфейса пользователя, администратора и эксперта по знания (учителя) также должна согласовываться с общим стилем реализации программных компоненет, когда основными критериями считаются удобство, информативность, понятность, дружелюбность и некагегоричность процесса испытания.

В процессе сбора информации(образовательного контента) должны анализироваться количественные и качественные показатели, а также степень ее новизны, обработанности и достоверности[77].

Глава 2. АРХИТЕКТУРА OTKG И РЕАЛИЗАЦИЯ ПРОЕКТА НА БАЗЕ КЛИЕНТ- СЕРВЕРНЫХ ТЕХНОЛОГИЙ

В специальной литературе[49] архитектуры информационных систем принято делить либо по уровням (двух-, трех,-n-уровневые), т.е. по слоям разделяемых сетевых ресурсов со своей функциональностью; либо по. известным парадигмам программирования (модульная, объектно-, контекстно-, аспектно- ориентированные). При; этом первая классификация- больше соответствует программно- аппаратному , подходу в проектировании информационных систем, а вторая - логике и семантике построения средств информационной поддержки предметных областей. Консолидация- обычно достигается« посредством», кроссплатформенных решений,'( например WWW), когда, независимо от степени сложности разработанной архитектуры ж средств реализации, информационного приложения- конечному. пользователю для- полнофункциональной работы с системой необходим лишь WEB -браузер.

Архитектуры обучающих систем выделяются из общего числа тем, что помимо общих черт, удовлетворяют двум важным. свойствам[76]. Они. должны; быть масштабируемыми;, т.е. работать на-, всем многообразии программно- аппаратных платформ* при неконтролируемом количестве пользователей; и быть, гибкими и: динамичными, т.е. подчиняться' "на лету" правилам конструирования, валидации и: адаптивности. Такая специфика делает аспектно- ориентированный подход в разработке обучающих/тестирующих систем[77] более привлекательным, так ■ как. появляется возможность спроектировать автономные модули информационной системы, (объекты)^ максимально независимые по данным и управлению; и реализовать их поведенческие свойства на.базе, например, XMIL - шаблонов приложений - легко модифицируемых и настраиваемых конструкций.

2.ВСбор и анализ требований к ОТКС

Анализ и сбор требований для разработки архитектуры адаптивной обучающей/тестирующей системы и управления ее настройками был осуществлен; на принципах и опыте использования поведенческой модели[ 19]: "поток событий'и реакций, который имеет место между обучаемым и системой в рамках ограничений испытаний". В работе предпринимается попытка учесть менее формализованные аспекты взаимодействия испытуемого с системой,. например, такие как "желательное повышение сложности испытания" (устанавливает сам испытуемый) или "нежелательное усложнение при возникающих трудностях с ответом"(автоматически определяется по времени ответа на задание). .

Анализ требований - детальная документация системы и ограничений. Требования должны быть точными и могут служить неким соглашением между конечным пользователем системы и разработчиком программного обеспечения.

Наиболее значимыми являются функциональные требования. Предлагающийся проект ОТКС включает три основные функциональные возможности, которые по данным связаны с архивом обучающего/тестирующего контента, а по управлению - с СУБД и планировщиком процессов: алгоритм оценки трудности вопроса,, автоматический генератор вопросов и интеллектуальная система опроса. Для оценки трудности вопросов используется гибридный подход: систематический метод формального статистического анализа процентов верных и неверных ответов по соответствующим категориям слушателей и априорная (субъективная) оценка сложности вопроса, предложенная экспертами предметной области на основе их личного опыта. Таким образом, гибридный алгоритм удобен как для новых тестов ( в этом случае доминирует экспертные оценки из-за отсутствия статистики ), так и для апробированных массовыми тестами решений ( в этом случае статистическая оценка имеет больший вес, чем экспертная). Гибридный алгоритм позволяет, например, сформулировать "наводящий" вопрос, в случае, если обучаемый затрудняется в понимании формулировки вопроса или теряется в многообразии вариантов ответа(дистракторов). Реализуется данный подход посредством ассоциативной сети, которая устанавливает связи между элементами обучающего/тестирующего контента в архиве вопросов. Таким образом, существенно расширяется содержательная составляющая вопросов и ответов, а своеобразная "карта знаний" помогает адаптивному процессу виртуального учителя более глубоко проверить уровень знаний слушателей и более объекшвно их оценить.

Функциональное требование ОТКС категоризировано в 5 главных аспектов:

Пользовательский (Модуль обучаемого)

Админис i раторский (Модуль Администра i opa)

Экспертный (Модуль учителя)

Оценочный ( Модуль статистики)

Управляющий ( Модуль адаптации, обратной связи)

Пользовательский .модуль ориеншрован на многосеансовую работу пользователей(испытуемых). С этим модулем связаны несколько ролей. В частности, помимо непосредственного пользователя, к функциональным возможностям данного модуля имеют доступ администраторы сиситмы и эксперты(лекторы) курсов. Доступ последних - ограничен "своим" курсом или набором заранее определенных дисциплин. Каждый зарегистрированный в системе пользователь имее1 доступ только в свою обучающую/тестирующую виртуальную область. Она состой i из личного кабинета, содержащего личные данные о пользователе, а так же информации о выполненных треках заданий, комментарии и рекомендации экспертов, сохраненные ссылки на электронные учебники и ресурсы глобальной сети. Пользователь может изменять личные данные в кабинет и использовать доступные справочники и электронные ресурсы. Треки процессов тестирования, их состояние, результаты, ссылки — все это система сохраняет в личном пространстве пользователя автоматически. Испытуемый может просматривать эту информацию.

Пользователь системы со студенческой ролью будет действовать как обучаемый(испытуемый) студент в системе. Студент может:

• Использовать справочные и обучающие материалы ОТКС и обращаться из системы к другим сетевым ресурсам;

• Выполнять треки тестовых, обучающих и зачетных заданий;

• Просматривав результаты тестирования и обращаться с вопросами и консультациями к эксперту по знаниям(лектору дисциплины).

33

• Просмотр результатов и общение с экспертами.

Анализ требований для пользовательского модуля студента представлен в диаграмме прецедентов[35] на рис. 2.1

Изменение пароля и других

•--^^данных личного кабинета ^^^^

1 о о у/ Выполнение назначенных заданий

Студент N ч

Просмотр результатов и общенне с экспертами

Рис 2.1 - Студенческая диаграмма прецедентов Таблица 2.1 - Описание функций роли Студент

Актер Описание

Студент Человек, который зарегистрирован в системе с целью воспользоваться ОТКС для обучения или/и проверки своих личных знаний, навыков и умений.

ЗАКЛЮЧЕНИЕ И НАУЧНАЯ НОВИЗНА ДИССЕРТАЦИОННОЙ РАБОТЫ

Основными результатами диссертационной работы являются:

• Классификация и сравнительный анализ методологий и систем компьютерного обучения и тестирования.

• Модель адаптивного управления настройками обучающей компьютерной системы (спецификация аспектов - ролей, задач, пользователей и полномочий).

• На базе принципов аспект но- ориентированного подхода разработана трехзвенная архитектура системы компьютерного обучения и тестирования.

• Декларированы правила семантического контроля дидактического контента и оценки их применимости и достоверности для применения адаптационного алгоритма.

• Сформулированы и реализованы функции "виртуального учшеля'\

• Создан рабочий прототип системы, реализующий разработанные в диссертации архитектурные и аспектные решения.

• Проведена апробация методов анализа статистических данных па тестовых примерах цикла дисциплин информатики.

Значимость полученных результатов для улучшения национального образовательного процесса может быть сформулирована как

• развитие сетевой инфраструктуры для значительного расширения аудитории обучаемых;

• повышение объективности оценки знаний и навыков слушателей;

• анализ начального уровня знаний слушателей и динамичный подбор образовательной/тестирующей стратегии на базе вариаций из архива контента;

• контроль и накопительная составляющая процесса обучения/ тестирования как одна из задач интегрированной компьютерной образовательной государственной программы.

Научная новизна диссертационной работы

1. Применен аспектно -ориентированный подход к процессу электронного обучения и тестирования.

2. Разработаны новые аспекты адаптационного ролевого механизма обучающей системы на базе предварительного сбора требований и динамических сценариев процесса обучения(тестирования).

3. Предложена новая роль "виртуального учителя" и определено ее место в системе управления процессом обучения.

4. Впервые применены алгоритмы обработки статистической информации на основе квантильных моделей.

5. На базе современных средств программирования, реализован рабочий прототип системы компьютерного обучения (тестирования).

1. Aaron P. Titus , L. W. Martin , Robert J. Beiclmer, Web-based testing in physics education: methods and opportunities, Computers in Physics, v.12 n.2, p. 117-123, Mar/Apr 1998 .

2. Amruth N. Kumar, Generation of problems, answers, grade, and feedback—case study of a fully automated tutor. Journal on Educational Resources in Computing (JERIC), v.5 n.3, p.3-es, September 2005 .

3. Amruth N. Kumar, Results from the evaluation of the effectiveness of an online tutor on expression evaluation, ACM SIGCSE Bulletin, v.37 n.l, 2005 .

4. Bloom В., Engelhart M., Furst E. Hill W., Krathwohl D. Taxonomy of Educational Objectives: The Classification of Edycational Goals'. Handbook I:Cognitive Domain.-New York, David McKay, 1956

5. Blue A., Barnette J., Ferguson K., Garr D. Evaluation Methods for prevention education// Academic Medicine Supplement, 2000

6. Brown F., Principles of educational and psychological testing.-N.Y., Rinehart and Winston, 1976

7. Brusilovsky, P. and Miller, P. 1999. Web-based testing for distance education. In Proceedings of the WebNet'99 World Conference of the WWW and Internet (Honolulu, HI), 149--154.

8. Cackowski, David Sep 2000, 'Object analysis in organizational design: A solution for matrix organizations', Project Management Journal, Sylva, Vol. 31, Iss. 3; pg. 44, 8 pgs.

9. Coad, R, and Yourdon, E 1991, Object-oriented Design, 2nd edn, Yourdon Press, Englewood Cliffs, NJ.

10. Davis, B. Tools for teaching, Jossey-Bass Publishers, San Francisco, 1993

11. Fort Worth Java User's Group, Introduction to the Jakarta Struts Framework, IBM New York, United States, viewed 15 Jan 2005.

12. Franck Tarpin-Bernard , Halima Habieb-Mammar, Modeling Elementary Cognitive Abilities for Adaptive Hypermedia Presentation, User Modeling and User-Adapted Interaction, v. 15 n.5, p.459-495, November 2005 .

13. Garner, S. 2002. Reducing the cognitive load on novice programmers. In Proceedings of the ED-MEDIA'2002—World Conference on Educational Multimedia, Hypermedia and Telecommunications (Denver, CO), 578—583.

14. Halima Habieb-Mammar , Franck Tarpin-Bernard , Patrick Prévôt, Adaptive presentation of multimedia, interface case study: "Brain Story" course. Proceedings of the 9th international conference on User modeling, June 22-26, 2003, Johnstown, PA, USA .

15. Harrow A. A Taxonomy of the Psychomotor Domain: A Guide for Developing Behavioural Objectives.- New York, Longman, 1972

16. Henrysson S. Gathering analyzing and using data on test items, in: Educational Measurement/ ed. by R.Thorndike.-Washington, DC, American Council on Education, 1971.

17. Hoffer, Jeffrey A, George, Joey F, Valacich & Joseph S 2002, Modern Systems Analysis & Design, 3rd edn, Prentice Hall, Upper Saddle River, N.J.20. http://www.ast-centre.ru.21. http://www.ast-ctve.ru.22. http://www.fepo.ru.23. http://www.tandberg.com.

18. Khosravi Sh. Professional IIS and ASP.NET Inegrated Programming/ Wiley Publishing Inc. Indianapolice, Indiana, 2007. -652p.

19. Krathwohl D., Bloom B. Masia B. Taxonomy of Educational Objectives: The Classification of Edycational Goals. Handbook II: Affective Domain.- New York, David McKay, 1964

20. Linn R,, Gronlund N. Measurement and Assessment in Teaching.-Upper Saddle River, Pretence Hall, 1995

21. Lord F, The Relationship of the Reliability of Multiple-Choice Test to the Distribution of Item DifficuIties//Psychometrica.-1952.-v. 18.-p. 181-194

22. Marty Hall 2000, Core Servlets'And Java Server Pages, Prentice Hall, United States of America.

23. Matlock-Hetzel S., Basic Concepts in Item and Test Analysis// Paper from annual meeting of the Southwest Educational Research Association, Austin, 1997

24. McKeachie W., Teaching Tips.- Boston, Houghton Mifflin Company, 1999

25. MIND 2001 2002. MothersonSumi INfotech and Designs Ltd, Nioda - 201 301, India, viewed 15 October 2004.

26. Nunnaly J., Psychometric Theory. -N.Y., McGraw-Hill, 1967

27. Patrick Naughton & Herbert Schildt 1999, Java 2: The Complete Reference, 3rd edn, McGraw-Hill, United States of America.

28. Paul Tremblett 2000, Instant JavaServer Pages. McGraw-Hill, New York. Simon Bennett, Steve McRobb & Ray Farmer 2002. Objcct-Oriented Systems Analysis And Design Using UML, McGraw-Hill, British.

29. Peter Brusilovsky , Eduardo Calabrese , Jozef Hvorecky , Anatoly Kouchnirenko , Philip Miller, Mini-languages: a way to learn programming principles, Education and Information Technologies, v.2 n.l, p.65-83, 1997- 1998.

30. Peter Brusilovsky , Tomasz D. Loboda. WADEIn II: a case for adaptive explanatory visualization. ACM SIGCSE Bulletin, v.38 n.3, September 2006 .

31. Peter Brusilovsky, KnowledgeTree: a distributed architecture for adaptive e-learning, Proceedings of the 13th international World Wide Web conference on Alternate track papers & posters, May 19-21, 2004, New York, NY; USA.

32. Rodriguez M., Norming and Norm-referenced Test Scores//Paper from annual meeting of the Southwest Educational Research Association. Austin. 1997

33. Tomasz D. Loboda , Atanas Frengov , Amruth N. Kumar , Peter Brusilovsky, Distributed Framework for Adaptive Explanatory Visualization, Electronic Notes in Theoretical Computer Science (ENTCS), 178, p.145-152, July, 2007 .

34. Tomasz D. Loboda , Peter Brusilovsky, WADEIn II: adaptive explanatory visualization for expressions evaluation, Proceedings of the 2006 ACM symposium on Software visualization, September 04-05, 2006, Brighton, United Kingdom .

35. Weber, G. and Brusilovsky, P. 2001. ELM-ART: An adaptive versatile system for web-based instruction, Int; J. AI Edu. 12, 4. 351—384. Available at http://cbl.leeds.ac.uk/ijaied/abstracts/Voll 2/webei .html.

36. Аванесов B.C. Композиция тестовых заданий. Учебная книга для преподавателей вузов, учшелей школ, аспирантов и студентов педвузов. М.: Адент, 1998, 217 с

37. Аванесов B.C. Математические модели педагогического измерения. М.: Б.и., 1994,- 26с.

38. Аванесов B.C. Научные основы тестового контроля знаний. М.: Исследовательский центр, 1994. 135 с.

39. Амриш К.И., Ахмед Х.З. Разработка корпоративных Java- приложений с использованием J2EE и UML. Пер. с англ. -М.:Вильямс, 2002. -272с.

40. Анастази А. Психологическое тестирование. Кн. 1-2. М.: Педагогика, 1982. - 320 с

41. Барановская Т.П., Лойко В.И., Семенов М.И., Трубилин А.И. Архитектура компьютерных систем и сетей. -М.:Финансы и статистика,2003.-256 е.: ил.

42. Болдин М.В. и др. Методические указания к практическим занятиям по математической статистике. М.: МАИ, 1988.

43. Болынев JI.II., Смирнов Н.В. Таблицы математической статистики. М.: Паука, 1983.

44. Боровков А.А. Математическая статистика. М.: Наука. 1984.

45. Станек У. Справочник администратора Microsoft SQL Server/ Пер. с англ. -М: Изд-во Русская редакция, 2008. -544 е.: ил.

46. Васильев В.И., Тягунова Т.Н. Основы культуры адаптивного тестирования. М. Икар, 2003 г.

47. Васильева Н. Выборочный метод в аудите. // Банковский р'яд, весна 2000 (1). (http://www.apko.ru/head/vasil000300.html)

48. Ватутин В.А. и др. Теория вероятностей и математическая статистика в задачах. М.: Агар,2003.

49. Венецкий И.Г., Венецкая В.И. Основные магематико-статистические понятия и формулы в экономическом анализе. М.: Статистика, 1979.

50. Гамма Э., Хелм Р., Джонсон Р., Влассидес Дж. Приемы объектно-ориентированного программированияю Паттерны проектирования. Пер. с англ. -СПб. Литер, 2001 .

51. Грекул В.И., Денищенко Г.Н., Коровкина Н.Л. Проектирование информационных систем. Курс лекций. Учебное пособие. -М.:Интернет-Ун-т Информ. Технологий, 2005. -304с.: ил.

52. Джессен Р. Методы выборочных обследований. М.: Финансы и статистика, 1985.

53. Дружинин II.К. Выборочный метод и его применение в социально-экономических исследованиях. М.: Статистика, 1970.

54. Ивченко Г.И. , Медведев Ю.И. Матемашческая статистика. М.:Высшая школа, 1984.

55. KàK построить тест. Под ред. В.А.Аверина, СПбГПМА. 1998

56. Кибзун А.И. и др. Теория вероятностей и математическая статистика в задачах. М.: Физматлит, 2002.

57. Кибзун А.Н., Горяинова Е.Р., Наумов А.В. Теория вероятностей и математическая статистика. Базовый курс с примерами и задачами // М: Физматлит, 2007 г.

58. Клайн- П. Справочное руководство по конструированию тестов. ПАН Лтд, Киев, 1994

59. Кохрен В.Г. Выборочные методы. М.: Статистика, 1976.

60. Кочетков Е.С. Теория вероятностей и математическая статистика.- М.: Наука, 1979.

61. Кузнецова О.Ю. Шее гак О.Д. Руководство по написанию тестовых заданий. СПб МАПО. 1998

62. Методологические требования к программно-дидактическим тестовым материалам и технологиям компьютерного тестирования. Сайт http://www.ast-centre.ru.

63. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования иfпараметризации педагогических тестов. M : Прометей. 2000. - 169 с.

64. Наумов А.В., Сай. Кхин. Аунг Тинт Об адаптации обучающих и тестирующих систем переподготовки молодых специалистов на предприятиях аэрокосмического комплекса // Труды МАИ. электр. журнал (http://www.mai.ru), вып. №42, 2011 г.

65. Сай Кхин Аунг Тинт Архитектура и сценарии работы обучающей системы // Вестник МАИ . 2009.Т.16 No.7. С.90-95.

66. Сай Кхин Аунг Тинт. Объектная архитектура адаптивной обучающей системы // Материалы VII Международной конференции по неравновесным процессам в соплах и струях (NPNJ'2008). М.:Изд-во МАИ , 2008.-C.359-360.

67. Санблэд С. Разработка масштабируемых приложений для Microsoft Windows. Мастер-класс.-М.:ИТД Русская редакция, 2002. -416с.

68. Севастьянов Б.А. Курс теории вероятностей и математической статистики. М.: Наука.1982.

69. Холлендер М., Булф Д.А. Непарамегрические методы статистики. М.: Финансы и статистика, 1983.

70. Челышкова М.Б. Применение математических моделей для разработки педагогических тестов. — Учебное пособие. — М.: Исследовательский центр, 1995.

71. Челышкова М.Б. Теория и практика конструирования педагогических тестов. М.:Изд-во:Логос, 2004.

72. Шаллоуей А. Трот Дж. Р. Шаблоны проектирования. Новый подход к объектно-ориентированному анализу и проектированию. Пер. с англ.-М.:Вильямс,2002.

73. Шварц Г. Выборочный метод. М.: Статистика, 1978.

74. Ширяев А.Н. Вероятность. М.: Наука, 1989.

75. Юрков A.B. Обзор отечественных систем дистанционного обучения // Компоютерные инструменты в образовании. No. 1,2003.,С.8-14.48 с.288с.