автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Методы создания интерактивных онлайн курсов на основе игровых механик

На правах рукописи

Першин Александр Александрович

МЕТОДЫ СОЗДАНИЯ ИНТЕРАКТИВНЫХ ОНЛАЙН КУРСОВ НА ОСНОВЕ ИГРОВЫХ МЕХАНИК

Специальность 05.13.06 - Автоматизация и управление технологическими

процессами и производствами (образование)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

005558521

Санкт-Петербург - 2014

005558521

Работа выполнена в Санкт-Петербургском национальном исследовательском университете информационных технологий, механики и оптики

Научный руководитель: доктор технических наук, профессор

Лисицына Любовь Сергеевна

Официальные оппоненты: Кулагин Владимир Петрович

доктор технических наук, профессор заместитель директора по инновациям Московского института электроники и математики Национального исследовательского университета «Высшая школа экономики»

Казаков Матвей Алексеевич

кандидат технических наук

глава Представительства АО «Флекстроникс

Холдинг Финлэнд Ою» в Санкт-Петербурге

Ведущая организация: Петрозаводский государственный

университет

Защита состоится 22 декабря 2014 года в 14:00 на заседании диссертационного совета Д 212.227.06 при Санкт-Петербургском национальном исследовательском университете информационных технологий, механики и оптики по адресу: 197101, Санкт-Петербург, Кронверкский пр., д.49, конференц-зал центра Интернет-образования.

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского национального исследовательского университета информационных технологий, механики и оптики по адресу: 197101, Санкт-Петербург, Кронверкский пр., д.49 и на сайте fnpo.ifrno.ru .

Автореферат разослан «_» _ 2014 года.

Ученый секретарь диссертационного совета

Лобанов Игорь Сергеевич

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. С развитием электронного обучения и появлением обширного мирового рынка образовательных услуг на основе технологии МООС (Massive Open Online Courses) внимание разработчиков онлайн курсов обращено к вопросам повышения их результативности (количество успешно завершивших такой курс не превышает и 5%). Ситуация, сложившаяся на рынке труда в сфере IT, где наблюдается постоянная нехватка квалифицированных кадров, требует создание массовых онлайн курсов, призванных решать задачу подготовки и повышения квалификации специалистов в сжатые сроки. Особенностью таких курсов является упор на практическую работу с программным кодом, на формирование устойчивых навыков решения типовых профессиональных задач. Привычные видеолекции для подачи теоретического материала и компьютерные тесты для контроля знаний отходят в таких курсах на второй план. Процесс обучения в них должен быть практико-ориентированным, что требует проведения дополнительных исследований по созданию различных видов практических упражнений и интерактивных методов их обработки, обеспечивающих «мгновенную обратную связь». Несомненно, содержание курса должно быть актуальным и интересным. Это необходимое, но далеко не достаточное условие результативности курса. В курсе должны быть созданы механизмы, направленные на повышение мотивации у обучаемых к его успешному завершению. Среди подходов, повышающих мотивацию к обучению, следует выделить подход на основе игровых механик, использование которых в курсе делает процесс обучения увлекательным и затягивающим, стимулирующим к достижению лучших оценок результатов обучения. К сожалению, в современных онлайн курсах используются только простейшие игровые механики, хотя их потенциал для повышения результативности курса гораздо выше. При создании онлайн курса необходимо осуществлять оперативный мониторинг скорости прохождения курса и оценки результатов обучения с тем, чтобы сравнивать и своевременно информировать обучаемых. Задача мониторинга осложняется тем, что онлайн курсы используются на практике не только в синхронном, но и в асинхронном формате. В последнем случае процесс обучения не имеет фиксированных сроков и регулярного расписания, что увеличивает риск того, что обучающийся забросит начатый курс. И это обстоятельство требует разработки новых подходов к мониторингу и корректной обработки его результатов в асинхронном курсе.^ Поэтому разработка и исследование методов создания интерактивных онлайн курсов, обеспечивающих дополнительную мотивацию к обучению, является весьма актуальной и своевременной задачей.

Целью диссертационной работы является разработка и исследование методов создания интерактивных онлайн курсов на основе игровых механик, способствующих повышению результативности курсов.

Для достижения данной цели были поставлены и решены следующие основные задачи:

1. Проведён анализ современного состояния и тенденций развития электронного обучения в области создания интерактивных онлайн курсов и применения в них игровых механик.

2. Разработан метод интерактивной обработки сложных практических упражнений (упражнений, включающих выполнение ряда взаимосвязанных подзадач) в онлайн курсе, основанный на автоматическом запуске визуализации и механизма проверки.

3. Разработан метод интерактивной обработки заданий в онлайн курсе на испытание^ способности решать типовые профессиональные задачи, основанный на сравнении с заданным образцом и использовании игровой механики «перфекционизм».

4. Разработан метод построения когортных рейтингов в асинхронном интерактивном онлайн курсе.

5. Созданы и применены на практике интерактивные онлайн курсы для подготовки и повышения квалификации разработчиков пользовательских веб-интерфейсов.

6. Проведено экспериментальное исследование предложенных методов.

Методы исследования. Методы теории множеств и графов, теории

вероятности и математической статистики, методы и технологии проектирования и разработки баз данных и информационных систем, технологии объектно-ориентированного программирования.

Научная новизна. На защиту выносятся следующие результаты, обладающие научной новизной:

1. Метод интерактивной обработки сложных практических упражнений в онлайн курсе, основанный на автоматическом запуске визуализации и механизма проверки, обеспечивающий быструю обратную связь и сокращение времени выполнения заданий.

2. Метод интерактивной обработки заданий в онлайн курсе на испытание способности решать типовые профессиональные задачи, основанный на сравнении с заданным образцом и использовании игровой механики «перфекционизм», обеспечивающий повышение вовлеченности в процесс обучения и стимулирующий к достижению лучших оценок результатов обучения.

3. Метод построения когортных рейтингов в асинхронном интерактивном онлайн курсе, обеспечивающий дополнительную мотивацию к увеличению скорости прохождения курса, к повышению его результативности.

Практическая значимость.

1. Создан и используется на практике интерактивный онлайн курс по использованию технологий HTML и CSS для разработчиков пользовательских веб-интерфейсов на открытой площадке http://htmlacademy.ru, на который зарегистрировалось более 45 тысяч человек.

2. Созданы и используются на практике интерактивные онлайн курсы «Создание веб-интерфейсов с помощью HTML и CSS» и «Создание

продвинутых веб-интерфейсов с помощью HTML и CSS» на открытой площадке МООС-платформы Университета ИТМО (http://courses.ifmo.ru).

3. Использование предложенных методов при создании данных курсов позволило повысить их результативность до 29 % (для студентов вузов).

Внедрение результатов. Результаты диссертации внедрены в Университете ИТМО на кафедре компьютерных образовательных технологий при проведении практикумов в дисциплине «Информатика» для различных направлений подготовки бакалавров, при проведении факультативных занятий у студентов специальности 230202 - «Информационные технологии в образовании», при проведении международных практик студентов Карагандинского экономического университета Республики Казахстан, в центре дистанционного обучения при проведении открытого онлайн-обучения, а также в ООО «Интерактивные обучающие технологии» (г. Санкт-Петербург) при оказании консультационных услуг 1Т-специалистам.

Апробация результатов работы. Основные результаты диссертационной работы докладывались и обсуждались на следующих конференциях: Всероссийская научно-методическая конференция «Телематика» (Санкт-Петербург, 2011, 2013, 2014), V Международная научно-практическая конференция «Информационная среда вуза XXI века» (Петрозаводск, 2011), научная и учебно-методическая конференция профессорско-преподавательского и научного состава НИУ ИТМО (Санк-Петербург, 2013), I Международная научно-практическая конференция «Современные проблемы компьютерных наук» (Пенза, 2013), X Международная научная конференция «Новые информационные технологии и менеджмент качества» (Турция, 2013), XI Международная научно-практическая конференция «Новые образовательные технологии в вузе» (Екатеринбург, 2014).

Публикации. Основные научные результаты опубликованы в 9 печатных работах, в том числе в трех статьях, опубликованных в рецензируемых научных

журналах из перечня ВАК РФ.

Личный вклад автора. Содержание диссертации и положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы. Все представленные в диссертации результаты получены лично автором.

Структура и объем диссертации. Диссертация содержит введение, пять глав, заключение, список использованных источников, содержащий 80 наименований. Основная часть работы изложена на 129 страницах машинописного текста и содержит 62 рисунка и 7 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении дана общая характеристика исследуемой проблемы, обосновывается актуальность темы диссертационной работы, формулируется

цель и задачи исследования, показана научная новизна результатов и практическая значимость работы. Дана краткая аннотация глав диссертации.

В первой главе приведён обзор и анализ существующих массовых открытых онлайн курсов (далее - МООС-курсов), игровых механик для их создания, требований к практическим упражнениям в таких курсах, а также способов рейтингования обучаемых.

В настоящее время можно выделить следующие три типа МООС-курсов.

1. Курсы, предназначенные для профориентации или популяризации предметной области.

2. Курсы, приближенные по содержанию к соответствующим базовым дисциплинам образовательных программ вузов (математика, физика, информатика и т.п.).

3. Курсы, предназначенные для освоения прикладных технологий и отработки практических навыков (такие курсы созданы преимущественно для сферы 1Т).

Во всех трёх типах МООС-курсов для повышения мотивации к обучению используются так называемые игровые механики («геймификация» курса), причём количество и сложность игровых механик существенно выше в курсах третьего типа. Приведён обзор более 30 различных игровых механик, показано, что из них наиболее часто в МООС-курсах применяются на практике следующие механики:

1. очки;

2. бейджи и достижения;

3. уровни;

4. сторителлинг;

5. рейтинги лучших учеников;

6. постепенная подача информации;

7. постепенное усложнение.

Анализ показал, что механики 1-4 достаточно примитивны: они влияют на внешнюю мотивацию обучаемых, сводятся к поощрению наградами за выполнение определённых действий или за лучшее оформление учебных материалов, направлены на вызов положительных эмоций у обучаемых. Рейтинги лучших учеников из-за массовости курсов (количество обучающихся десятки тысяч) малоэффективны. Механики 6 и 7 могут быть очень эффективны, но их реализация в курсе зависит от содержания курса. Поэтому для повышения результативности онлайн курсов ставится задача разработки новых или усовершенствования имеющиеся игровых механик, проработав их связь с обучающими интерфейсами курса.

Анализ практических упражнений в МООС-курсах позволил выделить следующие три типа.

1. Простейшие ознакомительные практические упражнения. Такие упражнения используются преимущественно для передачи и (или) контроля знаний и умений. Задания в таких упражнениях, как правило, короткие и

максимально конкретные и простые, например: «В 3 строке замените значение свойства color на red». Их выполнение занимает мало времени.

2. Сложные практические упражнения. Эти упражнения используются для контроля навыков на основе приобретенных ранее знаний и умений. Задания в таких упражнениях, как правило, объёмные и включают в себя решение отдельных подзадач, имеющих различные причинно-следственные связи между собой, например: «Постройте интерфейс, выполнив указанные действия в заданной последовательности». Выполнение таких упражнений может занимать 5-15 минут.

3. Испытания. Эти упражнения являются комплексными, в них проверяется способность обучаемого соединять приобретенные знания, умения и навыки для решения некоторой типовой задачи, взятой из профессиональной деятельности. Испытания, как правило, используются для оценки запланированных в курсе результатов обучения. Пример задания для испытания: «Сверстай с помощью HTML и CSS картинку как в указанном образце». Выполнение таких упражнений может занимать у обучаемого несколько часов.

Анализ механизмов обработки и проверки заданий практических упражнений в существующих онлайн курсах выявил ряд недостатков, связанных с долгим временем отклика системы на действия обучаемого. Механизм обратной связи «изменил код - увидел результат» работает быстро, а механизм «изменил код - понял, что выполнил задание правильно или неправильно» работает медленно. Это происходит потому, что в них, как правило, используется принцип «лайвкодинга», т.е. результат работы кода автоматически отображается в визуапизаторе после любого изменения кода обучаемым. Существенным недостатком при этом является то, что запуск проверки кода на соответствие заданию всегда производится обучаемым вручную. При этом выполнение заданий для сложных практических упражнений, включающих в себя выполнение ряда самостоятельных подзадач, занимает у обучаемого много времени. Поэтому для обработки и проверки заданий сложных практических упражнений необходимо ускорить работу механизма обратной связи «изменил код - понял, что выполнил задание правильно или неправильно», сделать процесс их выполнения более интерактивным и наглядным.

Дальнейший анализ показал, что в большинстве онлайн курсов испытания отсутствуют, хотя они и обладают хорошим потенциалом для применения игровых механик. Испытания сами по себе похожи на игровую механику «битва с боссом», которая является затягивающей, но может быть усилена и другими механиками, когда для игрока становится более важен не сам факт победы над сложным противником, а скорость, красота и «качество» этой победы. Поэтому необходим новый метод интерактивной обработки и проверки заданий испытаний, который позволит сравнивать полученное решение с заданным образцом с использованием игровой механики

«перфекционизм», стимулирующий обучаемого к достижению лучших оценок результатов обучения.

Далее в главе приводится обзор и анализ использования рейтингов для повышения мотивации обучаемых. Рейтинги лучших учеников - это хорошо известная игровая механика, которая добавляет в обучение элемент соревновательности и мотивирует обучаемых проходить курсы до конца или выполнять задания лучше. Отметим следующие недостатки существующих рейтингов.

• Чрезмерная конкуренция, обусловленная большим количеством участников рейтинга в массовых онлайн курсах. Сложность попадания в верхнюю часть рейтинга снижает желание участвовать в соревновании.

• Большие разрывы в прогрессе участников рейтинга, начинающих обучение в разное время (в асинхронных форматах обучения). Невозможность догнать лидера снижает желание участвовать в рейтинге и может негативно сказаться на мотивации к продолжению обучения в курсе.

Показано, что для избавления от перечисленных недостатков перспективным является подход построения рейтингов на основе методов когортного анализа (далее - когортные рейтинги).

Вторая глава посвящена разработке метода интерактивной обработки и проверки сложных практических упражнений.

Предложенный метод схематично представлен на рисунке 1. Здесь автор курса создает задание для сложного практического упражнения и модель управления процессом проверки решений его подзадач (далее - модель проверки). Предлагается модель проверки в виде орграфа Б(У, X), где V -множество вершин, моделирующих подзадачи, а X - множество дуг, устанавливающих причинно-следственные связи между ними.

Данный метод имеет следующие особенности.

1. Запуск визуализации и проверяющего механизма производится автоматически без дополнительных действий со стороны обучаемого после паузы в наборе кода.

2. Проверяющий механизм управляется моделью проверки, алгоритм его работы представлен на рисунке 2.

3. После каждой итерации проверки обучаемый видит результат работы кода в визуализаторе и состояния каждой подзадачи в блоке индикаторов.

Алгоритм использует модель проверки в виде матрицы смежности графа ЦМЦпхп, где п - количество вершин в орграфе X). В начале работы обучаемого с заданием индикаторы состояний проверки подзадач, хранящиеся в одномерном массиве Б, устанавливаются как 0. Проверка начинается с первой подзадачи, после успешного завершения которой состояние подзадачи изменяется в индикаторе на 1 (выполнена), а соответствующий столбец вычеркивается из матрицы. Просматривая строки матрицы М, соответствующие выполненным подзадачам, определяются подзадачи, для

которых в этот момент может пройти проверка (единичные элементы в столбцах матрицы соответствуют выполненным подзадачам).

Таким образом, данный алгоритм позволяет организовать параллельно-последовательную проверку подзадач сложного задания, о результатах которых обучаемый своевременно получает информацию через индикатор состояний подзадач. Дробление заданий на подзадачи позволяет упростить и ускорить процесс их выполнения за счёт того, что уменьшается объём кода, с которым обучаемый работает на каждой итерации прохождения задания. Запуск визуализации и проверки после паузы в наборе кода позволяет избавиться от чрезмерного количества проверок и появлений «сломанного» результата. Но при этом не лишает возможности увидеть, как работает некорректный код и как выглядят ошибки, ведь знакомство с типовыми ошибками и способами их исправления является важной частью обучения.

Рисунок 1 — Схема обработки сложных практических заданий Таким образом, предложенный метод позволяет ускорить обратную связь «изменил код - понял, что выполнил задание правильно или неправильно», повысить уровень интерактивности онлайн курса, увеличить разнообразие типов заданий, повысить их наглядность и сократить время их выполнения.

Третья глава посвящена разработке методов для интерактивной обработки и оценивания испытаний, а также для построения когортных рейтингов в асинхронных курсах.

Метод, основанный на сравнении решения с заданным образцом и использовании игровой механики «перфекционизм», схематично представлен на рисунке 3. Автор создаёт задание в виде исходного кода образца, из этого

кода система формирует изображение-образец, которое обучаемый должен воспроизвести произвольным способом с помощью изменения кода в редакторах.

Повторная [\ проверка уже выполненных подзадач не производится

Определение I4-доступности подзадачи для проверки по матрицам связей и состояний

Запуск проверки [\ подзадачи и сохранение соспюяния в случае успеха

Рисунок 2— Алгоритм работы механизма проверки сложных практических заданий Данный метод имеет следующие особенности.

1. Запуск визуализации производится автоматически без дополнительных действий со стороны обучаемого после паузы в наборе кода.

2. Запуск проверяющего механизма производится обучаемым вручную.

3. Методика работы проверяющего механизма зависит от предметной области курса. Ниже приведена методика оценки испытаний, основанная на сравнении с образцом, в области построения пользовательских веб-интерфейсов с помощью HTML и CSS.

4. Испытание оценивается интервально, по шкале от 0% до 100%. Оценка рассчитывается как уровень совпадения результата обучаемого и изображения-образца.

5. После каждой итерации проверки обучаемый видит результат работы кода в визуализаторе, уровень совпадения и карту различий результата и образца, которая помогает улучшить результат.

6. Минимальный уровень совпадения результата и образца, при котором испытание считается выполненным, должен быть меньше 100%. При уровне совпадения 100% испытание считается выполненным идеально.

7. Идеальное выполнение необязательно.

Рисунок 3 — Схема обработки испытаний Методика оценки испытаний в области построения пользовательских веб-интерфейсов с помощью HTML и CSS основана на сравнении с заданным образцом, схематично представлена на рисунке 4 и состоит из следующих шагов.

1. Настройка параметров так называемого «браузерного движка», с помощью которого формируются изображения из HTML и CSS кода, чтобы размер формируемых изображений был одинаковым.

2. Формирование изображения-образца из кода, предоставленного автором испытания.

3. Формирование изображения из кода, предоставленного обучаемым.

4. Сравнение изображений, во время которого рассчитывается уровень их схожести методом среднеквадратичного отклонения, и формирование карты различий.

Из традиционных методов для сравнения изображений — метода среднеквадратичного отклонения (ЯМ8Е), пикового отношения сигнала к шуму (РБЫК), индекса структурного сходства (ББШ) - выбор был сделан в пользу первого метода после экспериментального сравнения тестовых изображений. Минимальный уровень совпадения результата и образца, при котором испытание считается выполненным, в предложенной методике составляет 90%, что связано с общепринятыми допусками в погрешности вёрстки (на 3-5 пикселей относительно макета).

Рисунок 4 — Схема оценки испытаний Предложенный метод позволяет достичь глубокого вовлечения обучаемого в выполнение задания, так как для него работа с заданием после «неидеального» выполнения становится схожа с игрой, что характеризуется следующими условиями:

• отсутствием давления со стороны (задание уже выполнено, дальше можно заниматься с ним в своё удовольствие);

• отсутствием наказания (никто не будет ругать, если сделаешь ещё лучше).

Метод построения когортных рейтингов в асинхронном интерактивном онлайн курсе основывается на разбиении общего множества обучаемых и0 на непересекающиеся подмножества У/ (когорты) с установленной максимальной мощностью для каждого подмножества - Nmax. Алгоритм включает в себя следующие шаги.

1. Упорядочить общий список обучаемых по дате начала прохождения курса в порядке возрастания.

2. Разбить упорядоченный список на подсписки длиной Ытах

3. Последний подсписок постепенно нарастить до Г^тпах ^а счет новых обучаемых.

4 По мере записи на курс новых обучаемых создавать новые подсписки длиной Nmax.

Данный алгоритм позволяет избавиться от следующих недостатков привычных рейтингов в асинхронных курсах:

• большие разрывы в прогрессе участников рейтинга;

• чрезмерная конкуренция, обусловленноя большим количеством участников рейтинга.

В каждой полученной когорте формируется рейтинг лучших обучаемых по следующему алгоритму.

1. Для каждого обучаемого в когорте определяется количество выполненных им практических заданий Рг, средний результат выполнения испытаний С,-, время с начала обучения Г;.

2. Сортировка списка обучаемых по убыванию Рг.

3. Сортировка списка обучаемых с одинаковыми значениями по убыванию С;.

4. Сортировка списка обучаемых с одинаковыми Pi и Сг по возрастанию Г£ (выше те, кто начал обучаться позже).

5. Обучаемым с одинаковыми значениями трёх параметров присваивается одинаковое место в рейтинге.

Рейтинг отображается в личном профиле обучаемого в виде таблицы, в которой для каждого участника выводится:

• место в рейтинге;

• имя обучаемого;

• ссылка на публичных профиль;

• количество выполненных заданий;

• средний результат выполнения испытаний.

Данный алгоритм рейтинга способствует не только увеличению скорости обучения, но и мотивирует проходить испытания лучше, так как это позволяет подняться на более высокое место. Таким образом, происходит комбинирование двух механик: рейтинги усиливают механику перфекционизма, а перфекционизм делает соревновательный процесс интереснее.

Четвертая глава посвящена описанию разработанного на основе предложенных методик интерактивного онлайн курса «Создание веб-интерфейсов с помощью HTML и CSS». Курс содержит 16 разделов, 276 практических упражнений и 27 испытаний. Курс реализован в асинхронном формате, доступ к нему открыт для всех желающих по адресу http://htmlacademy.ru. На сентябрь 2014 года для прохождения курса зарегистрировались более 45 тысяч человек, которые выполнили в общей

сложности более 2,5 миллионов упражнений и испытаний, более 1000 человек прошли курс полностью.

Описываемый курс обеспечивает формирование следующих практических навыков в процессе выполнения типовых практических задач, с которыми сталкивается разработчик веб-интерфейсов:

1. создание простейших HTML-страниц, подключение стилей и скриптов;

2. разметка текста с помощью HTML;

3. создание сложных HTML-страниц с использованием таблиц, изображений, ссылок, форм;

4. использование базовых механизмов CSS: селекторов, каскадирования, наследования;

5. оформление текста с помощью CSS;

6. использование блочной модели документа и позиционирования элементов;

7. создание сетки страницы с помощью CSS;

8. создание декоративных элементов с помощью CSS.

Электронный курс построен по модульному принципу. Каждый отдельный модуль курса представляет собой законченный с точки зрения запланированных результатов обучения (РО) фрагмент учебного процесса. Модуль курса содержит:

• ознакомительные практические упражнения, которые предназначены для подачи теоретический материала;

• сложные практические упражнения, которые предназначены для контроля сформированности знаний и умений;

• одно или несколько испытаний для оценивания полученных практических навыков и сформированности запланированных РО.

Типовой сценарий прохождения каждого модуля курса предусматривает ознакомление с теоретическим материалом в серии простых практических упражнений, закрепление полученных знаний и формирование умений в серии сложных практических упражнений, которая завершается испытанием, в котором закрепляются полученные навыки. В конце курса предусмотрено итоговое испытание сформированных результатов обучения — создание веб-интерфейса средней сложности.

В курсе используется два типа обучающих интерфейсов. Интерфейс практических упражнений (рис. 5) построен на базе предложенного метода интерактивной обработки и проверки сложных практических упражнений. Интерфейс содержит:

1. всплывающее окно с теорией;

2. редакторы кода в левой части;

3. визуализатор результата («мини-браузер») в правой части;

4. блок с подзадачами в нижней части визуализатора;

5. кнопки управления и навигации.

Интерфейс испытаний (рис. 6) построен на базе предложенного метода для интерактивной обработки и оценивания испытаний. Интерфейс испытаний

отличается от интерфейса практических упражнений тем, что в нём отсутствует блок с подзадачами и добавлены два новых блока:

1. шкала уровня соответствия результата и образца;

2. блок с изображением-образцом и картой различий.

П355 ¡Г

е >ао 1м< 1оо - * 1а1п(-1ипс »1о.

</пеш>

<01у С1«»-'6«Н->

И .«А« {

14 »!»•,;

И }

Рисунок 5 — Пример интерфейса практического упражнения

ЕВГ Ш*-******"»-«**"™

--л11Ьех-></А1

<11 е!^«'-»»!;

««V С1м*

шг

:0 в Зр* г(5Ь..(в,в,С,в.5);

Рисунок 6 — Пример интерфейса испытания

Пятая глава посвящена экспериментальным исследованиям предложенных методов.

Первый эксперимент направлен на исследование влияния предложенного метода интерактивной обработки сложных практических упражнений на время их выполнения и на процент результативности курса.

Данный эксперимент проводился с помощью А/В тестирования на примере первого модуля. При этом обучаемые случайным образом распределялись по следующим четырём группам, для каждой из которых были подготовлены разные варианты интерфейса и упражнений:

1 группа: с автоматическим запуском механизма проверки, с дроблением упражнений на подзадачи;

2 группа: с автоматическим запуском механизма проверки, без дробления упражнений на подзадачи;

3 группа: с ручным запуском механизма проверки, с дроблением упражнений на подзадачи;

4 группа: с ручным запуском механизма, без дробления упражнений на подзадачи.

В эксперименте приняло участие 4 856 человек, его результаты приведены ниже в таблице 1.

Таблица 1 - результаты первого эксперимента

№ группы Кол-во Кол-во Процент

участников завершивших завершивших

1 группа 1222 411 33.6

2 группа 1212 373 30.8

3 группа 1214 388 32.0

4 группа 1208 361 29.9

В ходе эксперимента выяснилось, что среднее время выполнения практических упражнений составило 3 минуты. Участники первой группы выполняли задания в среднем на 10-15% (20-25 секунд) быстрее, чем участники 3 и 4 групп, и в среднем на 3-5% (5-10 секунд) быстрее, чем участники 2 группы. Поэтому предложенный метод позволяет увеличить результативность курсов на 10% и уменьшить время выполнения практических упражнений на 10-15%.

Во втором эксперименте исследовалось влияние предложенного метода интерактивной обработки испытаний с использованием игровой механики «перфекционизма» на процент завершающих модулей курса и в целом весь курс. Для этого была обработана статистика прохождения курса обучаемыми, которые начали обучение в период с 01.04.2014 по 20.07.2014. Из 11319 обучаемых 417 прошли курс до конца, что составило 3.7% от общего количества. Затем из общей группы обучаемых были выделены две подгруппы:

1. Обучаемые, которые прошли первые 3 испытания курса идеально («идеалисты»);

2. Обучаемые, которые прошли первые 3 испытания курса, но не все 3 испытания были пройдены идеально («не идеалисты»).

В первую подгруппу вошло 2 830 чел., из которых 367 чел. прошли курс до конца, что составило 13% от общего количества обучаемых в группе. Во вторую группу вошло 836 чел., из которых 50 чел. прошли курс до конца, что составило 6% от общего количества обучаемых в группе. На рисунке 7 представлена график результативности курса для разных групп (по оси X указывается количество модулей курса, а по оси У - процент обучаемых, прошедших данное количество модулей).

Из графика (рис. 7) видно, что обучаемые, которые использовали игровую механику «перфекционизма» (идеалисты), показали лучшие результаты обучения.

................Все ---»--■Не идеалисты Идеалисты

Рисунок 7 - Результативность курса в разных экспериментальных группах В третьем эксперименте исследовалось влияние предложенного метода интерактивной обработки испытаний с использованием игровой механики «перфекционизма» на время, дополнительно затраченное:

• на идеальное прохождение испытания (рис. 8, а),

• на поиск дополнительных учебных материалов (рис. 8, б),

• на достижение лучших оценок результатов обучения (рис. 8,с).

Для этого был организован опрос, в котором приняло участие 199 чел., прошедших как минимум 5 испытаний. Из графиков, представленных на рисунке 8, видно, что предложенный метод мотивирует обучаемых на дополнительные затраты времени для достижения лучших результатов обучения.

В четвёртом эксперименте исследовалось влияние когортных рейтингов на скорость прохождения и результативность асинхронного курса. Данный

эксперимент проводился с помощью А/В тестирования на выборке 1000 чел. Обучаемые случайным образом распределялись в две равные группы. Для участников первой группы когортный рейтинг отображался в личном профиле, а для участников второй группы - нет. Результаты эксперимента подтвердили гипотезу, что когортные рейтинги способствуют увеличению скорости прохождения курса и повышению его результативности, а) время выполнения испытаний 4Э>/о т--------------------------------------1

40% ......................Шн...........................................................................................■ Неидеальное выполнение

35% ^В Идеальное выполнение

30% 25% 20% 15% 10% 5% 0%

|||

<15 мин 15-30 мин 30-45 мин 45-60 мин >60 мин

б) использование дополнительных материалов в) повторное выполнение практических упражнений при прохождении испытаний при прохождении испытаний

■ ................................................... 50% 4

Нет Редко Часто Постоянно Нет Редко Часто Постоянно

Рисунок 8 - Результаты анкетирования в третьем эксперименте

ЗАКЛЮЧЕНИЕ

В рамках проведенного диссертационного исследования были получены следующие результаты, обладающие научной и практической значимостью.

1. Проведен анализ проблемы низкой результативности открытых массовых онлайн курсов и определены основные задачи для ее решения, связанные с повышением интерактивности процесса электронного обучения и с использованием различных игровых механик для дополнительной мотивации к обучению.

2. Разработан и экспериментально подтвержден новый эффективный метод интерактивной обработки сложных практических упражнений в онлайн курсе, основанный на автоматическом запуске визуализации и механизма проверки, обеспечивающий быструю обратную связь и сокращение времени выполнения заданий в среднем на 10-15%. Механизм проверки управляется графовой моделью, устанавливающей причинно-следственные связи между подзадачами

в задании упражнения, что позволяет распараллеливать процесс проверки частей задания и повысить его интерактивность.

3. Разработан и экспериментально подтвержден новый эффективный метод интерактивной обработки заданий в онлайн курсе на испытание способности решать типовые профессиональные задачи, основанный на сравнении с заданным образцом и использовании игровой механики «перфекцнонизм», обеспечивающий повышение вовлеченности в процесс обучения и стимулирующий к достижению лучших результатов обучения. Проведённые эксперименты показали, что доля обучаемых, подверженных влиянию механики «перфекцнонизм», составляет как минимум 25%. В этой группе обучаемых (идеалисты) наблюдается более высокая результативность (13% против 6%). При этом они мотивированы к дополнительным затратам времени на достижение лучших результатов обучения.

4. Разработан и экспериментально подтвержден новый эффективный метод построения когортных рейтингов в асинхронном интерактивном онлайн курсе, обеспечивающий дополнительную мотивацию к увеличению скорости прохождения курса, к повышению его результативности.

5. Создан и используется на практике интерактивный онлайн курс по использованию технологий HTML и CSS для разработчиков пользовательских веб-интерфейсов на открытой площадке http://htmlacademy.ru, к началу октября 2014 года количество зарегистрированных обучаемых составило более 45 тысяч чел.

6. Созданы и используются на практике интерактивные онлайн курсы «Создание веб-интерфейсов с помощью HTML и CSS» и «Создание продвинутых веб-интерфейсов с помощью HTML и CSS» на открытой площадке МООС-платформы Университета ИТМО (http://courses.ifmo.ru).

7. Использование предложенных методов при создании данных курсов позволило повысить их результативность до 29% (для студентов вузов).

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи в журналах из перечня ВАК

1. Першин A.A. Модель управления проектами компетентностно-ориентированных основных образовательных программ вуза // Научно-технический вестник информационных технологий, механики и оптики. СПб, 2012. №2 (78). С. 133-137. - 0.3 п.л.

2. Лисицына Л.С., Першин A.A. К вопросу создания Fab lab для подготовки разработчиков пользовательских веб-интерфейсов на основе HTML и CSS // Дистанционное и виртуальное обучение. 2014. №1. С. 32-38. - 0.5/0.7 п.л.

3. Лисицына Л.С., Першин A.A., Усков В.Л. К вопросу повышения результативности массового онлайн курса // Научно-технический вестник информационных технологий, механики и оптики. СПб, 2014. №5 (93). С. 164-171.-0.5/0.5 п.л.

Другие публикации

4. Першин A.A. Средства обучения HTML-верстке, построенные на базе методики автоматической оценки качества верстки // Информационная среда вуза XXI века: материалы V международной научно-практ. конференции (26-30 сентября 2011г.). Петрозаводск, 2011. С. 146-149. - 0.25 п.л.

5. Першин A.A. Интерактивные онлайн курсы по HTML и CSS «HTML Academy» // Труды XX Всероссийской научно-методической конференции «Телематика'2013». СПб, 2013. Т. 1. С. 171. - 0.05 п.л.

6. Васшьев В.Н., Иванов A.B., Лисицына JI.C., Прудентова Т.А., Першин A.A., Шехонин A.A. Оценивание результатов обучения при использовании технологий элегггронного обучения в университете // Материалы X Международной научной конференции «Новые информационные технологии и менеджмент качества». 2013. С. 135-138. - 0.25/0.15 п.л.

7. Васшьев В.Н., Иванов A.B., Лисицына Л.С., Прудентова Т.А., Першин A.A., Шехонин A.A. Электронный онлайн курс для подготовки разработчиков веб-интерфейсов с использованием игровых механик вузов // Материалы X Международной научной конференции «Новые информационные технологии и менеджмент качества». 2013. С. 131-135. - 0.25/0.25 п.л.

8. Лисицына Л.С., Першин A.A. Электронный курс для обучения технологиям разработки веб-интерфейсов на основе HTML и CSS // Сб. материалов I международной научно-практической конференции «Современные проблемы компьютерных наук». Пенза, 2013. С. 83-84. - 0.1/0.5 п.л.

9. Лисицына Л.С., Першин A.A. Из опыта разработки и практического использования MOOCS-курсов // Труды XXI Всероссийской научно-методической конференции «Телематика'2014». СПб, 2014. С. 91. - 0.05/0.5 п.л.

Тиражирование и брошюровка выполнены в учреждении

«Университетские телекоммуникации»

197101, Санкт-Петербург, Саблинская ул., 14

Тел. (812) 233 46 69.

Объем 1,0у.п.л. Тираж 100 экз.