автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Автоматизированная система оценки уровня сформированности компетенций у студентов на протяжении всего обучения

На правах рукописи

ТИГИНА МАРИЯ СТЕПАНОВНА

АВТОМАТИЗИРОВАННАЯ СИСТЕМА ОЦЕНКИ УРОВНЯ СФОРМИРОВАННОСТИ КОМПЕТЕНЦИЙ У СТУДЕНТОВ НА ПРОТЯЖЕНИИ ВСЕГО ОБУЧЕНИЯ

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (полиграфические средства информации и информационные системы)

АВТОРЕФЕРАТ на соискание ученой степени 11 НОЯ

кандидата технических наук

Москва 2015

005564426

005564426

Работа выполнена на кафедре автоматизации технологических процессов федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Московского государственного университета печати имени Ивана Федорова»

Научный руководитель:

Официальные оппоненты:

Ведущая организация:

Самарин Юрий Николаевич, доктор технических наук, профессор, заведующий кафедрой «Автоматизации технологических процессов»

Фирсов Андрей Валентинович, доктор технических наук, профессор профессора кафедры «Информационных технологий и компьютерного дизайна» Московского государственного университета технологии и дизайна

Филиппович Юрий Николаевич,

кандидат технических наук, профессор Научно - образовательного центра инфокогнитивных технологий факультета Информатики и систем управления Московского государственного машиностроительного университета.

Санкт-Петербургский государственный университет промышленных технологий и дизайна

Защита диссертации состоится «03» декабря 2015 г. в 13:00 на заседании диссертационного совета Д.212.147.03 при Московском государственном университете печати имени Ивана Федорова по адресу: 127550, г.Москва, ул. Прянишникова, д. 2А.

С диссертацией можно ознакомиться в библиотеке Московского государственного университета печати имени Ивана Федорова

Автореферат разослан »ОсЗ^ьЛ 2015 г.

Ученый секретарь /

диссертационного совета -у4~ел'

д.т.н., профессор * Агеев В.Н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность исследования. На сегодняшний день процесс получения высшего образования формируется в соответствии с требованиями стандартов нового поколения. Студент на протяжении всего обучения в высшем учебном заведении (ВУЗ) формируется как профессиональный специалист, который по выпуску готов к работе в соответствующей сфере. По каждому направлению «бакалавр» подготовка специалиста происходит в соответствии с основной образовательной программой (ООП), которую разрабатывает выпускающая кафедра, после чего она утверждаются вышестоящими органами власти. В настоящее время ООП готовится таким образом, что каждая дисциплина формирует у студента ряд общекультурных компетенций (ОК) на 1-2 курсе, и профессиональных компетенций (ПК) на 3-4 курсе. По окончанию обучения выпускник помимо того, что получает диплом с оценками по изученным дисциплинам, практике, выпускной квалификационной работе (ВКР) и т.д., он обладает определенными компетенциями (профессиональными навыками), уровень сформированное™ которых необходимо определить. Современные тенденции высшего образования и профессиональной деятельности выпускников ВУЗов, как будущих специалистов требуют более тщательного и детального подхода к оценке уровня сформированное™ их профессиональных характеристик, под которыми на сегодняшний день подразумеваются компетенции. Их формирование начинается после поступления в университет и продолжается на протяжении всего обучения и уже на выходе выпускник обладает рядом сформировавшихся на начальном уровне (который определяется учебной программой определенного профиля обучения) профессиональных характеристик.

На данный момент отсутствуют единые подходы, методы и алгоритмы оценки уровня сформированное™ компетенций, отслеживающие этот процесс на протяжении всего обучения. Таким образом, остро встает необходимость разработки методики оценки уровня сформированности компетенций учащихся и выпускников на протяжении всего обучения. Поскольку данный процесс предполагает весьма большие объемы обрабатываемой информации и статистических данных, а также трудоемких расчетов, необходима разработка автоматизированной системы и алгоритмов её работы на основе, разработанных методов.

Целью диссертационной работы является разработка математической модели и методов оценки уровня сформированности компетенций учащегося на протяжении всего обучения в ВУЗе для определения его будущей профессиональной направленности, а также разработка алгоритмов, позволяющих автоматизировать этот трудоемкий процесс.

В соответствии с целью в рамках диссертационной работы поставлены и решены следующие задачи:

- изучить компетентностный подход в обучении и оценки успеваемости студентов;

- проанализировать существующие автоматизированные системы оценки успеваемости студентов, а также алгоритмы и методы оценки знаний и уровня сформированности компетенций;

- разработать математическую модель оценки компетенций учащегося, учитывающую оценки по дисциплинам и другим видам учебной деятельности, участвующих в формировании компетенций на протяжении всего обучения;

- разработать модульную структуру автоматизированной системы оценки сформированности компетенций;

- разработать методы и алгоритмы получения итоговой оценки уровня сформированности компетенций учащегося, которые на основе экспертного оценивания учитывают оценки знаний по модулям дисциплин, участвующих в формировании соответствующих компетенций.

Решенная научная задача:

Разработана автоматизированная система и методы оценки уровня сформированности компетенций учащихся на протяжении всего обучения, позволяющие производить эту оценку с учетом всех изучаемых дисциплин и степени их принадлежности к формированию определенных компетенций.

Научная новизна диссертационного исследования заключается в следующем:

- разработана математическая модель оценки уровня сформированности компетенций, которая для получения итогового значения, учитывает все виды контроля знаний по всем видам учебной работы, осваиваемой учащимся на протяжении обучения, а также их важность и степень принадлежности к формированию определенных компетенций, прописанных основной образовательной программой;

- разработана структура автоматизированной системы оценки уровня сформированности компетенций, адаптируемая для конкретных профилей и направлений обучения, которая на основе экспертного анализа, учитывает важность оценок по всем дисциплинам и другим видам учебной работы, участвующих в формировании компетенций;

- разработаны методы и алгоритмы комплексной оценки сформированности компетенций, прописанных образовательным стандартом, с учетом степени принадлежности дисциплин к их формированию, которые позволяют следить за накоплением оценки по уровню сформированности компетенций, на протяжении всего обучения, на основе расчета относительных и абсолютных показателей.

Положения, выносимые на защиту:

- математическая модель оценки уровня сформированности компетенций, которая для получения итогового значения, учитывает все виды контроля знаний по всем видам учебной работы, осваиваемой учащимся на протяжении обучения, а также их важность и степень принадлежности к формированию определенных компетенций, прописанных основной образовательной программой;

- структура автоматизированной системы оценки уровня сформированности компетенций, адаптируемая для конкретных профилей и направлений обучения, которая на основе экспертного анализа, учитывает важность оценок по всем дисциплинам и другим видам учебной работы, участвующих в формировании компетенций;

- методы и алгоритмы комплексной оценки компетенций, прописанных образовательным стандартом, с учетом степени принадлежности дисциплин к их формированию, которые позволяют следить за накоплением оценки по уровню сформированное™ компетенций, на протяжении всего обучения, на основе расчета относительных и абсолютных показателей;

- практическая реализация полученных результатов.

Практическая ценность исследования заключается в разработке автоматизированной системы оценки уровня сформированности компетенций учащихся, различных направлений обучения, которая поможет оценить свои профессиональные характеристики выпускникам и в дальнейшем определиться с выбором профессии, в которой они смогут себя проявить. ВУЗам данная система поможет более плотно и качественно взаимодействовать с площадками, которые предоставляют рабочие места студентам и выпускникам, а также собирать и отслеживать различного рода статистическую информацию по оценке сформированности компетенций, которая внесет большой вклад в улучшение и оптимизацию, как учебного процесса, так и оценки его деятельности. Разработанные методы и алгоритмы позволяют наиболее полно и объективно производить оценку уровня сформированности компетенций у студентов на протяжении всего обучения.

Апробация работы. Теоретические положения и выводы, полученные в ходе выполнения диссертационной работы, были доложены автором на:

- на научно-технических конференциях молодых ученых МГУП имени Ивана Федорова (в 2012 и 2015 г.г.);

- на межвузовской научно - методической конференции «Развитие сетевых технологий для создания образовательных кластеров с участием вузов УМО по образованию в области полиграфии и книжного дела» в 2014 г.;

- на научной международной конференции «Мобильные системы обработки медиаконтента» (в 2013 г.);

- на XVII Международной научно-практической конференции «Научное обозрение физико-математических и технических наук в XXI веке» (в 2015 г.);

- на II Международной научно-практической конференции "Образовательная среда сегодня: стратегии развития" (в 2015 г.);

- на IV Международной научно-практической конференции «Педагогика и психология: актуальные вопросы теории и практики» (в 2015 г.).

Сведения об объеме и структуре работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованной литературы и приложений. Работа изложена на 117 страницах и содержит 15 таблиц и 29 рисунков. Список литературы состоит из 85 наименований.

Публикации. Основные положения и результаты диссертационного исследования опубликованы в 12 работах, в том числе 1 монография и 6 работ в журналах, рекомендованных ВАК РФ.

СОДЕРЖАНИЕ РАБОТЫ

Во введении определена актуальность выбора темы исследования, степень её разработанности, сформулированы цель, задачи и направления исследования по разработке автоматизированной системы оценки уровня сформированности

компетенций, обозначены положения, выносимые на защиту, раскрыта научная новизна и практическая значимость предложений и выводов диссертационной работы.

В первой главе проведен анализ проблем и задач автоматизированной оценки уровня сформированности компетенций студентов и выпускников различных направлений и профилей обучения. Описаны современные тенденции в образовании, новые поколения образовательных стандартов, а также компе-тентностный подход в обучении и оценке знаний студентов.

Управление формированием компетенций будущих специалистов и оценивание уровня их сформированности рассмотрено в работах таких авторов, как Кальней В.А., Каспржак А.Г., Коган Е.Я., Новиков A.M., Сериков В.В., Шишов С.Е., Эльконин Б.Д. и др.

Проведен обзор существующих автоматизированных систем оценки знаний и успеваемости учащихся и выявлено, что в настоящий момент не разработано систем, позволяющих оценивать уровень сформированности компетенций на протяжении всего обучения.

Также рассмотрены работы, посвященные разработке методов автоматизации оценки уровня сформированности компетенций и оценки значимости самих компетенций, следующих авторов: Аскеров Э.М., Пирская A.C., Крехов Е.В., Ежов Т.В., Сидорин A.B.

Однако ни в одной из работ не представлено методики или алгоритмов оценки уровня сформированности компетенций на протяжении всего обучения.

В ходе анализа было установлено, что компетенция понятие широкое, включающее в себя сразу множество характеристик объекта профессиональной деятельности, определенной отрасли и предметной области. Сложно оценить уровень сформированности компетенции выпускника или учащегося, лишь по одному типу контрольного задания, например с помощью теста, контрольной работы и т.д. Это единичная, единовременная оценка, которая не даст полной картины и представления об уровне знаний учащегося в определенной области.

Согласно ВПО ФГОС новых поколений в учебных планах и рабочих программах прописывается «Матрица соответствий», в которой указывается, что одна дисциплина формирует несколько компетенций, а одна компетенция формируется несколькими дисциплинами. Исходя из этого, можно отметить следующее: каждая из компетенций у учащегося формируется постепенно на протяжении всего обучения и происходит прирост знаний навыков и умений по определенному профессиональному уровню. Таким образом, оценку уровня сформированности компетенций необходимо проводить на протяжении всего обучения, что позволит наиболее объективно оценить уровень ее сформированности.

По следующим причинам данный процесс требует разработки автоматизированной системы:

1. Большой объем получаемой и обрабатываемой информации (учащиеся вуза, компетенции по каждому направлению, дисциплины, формирующие эти ком -петенции, оценки по каждому модулю всех дисциплин и т.д.).

2. Разнородность информации, которая требует систематизации.

3. Непрерывный сбор информации и ее обновление (например: семестровое обновление успеваемости).

4. Расчет показателей оценки уровня сформированное™ компетенций с учетом всех показателей и методов оценки (модулей дисциплин, коэффициентов важности и т.п.).

5. Непрерывный контроль над выполнением учебного плана, на основе получаемых данных и проверка сформированное™ компетенции в любой момент времени.

6. Перевод количественных значений в качественные характеристики.

Таким образом, основной целью автоматизированной оценки уровня сформированное™ компетенций является: объективная, комплексная оценка на протяжении всего обучения с учетом всех показателей применяемых в процессе оценки.

Задачи, решаемые системой:

- сбор информации об учащихся;

- сбор данных и обработка статистической информации об успеваемости (балльно-рейтанговая система);

- связь модулей дисциплин между собой (одна компетенция у учащегося может формироваться при изучении смежных дисциплин);

- определение проблемных дисциплин и их модулей в процессе всего обучения (возврат на начало модуля);

- определение уровня знаний с учетом каждого модуля дисциплины, на основе выбранных методов;

- определение уровня сформированное™ компетенций, полученных учащимся по каждой дисциплине, на основе модульного обучения и оценки по каждому модулю. Расчет показателей оценки;

- определение важности каждого модуля всех дисциплин, участвующих в формировании компетенции. Относительные показатели (весовые коэффициенты);

- определение уровня принадлежности каждой дисциплины, участвующей в формировании компетенции. Относительные показатели (весовые коэффициенты);

- определение уровня подготовки бакалавра к профессиональной деятельности. Разработка рекомендаций к поступлению в магистратуру;

- контроль над выполнением учебного плана;

- выбор методов оценки уровня сформированное™ компетенции, с учетом каждого пройденного модуля.

Вторая глава посвящена разработке математической модели оценки уровня сформированное™ компетенций, которая для получения итогового значения, учитывает все виды контроля знаний по всем видам учебной работы, осваиваемой учащимся на протяжении обучения, а также их важность и степень принадлежности к формированию определенных компетенций, прописанных основной образовательной программой.

Значения по компетенциям зависят от оценок по дисциплинам и их модулям, которые меняются с течением времени, по мере изучения дисциплин, уча-

ствующих в формировании той или иной компетенции и итоговую оценку по ней можно получить только по окончанию обучения.

Множество признаков, характеризующих, уровень сформированности каждой компетенции в отдельности выглядит следующим образом:

K=(Yi(Mi(t)),T(n),D, U,0,P), где (1)

К - компетенция;

Y, — результат/ —ой дисциплины по окончанию ее изучения (7 = 1 ...«);

D - всё множество дисциплин и других видов учебной деятельности, изучаемых слушателем на протяжении обучения (курса, семестра, всего обучения и т.д.);

М, - результаты по модулям конкретной / — ой дисциплины;

Т(п) - множество дисциплин и других видов учебной нагрузки, участвующих в формировании компетенции;

п - количество дисциплин, участвующих в формировании компетенции;

U - номинальная шкала оценивания определения [ U„,-,„, UmaJ, где левое ограничение минимально допустимое, правое ограничение максимально допустимое;

Р - погрешность измерений с учетом количества дисциплин, участвующих в формировании одной компетенции;

О - итоговая оценка с учетом всех дисциплин, которая может быть выставлена только по окончанию обучения;

t - время с течением которого меняется (увеличивается или остается неизменным) значение по уровню сформированности компетенции, это может быть 1 семестр или 2, в зависимости от того изучалась ли дисциплина, участвующая в формировании компетенции

Тогда математическая модель оценки уровня сформированности каждой компетенции, формирующейся, у учащегося в процессе обучения, описывается следующим образом и зависит от следующих параметров:

(0=0(г,и)

K = K(Y(m,(I)),U,D,T,O,P) (2)

.•K^min

Данная взаимосвязь проиллюстрирована графически и представлена на рис. 1

Рис. 1 График зависимости компонентов

Таким образом, взаимосвязь компонентов всех компетенций от дисциплин и их модулей выглядит следующим образом:

'*,(£„(/,Л/.«)))'

, где (3)

{к^.и.м.т)

К:(1)- компетенции, формируемые у учащихся, значения которых меняются с течением времени, по мере изучения дисциплин Ц, (/) - дисциплины, изучаемые в течение всего обучения, л/„(<)- модули, изучаемые в цикле каждой дисциплины, в течение семестра или учебного курса.

Таким образом, получаем, что значения по уровню сформированности компетенций зависят от оценок по дисциплинам и их модулям, которые меняются с течением времени, по мере изучения дисциплин, участвующих в формировании той или иной компетенции и итоговую оценку по компетенции можно получить только по окончанию обучения.

Третья глава посвящена разработке автоматизированной системы оценки уровня сформированности компетенций. Также в третьей главе описана методика и алгоритмы оценки уровня сформированности компетенций, на базе которых работает автоматизированная система.

Для автоматизации процесса оценки уровня сформированности компетенций используется клиент-серверная архитектура, являющаяся трёхуровневой: клиент - сервер приложений - сервер баз данных (см. рис. 2.) Объем информации, который нужно обрабатывать системе большой (по каждому факультету, по каждой специальности, по каждому курсу и т.д.), поэтому необходимо рациональное распределение нагрузки на систему масштабирования. Взаимодействие между автоматизированной системой и пользователем происходит с помощью \veb-6pay3epa. Пользователями системы могут являться учащиеся, преподаватели, кафедры, деканаты, учебный отдел и т.д., которые получают данные из системы через тонкие клиенты, установленные в университете. Балльно - рейтинговая система (БРС) предоставляет информацию об успеваемости по каждой дисциплине и по каждому модулю в баллах. Информация о баллах может экспортироваться из БРС, либо данная информация вручную заносится в систему. База данных осуществляет хранение и обновление информации по учащимся и предметам, оценке компетенций, а также информации, необходимой для работы автоматизированной системы оценки успеваемости студентов (АСОУС). АСОУС осуществляет трансформацию данных, а также вычисление необходимых параметров для оценки успеваемости. СУБД обеспечивает хранение, обновление и предоставление данных с помощью программ, распространенных на уровне приложений.

Описана общая структура автоматизированной системы и состав, входящих в неё модулей, (рис. 3).

I-

Препол;

а

БРС

т

1131*1

| Матрица \

Рис. 2. Структура А СОУС

Модуль оценки ПК (накоантельвый)

Модуль перевода количественных значений в качественные дарактерцстнкя

Модуль опенки ОК

Модуль вывода

графической

информации я

статистики

Модуль звямоденставя у. АСУВ

Модуль взаимодействия

Модуль

взаимодействия с

БРС

Модуль расчета

коэффициентов путем

экспертного оценивания, а также перенэстроПкп

весовыж коэффициентов

Рис. 3 Модульная структура подсистемы «оценка уровня сформированности компетенций на протяжении всего обучении» Модуль расчета весовых коэффициентов путем экспертного оценивания, а также перенастройки весовых коэффициентов с учетом изменения ООП. В данном модуле вводятся все необходимые данные для проведения экспертного оценивании и расчета весовых коэффициентов и коэффициентов принадлежности модулей и дисциплин. Также заносятся необходимые данные по экспертам. Экспертное оценивание происходит в автоматизированном режиме (необходимые данные экспертами заносится непосредственно в программу, либо экспортируются в систему из полученных от экспертов таблиц) и далее производится расчет всех необходимых коэффициентов.

В случае изменения учебного плана, возможно изменение весовых коэффициентов определенных модулей и дисциплин, заранее определенных путем экспертных оценок.

Модуль оценки ПК (накопительный). Проводит расчет по каждому учащемуся, по каждой компетенции в течение всего обучения, по заданным формулам. Значения являются накопительными, поскольку компетенция формируется по изучению ряда дисциплин и их модулей. Информация по компетенциям обновляется каждый семестр. Потому что по итогу изучения ряда дисциплин учащийся либо получает знания по новым компетенциям, либо накапливает уже полученные в цикле других дисциплин, т.о. уровень старых обновляется с накоплением знаний и тем самым почти каждый учебный семестр учащийся расширяет набор полученных компетенций и увеличивает

знания по уже полученным.

Модуль оценки ОК (накопительный). Проводит расчет у каждого учащегося по каждой компетенции в течение всего обучения по заданным формулам. Значения являются накопительными, поскольку компетенция формируется по изучению ряда дисциплин и модулей дисциплин.

База данных АСОУС. Используется для хранения необходимой информации для работы с АСОУС об учащихся и их баллах. Для того чтобы модуль оценки компетенций мог брать баллы из системы необходимо, чтобы дисциплина была разбита на модули, и баллы выставлялись по каждому модулю каждой дисциплины.

Модуль взаимодействия с АСУВ. Экспортирует данные из АСУВ, такие как контингент учащихся, личные дела и т.д. и всю информацию об учащихся, кафедрах и преподавателях и другую необходимую информацию для работы АСОУС.

Модуль взаимодействия с БРС. Модуль экспортирует данные из БРС и определяет, какие модули, какую компетенцию формируют (эти данные заранее прописаны в учебных планах и соответственно в системе, должны быть указаны какие модули дисциплин, какие компетенции формируют).

Модуль перевода количественных значений в качественные переводит итоговые значения по уровню сформированное™ компетенции учащегося в качественные характеристики (рекомендации по поступлению в магистратуру, перечень профессиональных должностей на которые может претендовать учащийся).

Модуль вывода графической информации и статистики обеспечивает создание запрашиваемых пользователем отчетов, статистики и предоставление их в графическом виде. Так же в этом модуле производится расчет аддитивных и мультипликативных показателей по компетенциям в различных разрезах: учащийся, группа студентов, специальность, факультет.

Модуль взаимодействия с пользователем обеспечивает работу с системой через графический интерфейс.

Далее описана поэтапная методика получения итоговой оценки по уровню сформированное™ компетенций учащихся.

Этап 1. Формирование оценки по компетенции с учетом одной дисциплины и всех её модулей, участвующих в формировании этой компетенции. Каждая дисциплина состоит из определенных модулей и в зависимости от компетенции, в формировании которой участвует дисциплина, модули могут быть не равнозначны. Для этого необходимо с помощью экспертаого оценивания определить весовые коэффициенты каждого модуля по каждой дисциплине, участвующего в формировании определенных компетенций. Алгоритм представлен на рис. 4.

Таким образом, первоначально итоговая оценка по уровню сформированное™ компетенции с учетом всех модулей одной дисциплины, участвующих в ее формировании вычисляется по формуле:

> рДе (4)

1-1 '

Ка - значение по уровню сформированное™ компетенции с учетом одной дисциплины, её формирующей; к]о - коэффициент важности _/ - ого модуля дисциплины; Км - оценка за у - ый модуль дисциплины;

п- количество модулей одной дисциплины, участвующих в формировании компетенции.

Рис. 4 Алгоритм получения и расчета коэффициентов важности модулей для формирования соответствующих компетен1{ий Этап 2. Следующим важным этапом при оценивании является определение степени принадлежности определенной дисциплины к уровню формирования компетенции. В учебном плане прописано количество каждого вида дисциплин, и какие компетенции они формируют. Предложено представить одну компетенцию как нечеткое множество, состоящее из набора дисциплин с определенными значениями коэффициентов принадлежности, которые определяется экспертами (см. табл. 1)

Таблица 1

_ Нечеткое множество одной компетенции__

т<) О, о3 Д/ А,-/ А

<ц А, М2 М] А. Мп-1

К(0) — компетенция, в формировании которой участвует п — дисциплин (/ =

1...П);

Д - дисциплины, формирующие компетенцию;

Д - коэффициент принадлежности, который будет рассчитываться на основе информации, собранной с экспертов.

Коэффициент принадлежности присваивается экспертами и лежит в пределах [0,1].

Описываются этапы:

1. В таблицах эксперты выставляют коэффициенты принадлежности каждой дисциплине к каждой компетенции М/ в соответствии с учебным планом.

2. После получения данных от экспертов системой производится расчет коэффициентов принадлежности дисциплин, с учетом мнения всех экспертов и

коэффициентов их авторитета , по следующей формуле:

т

М 'К, , где (5)

8=1

т - количество экспертов, принимавших участие в экспертном оценивании.

3. Далее рассчитывается согласованность мнения экспертов по каждому показателю для каждой дисциплины. Используется формула определяющая согласованность мнения экспертов по одному показателю:

.Л

г \

«■Х-".,1-

)

т _, где (6)

д - коэффициент принадлежности, присвоенный g- им экспертом; ц - среднеарифметическое значение коэффициентов принадлежности, присвоенных т — экспертами.

Если значения коэффициента меньше 0,2, то мнения экспертов считаются согласованными. Если же данное значение превышает порог, то гипотеза отвергается и принимается решение о повторной экспертизе.

5. Чтобы получить итоговое значение, сумма всех коэффициентов важности (влияния) для одной компетенции должна принимать значение равное 1:

5>,=1,где (7)

1=0

к, - коэффициент важности (весовой коэффициент);

п - количество всех дисциплин, формирующих компетенцию.

Таким образом, весовой коэффициент для конкретной дисциплины равен:

2>.

/»1

На рис. 5 представлен алгоритм расчета весового коэффициента дисциплин.

Рис. 5 Алгоритм получения коэффициента принадлежности и с учетом него расчет коэффициента важности дисциплин Этап 3. Окончательно выставление оценки за семестр по уровню сформированное™ компетенции получается путем умножения баллов по дисциплине на весовой коэффициент дисциплины.

Вычисление относительного показателя по уровню сформированное™ компетенции с учетом одной дисциплины К„ производится по формуле:

К.=К,-к, (9)

Соответственно, вычисление относительного значения по уровню сформированное™ компетенции за семестр (год) производится по формуле;

^с = Х^,где (10)

ы

«-количество дисциплин, участвующих в формировании компетенции за определенный период обучения. И таким же образом рассчитываются итоговые абсолютные значения, когда все дисциплины уже изучены.

Этап 4. После того как рассчитано итоговое значение по уровню сформированное™ компетенций с учетом всех дисциплин, необходимо рассчитать погрешность измерения. Целесообразно вычислять погрешности только для тех компетенций, у которых соблюдаются следующие условия:

- количество дисциплин (значений), формирующих одну компетенцию больше трех;

- итоговое значение по компетенции попадает в интервал -1 или -2 к краю следующего интервала оценивания по 100-бальной шкале.

Таким образом, получаем, что значения внутри одной компетенции принадлежат разным интервалам оценивания (хотя бы двум из них) и погрешность для не сгруппированных данных вычисляется по следующей формуле:

/ - количество интервалов, которым принадлежат оценки, из которых формируется итоговая оценка по уровню сформированности компетенций;

т - конкретный интервал значений (неудовлетворительно, удовлетворительно, хорошо, отлично);

п - количество оценок, попавших в конкретный интервал т; х, (т) - конкретная оценка, принадлежащая интервалу т\ х,(т) - среднеарифметическое оценок из интервала т.

Если значение погрешности больше или равно критическому значению, т.е. 5 (если значения лежит в пределах -1 от следующего интервала, то критическое значение больше или равно 1, если значения лежит в пределах -2 от следующего интервала, то критическое значение больше или равно 2), то тогда прибавляется значение погрешности, и итоговый балл попадает в следующий номинальный интервал (при необходимости можно отказаться от прибавления).

Этап 5. Заключительным этапом является перевод количественного значения в качественные характеристики. Алгоритм выведения итоговой оценки представлен на рис. 6.

После того, как система рассчитывает количественное значение уровня сформированности компетенций, необходимо перевести эти значения в качественные показатели, характеризующие уровень подготовки по данной профессиональной компетенции.

Качественные характеристики в зависимости от количественных значений, также определяются и описываются экспертами. Все соответствующие нормы также определяются экспертами.

Данная система позволяет помимо итоговых значений, также определять другие необходимые коэффициенты на протяжении всего обучения. Поскольку процесс получения итоговых значений растягивается на весь период обучения, учащийся может наблюдать за приростом значений по уровням сформированности компетенций, видеть максимальный балл, который он может получить в конце обучения, с учетом уже полученных оценок. Это позволит стимулировать студента и выделить ему приоритетные профессиональные компетенции.

Четвертая глава посвящена вопросам практического применения разработанной автоматизированной системы.

Для апробации работы автоматизированной системы и методики оценки уровня сформированности компетенций использовались данные по направлению подготовки «Информационные системы и технологии», такие как: матрица компетенций, в которой прописано какие дисциплины какие компетенции формируют, также описание самих компетенций и рабочих программ по всем дисциплинам и другим видам учебной деятельности, участвующих в формирова-

(П)

нии компетенции, а также данные об успеваемости учащихся по баллам. Был определен состав экспертной группы, которая проводила экспертное оценивание.

(' Конец >

Рис. б Алгоритм выведения итоговой 01)енки На основе информации, полученной от экспертов, были рассчитаны коэффициенты принадлежности дисциплин для всех компетенций, в формировании которых они участвуют и на основе этих коэффициентов уже рассчитаны весовые коэффициенты дисциплин. Затем, также с помощью экспертного оценивания рассчитывались коэффициенты важности модулей дисциплин.

Ручные расчеты такого количества показателей заняли достаточно много времени. Затраченное время рассчитывалось исходя из формулы:

т

К =',1Х-*,,где (12)

/=1

¡0 - общее время для расчета всех необходимых коэффициентов; с!, - дисциплины, участвующие в формировании компетенций; т - количество этих дисциплин;

к,- количество компетенций, которые формируются /-ой дисциплиной, которое разное, для каждой дисциплины;

/э - время, необходимое для проведения расчета всех необходимых показателей экспертного оценивания по одной дисциплине. Определяется эксперимен -тальным путем.

Для данного профиля обучения = 124, а рассчитанное эксперимен-

1-1

тально в среднем л, »10 мин. Таким образом 1а =124-10 = 1240 мин » 21 час.

При автоматизированном расчете, с учетом полученных рангов от экспертов, процедура занимает в среднем 10-15 минут.

Проведя анализ весовых коэффициентов, было выявлено, что различные модули одной и тоже дисциплины имеют различные значения коэффициентов, следовательно, различную степень влияния на формирование компетенций из различных разделов.

Ниже представлены диаграммы (рис.7) , показывающие коэффициенты важности модулей одной и той же дисциплины для различных компетенций.

Таким образом, следует отметить, что одни и те же модули одной и той же дисциплины имеют различные коэффициенты важности для компетенций определенного раздела. Это подтверждает необходимость проведения такого экспертного оценивания, для получения более объективных данных по уровню сформированное™ профессиональных навыков - компетенций учащихся. То есть, при общей не очень хорошей оценке по дисциплине, которая формировалась как общая из всех модулей, он может иметь хороший результат по определенной компетенции, если у него результаты по модулям варьируются в различных пределах. Это позволит определить направленность учащегося, как будущего специалиста в определенной профессиональной области. А преподавателям позволит формировать и внедрять новые методики оценки знаний, новые модули в дисциплины для более тщательной оценки уровня сформированное™ компетенций.

Для апробации методики итогового расчета по уровню сформированности всех компетенций для направления обучения «Информационные системы и технологии» были взяты оценки по модулям дисциплин и других видов учебной деятельности за весь период обучения у нескольких групп. На рис. 8 представлены диаграммы, показывающие уровень сформированности компетенций 4 различных учащихся, имеющих различные оценки по дисциплинам и разный средний балл в целом.

а) г_____________________о)

! м X—.....-......-.................... ж..................

в) г)

Рис . 7. Диаграмма коэффициентов важности модулей дисциплины а) Информационные технологи б) Технологии программирования в) Инструментальные средства информационных систем г) Методы и средства проектирования информационных систем в формировании компетенций

а) б)

Рис. 14 Диаграмма значений по уровню сформированности компетенцийдля четырех различных студентов в интервалах оценивания:

а)[0; 100]б) [2; 5]

Заключение диссертации содержит основные выводы, обоснования и практические рекомендации, полученные в результате исследования.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ 1. Проведен анализ существующих методов автоматизированной оценки уровня сформированности компетенций на протяжении всего обучения, который показал, что в настоящий момент отсутствуют методы и системы позволяющие проводить оценку сформированности компетенций, с учетом всех видов учебной работы, участвующих в их формировании;

2. Разработана математическая модель оценки уровня сформированности компетенций, которая для получения итогового значения, учитывает все виды контроля знаний по всем видам учебной работы, осваиваемой учащимся на протяжении обучения, а также их важность и степень принадлежности к формированию определенных компетенций, прописанных основной образовательной программой.

3. Разработана структура автоматизированной системы оценки уровня сформированности компетенций, адаптируемая для конкретных профилей и направлений обучения, которая на основе экспертного оценивания, учитывает важность оценок по всем дисциплинам и другим видам учебной работы, участвующих в формировании компетенций

4. Разработаны методы и алгоритмы комплексной оценки компетенций, прописанных образовательным стандартом, с учетом степени принадлежности дисциплин к их формированию, которые позволяют следить за накоплением оценки по уровню сформированности компетенций, на протяжении всего обучения, на основе расчета относительных и абсолютных показателей.

5. Выполнена апробация разработанных методов и алгоритмов, показывающая необходимость проведения такого оценивания для определения будущей профессиональной направленности учащихся.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Статьи в периодических научных изданиях, рекомендованных ВАК Мин.обр.науки России

1. Тигина, М.С. Подход к оценке профессиональных характеристик будущих специалистов, обучающихся в сфере информационных технологий /М.С. Тигина // Полиграфист. В помощь руководителю и главному бухгалтеру. -2013.-№3(61).-С. 29-34.

2. Тигина, М.С. Математическая модель оценки уровня сформированное™ компетенций /М.С. Тигина// Информатика и образование. -2013. № 10 (249). - С. 88-89.

3. Тигина М.С. Автоматизированный подход к оценке уровня сформированное™ компетенций студентов /М.С. Тигина// Известая высших учебных заведений. Проблемы полиграфии и издательского дела - 2013. № 2. - С. 94-101.

4. Тигина, М.С. Алгоритм оценки уровня сформированности компетенций студентов, обучающихся по направлениям, связанным с информационными технологиями /Ю.Н. Самарин, Тигина М.С.// Полиграфист. В помощь руководителю и главному бухгалтеру. -2014. - №2(64). - С. 13-22.

5. Тигина, М.С. Проблемы и задачи автоматизированного определения уровня сформированности компетенций выпускников различных направлений / М.С. Тигина// Профильная школа. -2014. -№2.- С. 45-55.

6. Тигина, М.С Обоснование необходимости и алгоритм оценки уровня сформированности компетенций студентов, обучающихся по различным направлениям и профилям / М.С. Тигина // Профильная школа. - 2014. - №6. -С. 47-53.

Другие публикации

7. Тигина, М.С. Методика оценки знаний студентов медиасферы / М.С. Тигина // Вестник МГУП. - М.:МГУП, 2012 - № 9. - С. 48-54.

8. Тигина, М.С. Автоматизированная система оценки уровня сформированности компетенций по итогу обучения / М.С. Тигина // Сборник тезисов научно - технической международной конференции «Мобильные системы обработки медиаконтента» - М.:МГУП, 2013. - С.8-9.

9. Тигина, М.С. Задачи автоматизированного определения уровня сформированное™ компетенций выпускников различных направлений / М.С. Тигина // Сборник тезисов межвузовской научно - методической конференции «Развитие сетевых технологий для создания образовательных кластеров с участием вузов УМО по образованию в области полиграфии и книжного дела»-М.'.МГУП, 2014. - С. 11 - 12.

10. Тигина М.С. Принципы и алгоритмы работы автоматизированных систем оценки знаний и квалификации специалистов / М.В. Иванов, Ю.Н. Самарин, М.С. Тигина // Монография - Московский государственный униврситет печати имени Ивана Федорова,- М.: МГУП имени Ивана Федорова. - 2013. - С. -196.

11. Тигина М. С. Методика оценки уровня сформированности компетенций учащегося, с учетом одной дисциплины, ее формирующей, на основе экспертного оценивания / М. С. Тигина // Педагогика и психология: актуальные вопросы теории и практики : материалы IV Междунар. науч.-практ. конф. -2015 г.-С. 106-109 (0,25 п.л.)

12. Тигина М. С. Цели и задачи автоматазации уровня сформированности компетенций выпускников высших учебных заведений / М. С. Тигина // Образовательная среда сегодня: стратегии развития : материалы II Междунар. науч.-практ. конф - 2015 г. - С. 95-98 (0,25 п.л.)

Подписано в печать: 02.10.2015 Объем: 1,0 п.л. Тираж 100 экз. Заказ №568 Отпечатано в типографии «Реглет» 119526, г.Москва, пр-т Вернадского, д.39 (495) 363-78-90; www.reglet.ru