автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Автоматизация многокритериального оценивания уровня сформированности профессиональных компетенций будущих специалистов

На правах рукописи

Аскеров Эмин Мубариз оглы

АВТОМАТИЗАЦИЯ МНОГОКРИТЕРИАЛЬНОГО ОЦЕНИВАНИЯ УРОВНЯ СФОРМИРОВАННОСТИ ПРОФЕССИОНАЛЬНЫХ КОМПЕТЕНЦИЙ БУДУЩИХ СПЕЦИАЛИСТОВ

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (образование)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

" 9 ЛЕК 2010

Москва-2010

004616422

Работа выполнена на кафедре систем управления и вычислительной техники ФГОУ ВПО «Калининградский государственный технический университет»

Научный руководитель: доктор педагогических наук, кандидат технических

наук, профессор Рудинский Игорь Давидович

Официальные оппоненты: Доктор технических наук, профессор Данилюк

Сергей Григорьевич

Кандидат технических наук, доцент Шаховский Андрей Владимирович

Ведущая организация: ФГОУ ВПО «Волгоградский государственный

технический университет»

Защита диссертации состоится 24 декабря 2010 года в 11 часов на заседании объединенного диссертационного совета по защите докторских и кандидатских диссертаций ДМ.008.004.02 при Учреждении Российской академии образования «Институт информатизации образования» по адресу: 119121, г. Москва, ул. Погодинская, д. 8.

Отзывы, заверенные печатью, просим направлять по адресу: 119121, г. Москва, ул. Погодинская, д. 8.

С диссертацией можно ознакомиться в библиотеке Учреждения Российской академии образования «Институт информатизации образования»; автореферат размещен на сайте http://www.iiorao.ru.

Автореферат разослан 23 ноября 2010 г.

Ученый секретарь диссертационного совета доктор педагогических наук, кандидат технических наук, профессор

О.А. Козлов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы исследования. Экономические и социальные перемены в современном российском обществе выдвигают принципиально новые требования к профессиональной квалификации специалистов. Широкий спектр и разнородный характер требований квалификационной характеристики предопределяет необходимость оценивания уровня сформированное™ профессиональных компетенций будущих специалистов по большому количеству критериев.

Необходимость оценивания уровня сформированности профессиональных компетенций будущих специалистов подтверждается изменениями в законодательстве в области образования и начавшимся переходом на федеральные государственные образовательные стандарты высшего профессионального образования (ФГОС ВПО) нового поколения. В них определены новые требования к результатам освоения образовательных программ, к которым относится формирование не только соответствующих знаний, умений и навыков, но в первую очередь - профессиональных компетенций выпускника вуза. Однако ни в проектах ФГОС ВПО, ни в сопровождающих их нормативных документах не сформулированы требования к методам, моделям и критериям оценивания уровня сформированности профессиональных компетенций будущих специалистов.

В настоящей работе под профессиональной компетенцией (ПКц) понимается способность решать конкретные узкоспециализированные подзадачи, на которые декомпозируются задачи, стоящие перед специалистом при осуществлении профессиональной деятельности (Дж. Равен, С.А. Сафонцев, Н.Ю. Сафонцева).

Вопросы управления формированием профессиональных компетенций будущих специалистов и оценивания уровня их сформированности интенсивно исследуется в рамках компетентностного подхода, который освещается в работах таких авторов, как' Кальней В.А., Каспржак А.Г., Коган Е.Я., Новиков A.M., Сериков В.В., Шишов С.Е.,?: Эльконин Б.Д. и др. В рамках такого подхода осуществляется переход от раздельного освоения разрозненных дисциплин учебного плана, предполагающего формирование у обучаемых конкретных знаний, умений и навыков, к формированию у них профессиональных компетенций, каждая из которых охватывает определенный набор квалификационных характеристик, ориентированных на решение конкретных классов производственных и других задач. При этом для оценивания уровня сформированности каждой профессиональной компетенции оказываются недостаточными традиционные подходы к педагогическому контролю учебных достижений, основанные на раздельном однокрите-риальном оценивании знаний и умений обучаемых по конкретным дисциплинам. Возникает потребность в создании формализованной модели многокритериального оценивания уровня сформированности профессиональных компетенций и алгоритмического обеспечения реализации этой модели средствами автоматизированной системы управления учебным процессом (АСУ УП).

Традиционный подход к оцениванию учебных достижений, связанный с автоматизированным расчетом отдельных параметров квалификационной характеристики, например остаточных знаний, скорости реакции и т.д., широко развивается в работах таких авторов, как B.C. Аванесов, А. Анастази, А.И. Берг, Дж. Гласс, Н. Грунлунд, К. Ингекамп, П. Клайн, Е.А. Михайлычев, И.Д. Рудинский, С.А. Сафонцев, А.Г. Шмелев. Проблематика оценивания эффективности профессионального образования исследуется и развивает-

ся в работах С.И. Архангельского, Ю.К. Бабанского, В.П. Беспалько, Г.А. Бокаревой, Е.З. Власовой и др. Применению формально-математических и кибернетических методов для повышения эффективности различных этапов обучения и педагогического контроля посвящены работы многих исследователей, в том числе O.A. Козлова, А. А. Павлова, Ю.А. Романенко, В.И. Сердкжова и др. Различные аспекты построения и функционирования автоматизированных систем управления учебным процессом в вузе рассматриваются в работах А.И. Жукевича, С.А. Киселя, Е.А. Лаврова, A.B. Клименко, М.В. Палта, И.В. Роберт, Ю.В. Трубникова, и т.д.

Тем не менее, в работах названных и других авторов не уделяется должного внимания автоматизации оценивания уровня сформированное™ профессиональных компетенций будущих специалистов на предмет соответствия ФГОС и учебному плану. В частности, отсутствуют стандартизованные методики и математические модели оценивания, а также не уделяется должного внимания методическим и технологическим аспектам оценивания уровня сформированности профессиональных компетенций будущих специалистов в рамках автоматизированной системы управления учебным процессом в вузе. В силу указанных причин, работа по созданию методов и алгоритмов автоматизированного многокритериального оценивания профессиональных компетенций будущих специалистов носит перспективный характер, поскольку она создает научный и методический задел для повсеместного перехода в ближайшем будущем к практической реализации компетентности ого подхода к высшему профессиональному образованию.

Сравнительный анализ и многокритериальное оценивание альтернатив характеризуется высокой вычислительной сложностью (Р. Кини, О.И. Ларичев, X. Райфа, Б. Руа, Т. Саати и др.). По этой причине многокритериальное оценивание уровня сформированно-сти ПКц должно осуществляться в системе управления вузом в рамках АСУ УП. Следовательно, приобретает особую актуальность разработка математического, алгоритмического и методического обеспечения автоматизированного оценивания уровня сформированное™ профессиональных компетенций будущих специалистов. , Проблемная ситуация определяется выявленными противоречиями между:

1. Требованием оценивания уровня сформированное™ ПКц будущих специалистов и неразработанностью классификации моделей оценивания квалификационных характеристик, составляющих профессиональные компетенции;

2. Потребностью многокритериального оценивания уровня сформированное™ профессиональных компетенций будущих специалистов и отсутствием механизма интеграции однокритериальных оценок квалификационных характеристик в комплексную многокритериальную оценку.

3. Необходимостью систематического применения в учебном процессе методов многокритериального оценивания уровня сформированное™ профессиональных компетенций будущих специалистов и неформализованностью модели вывода итоговой оценки ПКц;

4. Высокой вычислительной сложностью ручного многокритериального оценивания уровня сформированное™ профессиональных компетенций будущих специалистов и непроработанностью технологии и методики его автоматизированного проведения в рамках АСУ УП.

Таким образом, актуальность темы диссертации обусловлена необходимостью автоматизированного многокритериального оценивания уровня сформированное™ профессиональных компетенций будущих специалистов средствами АСУ УП.

Научная задача исследования состоит в разработке математического, алгоритмического и методического обеспечения многокритериального оценивания уровня сформиро-ванности профессиональных компетенций будущих специалистов средствами автоматизированной системы управления учебным процессом.

Цель исследования - обеспечение точности и достоверности оценивания профессиональных компетенций будущего специалиста за счет разработки модели, алгоритма и методики многокритериального оценивания ПКц средствами АСУ УП.

Объект исследования - процедура оценивания уровня сформированное™ профессиональных компетенций будущих специалистов с позиций их готовности к осуществлению профессиональной деятельности, реализуемая в образовательных учреждениях высшего профессионального образования.

Предмет исследования - модель и алгоритм автоматизированного многокритериального оценивания уровня сформированное™ профессиональных компетенций будущих специалистов.

В соответствии с поставленной целью в диссертации решены следующие задачи:

1. Классификация моделей оценивания квалификационных характеристик с позиции их применимости для оценивания уровня сформированное™ профессиональных компетенций будущих специалистов.

2. Построение модели многокритериального оценивания уровня сформированное™ профессиональных компетенций как обобщения однокритериальных моделей оценивания и многопараметрических методов принятия решений.

3. Разработка и алгоритмизация метода многокритериального вывода оценки уровня сформированное™ профессиональной компетенции будущего специалиста.

4. Разработка методики автоматизированного многокритериального оценивания уровня сформированное™ профессиональных компетенций будущего специалиста и методических рекомендаций по ее применению.

Методологические основы и методы исследования. Для решения поставленных задач исследования в диссертации использовались: системный анализ, теория управления, теория алгоритмов, теория принятия решений, математическое моделирование.

На защиту выносятся следующие научные результаты:

1. Классификация моделей оценивания квалификационных характеристик, составляющих профессиональные компетенции.

2. Модель двухэтапной задачи оценивания уровня сформированное™ профессиональных компетенций будущего специалиста, реализующая вычисление частных оценок квалификационных характеристик и их интеграцию в оценку уровня сформированно-сти ПКц, и алгоритм ее решения в подсистеме многокритериального оценивания уровня сформированное™ профессиональных компетенций АСУ УП.

3. Метод многокритериального вывода оценки, заключающийся в формировании одноэлементного множества альтернатив по результатам их попарного сравнения, и алгоритм его реализации при решении задачи оценивания уровня сформированное™ профессиональных компетенций.

4. Методика автоматизированного оценивания уровня сформированное™ профессиональных компетенций будущего специалиста средствами АСУ УП. Научная новизна и теоретическая значимость заключается в следующем:

1. Разработана классификация моделей оценивания квалификационных характеристик, использующая в качестве классификационных признаков тип применяемой оценочной шкалы, метод определения качества ответа на контрольное задание, способ вывода итоговой оценки, алгоритм оценивания, способ обработки информации, вид эталона.

2. Создана модель автоматизированного решения двухэтапной задачи многокритериального оценивания, в соответствии с которой на первом этапе оцениваются учебные достижения студента по конкретным квалификационным характеристикам, а на втором этапе эти частные оценки интегрируются в оценку уровня сформированности профессиональных компетенций будущего специалиста.

3. Построен метод многокритериального вывода оценки, заключающийся в выдвижении и анализе гипотез о попарном доминировании альтернатив (оценок ПКц) и формировании одноэлементного множества альтернатив по результатам такого попарного сравнения, и предложен алгоритм его реализации в составе АСУ УП.

4. Разработана методика многокритериального автоматизированного оценивания уровня сформированности профессиональных компетенций, состоящая в последовательном выполнении этапов оценивания: ввод начальных параметров, коэффициентов и условий оценивания; вывод частных оценок квалификационных характеристик; предварительный анализ частных оценок квалификационных характеристик; вывод комплексной оценки уровня сформированности ПКц.

Практическая значимость диссертационной работы заключается в том, что:

- разработанная модель и разработанный на ее основе алгоритм многокритериального оценивания обеспечивают повышение на 11% точности оценивания уровня сформированности профессиональной компетентности будущих специалистов по сравнению с подходом, основанным на расчете среднего арифметического полученных оценок, что подтверждается статистически несущественным расхождением полученных оценок с коллегиальным мнением экспертной комиссии, поскольку экспериментальное значение /критерия Стьюдента /э = 0,90 меньше критического значения = 0.96;

- разработанное алгоритмическое обеспечение реализовано в программном комплексе для оценивания ПКц будущего специалиста, а предложенное методическое обеспечение обеспечивает его эффективное применение в составе АСУ УП.

Достоверность результатов исследований основывается на теоретических положениях, полученных с использованием апробированных достижений современных фундаментальных и прикладных наук; на экспериментальном подтверждении эффективности предложенной модели; на успешной практической апробации решений, основанных на предложенной модели.

Апробация. Теоретические положения и результаты исследования докладывались и были одобрены на следующих конференциях и семинарах: Всероссийские научно-практические конференции «Информационные и коммуникационные технологии в общем, профессиональном и дополнительном образовании» (Калининград, 2004 г., Москва 2006 г.); II Международная научно-практическая конференция «Исследование, разработка и применения высоких технологий в промышленности» (Санкт-Петербург 2006 г.);

Всероссийская научно-практическая конференция «Информационные технологии в образовании и науке 2006 (ИТОН-2006)» (Москва 2006 г.); XVI Международная конференция выставка «ИТО-2006» (Москва 2006 г.); Международная научно-практическая конференция «Новые информационные технологии в образовании (НИЮ-2007)» (Екатеринбург 2007 г.); 2nd International Conference on Multi-Criteria Decision Making (Польша 2007 г.); Международная научно-практическая конференция «Формирование профессиональной компетентности специалиста в условиях непрерывного образования» (Калининград 2007 г.); XVII Международная конференция выставка «ИТО-2007» (Москва 2007 г.), XVIII Международная конференция выставка «ИТО-2008» (Москва 2008 г.).

Внедрение результатов исследования. Результаты исследования внедрены в ФГОУ ВПО «Калининградский государственный технический университет» и в НОУ ВПО «Балтийский институт экономики и финансов» для использования в составе автоматизированных систем управления учебным процессом, что подтверждено соответствующими актами об использовании результатов.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Диссертация имеет объем 141 страниц (10 рис., 6 табл.) и состоит из введения, трех глав, заключения, списка литературы, списка сокращений и приложений.

Во введении обоснована актуальность проблемы, сформулированы цель и задачи исследования, определены объект, предмет и методы исследования, дана общая характеристика работы.

В первой главе рассматриваются проблемы автоматизированного оценивания уровня сформированности профессиональных компетенций будущих специалистов.

Сформированность профессиональных компетенций будущего специалиста определяется квалификационными характеристиками, набор которых устанавливается на основе различных нормативных документов (в частности, в Едином Тарифно-Квалификационном Справочнике - ЕТКС), а также в ФГОС ВПО.

Систему профессиональной подготовки специалистов можно рассматривать как специфическую кибернетическую систему, в которой выделяются объект и субъект обучения.

Объект обучения - группа лиц, формирование у которых априори определенного уровня ПКц считается целью функционирования системы обучения. Степень достижения этой цели определяется в результате контроля, сущность которого заключается в сравнении достигнутого уровня сформированности компетенций специалиста с требованиями ФГОС. Субъект обучения составляют преподаватели, административно-управленческий персонал, а также программно-технические средства, используемые для автоматизации процедур обучения будущего специалиста и контроля уровня сформированности его профессиональных компетенций.

Использование программно-технических средств оценивания уровня сформированности ПКц в канале обратной связи рассматриваемой системы обучения создает предпосылки для автоматизации оценивания уровня сформированности профессиональных компетенций будущих специалистов.

Для оценивания конкретных квалификационных характеристик традиционно применяются однокритериальные модели. Изучение этих моделей позволило классифициро-

вать их по следующим признакам: по типу применяемой оценочной шкалы, по методу определения качества ответа на контрольное задание (КЗ); по способу вывода итоговой оценки-, по алгоритму оценивания.', по способу обработки информации; по виду эталона. Классификация, схема которой приведена на рис. 1, позволяет обоснованно выбирать методы оценивания конкретных квалификационных характеристик и создает основу для комплексного оценивания уровня сформированности профессиональных компетенций будущего специалиста.

Рис. 1 - Схема классификации моделей оценивания квалификационных характеристик Для эффективной проверки соответствия уровня сформированности профессиональных компетенций требованиям ФГОС необходимо параллельно применять различные однокритериальные модели для оценивания уровня освоения конкретных характеристик. Результат такого многократного однокритериального оценивания квалификационных характеристик представляет собой набор частных оценок, которые в дальнейшем должны интегрироваться в комплексную оценку уровня сформированности профессиональных компетенций.

Разрабатываемый многокритериальный подход к оцениванию уровня сформированности ПКц будущего специалиста основывается на формально-структурной модели процесса педагогического контроля знаний.

Обозначим целевое значение профессиональной компетентности как Ьч:

^ ={!,,..., ¿Д

где Ь,, 1 = 1: Р - оцениваемая г-я профессиональная компетенция.

В процессе обучения в вузе уровень сформированности профессиональных компетенций будущего специалиста характеризуется разностью между целевым значением каждой ¿-Й профессиональной компетенции и фактическим уровнем Ьк1 ее сформированности, определяемой при реализации процедуры педагогического контроля К:

Уровень сформированное™ каждой компетенции оценивается по совокупности квалификационных характеристик. Цель системы обучения заключается в формировании такой степени готовности будущего специалиста к осуществлению профессиональной деятельности, при котором разность А( не превышает некоторое допустимое значение

Д/ДО п-

VI, е1ч: Л-^Лшоп- (2)

Если Д, < 0, т.е. уровень сформированнности ПКц Ьк1 превышает целевое значение Ь„ это свидетельствует о полном достижении цели профессионального обучения и оценивается максимально возможной оценкой. Если условие (2) выполняется, то педагогическая оценка разности (Д,доп - Л,) характеризует уровень сформированности профессиональной компетенции. Если по какой-либо ПКц условие (2) не выполняется, т.е.

31, е Д,: Д, > Д,дши

то цель профессионального обучения считается не достигнутой, и уровень сформированности соответствующей ПКц оценивается как неудовлетворительный.

В качестве критериев оценивания квалификационных характеристик, составляющих рассматриваемую ПКц, используются, как правило, традиционные для педагогической практики степени совпадения демонстрируемых учебных достижений с эталонами, в качестве которых используются модели знаний преподавателей, варианты ответов на тестовые задания, модели проблемных ситуаций и т.п. Оценка степени совпадения ответов или результатов работы обучаемого с применяемым эталоном, выставляемая субъективно (одним преподавателем или аттестационной комиссией) либо с применением аппаратно-программных средств контроля учебных достижений) на основании конкретной однокритериальной модели, представляет собой первичную оценку квалификационной характеристики, входящей в рассматриваемую ПКц. Количество таких частных моделей должно быть равно количеству учитываемых характеристик. Одновременное, но разрозненное применение однокритериальных моделей не позволяет сформировать целостное представление об уровне сформированности ПКц. Комплексную оценку уровня сформированности конкретной профессиональной компетенции будущего специалиста можно получить при реализации многокритериального подхода, который заключается в параллельном оценивании по однокритериальным моделям нескольких квалификационных характеристик, составляющих профессиональную компетенцию, с последующим выводом итоговой оценки уровня сформированности ПКц на основании полученных промежуточных результатов.

Фактически, процесс оценивания уровня сформированности ПКц декомпозируется на два этапа. На первом этапе необходимо определить, насколько уровень каждой учитываемой квалификационной характеристики отличается от соответствующего целевого значения, а на втором этапе - на основании выявленных отклонений вывести искомую оценку уровня сформированности профессиональной компетенции будущего специалиста. Это позволяет поставить двухэтапную задачу многокритериального оценивания вида: I

<Ф, (1, П>,

где Ф = \рр}, р = 1: Р - множество моделей однокритериального оценивания квалификационных характеристик; ц - принцип многокритериального вывода комплексной оценки

уровня сформированное™ ПКц/ = j = l:J- итоговое множество альтернатив, в качестве которого выступает ранжированное множество допустимых значений выставляемой оценки. Например, при четырехбалльной оценочной шкале это множество состоит из J= 4 элементов («неудовлетворительно»; «удовлетворительно»; «хорошо»; «отлично»). В общем случае, решением рассматриваемой задачи является элемент a>ueQ - итоговая оценка уровня сформированное™ конкретной профессиональной компетенции будущего специалиста.

На первом этапе оцениваются квалификационные характеристики, которыми должен обладать будущий специалист. Принцип однокритериального оценивания предусматривает наличие ограниченного множества частных критериев X = {Xj}, i = 1 : Р, количество которых Р равно количеству оцениваемых характеристик. В результате применения критерия Xi выставляется частаая оценка х„ от которой зависит будущая комплексная оценка. Таким образом, вывод частной оценки xt по г'-му критерию Xt определяется функционалом (р:

где Е, - ¡'-я квалификационная характеристика, X, - г-й критерий, х, - оценка Sj по критерию X,. Совокупность критериев Xt образует Р-мерное критериальное пространство ЕР, а точка этого пространства с координатами (хь хг, ..., х,~) представляет собой базис для расчета оценки уровня сформированное™ анализируемой ПКц.

На втором этапе выполняется свертка частных оценок в итоговую оценку на основании заданного множества возможных альтернатив (допустимых значений оценок) при помощи одного из многокритериальных методов принятия решений. Каждому критерию Xi приписан коэффициент wn i = \:P, характеризующий важность (вес) г-го критерия.

Второй этап вывода комплексной оценки а>и описывается функционалом Z: ®„ = Z{{xi,...,xp)y{wi,...,wp),Q), согласно которому итоговая оценка выводится на основании частных оценок по критериям с учетом весовых коэффициентов этих критериев.

Для решения поставленной двухэтапной задачи необходимо разработать и формально описать модель многокритериального оценивания уровня сформированное™ ПКц будущего специалиста, а также построить алгоритм ее реализации в составе автоматизированной системы управления учебным процессом.

Вторая глава посвящена формальному описанию модели многокритериального оценивания уровня сформированное™ ПКц будущего специалиста и построению алгоритма автоматизированного вывода оценки по этой модели.

В качестве альтернатив при выборе метода принятия решений по выводу оценки уровня сформированное™ ПКц рассматривались различные варианты, в том числе метод анализа иерархий (Т. Саати), метод взвешенной суммы оценок критериев, метод компенсации, методы теории полезности (Р. Кини, X. Райфа) и др. С учетом характера решаемой задачи, в качестве основы для реализации ее второго этапа был выбран метод ELECTRE (в частаости, его вариант ELECTRE I), предложенный группой ученых во главе с Б. Руа. Однако поскольку этот метод изначально ориентирован только на декомпозицию исход-

ного множества альтернатив на подмножества, элементы которых являются взаимно недоминируемыми, автором разработан следующий метод многокритериального вывода оценки, формирующий одноэлементное множество альтернатив, содержащее искомую комплексную оценку уровня сформированности ПКц будущего специалиста:

1. Эксперт (организатор оценивания профессиональных компетенций) задает для каждой альтернативы по каждому из т критериев интервалы Л„ коэффициенты

г = 1 :т, характеризующие важность (вес) г'-го критерия, а также уровни согласия с1 и несогласия .

2. Анализируются полученные на первом этапе частные оценки квалификационных характеристик. При этом возможны четыре случая:

а. Значения всех частных оценок строго попадают в интервалы одной и той же альтернативы б О. В случае, если такая альтернатива найдена, то выполнение алгоритма завершается, и выставляется итоговая оценка сои;

б. Значения частных оценок попадают в непересекающиеся интервалы соседних (с учетом ранга) альтернатив а>и и а>иЛ (например, альтернатив «удовлетворительно» и «хорошо»). В этом случае алгоритм переходит к шагу 3, на котором оценка выставляется при помощи подтверждения или отклонения выдвигаемых гипотез о доминировании а>и над или наоборот;

в. Значения всех или некоторых частных оценок попадают в пересекающиеся интервалы соседних (с учетом ранга) альтернатив саи и . В этом случае алгоритм переходит к шагу 3.

г. Значения частных оценок попадают в интервалы не соседних (с учетом ранга) альтернатив (например, {«удовлетворительно», «хорошо» и «отлично»} или {«неудовлетворительно» и «хорошо»}). В этом случае алгоритм переходит к шагу 6.

3. Выдвигается гипотеза о попарном доминировании одной альтернативы (комплексной оценки) над другой. Рассматривается гипотеза о превосходстве альтернативы й)и над альтернативой . Множество I, состоящее из трех критериев, разбивается на три подмножества:

I* - подмножество критериев, по которым альтернатива <»„ предпочтительнее ; Г - подмножество критериев, по которым альтернатива аи равноценна ; Г - подмножество критериев, по которым альтернатива а,^ предпочтительнее а>и.

4. Для каждой пары альтернатив подсчитываются индексы согласия и несогласия, которые сравниваются с заданными уровнями согласия и несогласия с\ и Если индекс согласия выше заданного уровня, а индекс несогласия, ниже, то альтернатива а>и превосходит ,. В противном случае альтернативы недоминируемы. Обозначим символом сш>0, ^ индекс согласия с гипотезой о превосходстве альтернативы сои, над альтернативой а>„,.

Индекс согласия сшй) 1 подсчитывается на основе весов критериев. Этот индекс

определяется как отношение суммы весов критериев подмножеств I* и 1" к общей сумме весов:

2 щ

с -1 //

ы

Индекс несогласия с! с гипотезой о превосходстве ши над а>и+| определяется на основе самого «противоречивого» критерия, по которому й>„+, в наибольшей степени превосходит .

У - х' I

, Г 01.. |

<!,,„, . =тах.

L, '

где Х^ , Х'и^ - оценки альтернатив аи и по г'-му критерию; Lt - длина шкалы г'-го критерия.

5. По результатам попарного сравнения выводится итоговая оценка, которая доминирует над всеми остальными рассматривавшимися альтернативами. Для определения превосходства а>и над априори задаются уровень согласия с\ и уровень несогласия dx с гипотезой о доминировании над ш„+1, причем 0 < С[ < 1, 0 < d| < 1. Если со.®.„ - ciи ш , - ^ь т0 альтернатива сои объявляется доминирующей над ; при сш »,, < ci и а | > считается, что доминирует над :

(<4».,, - с')Л -di) ®К> )'

(с».».„ < с') л > ©K+i >®„).

где 0 - функция доминирования одной альтернативы над другой. В остальных случаях й)и и аи+1 объявляются недоминируемыми. В этой ситуации эксперт, выступающий в роли лица, принимающего решение (ЛПР) должен подбирать значения с\ и dx, причем увеличение с, и уменьшение d\ на очередном (г + 1)-м шаге ведут к сужению множества недоминируемых альтернатив, что должно учитываться при определении целесообразности проведения очередного сеанса сравнительного анализа, направленного на сужение или расширение искомого множества рациональных решений:

> с,) a i > di) -> (cIM = си ± Ac) v (du+i = du ± Ad),

(с^ < с,) л i < d{) -> (с11+1 = си± Ac) v {dw, = du ± Ad),

причем значения Ac и Ad эмпирически подбираются ЛПР исходя из собственных представлений о степени предпочтения сравниваемых альтернатив. 6. В указанном в шаге 2 случае г) ЛПР предлагается самостоятельно определить итоговую оценку на основании выделенных альтернатив или задать эвристические правила, согласно которым алгоритм сможет самостоятельно выбрать из подмножества альтернатив итоговую оценку ю„.

Блок-схема разработанного алгоритма многокритериального вывода оценки, формирующего искомое одноэлементное множество альтернатив, изображена на рис. 2.

Рис. 2-Блок-схема алгоритма многокритериального вывода оценки, формирующего одноэлементное множество альтернатив

На рис. 3 представлен обобщенный алгоритм автоматизированного вывода итоговой оценки по модели многокритериального оценивания уровня сформированности ПКц средствами АСУ УП, структурная схема которой изображена на рис. 4.

©

Рис. 3 - Блок-схема обобщенного алгоритма автоматизированного вывода итоговой оценки по модели многокритериального оценивания уровня сформированности ПКц

Рис. 4. Структурная схема автоматизированной системы управления учебным процессом

В третьей главе описывается предложенная структура подсистемы многокритериального оценивания уровня сформированности профессиональных компетенций будущих специалистов, входящей в состав блока контроля учебных достижений АСУ УП, методика проведения этого оценивания и результаты экспериментального исследования предложенных решений. Разработанная структурная схема этой подсистемы изображена на ОРО-диаграмме, представленной на рис. 5.

сформированности профессиональных компетенций

Существенным отличием предложенной подсистемы автоматизированного многокритериального оценивания профессиональных компетенций от традиционной автома-

тезированной системы контроля знаний является наличие в ней ряда специализированных модулей и баз данных:

1. Модуль вывода частных оценок квалификационных характеристик на основе однокритериальных моделей, обеспечивающий оценивание квалификационных характеристик, которыми должен обладать будущий специалист

2. Модуль предварительного анализа частных оценок, позволяющий проводить первичный анализ оценок квалификационных характеристик.

3. Модуль многокритериального вывода комплексной оценки, формирующий искомое одноэлементное множество альтернатив, являющихся возможными оценками профессиональных компетенций будущих специалистов;

4. Подбазы данных 3 и 6, в которых хранятся начальные коэффициенты и параметры одно- и многокритериального оценивания, а также итоговые оценки уровня сформированное™ профессиональных компетенций.

Программный комплекс МСЕ, реализующий предложенный метод многокритериального оценивания профессиональных компетенций, разработан в интегрированной среде разработки Borland Delphi с использованием СУБД MySQL. Фрагменты программного кода представлены в приложении к диссертации.

Для эффективного использования средств многокритериального оценивания уровня сформированности профессиональных компетенций будущего специалиста предложена обобщенная методика её применения, включающая следующие этапы:

1. Анализ квалификационных характеристик для формулирования критериев оценивания ПКц. Изучаются нормативные документы, определяющие квалификационные требования к будущему специалисту. На основании этих данных выявляются квалификационные характеристики, составляющие каждую профессиональную компетенцию, и формулируются критерии оценивания конкретных ПКц.

2. Формализация выявленных критериев и их эмпирическая проверка. Этот этап предполагает разработку формального описания критериев оценивания ПКц, выбор способов и разработку процедур однокритериального оценивания ПКц по каждой квалификационной характеристике по выбранным критериям, а также проверку корректности этих процедур на контрольных примерах.

3. Подготовка контрольно-измерительных материалов, необходимых для оценивания ПКц по каждой квалификационной характеристике, входящей в конкретную ПКц.

4. Построение и апробация многокритериальной модели оценивания ПКц. Экспериментальная проверка корректности и работоспособности предлагаемых критериев предполагает сравнение получаемых результатов с оценками, выставленными экспертами.

5. Автоматизированный контроль учебных достижений студентов. На этом этапе проводится групповой или индивидуальный автоматизированный контроль учебных достижений студентов на предмет овладения выделенными квалификационными характеристиками и собирается первичная информация1 для последующего многокритериального оценивания уровня сформированности конкретной профессиональной компетенции.

6. Обработка полученных результатов с использованием многокритериальной модели. Полученные на предыдущем этапе результаты обрабатываются с использованием многокритериальной модели для получения оценки уровня сформированности профессиональной компетенции.

7. Анализ и обобщение результатов оценивания. Результаты автоматизированного оценивания ПКц подвергаются анализу или статистической обработке с генерацией необходимых ведомостей и отчетов.

Предложенная методика апробирована в ходе эксперимента, в котором оценивался уровень сформированности профессиональной компетенции «Способность проектировать и эксплуатировать реляционные базы данных» у студентов старших курсов технического вуза. Эффективность предлагаемых решений оценивалась по /-критерию Стьюден-та, который характеризовал существенность отличий оценок, полученных по предложенной многокритериальной модели (этап 2), от оценок, рассчитанных по методике среднего арифметического (этап 1) и выставленных экспертной комиссией. Сравнительные результаты эксперимента представлены в табл. 1.

Таблица 1.

Полученные оценки Средний

Этап эксперимента Кол-во обучаемых Отл. Хор. Удовл. Неуд. балл х, ^кр

Оценивание по среднему арифметическому

1 136 п 63 47 15 3.51 0.96 7.11

Многокрите! шальное оценивание

2 136 25 85 21 5 3.96 0.96 0.90

Экспертное оценивание

3 136 2. 89 19 7 3.91 - -

Результаты эксперимента подтвердили, что применение предложенной модели и алгоритмов многокритериального оценивания обеспечивает более объективное и достоверное оценивание уровня сформированности профессиональной компетенции студента по сравнению с подходом, основанным на расчете среднего арифметического полученных оценок, что подтверждается статистически несущественным расхождением полученных оценок с коллегиальным мнением экспертной комиссии, поскольку экспериментальное значение i-критерия Стьюдента t3 = 0,90 меньше критического значения tKp =

0.96, тогда значение этого критерия для средних арифметических оценок t, = 7.11 существенно превышает критическое значение typ = 0.96. Точность оценок уровня сформированности профессиональной компетентности будущих специалистов, полученных по модели многокритериального оценивания, повысилась на ((3,96 - 3,51)/3,96)х100% а 11% по сравнению с подходом, основанным на расчете среднего арифметического одно-критериальных оценок.

В заключении приводятся основные результаты и выводы по работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. В результате анализа существующих подходов к оцениванию уровня сформированности ПКц будущих специалистов построена классификация моделей оценивания квалификационных характеристик, в которой в качестве классификационных признаков используются тип применяемой оценочной шкалы, метод определения качества ответа на контрольное задание; способ вывода комплексной оценки; алгоритм оценивания; способ обработки информации; вид эталона. Эта классификация позволяет обоснованно выбирать методы оценивания частных квалификационных характеристик и

создает основу'для комплексного автоматизированного оценивания уровня сформированное™ профессиональных компетенций будущего специалиста.

2. Разработан многокритериальный подход к оцениванию ПКц, состоящий в параллельном оценивании по однокритериальным моделям нескольких квалификационных характеристик, составляющих анализируемую профессиональную компетенцию, для вычисления частных (промежуточных) оценок с последующим выводом обобщенной оценки ПКц на основании полученных промежуточных результатов. Этот подход позволил поставить двухэтапную задачу автоматизированного вывода оценки уровня сформированности профессиональных компетенций будущего специалиста и предложить алгоритм ее автоматизированного решения, согласно которому на первом этапе вычисляются частные оценки квалификационных характеристик, а на втором этапе выводится обобщенная оценка уровня сформированности ПКц. Предложенное алгоритмическое обеспечение позволяет повысить точность оценивания уровня сформированности профессиональных компетенций будущих специалистов на 11% по сравнению с подходом, основанным на расчете среднего арифметического полученных оценок;

3. Разработан метод многокритериального вывода оценки, предусматривающий выдвижение гипотез о попарном доминировании альтернатив (комплексных оценок) и формирование одноэлементного множества альтернатив по результатам такого попарного сравнения. Предложено алгоритмическое обеспечение процесса выбора единственной комплексной оценки ПКц средствами АСУ УП, повышающее точность оценивания уровня сформированности профессиональной компетентности будущего специалиста по сравнению с подходом, основанным на расчете среднего арифметического полученных оценок, что подтверждено в ходе эксперимента статистически несущественным расхождением полученных оценок с коллегиальным мнением экспертной комиссии;

4. Разработанное алгоритмическое обеспечение программно реализовано в подсистеме оценивания профессиональной компетентности будущих специалистов, входящей в блок контроля учебных достижений АСУ УП. Сформулирована методика его применения для контроля учебных достижений студентов вуза, состоящая в последовательном выполнении таких этапов оценивания как: ввод начальных параметров, коэффициентов и условий оценивания; вывод частных оценок квалификационных характеристик; предварительный анализ частных оценок квалификационных характеристик; вывод комплексной оценки уровня сформированности ПКц. Использование предложенной методики многокритериального оценивания уровня сформированности ПКц в составе автоматизированной системы управления учебным процессом обеспечивает более объективное и достоверное оценивание уровня сформированности профессиональных компетенций будущего специалиста, чем при традиционном раздельном оценивании учебных достижений по дисциплинам учебного плана.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи, опубликованные в периодических изданиях, рекомендованных ВАК:

1) Аскеров Э.М. Автоматизация многокритериального оценивания профессиональных компетенций будущих специалистов [Текст] / Аскеров Э.М., Рудинский И.Д. // Информатизация образования и науки,- Москва.-2010. - Вып. 3(7). - С. 82-89.

2) Аскеров Э.М. Многокритериальная модель оценивания профессиональной компетенции специалистов [Текст] II Информатика и образование. - Москва. - 2009. -Вып. 8.-С. 110-112.

3) Аскеров Э.М. Многокритериальная модель оценивания учебных достижений [Текст] // Системы управления и информационные технологии. - Воронеж. - 2008. -Вып. 3(33).-С. 74-78.

Статьи в сборниках научных трудов:

4) Аскеров Э.М. Методические рекомендации по использованию многокритериальной модели оценивания учебных достижений [Текст] // Известия БГА РФ. - Калининград.-2008.-№ 1(5)С. 174-176.

5) Аскеров Э.М. Многокритериальный подход к оцениванию учебных достижений [Текст] / Аскеров Э.М., Рудинский И.Д. // Информационные технологии моделирования и управления. - Воронеж. - 2008. - Вып. 1(44) . - С. 4-11.

6) Аскеров Э.М. О реализации многокритериального подхода к оцениванию учебных достижений [Текст] / Аскеров Э.М., Рудинский И.Д. // Конференция-выставка «Информационные технологии в образовании» - ИТО 2007. - Москва. - 2007. - С. 189-191.

7) Аскеров Э.М. Multiple criteria vector testing results evaluation model [Текст] / Аскеров Э.М., Емелин M.A., Рудинский И.Д. // International Workshop on Multiple Criteria Decision Making. - Katowice. - 2007. - P. 215-221.

8) Аскеров Э.М. Автоматизированное тестирование знаний как элемент информационной компетентности преподавателей [Текст] / Аскеров Э.М., Емелин М.А., Рудинский И.Д. // Международная научно-практическая конференция «Формирование профессиональной компетентности специалиста в условиях непрерывного образования». - Калининград. - 2007. - С. 220-223.

9) Аскеров Э.М. О классификации моделей оценивания знаний [Текст] / Аскеров Э.М., Рудинский И.Д. // Международная научно-практическая конференция «Новые информационные технологии в образовании». - Екатеринбург. - 2007. - С. 92-93.

10) Аскеров Э.М. Технология реализации автоматизированной системы контроля знаний [Текст] / Аскеров Э.М., Емелин М.А., Рудинский И.Д., Строилов H.A. // Конференция-выставка «Информационные технологии в образовании» ИТО-2006, Сб. трудов, 4.V. -Москва.-2006.-С. 103-106.

11) Аскеров Э.М. О построении векторной модели оценивания знаний [Текст] / Аскеров Э.М., Емелин М.А., Рудинский И.Д. // Ученые записки ИИО РАО. - Т. 20. - Москва. -2006.-С. 65-71.

12) Аскеров Э.М. Принципы и технологии создания интегрированной автоматизированной системы контроля знаний [Текст] / Аскеров Э.М., Емелин М.А., Рудинский И.Д., Строилов H.A. // Всероссийская научно-практическая конференция «ИТОН-2006»: сборник научных тезисов. - Москва. - 2006. - С. 481-484.

13) Аскеров Э.М. Интеллектуальные информационные технологии тестирования знаний - как фактор повышения качества образовательного процесса [Текст] / Аскеров Э.М., Емелин М.А., Рудинский И.Д., Седова А.Е., Строилов Н.А. // Сб. трудов II МНПК «Исследование, разработка и применение высоких технологий в промышленности». - СПб. -2006. - Том 6. - С. 421-423.,

14) Аскеров Э.М. Опыт реализации интегрированной автоматизированной системы контроля знаний [Текст] /Аскеров Э.М., Емелин М.А., Рудинский И.Д.// В кн.: «Инструментарий педагогической диагностики и мониторинга образовательных процессов». -Таганрог. - 2005. - С. 195-198.

15) Аскеров Э.М. Программная реализация модели нечеткого оценивания в Интегрированной Системе Контроля Знаний [Текст] // Ученые записки ИИО РАО. - Т. 13 - Москва. - 2004. - С. 3 06-310.

Подписано в печать /5"./У.2010. Формат 60 х 84/16. Объем 1,0 п.л. Тираж 120 экз. Заказ Типография Издательства ФГОУ ВПО «КГТУ». 236000 Калининград Советский пр. 1.

ВВЕДЕНИЕ.

ГЛАВА I. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ И ПОСТАНОВКА ЗАДАЧИ АВТОМАТИЗИРОВАННОГО ОЦЕНИВАНИЯ УРОВНЯ СФОРМИРОВАННОСТИ ПРОФЕССИОНАЛЬНЫХ КОМПЕТЕНЦИЙ БУДУЩИХ СПЕЦИАЛИСТОВ.

1.1 Основные проблемы оценивания профессиональных компетенций специалиста в современном профессиональном образовании.

1.2 Компетентностный подход в системе высшего профессионального образования и проблемы оценивания учебных достижений обучаемых.

1.3 Формально-структурная модель системы обучения будущих специалистов.

1.4 Задачи и проблемы автоматизированного оценивания уровня сформированности профессиональных компетенций.

1.4.1 Классификация однократериалъных моделей оценивания квалификационных характеристик.

1.4.2 Примеры однокритериальных моделей оценивания квалификационных характеристик.

1.4.2.1 Булева (двоичная) модель.

1.4.2.2 Алгебраическая модель.

1.4.2.3 Нечеткая модель.

1.4.2.4 Статистическая модель.

1.5 Многокритериальный подход к автоматизированному оцениванию уровня сформированности профессиональных компетенций будущего специалиста.

1.5.1 Формально-структурная модель оценивания ПКц специалистов.

1.5.2 Двухотапная задача вывода комплексной оценки ПКц.

Выводы.;.

ГЛАВА II. МЕТОД МНОГОКРИТЕРИАЛЬНОГО АВТОМАТИЗИРОВАННОГО

ОЦЕНИВАНИЯ УРОВНЯ СФОРМИРОВАННОСТИ ПРОФЕССИОНАЛЬНЫХ

КОМПЕТЕНЦИЙ БУДУЩИХ СПЕЦИАЛИСТОВ.

2.1 Методы и модели оценивания учебных достижений и профессиональных компетенций в современной педагогической практике.

2.1.1 Неавтоматизированные формы педагогического контроля учебных достижений

2.1.1.1 Устная проверка.

2.1.1.2 Письменно-графические работы.

2.1.1.3 Практические и лабораторные работы.

2.1.1.4 Контрольные работы.

2.1.1.5 Курсовые работы и проекты.

2.1.1.6 Дипломная работа (проект).

2.1.1.7 Педагогическое тестирование знаний.

2.1.2 Выводы из анализа неавтоматизированных форм педагогического контроля учебных достижений.

2.1.3 Формализованные методы, модели и алгоритмы педагогического контроля знаний и учебных достижений.

2.1.3.1 Модель на основе уровней усвоения.

2.1.3.2 Метод линейно-кусочной аппроксимации.

2.1.3.3 Модели на основе вероятностных критериев.

2.1.3.4 Методика векторного оценивания Аршинского.

2.1.3.5 Алгоритм, основанный на вычислении оценок (ABO).

2.1.4 Выводы из анализа моделей оценивания учебных достижений.

2.2 Методологический базис многокритериального автоматизированного оценивания уровня сформированности профессиональных компетенций будущих специалистов

2.2.1 Обзор и классификация современных моделей и методов принятия решений.

2.2.1.1 Метод анализа иерархий.

2.2.1.2 Многокритериальная,теория полезности (MAUT).

2.2.1.3 Метод взвешенных сумм оценок критериев.

2.2.1.4 Метод ELECTRE.

2.3 Математическое и алгоритмическое обеспечение многокритериального автоматизированного оценивания уровня сформированности профессиональных компетенций.

2.3.1 Модель многокритериального оценивания уровня сформированности профессиональных компетенций.

2.3.2 Алгоритм автоматизированного вывода итоговой оценки по модели многокритериального оценивания уровня сформированности профессиональных компетенций.

2.3.3 Пример многокритериального оценивания профессиональной компетенции.

Выводы.

ГЛАВА 1П. ТЕХНОЛОГИЯ МНОГОКРИТЕРИАЛЬНОГО АВТОМАТИЗИРОВАННОГО ОЦЕНИВАНИЯ ПРОФЕССИОНАЛЬНЫХ КОМПЕТЕНЦИЙ И ЕЁ ОРГАНИЗАЦИОННО-МЕТОДИЧЕСКОЕ ОБЕСПЕЧЕНИЕ.

3.1 Автоматизированная система управления учебным процессом.

3.1.1 Технологические процессы в образовании.

3.1.2 Автоматизированные системы управления учебным процессом.

3.2 Технология многокритериального автоматизированного оценивания уровня сформированности профессиональных компетенций будущего специалиста.

3.2.1 Этапы технологического процесса многокритериального автоматизированного оценивания учебных достижений.

3.2.2 Средства реализации технологии многокритериального оценивания уровня сформированности профессиональных компетенций.

3.2.3 Программная реализация многокритериального оценивания профессиональных компетенций будущих специалистов.

3.2.4 Методические рекомендации по использованию многокритериальной модели оценивания профессиональных компетенций.

3.3 Экспериментальное исследование многокритериальной модели автоматизированного оценивания профессиональных компетенций.

Выводы.

Актуальность проблемы исследования. Экономические и социальные перемены в современном российском обществе выдвигают принципиально новые требования к профессиональной квалификации специалистов. Широкий спектр и разнородный характер требований квалификационной характеристики предопределяет необходимость оценивания уровня сформированности профессиональных компетенций будущих специалистов по большому количеству критериев.

Необходимость оценивания уровня сформированности профессиональных компетенций будущих специалистов подтверждается изменениями в законодательстве в области образования и начавшимся переходом на федеральные государственные образовательные стандарты высшего профессионального образования (ФГОС ВПО) нового поколения. В них определены новые требования к результатам освоения образовательных программ, к которым относится формирование не только соответствующих знаний, умений и навыков, но в первую очередь - профессиональных компетенций выпускника вуза. Однако ни в проектах ФГОС ВПО, ни в сопровождающих их нормативных документах не сформулированы требования к методам, моделям и критериям оценивания уровня сформированности профессиональных компетенций будущих специалистов.

В настоящей работе под профессиональной компетенцией (ПКц) понимается способность решать конкретные узкоспециализированные подзадачи, на которые декомпозируются задачи, стоящие перед специалистом при осуществлении профессиональной деятельности (Дж. Равен, С.А. Сафонцев, Н.Ю. Сафонцева).

Вопросы управления формированием профессиональных компетенций будущих специалистов и оценивания уровня их сформированности интенсивно исследуется в рамках компетентностного подхода, который освещается в работах таких авторов, как Кальней В.А., Каспржак А.Г., Коган Е.Я., Новиков A.M., Сериков

В.В., Шишов С.Е., Эльконин Б.Д. и др. В рамках такого подхода осуществляется переход от раздельного освоения разрозненных дисциплин учебного плана, предполагающего формирование у обучаемых конкретных знаний, умений и навыков, 5 к формированию у них профессиональных компетенций, каждая из которых охватывает определенный набор квалификационных характеристик, ориентированных на решение конкретных классов производственных и других задач. При этом для оценивания уровня сформированности каждой профессиональной компетенции оказываются недостаточными традиционные подходы к педагогическому контролю учебных достижений, основанные на раздельном однокритериальном оценивании знаний и умений обучаемых по конкретным дисциплинам. Возникает потребность в создании формализованной модели многокритериального оценивания уровня сформированности профессиональных компетенций и алгоритмического обеспечения реализации этой модели средствами автоматизированной системы управления учебным процессом (АСУ УП).

Традиционный подход к оцениванию учебных достижений, связанный с автоматизированным расчетом отдельных параметров квалификационной характеристики, например остаточных знаний, скорости реакции и т.д., широко развивается в работах таких авторов, как B.C. Аванесов, А. Анастази, А.И. Берг, Дж. Гласс, Н. Грунлунд, К. Ингекамп, П. Клайн, Е.А. Михайлычев, И.Д. Рудинский, С.А. Сафонцев, А.Г. Шмелев. Проблематика оценивания эффективности профессионального образования исследуется и развивается в работах С.И. Архангельского, Ю.К. Бабанского, В.П. Беспалько, Г.А. Бокаревой, Е.З. Власовой и др. Применению формально-математических и кибернетических методов для повышения эффективности различных этапов обучения и педагогического контроля посвящены работы многих исследователей, в том числе O.A. Козлова, А. А. Павлова, Ю.А. Романенко, В.И. Сердюкова и др. Различные аспекты построения и функционирования автоматизированных систем управления учебным процессом в вузе рассматриваются в работах А.И. Жукевича, С.А. Киселя, Е.А. Лаврова, A.B. Клименко, М.В. Палта, И.В. Роберт, Ю.В. Трубникова, и т.д.

Тем не менее, в работах названных и других авторов не уделяется должного внимания автоматизации оценивания уровня сформированности профессиональных компетенций будущих специалистов на предмет соответствия ФГОС и учебному плану В частности, отсутствуют стандартизованные методики и математические модели оценивания, а также не уделяется должного внимания методическим и 6 технологическим аспектам оценивания уровня сформированности профессиональных компетенций будущих специалистов в рамках автоматизированной системы управления учебным процессом в вузе. В силу указанных причин, работа по созданию методов и алгоритмов автоматизированного многокритериального оценивания профессиональных компетенций будущих специалистов носит перспективный характер, поскольку она создает научный и методический задел для повсеместного перехода в ближайшем будущем к практической реализации компетентностного подхода к высшему профессиональному образованию.

Сравнительный анализ и многокритериальное оценивание альтернатив характеризуется высокой вычислительной сложностью (Р. Кини, О.И. Ларичев, X. Райфа, Б. Руа, Т. Саати и др.). По этой причине многокритериальное оценивание уровня сформированности ПКц должно осуществляться в системе управления вузом в рамках АСУ УП. Следовательно, приобретает особую актуальность разработка математического, алгоритмического и методического обеспечения автоматизированного оценивания уровня сформированности профессиональных компетенций будущих специалистов.

Проблемная ситуация определяется выявленными противоречиями между:

1. Требованием оценивания уровня сформированности ПКц будущих специалистов и неразработанностью классификации моделей оценивания квалификационных характеристик, составляющих профессиональные компетенции;

2. Потребностью многокритериального оценивания уровня сформированности профессиональных компетенций будущих специалистов и отсутствием механизма интеграции однокритериальных оценок квалификационных характеристик в комплексную многокритериальную оценку.

3. Необходимостью систематического применения в учебном процессе методов многокритериального оценивания уровня» сформированности' профессиональных компетенций будущих специалистов и неформализованностью модели вывода итоговой оценки ПКц;

4. Высокой вычислительной сложностью ручного многокритериального оценивания уровня сформированности профессиональных компетенций будущих специалистов и непроработанностью технологии и методики его автоматизированного проведения в рамках АСУ УП.

Таким образом, актуальность темы диссертации обусловлена необходимостью автоматизированного многокритериального оценивания уровня сформированности профессиональных компетенций будущих специалистов средствами АСУ УП.

Научная» задача исследования состоит в разработке математического, алгоритмического и методического обеспечения1 многокритериального оценивания уровня сформированности профессиональных компетенций будущих специалистов средствами автоматизированной системы управления учебным процессом.

Цель исследования > — обеспечение точности и достоверности оценивания профессиональных компетенций будущего специалиста за счет разработки модели, алгоритма и методики многокритериального оценивания ПКц средствами АСУ УП.

Объект исследования - процедура оценивания уровня сформированности профессиональных компетенций будущих специалистов с позиций их готовности к осуществлению1 профессиональной деятельности, реализуемая в образовательных учреждениях высшего профессионального образования.

Предмет исследования - модель и алгоритм автоматизированного многокритериального оценивания уровня сформированности профессиональных компетенций будущих специалистов.

В соответствии с поставленной целью в. диссертации решены, следующие задачи:

1. Классификация моделей оценивания-квалификационных характеристик с позиции их применимости для< оценивания уровня сформированности профессиональных компетенций будущих специалистов.

2. Построение модели многокритериального оценивания уровня сформированности профессиональных компетенций' как обобщения однокритериальных моделей оценивания и многопараметрических методов принятия решений.

3. Разработка и алгоритмизация метода многокритериального вывода оценки уровня сформированности профессиональной компетенции будущего специалиста.

4. Разработка методики автоматизированного многокритериального оценивания уровня сформированности профессиональных компетенций будущего специалиста и методических рекомендаций по ее применению.

Методологические основы и методы исследования. Для решения поставленных задач исследования в диссертации использовались: системный анализ, теория управления, теория алгоритмов, теория принятия решений, математическое моделирование.

На защиту выносятся следующие научные результаты:

1. Классификация моделей оценивания квалификационных характеристик, составляющих профессиональные компетенции.

2. Модель двухэтапной задачи оценивания уровня сформированности профессиональных компетенций будущего специалиста, реализующая вычисление частных оценок квалификационных характеристик и их интеграцию в оценку уровня сформированности ПКц, и алгоритм ее решения в подсистеме многокритериального оценивания уровня сформированности профессиональных компетенций АСУ УП.

3. Метод многокритериального вывода оценки, заключающийся в формировании одноэлементного множества альтернатив по результатам их попарного сравнения, и алгоритм его реализации при решении задачи оценивания уровня сформированности профессиональных компетенций.

4. Методика автоматизированного оценивания уровня сформированности профессиональных компетенций будущего специалиста средствами АСУ УП.

Научная новизна и теоретическая значимость заключается в следующем:

1. Разработана классификация моделей оценивания квалификационных характеристик, использующая в качестве классификационных признаков тип применяемой оценочной шкалы, метод определения качества ответа на контрольное задание, способ вывода итоговой оценки, алгоритм оценивания, способ обработки информации, вид эталона.

2. Создана модель автоматизированного решения двухэтапной задачи многокритериального оценивания, в соответствии с которой на первом этапе оцениваются учебные достижения студента по конкретным квалификационным характеристикам, а на втором этапе эти частные оценки интегрируются в оценку уровня сформированности профессиональных компетенций будущего специалиста.

3. Построен метод многокритериального вывода оценки, заключающийся в выдвижении и анализе гипотез о попарном доминировании альтернатив (оценок ГЖц) и формировании одноэлементного множества альтернатив по результатам такого попарного сравнения, и предложен алгоритм его реализации в составе АСУ УП.

4. Разработана методика многокритериального автоматизированного оценивания уровня сформированности профессиональных компетенций, состоящая в последовательном выполнении этапов оценивания: ввод начальных параметров, коэффициентов и условий оценивания; вывод частных оценок квалификационных характеристик; предварительный анализ частных оценок квалификационных характеристик; вывод комплексной оценки уровня сформированности ПКц.

Практическая значимость диссертационной работы заключается в том, что: разработанная модель и разработанный на ее основе алгоритм многокритериального оценивания обеспечивают повышение на 11% точности оценивания уровня сформированности профессиональной* компетентности будущих специалистов по сравнению с подходом, основанным на расчете среднего арифметического полученных оценок, что подтверждается статистически несущественным расхождением полученных оценок с коллегиальным мнением экспертной комиссии, поскольку экспериментальное значение ¿-критерия Стыодента = 0,90 меньше критического значения - 0.96;

- разработанное алгоритмическое обеспечение реализовано в программном комплексе оценивания ПКц будущего специалиста, а предложенное методическое обеспечение обеспечивает его эффективное применение в составе АСУ УП.

Достоверность результатов исследований основывается на теоретических положениях, полученных с использованием апробированных достижений , современных фундаментальных и прикладных наук; на экспериментальном подтверждении эффективности предложенной модели; на успешной практической апробации решений, основанных на предложенной модели.

Апробация. Теоретические положения и результаты исследования докладывались и были одобрены на следующих конференциях и семинарах: Всероссийские научно-практические конференции «Информационные и коммуникационные технологии в общем, профессиональном и дополнительном образовании» (Калининград, 2004 г., Москва 2006 г.); И Международная научно-практическая конференция «Исследование, разработка и применения высоких технологий в промышленности» (Санкт-Петербург 2006 г.); Всероссийская научно-практическая конференция «Информационные технологии в образовании и науке

2006 (ИТОН-2006)» (Москва 2006 г.); XVI Международная конференция выставка «ИТО-2006» (Москва 2006 г.); Международная' научно-практическая конференция «Новые информационные технологии в образовании (НИТО-2007)» (Екатеринбург

2007 г.); 2nd International Conference on Multi-Criteria Decision Making (Польша 2007 г.); Международная научно-практическая конференция «Формирование профессиональной компетентности специалиста в условиях непрерывного образования» (Калининград 2007 г.); XVII Международная конференция выставка «ИТО-2007» (Москва 2007 г.), XVIII Международная конференция выставка «ИТО-2008» (Москва 2008 г.).

Внедрение результатов исследования. Результаты исследования внедрены в ФГОУ ВПО «Калининградский государственный технический университет» и в НОУ ВПО «Балтийский институт экономики и финансов» для использования в составе автоматизированных систем управления учебным процессом, что подтверждено соответствующими актами об использовании результатов.

Публикации по теме работы. По теме диссертации опубликовано 15 работ, из них 3 публикации в изданиях, входящих в перечень ВАК («Системы управления и информационные технологии», «Информатика и образование», «Информатизация образования и науки»).

Основные результаты исследования могут быть сформулированы следующим образом:

1. Разработанная классификация моделей оценивания квалификационных характеристик, в которой в качестве классификационных признаков используются тип применяемой оценочной шкалы, метод определения качества ответа на контрольное задание; способ вывода комплексной оценки; алгоритм оценивания; тип моделей оценивания; вид эталонных моделей, позволяет обоснованно выбирать методы оценивания квалификационных характеристик и создает основу для комплексного автоматизированного оценивания уровня сформированности профессиональных компетенций будущего специалиста.

2. Многокритериальный подход к оцениванию ПКц, состоящий в параллельном оценивании по однокритериальным моделям нескольких квалификационных характеристик, составляющих анализируемую профессиональную компетенцию, для вычисления частных (промежуточных) оценок с последующим выводом обобщенной

98 оценки ПКц на основании полученных промежуточных результатов, позволяет поставить и решить двухэтапную задачу автоматизированного вывода оценки уровня сформированности профессиональных компетенций будущего специалиста.

3. Сформулированная двухэтапная задача вывода оценки уровня сформированности профессиональных компетенций будущего специалиста, в ходе решения которой на первом этапе вычисляются частные оценки квалификационных характеристик, а на втором этапе выводится обобщенная оценка уровня сформированности ПКц, обеспечивает эффективное и достоверное оценивание уровня сформированности профессиональных компетенций будущих специалистов.

4. Анализ современных методов, моделей и алгоритмов оценивания учебных достижений показал, что их раздельное применение не обеспечивает в достаточной степени достоверность и объективность результатов оценивания профессиональных компетенций будущего специалиста, а также не позволяет провести комплексное, многокритериальное оценивание профессиональных компетенций ввиду учета только какой-либо одной характеристики объекта исследования. Эффективное автоматизированное многокритериальное оценивание профессиональных компетенций может быть организовано только на основе аппарата теории принятия решений, так как возможности этих методов наиболее подходят для решения задачи вывода комплексной оценки уровня сформированности профессиональных компетенций.

5. Сравнительный анализ методов многокритериального принятия решений показал, что наиболее перспективным для оценивания профессиональных компетенций может считаться метод ELECTRE I, поскольку он отвечает большинству требований, предъявляемых к процедуре автоматизированного вывода комплексной оценки уровня сформированности профессиональных компетенций будущих специалистов.

6. Разработан метод многокритериального вывода оценки, предусматривающий выдвижение гипотез о попарном доминировании альтернатив (комплексных оценок) и формирование одноэлементного множества альтернатив по результатам такого попарного сравнения. Предложенный алгоритм реализации этого метода в составе автоматизированной системы управления учебным процессом в вузе обеспечивает решение двухэтапной задачи оценивания уровня сформированное™ профессиональных компетенций будущего специалиста.

7. Предложена и апробирована методика многокритериального автоматизированного оценивания уровня сформированности профессиональных компетенций будущих специалистов, основанная на применении современных средств ИКТ и состоящая в последовательном выполнении таких этапов оценивания как: ввод начальных параметров, коэффициентов и условий оценивания; вывод частных оценок квалификационных характеристик; предварительный анализ частных оценок квалификационных характеристик; вывод комплексной оценки уровня сформированности ПКц. Использование методики позволяет реализовать процесс оценивания уровня сформированности ПКц в составе автоматизированной системы управления учебным процессом и обеспечивает более объективное и достоверное оценивание уровня сформированности профессиональных компетенций будущего специалиста, чем при традиционном раздельном оценивании учебных достижений по дисциплинам учебного плана.

8. Разработанный программный комплекс МСЕ, входящий в состав подсистемы оценивания профессиональной компетентности будущих специалистов в рамках блока контроля учебных достижений АСУ УП, реализует предложенный метод многокритериального оценивания профессиональных компетенций.

9. Результаты экспериментального исследования многокритериальной модели оценивания уровня сформированности ПКц подтверждают вывод о целесообразности ее применения в качестве инструмента оценивания уровня сформированности профессиональных компетенций будущих специалистов.

ЗАКЛЮЧЕНИЕ

В настоящей работе предложены многокритериальная модель, алгоритм и методика оценивания уровня сформированности профессиональных компетенций будущих специалистов.

В ходе исследования выявлено, что готовность будущего специалиста к осуществлению профессиональной деятельности в соответствии с основными квалификационными требованиями, заданными государственным образовательным стандартом либо иным нормативным документом, определяется комплексом квалификационных характеристик, совокупность которых образует профессиональные компетенции. Актуальность проблемы обусловлена отсутствием формализованных методов и моделей оценивания профессиональных компетенций будущих специалистов. Поэтому в настоящей работе основное внимание было уделено постановке задачи и построению формализованной модели многокритериального оценивания уровня сформированности профессиональных компетенций будущего специалиста, разработке алгоритмического обеспечения этой модели и методике ее использования в составе АСУ УП.

1. Аванесов B.C. «Композиция тестовых заданий». М.: Адепт, 1998. - 217 с.

2. Аванесов B.C. «Основы научной организации педагогического контроля в высшей школе» М.: Изд-во МИСиС, 1989. - 168с.

3. Аванесов B.C. «Современные методы обучения и контроля знаний» -Владивосток: ДВГТРУ, 1999.- 125с.

4. Адаманский A.B., Денисов A.JL, Кочеев A.A. Опыт автоматизации вуза. Система УИС. Вестник НГУ. Серия: Информационные технологии. Том 4, выпуск 1, 2006г.

5. Аршинский JI. В. Методы обработки нестрогих высказываний. Иркутск: ВСИ МВД РФ, 1998.-40 с.

6. Аскеров Э.М., Рудинский И.Д. Автоматизация1 многокритериального оценивания профессиональных компетенций будущих специалистов // Информатизация образования и науки.- Москва.-2010. Вып. 3(7). - С. 82-89.

7. Аскеров Э.М. Методические рекомендации по использованию многокритериальной модели оценивания учебных достижений // Известия БГА РФ. -Калининград. 2008. -№ 1(5) . - С. 174-176.

8. Аскеров Э.М., Емелин М.А., Рудинский И.Д. О построении векторной модели оценивания знаний // Ученые записки ИИО РАО. Т. 20. - Москва. - 2006. - С. 65-71.

9. Аскеров Э.М., Рудинский И.Д. О классификации моделей оценивания знаний // Международная научно-практическая конференция «Новые информационные технологии в образовании». Екатеринбург. - 2007. - С. 92-93.

10. Аскеров Э.М. Многокритериальная модель оценивания учебных достижений // Системы управления и информационные технологии. Воронеж. -2008. - Вып. 3(33). - С. 74-78.

11. Белкин А.Р., Левин М.Ш. Принятие решений: комбинаторные модели аппроксимации информации. М.: Наука, 1990. - 160 с.

12. Беспалько В.М. «Мониторинг качества обучения средство управления образованием» Мир образования. - 1996. - с. 31-36

13. Беспалысо В.П. Слагаемые педагогической технологии. М.: Педагогика, 1989.

14. Беспалько В.П. Элементы теории управления процессом обучения. М.: Знание, 1971.-112 с.

15. Борисов А.Н., Вилюмс Э.Р., Сукур Л.Я. Диалоговые системы ПР на базе мини-ЭВМ: Информационное, математическое и программное обеспечение. -Рига: Зинатне, 1986. 195 с.

16. Борисов А.Н. и др. Модели принятия решений на основе лингвистической переменной. Рига: Зинатне, 1982. - 256с.

17. Борисова Н.В. Терминологическое пространство образовательных технологий. Краткий словарь. М.: Изд-во МИСиС, 2000.

18. Бражник Е.И., Мартыненко Л.Г. Педагогические технологии оценивания в университетах Франции электронный ресурс. URL: http://l.emissia.peterhost.ru/offline/2009/1348.htm. (Дата обращения 12.04.2010).

19. Волков С.З. Алгоритм управления контролем знаний // Кибернетика и исследование операций в управлении учебным процессом: Тез. докл. Рига: РПИ, 1984,-с. 67-70.

20. Гершунский Б.С. Компьютеризация в сфере образования: проблемы и перспективы. M., 1987. - 263 с.

21. Государственные требования к минимуму содержания и уровню подготовки инженеров по специальности 230102 — «Автоматизированные системы обработки информации и управления». // Государственный образовательный стандарт высшего профессионального образования.

22. Грушецкий C.B., Рудинский И.Д. Модель статистического оценивания знаний // Информационные технологии. 2004. - №12. - 6 с.

23. Длин А.М. и др. Математическая статистика. М.: Высшая школа, 1975. -398 с.

24. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации // Проблемы кибернетики. 1978. - Вып. 33. - с. 5 -68.

25. Зайцева JI.B. Методы контроля знаний при автоматизированном обучении. Автоматика и вычислительная техника, 1991, Nr 4, с. 88 — 92.

26. Зайцева Л.В. Некоторые аспекты контроля знаний в дистанционном обучении // Сборник научных трудов 4-й международной конференции "Образование и виртуальность 2000" - Харьков - Севастополь : УАДО, 2000, - с. 126 - 131.

27. Зайцева JI.B., Н.О. Прокофьева. «Модели и методы адаптивного контроля знаний» электронный ресурс. URL:http://vmw.ebiblioteka.lt/resursai/Uzsienio%201eidiniai/IEEE/Russian/2004/Nr%204/OTO 2004403.pdf. (Дата обращения 12.04.2010).

28. Зайцева J1.B., Новицкий Л.П., Грибкова В.А. Разработка и применение автоматизированных обучающих систем на базе ЭВМ. Под ред. Л.В.Ницецкого. -Рига: "Зинатне", 1989. - 174 с.

29. Зайцева Л.В., Прокофьева Н.О. Проблемы компьютерного контроля знаний // Proceedings. IEEE International Conference on Advanced Learning Technologies (ICALT 2002). 9-12 September 2002. Kazan, Tatrstan, Russia, 2002, p. 102 - 106.

30. Ибрагимов Г.И. «Компетентностный подход в профессиональном образовании» электронный ресурс. URL:http://ifets.ieee.org/russian/depository/vl0i3/html/3Ibragimov.htm. (Дата обращения 12.04.2010).

31. Ижогин >1.В. Компьютер как инструмент педагогической диагностики // Информатика и образование. 2003. - № 12, с. 51-55.

32. Ильязова М.Д. «К вопросу о критериях компетентности будущего специалиста» электронный ресурс. URL: http://www.rae.ru/snt/pdf/2006/05/Ilvazova.pdf. (Дата обращения 12.04.2010).

33. Ингекамп К. Педагогическая диагностика. М.: Педагогика, 1991

34. Кини Р. Л., Райфа X. Принятие решений при многих критериях. М., Радио и связь, 1981.

35. Кириков И.А., Пономарёв В.Ф. Основы построения автоматизированных систем управления. Калининград, 1986. - 130 с.

36. Клайн П. — Справочное руководство по конструированию тестов. Введение в психологическое тестирование. Киев, 1994

37. Коронская В.А., Панчетникова JI.M. Опыт создания объективных измерителей оценки знаний, умений и навыков учащихся // Советская педагогика. -1964.-№3.

38. Корытин A.M., Петров Н.К., Радимов С.Н., Шапарев Н.К. Автоматизация типовых технологических процессов и установок: Учебник для вузов 2-е изд., перераб. и доп. - М.: Энергоатомиздат, 1988.-432 с: ил.

39. Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь, 1982.-432 с.

40. Кузовлева К.Т. Конструирование педагогических тестов на основе современных математических моделей // www.informika.ru

41. Лайл М. Спенсер-мл., Сайн М. Компетенции на работе. Пер. с англ.М.: HIPPO, 2005.-384с.

42. Ланда Л.Н. Кибернетические аналогии в обучении. М.: Знание, 1970. — 45 с.

43. Ларичев О.И. Теории и методы принятия решения, а также Хроника событий в Волшебных странах: Учебник. М.: Логос, 2000. - 296с.: ил.

44. Ларичев О.И., Мечитов А.И. и др. Выявление экспертных решений. — М.: Наука, 1989. 140 с.

45. Лебедев O.E. Компетентностный подход в образовании // Школьные технологии.-2004.-№5.-С.З-12.

46. Лопатников Л. И. Экономико-математический словарь: Словарь современной экономической науки. — 5-е изд., перераб. и доп. —М.: Дело, 2003. — 520 с.

47. Ляхов А.Л., Демиденко М.И. «Основные свойства автоматизированных систем моделирования и управления учебным процессом в вузе» электронный ресурс. URL: www.ict.edu.ru/ft/005062/spi mp-2006.pdf. (Дата обращения 12.04.2010):

48. Майоров А.Н. Теория и; практика создания тестов для системы образования. - М.: Народное образование, 2000: - 352с.

49. Матушанский Г.У. Проектирование педагогических тестов для контроля знаний // Информатика и образование. 2000; - № 6, с. 7-10:

50. Макаров H.Mi, Виноградская Т.М., Рубчинский A.A., Соколов В.Б. Теория вывода и принятия решений: Учебное пособие.- М.: Наука. Главная редакция физико-математической литературы, 19821 328 с.

51. Мальцев М.В. «Автоматизация управления учебным процессом» электронный ресурс.; URL: http://www.nsu:ru/archive/conf/nit/96/sectl/node 12.html. (Дата обращения 12.04.2010).

52. Методы и критерии оценки знаний; умений и навыков учащихся при программированном обучении / под ред. В.П; Беспалько. М., 1969.

53. Моисеев В;Б., Усманов ВВ., Таранцева K.P., Пятирублевый Л.Г. Статистический подход к принятию решений по результатам тестирования для тестов открытой формы // Открытое образование. 2001. - №1 / Интернет. -http://www.mesi.ru/joe/Nl01/mo.html

54. Моисеев H.H. Предисловие к книге С.А. Орловского. Проблемы принятия решений при нечеткой исходной информации. М:: Наука, 1981.

55. Найханова Л.В., Дамбаева С.В. Методы и алгоритмы принятия решений в управлении учебным процессом в условиях неопределенности: Монография. -Улан-Удэ: Изд-во ВСГТУ, 2004. 164 с.

56. Налиткина O.B. «Компетентностный подход как основа новой парадигмы образования» электронный ресурс. URL: ftp://lib.herzen.spb.ru/text/nalitkina 94 170 174.pdf. (Дата обращения 12.04.2010).

57. Нейман Ю. М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. Москва, 2000. -168 с.

58. Ногин В. Д. Принятие решений в многокритериальной среде: количественный подход. — 2-е изд., испр. и доп. — М.: ФИЗМАТЛИТ, 2004. 176 с.

59. Пилко И. С. «Компетентностный подход как основа разработки и реализации профессиональных образовательных программ: мифы и рифы» электронный ресурс. URL: http://www.gpntb.ru/libcom8/30.pdf. (Дата обращения 12.04.2010).

60. Попов Д.И. Способ оценки знаний в дистанционном обучении на основе нечетких отношений // Дистанционное образование. 2000. - №6 / Интернет.

61. Постановление Правительства РФ от 21.01.2003 № 135 «Положение о государственной (итоговой) аттестации выпускников IX и XI (XII) классов общеобразовательных учреждений Российской Федерации».

62. Постановление Правительства РФ от 25.05.94 № 3 «Положение об итоговой государственной аттестации выпускников высших учебных заведений в Российской Федерации».

63. Равен Дж. Компетентность в современном обществе: выявление, развитие, реализация/ Пер. с англ.- М.: Когнито-Центр, 2002.-396с.

64. Развитие системы тестирования в России. // Мат-лы III Всероссийской научно-методической конференции / под ред. JT.C. Гребнева. М.: Центр тестирования Министерства образования РФ, 2001. - 254 с.

65. Роберт И.В. О понятийном аппарате информатизации образования // Информатика и образование. 2003. № 1'.

66. Роберт И.В. Современные информационные технологии в образовании: дидактические проблемы; перспективы использования. М.: Школа-Пресс, 1994.

67. Роберт И.В. Теория и методика информатизации образования (психолого-педагогический и технологический аспекты). М.: ИИО РАО, 2007. - 234 с.1106I