автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Автоматизация многокритериального оценивания в слабоструктурированных предметных областях на основе е-портфолио

005000999

ИЛЬИЧЕВА СВЕТЛАНА ВЯЧЕСЛАВОВНА

АВТОМАТИЗАЦИЯ МНОГОКРИТЕРИАЛЬНОГО ОЦЕНИВАНИЯ В СЛАБОСТРУКТУРИРОВАННЫХ ПРЕДМЕТНЫХ ОБЛАСТЯХ НА ОСНОВЕ Е-ПОРТФОЛИО

Специальность 05.13.06 - «Автоматизация и управление технологическими процессами и производствами (образование)»

1 7 НОЯ 2011

АВТОРЕФЕРАТ диссертации па соискание ученой степени кандидата технических наук

Санкт-Петербург - 2011

005000999

Работа выполнена в Санкт-Петербургском .национальном исследовательском университете информационных технологий, механики и оптики (НИУ ИТМО) на кафедре технологий профессионального обучения.

Научный руководитель:

кандидат технических наух, доцент Горлушкипа Наталия Нпколаевна

Официальные оппоненты:

доктор технических наук, профессор Ретинская Ирина Владимировна

кандидат технических наук, доцент Лямин Андрей Владимирович

Ведущая организация:

Федеральное государственное учреждение «Государственный научно-исследовательский институт информационных технологий и телекоммуникаций» (ФГУ ГНИИ ИТТ «Информика»)

Защита состоится 1 декабря 2011 года в 15.30 на заседании диссертационного совета Д 212.227.06 при Санкт-Петербургском национальном исследовательском университете информационных технологий, механики и оптики по адресу: Санкт-Петербург, Кронверкский пр., дом 49, центр интернет-образования.

С диссертацией можно ознакомиться в библиотеке НИУ ИТМО.

Автореферат разослан 1 ноября 2011 года.

Ученый секретарь

диссертационного совета Д 212.227.06

доктор технических наук, профессор

Лисицына Л. С.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. К задачам управления оцениванием относится определение образовательных достижений учащихся для целей аттестации и коррекции индивидуальных результатов обучения, а также оценка уровня образовательных достижений группы с целью оценки качества учебного процесса (успеваемость студентов, успеваемость группу ограничения на показатели выставленных оценок). Во многих случаях задача оценивания учебных достижений может быть представлена как задача классификации, при этом недостаточным являются традиционные подходы к педагогическому контролю, основанные на раздельном однокритериальном оценивании. Дополнительные трудности появляются в случае слабоструктурируемых проблем, сочетающих количественные и качественные зависимости. Проблематика оценивания эффективности профессионального образования исследуется и развивается в работах И.А. Морева, A.M. Новикова, С.Д. Смирнова, A.B. Соловова, Ю.Г. Татура и др. Различные аспекты построения и функционирования автоматизированных систем управления (АСУ) рассматриваются в работах В.Л. Зудина, В.Е. Коржакова, Е.В.Луценко, О.В. Токмаковой, М.Ю. Шевелева и т.д.

Кроме того, необходимо расширение разнообразных измерений в системе оценивания и фиксация образовательных результатов в длительном периоде времени адекватным инструментарием. Портфолио является формой аутентичного оценивания образовательных результатов по продукту, созданному учащимся в ходе учебной, творческой, социальной и других видов деятельности. Электронный портфолио (е-портфолио) использует цифровые технологии, позволяющий собирать и организовывать результаты учебных достижений с помощью разных медиа-форматов (аудио, видео, графика, текст). Идеи организации педагогического процесса подобными средствами исследуются в работах Н. Barrett, Г.Б. Голуб, Т.Г. Новиковой, Т.А. Полиловой, О.Г. Смоляниновой и др.

Сравнительный анализ и многокритериальное оценивание характеризуется высокой вычислительной сложностью (А.Б. Петровский, О.И. Ларичев, A.B. Лотов, И.И. Поспелов, A.C. Пономарев и др.). По этой причине многокритериальное оценивание учебных достижений должно осуществляться в системе управления в рамках АСУ учебным процессом. Следовательно, приобретает особую актуальность разработка математического, алгоритмического и методического обеспечения автоматизированного многокритериального оценивания результатов обучения в слабоструктурированных предметных областях на основе е-портфолио.

Цель исследования - автоматизация многокритериального оценивания в слабоструктурированных предметных областях на основе е-портфолио.

Объект исследования - процедура оценивания результатов обучения в слабоструктурированных предметных областях в образовательных учреждениях высшего профессионального образования.

Предмет исследования - модели, методы и алгоритмы, обеспечивающие автоматическое оценивание учебных достижений студентов на основе е-портфолио.

Для достижения поставленной цели были сформулированы и решены следующие задачи:

1. Анализ современных методов принятия решений в сяабоструктурированных предметных областях и особенностей их применения в задачах многокритериального оценивания результатов обучения.

2. Построение модели автоматизированного многокритериального оценивания как обобщения однокритериальных моделей оценивания и многопараметрических методов прииятия решений.

3. Разработка методов комплексной оценки результатов обучения в слабоструктурировашшх предметных областях на основе е-портфолио.

4. Разработка алгоритма решения задачи автоматизированного многокритериального оценивания в слабоструктурированных предметных областях на основе е-портфолио.

5. Разработка методики автоматизированного многокритериального оценивания результатов обучения в слабоструктурироваяных предметных областях с целью оценки качества учебного процесса.

6. Разработка программных средств, реализующих предложенные методы и алгоритмы. Методы исследования. Для решения поставленных задач исследования в диссертации

использовались: системный анализ, теория управления, теория алгоритмов, теория принятия решений, теория нечетких множеств, математическое моделирование, а также методы анализа статистических данных.

Результаты, выносимые на защиту:

1. Модель автоматизированного оцепивания результатов обучения в слабострукгурярованных предметных областях на основе е-портфолио, реализующая вычисление частных оценок учебных достижений и их интеграцию в комплексную оценку качества учебного процесса.

2. Метод многокритериального оценивания учебных достижений, генерирующий векторные оценки, основанные на вербальных шкалах и предусматривающий экспертную оценку, классификацию и количественную интерпретацию полученных результатов.

3. Алгоритм решения задачи автоматизированного многокритериального оценивания в слабоструктурированных предметных областях, реализующий эффективное оценивание результатов обучения в условиях нечетких исходных данных.

Научная новизна и теоретическая зпачимость заключается в следующем:

1. Создана модель автоматизированного решения задачи многокритериального оценивания в слабострукгурированных предметных областях, в соответствии с которой на первом этапе генерируются векторные оценки учебных достижений на основе е-портфолио, на втором - экспертная оценка и классификация на основе вербальных шкал оценивания, на третьем - оценка качества учебного процесса средствами нечеткого регулирования.

2. Разработан метод многокритериального оценивания в слабоструктурированных предметных областях, в соответствии с которым на первом этапе формируются векторные оценки учебных достижений, основанные на вербальных шкалах, а на втором этапе эти частные оценки подвергаются классификации и упорядочению. Предложен алгоритм его реализации в составе АСУ учебпыы процессом.

3. Предложена методика многокритериального автоматизированного оценивания, минимизирующая случайные ошибочные суждения преподавателя, состоящая в последовательном выполнении этапов оценивания: ввод начальных параметров, коэффициентов и условий оценивания; вывод частных оценок; предварительный анализ частных оценок; вывод оценки качества учебного процесса.

Практическая значимость диссертационной работы заключается в том, что:

1. Предложенный формализованный подход к построению АСУ образовательного назначения позволяет обеспечить студента и преподавателя эффективным инструментарием многокритериального оценивания в слабоструктурированных предметных областях.

2. На основе предложенного алгоритмического обеспечения разработана система многокритериального оценивания результатов обучения в слабоструктурированных предметных областях, которая прошла апробацию и внедрена в учебный процесс образовательных учреждений.

Апробация результатов исследования. Основные положения диссертационной работы и результаты проведенных исследований докладыватись, обсуждались и получили одобрение на международной конференции «The future of Education» (Флоренция, Италия, 2011), на двух Всероссийских научно-методических конференциях «Телематика» (Санкт-Петербург, 2010 и 2009), на трех Всероссийских межвузовских конференциях молодых ученых (Санкт-Петербург, 2011, 2010 и 2009), на научно-практической конференции «Наследие М.В. Ломоносова. Современные проблемы науки и техники, решаемые молодыми учеными НИУ ИТМО» (Санкт-Петербург, 2011), на XXXVIII научной и учебно-

методической конференции профессорско-преподавательского состава СПбГУ ИТМО (Санкт-Петербург, 2009).

Работа была поддержана на различных этапах ее выполнения рядом научно-технических программ. В числе основных - гранты правительства Санкт-Петербурга для молодых научно-педзгогических работников вузов и академических институтов в 2010, 2009 и 2008 годах.

Внедрение результатов исследования. Материалы диссертационной работы использованы при организации обучения студентов естественнонаучного факультета НИУ ИТМО специальности 230202 «Информационные технологии в образовании» и слушателей Санкт-Петербургской академии постдипломного педагогического образования.

Структура и объем диссертации. По структуре диссертация состоит из введения, трех глав и заключения. Общий объем работы составляет 121с. Список литературы включает 111 наименований. Работа содержит 24 рисунка и 16 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обоснована актуальность темы диссертации, сформулирована цель, поставлена научная задача исследования, показана научная новизна полученных результатов, их теоретическая и практическая значимость, приведены основные результаты, выносимые на защиту, а также сведения об апробации, реализации и внедрении материалов диссертации.

Первая глава содержит описание проблемы многокритериального оценивания в слабоструктурированных предметных областях. Изложены новые технологии в оценке учебных достижений студентов, в частности метод е-портфолио. Также представлены современные подходы теории принятия решений в задачах многокритериального оценивания в слабоструктурпроваиных предметных областях. Цель обзора - дать необходимые вводные сведения для понимания оригинальной части работы.

Специфика применения АСУ в вузе для управления качеством подготовки специалистов (рис. 1) состоит в том, что объект управления имеет двухуровневую структуру, на 1-м уровне которой осуществляется управление студентом с помощью образовательного процесса (АСУ группы «Б»), а на 2-м - управление самим образовательным процессом (АСУ группы «А»), причем эта АСУ должна быть рефлексивной, т.е. учитывать цели и мотивации как студентов, так и преподавателей, и осуществлять управление путем использования и коррекции этих целей и мотиваций.

Объект управления АСУ группы «Б» (студент)

образовательный процесс

Объект управления АСУ группы «А» Управляющая система АСУ группы «Б» (преподаватель)

контроль 1 1 управление

качества качеством

образовательного образовательного

1 , процесса процесса

Управляющая система АСУ группы «А»

(деканат)

' : .

Я—к

Рисунок I - Обобщенная схема рефлексивной АСУ качеством подготовки специалистов

Анализ общей структуры АСУ образовательного назначения позволил выявить ведущую роль обеспечивающей подсистемы, играющей ведущую роль в объединении трех систем в единое целое и обеспечивающей необходимый уровень организации всех процессов в АСУ.

Задачи управления оцениванием результатов обучения имеют одну проблемную область и относятся к классу слабоформадизованных, слабоструктурированных задач с расплывчатыми ограничениями, неполными и нечеткими данными, сильно зависящими от изменений внешней среды и субъективных предпочтений лица, принимающего решение. Теория вербального анализа решений используется в тех случаях, когда задача не допускает точной формулировки, включает неточности и неоднозначности. Именно такие характеристики имеют предметные области рассмотренных задач. Для ни нечеткая постановка оказывается более краткой, а самое главное, устойчивой по отношению к небольшим изменениям исходных данных.

Вторая глава посвящена формальному описанию модели многокритериального оценивания и построению алгоритма автоматизированного вывода оценки результатов обучения по этой модели.

Модель системы (рис. 2) состоит из трех основных подсистем: генерация альтернатив на основе е-портфолио, экспертная оценка и классификация альтернатив, оценка качества учебного процесса. Каждая подсистема также имеет иерархическую струюуру и выполняет самостоятельные и общесистемные функции, позволяющие достичь поставленной цели.

Рисунок 2 - Обобщенная фушадаонально-структурная модель поддержки принятия решений для оценивания результатов обучения

Для автоматизации сбора информации и формирования множества альтернатив и векторных оценок, основанных на вербальньвс шкалах, используется метод е-портфопио. Этот процесс выполняется в три стадии. На первой стадии формируется множество работ (артефактов) для хранения результатов учебных достижений. На второй - демонстрация и анализ учебных достижений (альтернатив) на основе первичного набора. На третьей -экспертная оценка учебных достижений и формирование векторных оценок альтернатив. На первой стадии рекомендуется использовать текстологические и коммуникативные методы извлечения знаний. На второй - для уточнения первичного множества альтернатив можно применять коммуникативные методы извлечения знаний. На третьей - экспертную оценку студентами на основе разработанных контрольных листов.

При генерации альтернатив их комплексная оценка не осуществляется, так как при оценке альтернатив общий балл имеет более сложный характер, поэтому во множество векторных оценок записываются значения по критериям с вербальными шкалами оценивания.

Сгенерированное множество альтернатив подлежит оценке, которая включает в себя классификацию альтернатив на основе метода КЛАРА (КЛАссификация Реальных Альтернатив) и количественную интерпретацию векторных оценок альтернатив. Классификация используются в том случае, когда альтернатива характеризуется качественными показателями, которые не пригодны для численной обработки и основывается на индексе информативности, который выражается формулой:

з; Ф,

Ф,=-=-, ' ,пкО, (1)

1+и—

Ф,

где 0¡ множество допустимых номеров классов для векторной оценки y¡; £ш - число косвенно классифицируемых векторных оценок; p¡m - близость векторной оценки к представителям класса Ym; Ф/ - информативность альтернативы (Ф, = ); о/Ф, -

и eG,

относительное отклонение показателей g¿„ от своих средних значений; п - уровень значимости дисперсии.

Для дальнейшего расчета показателей оценок учебных достижений применяются методы, основанные на количественной интерпретации векторных оценок альтернатив и мере близости векторной оценки y¡ к некоторому классу Ym которое характеризует «вероятность» отнесения преподавателем вектора y¡ к классу Ym. Таким образом, центром непустого класса Ym является векторная оценка с„ = (cm¡, сc„v), каждая из N компонент которой равна округленному среднему арифметическому значению соответствующих компонент векторных оценок из класса Y,„ и определяется формулой:

IVfcl

У, С у.

, q-l,...,N', где I I обозначает округление.

Расстояние й,т от векторной оценки .у, е У до центра класса Ст определяется следующим образом:

<4. ~сщ\- (2)

Таким образом, на основе происходит упорядочение альтернатив и пересчет оценок в баллы успеваемости.

Граничные значения оценок позволяют экономно и наглядно описать решающие правила, с помощью которых можно легко и быстро классифицировать реально имеющиеся многопризнаковые альтернативы. Верхней границей класса С^^Зу называется совокупность наиболее предпочтительных кортежей, недоминируемых другими кортежами данного

класса. Соответственно нижней границей класса называется совокупность наименее

предпочтительных кортежей, не доминирующих другие кортежи данного класса. Все кортежи, которые относятся к этому классу, имеют значения оценок, лежащие между верхней и нижней граничными оценками.

Решение задачи оценки качества процесса обучения заключается в построении Х~, пр-контрольных карт, гистограммы распределения оценок по дисциплине и последующей их интерпретации.

Контрольная карта отображают характер изменения показателя качества обучения по изученным темам и может быть описана следующим множеством атрибутов: А/= < /, Ьр, А/, ЛЛ1= (1и 12,.., 1Л ) где /-тип контрольной карты; А^ - верхняя контрольная граница; Л/ - нижняя контрольная граница; Л/' - средняя линия процесса обучения; I = //, .., 1п -множество значений показателей качества по изученным темам В/, Вг, В„.

Х- контрольная карта строится для мониторинга отклонения от среднего значения баллов по изученным темам и предназначена для студентов.

«/^-контрольная карта строится дня контроля дискретных величин и предназначена для преподавателя. Данная карта позволяет отслеживать число неудовлетворительных оценок по изученным темам для определения стабильности процесса обучения, а также корректировки процесса для предотвращения выхода числа неудовлетворительных оценок за допустимые нормы.

Для анализа успеваемости студентов в группе в целом по дисциплине целесообразно построил, гистограмму, которая может быть описана следующим множеством атрибутов: Н= < Н4, 1Н >, где Я1 - середина размаха данных гистограммы, Я1' - среднее значение гистограммы, !ц - форма гистограммы, отражающая показатель успеваемости в группе.

После того, как контрольные карты и гистограмма построены, их можно использовать для управления качеством процессом: обучения, а именно распределением студентов по группам.

Анализ предметной области задачи показал, что множество ограничений, накладываемых на качество процесса обучения, можно разбить на группы по характеру применения:

- ограничения на показатели успеваемости студента (успевает, не успевает);

- ограничения на показатели успеваемости группы (отличники, двоечники);

- ограничения на показатели выставления оценок (занижение, завышение).

Первые показатели рассчитываются на основе значений показателей качества

X - контрольных карт. Вторые - на основе интерпретации гистограмм. Третьи - на основе расчета расстояния до центра класса.

Оценка может бьгть описана следующим множеством атрибутов: С = < С", CL, С", 1С >, где Си - верхняя граница класса решений, Сг - нижняя граница класса решений, С** - центр класса, 1с- показатель качества выставления оценок.

Для интерпретации показателей качества будем использовать методы нечеткого регулирования. Модель, основанная на нечетком регуляторе, представляет собой таблицу лингвистических правил, непосредственно связывающих входные и выходные переменные. Распределение исходного множества альтернатив производится по набору решающих правил, описывающих множество требований исходной задачи.

Для формального описания лингвистических переменных нечеткого регулятора необходимо ввести следующие обозначения: Student - показатель успеваемости студента; Group - показатель успеваемости группы; Mark - качественный показатель выставления оценок; Quality - показатели качества учебного процесса; Distribution - показатель перевода студента в другую группу.

Формальное описание обобщенной лингвистической переменной Quality можно представить следующим образом:

Quality = <Д 7; U, G, Л£>, (3)

где Р - имя лингвистической переменной; fie (Student, Group, Mark); T- множество ее значений (термов), представляющих собой наименование нечетких переменных, областью интерпретации каждой является множество U; U - универсальное множество лингвистической переменной; G - синтаксическая процедура, описывающая процесс образования из множества Т новых, осмысленных для данной задачи значений лингвистической переменной; М - семантическая процедура, позволяющая приписать каждому новому значению, образованному процедурой G, некоторую семантику путем формирования соответствующего нечеткого множества, т.е. отобразить новое значение в нечеткую переменную.

Лингвистическая переменная Quality создана для фаззификадии показателей качества учебного процесса'для каждого студента, группы и выставленных оценок. Формирование нечетких множеств первичных терминов Т производится на основании нормальных значений качества для группы, для каждого студента и выставленной отметки, что соответствует «норме», «меньше нормы», и «больше нормы».

Результатом работы логических правил является распределение студентов между группами. Терм множество лингвистической переменной «Распределение студентов по группам» включает следующие значения: «перевести студента в более слабую группу», «оставить студента в старой груше», «перевести студента в более сильную группу».

Формальное представление решающих правил в виде нечетких продукций базируется на формализме нечетких продукционных моделей. Таким образом, множество In входных лингвистических переменных составляют Student, Group и Mark. Выходной лингвистической переменной является показатель распределения Distributions Out. Терм-множество входных лингвистических переменных имеет вид Т= {Low, Normal, High}, терм-множество выходной лингвистической переменной TDl.trtbl,nm = {PullJDown, Remain, PullJJp}.

Рассмотрим алгоритм решения задачи, реализующий методы, рассмотренные ранее и необходимый дай реализации подсистемы оценки результатов обучения. Общая схема алгоритма:

1. Эксперт (преподаватель) задает для дисциплины критерии оценивания К - {K¡, Кj, .., К„}; шкалы оценок по критериям = j; список тем, по которым будет

проведена аттестация В = {Bj, В2,.., Вг}. Априори имеются списки групп со студентами 5 = {Si, S¡, .., Sk], где к - количество студентов в группе. Также вводится уровень значимости дисперсии п, значение которого можно менять в процессе работы.

2. Работы оцениваются по критериям, таким образом, формируются векторные опенки альтернативу,.

3. Определяется подмножество альтернатив Yg, для которых множества G¡ допустимых классов содержат более одного элемента. Yg = {ук'\ \Gt j ф l}.

4. Если это подмножество Yg оказывается пустым, то процедура заканчивается.

5. Для всех векторов из Yg вычисляются показатели рт и g¡„ для Vm е G,. По показателям Pirn и glm вычисляется ПНДеКС информативности Ф/.

6. Определяется вектор у, sY , такой что Ф, = max Ф .

7. Вектор yt б Ys предъявляется эксперту для отнесения к одному из классов.

8. Проверка на непротиворечивость.

9. В соответствии с классом, который эксперт указал для вектора у, е Yg, модифицируются множества G¡. Переход к шагу 3.

10. Построение решающих правил основано на уточнении границ классов. Верхние и нижние границы классов определяют полное множество возможных векторных оценок.

11. На основе d¡„ вбршсляются баллы для каждой классифицированной альтернативы.

12. X-, /¡¿^-контрольные карты описывается следующим множеством атрибутов: М = <!, Л/7, Л/, АЛ / = (b, h,-Jn) >■ Гистограммы-Н=<Н*,Нм,1ц>.

13. Распределение студентов осуществляется средствами нечеткого регулирования, которое имеет следующее обозначение: Quality = <Д Т, U, G, М>. ТОШг1Шо, = {Pull_Down, Remain, PullJJp).

14. Отчеты формируются по запросу.

На рисунке 3 представлен алгоритм автоматизированного оценивания результатов обучения.

^ Конец

Рисунок 3 - Блок схема алгоритма автоматизированного оценивания результатов обучения

13

В третьей главе описывается предложенная структура системы многокритериального оценивания в слабоструктурированных предметных областях на основе е-портфолио. Эта система рассмотрена с помощью методологии структурного проектирования (ГОЕР-методологии). Разработанная структурная схема изображена на ГОЕРО-диаграмме, представленной на рисунке 4. Учебные достижения необходимо храните, обсуждать, оценивать. Таким образом, выделяется локальная функция «Генерация альтернатив на основе метода е-портфолио» Выполнение этой функции позволит определить множество векторных оценок альтернатив, после формирования которых будет известен весь перечень кортежей для экспертной оценки. Основное требование к слабоструктурированным областям - отсутствие четких критериев и количественных весов оценок. Для обеспечения этого требования необходимо осуществить экспертную оценку и классификацию альтернатив, что и является второй локальной функцией задачи. Третья функция связана с оценкой качества процесса обучения и распределением студентов по группам.

Иерархия диаграмм представляет собой ветвистое дерево функций. Деятельность студентов по ведению е-портфолио включает в себя портфолио как хранилище, портфолио как процесс, портфолио как продукт; поэтому диаграмма следующего уровня включает соответствующие работы и представлена в виде ЭРО-диаграммы (рис. 5).

Рисунок 5 - Диаграмма детализации функции «Генерация альтернатив на основе метода е-портфолио»

Дня эффективного использования средств многокритериального оценивания в слабоструктурированных предметных областях предложена обобщенная методика её применения, включающая следующие этапы:

1. Аншшз квалификационных характеристик для формулирования критериев оценивания учебных достижений на основе нормативных документов.

2. Формализация выявленных критериев и их эмпирическая проверка. Этот этап предполагает разработку формального описания критериев и вербальных шкал оценивания учебных достижений, а также проверку независимости операций сравнения на контрольных примерах.

3. Подготовка контрольно-измерительных материалов, необходимых для оценивания учебных достижений.

4. Построение и апробация многокритериальной модели оценивания результатов обучения. Экспериментальная проверка корректности и работоспособности предлагаемых решений предполагает сравнение полученных результатов с оценками, выставленными экспертами.

5. Автоматизированный контроль учебных достижений студентов на основе е-потрфолио. На этом этапе проводится групповой автоматизированный контроль учебных достижений студентов на предмет овладения выделенными квалификационными характеристиками и собирается первичная информация в виде векторных оценок.

6. Обработка полученных результатов с использованием многокритериальной модели. Полученные на предыдущем этапе результаты обрабатываются с использованием многокритериальной модели для получения оценки результатов обучения.

7. Анализ и обобщение результатов оценивания. Результаты автоматизированного оценивания подвергаются анализу и статистической обработке с генерацией необходимых ведомостей и отчетов.

Предложенная методика апробирована в ходе эксперимента, в котором оценивались результата обучения студентов НИУ ИТМО естественнонаучного факультета специальности 230202 «Информационные технологии в образовании». Эксперимент по оценке эффективности предложенных решений проходил в три этапа. Результативность предлагаемых решений оценивалась по Г-критершо Стьюдента, который характеризует существенность отличий оценок, полученных по предложенной модели (этап 2), от оценок, рассчитанных по методике среднего арифметического (этап 1) и выставленных экспертной комиссией (этап 3). Сравнительные результаты эксперимента представлены в таблице 1.

Таблица 1 - Сравнительные результаты эксперимента

Этап Кол-во Полученные оценки Средний 4 4

эксперимента студентов Отл. Хор. Удовл. I Неуд. балл

Оценивание по среднему арифметическому

1 98 9 46 33 1 10 3.55 2.62 6.34

Многокритериальное оценивание

2 98 | 18 56 21 | 3 3.91 2.62 0.89

Экспертное оценивание

3 98 17 64 12 | 5 3.95 - -

Таким образом, результаты эксперимента подтвердили, что применение предложенной модели и алгоритмов многокритериального оценивания обеспечивает более объективное оценивание учебных достижений по сравнению с подходом, основанным на расчете среднего арифметического полученных оценок, что подтверждается статистически несущественным расхождением полученных оценок с коллегиальным мнением экспертной комиссии, поскольку экспериментальное значение Г-критерия Стьюдента /е = 0.89 меньше критического значения 4 = 2.62, тогда как значение этого критерия для средних арифметических оценок (е = 6.34 существенно превышает критическое значение 4 = 2.62. Точность оценок учебных достижений, полученных по модели многокритериального оценивания, повысилась на ((3.91 - 3.55)/3.91)х100% ~ 9% по сравнению с подходом, основанным на расчете среднего арифметического однокритериальяых оценок.

Достоверность работы алгоритма многокритериального оценивания результатов обучения проверялась построением контрольных карт и гистограмм распределения оценок по дисциплине. Исходя из проведенных вычислительных экспериментов, можно сделать вывод, что при научном подходе к процессу оценивания результатов обучения можно

16

добиться значительного улучшения их качества. Анализ динамики обучения студентов позволяет наилучшим образом распределить студентов по группам, а, следовательно, добиться наилучшего усвоения материала.

Заключенно. Основным результатом работы является моде^п, многокритериального оценивания результатов обучения в слабоформализованных, слабоструктурированных предметных областях с расплывчатыми ограничениями, неполными и нечеткими данными, сильно зависящими от изменений внешней среды и субъективных предпочтений преподавателя на основе применения методов теории принятия решений, теории нечетких множеств и теории управления. В исследовании для предложенной модели разработаны новые и адаптированы существующие методы, необходимые для реализации системы.

Таким образом, при проведении исследования получены следующие значимые результаты:

1. В результате анализа существующих подходов к оцениванию результатов обучения в слабоструктурированных предметных областях построена модель автоматизированного многокритериального оценивания результатов обучения на основе е-портфолио, состоящая из трех основных частей: генерация векторных оценок учебных достижений на основе е-портфолио, экспертная оценка п классификация на основе вербальных шкал оценивания, оценка качества учебного процесса средствами нечеткого регулирования. Эта модель позволяет обоснованно выбирать методы оценивания результатов обучения и создает основу для комплексного оценивания процесса обучения средствами автоматизированной системы управления учебным процессом.

2. Разработан многокритериальный метод к оцениванию учебных достижений, в соответствии с которым на первом этапе формируются векторные оценки учебных достижений, основанные на вербальных шкалах, а на втором этапе эти частные оценки подвергаются классификации и упорядочению объектов по нх близости к центру класса. Этот подход позволил интегрировать количественные и качественные показатели учебных достижений студентов в слабоструктурированных предметных областях и автоматизировать интерпретацию полученных оценок в виде классов решений и в баллах.

3. Предложен алгоритм процесса оценивания, предусматривающий генерацию альтернатив на основе е-портфолио, экспертную оценку, проверку на непротиворечивость, построение решающего правила, оценку качества учебного процесса, повышающий точность оценивания учебных достижений студента по сравнению с подходом, основанным на расчете среднего арифметического полученных оценок, что подтверждено в ходе эксперимента статистически несущественным расхождением полученных оценок с коллегиальным мнением экспертной комиссии.

Статьи, опубликованные в периодических издапнях, рекомендуемых ВАК

1. Ильичева C.B. Автоматизация многокритериального оценивания учебных достижений студентов в слабострукгурированных предметных областях на основе е-портфолио // Дистанционное и виртуальное обучение. - 2011. - № 9. - с. 67-77.

2. Ильичева C.B. Особенности автоматизации образовательного процесса по дисциплине «Мультимедиа технологии» // Открытое и дистанционное образование. - 2010. - №2(38). - с. 4247.

3. Ильичева C.B. Е-портфолио как инструмент эффективного управления образовательной деятельностью студента по дисциплине на основе рефлексивного мониторинга индивидуальных достижений // Дистанционное и виртуальное обучение. - 2010. -№8(37).-с. 74-84.

Другие публикации результатов исследования

4. Ilícheva S. Cognitive Function of Multimedia Learning / ТЪе Future of Education Conference Proceedings / Edited by Pixel. - Milano - Italy: Simonelli Editore - 2011. - Volume 1, pp. 246-250. ISBN 978-88-7647-647-1.

5. Ильичева C.B. Разработка модели электронного портфолио на базе Mahara/Moodle как технологии управления качеством образовательного процесса и индивидуальным прогрессом студента / Сборник тезисов докладов конференции молодых ученых, Выпуск 3. - СПб: . СПбГУ ИТМО, 2011. - с. 28-29.

6. Ильичева C.B. Оценка обучающихся методом е-портфолио Н Дистанционное и виртуальное обучение. - 2010. - № 1(30). - с. 42-48.

7. Ильичева C.B. Компьютерная поддержка мониторинга индивидуальных достижений студента на уровне дисциплины I Сборник статей участников Всероссийского конкурса научных работ студентов и аспирантов «Телематика'2010: телекоммуникации, веб-технологии, суперкомпьютинг». - СПб.: СПбГУ ИТМО, 2010. - с. 145-149.

8. Ильичева C.B. Методика оценки индивидуальных достижений студента в области мультимедиа / Сборник тезисов докладов конференции молодых учеши, Выпуск I. - СПб: СПбГУ ИТМО, 2010. - с. 56-58.

9. Ильичева C.B. Активное обучение с применением мультимедиа: различные степени контроля обучаемым учебного процесса / Образовательная среда сегодня и завтра: Материалы VI Всероссийской научно-практической конференции - М.: Рособразование, 2009. - с. 147-150.

10. Ильичева C.B. Когнитивная функция мультимедиа в компьютерных системах учебного назначения / Сборник трудов конференции «Телематшса'2009», Том 2. - СПб: СПбГУ ИТМО, 2009.-е. 343-344.

11. Ильичева C.B. Повышение уровня творческого мышления и профессиональной самостоятельности студентов в области мультимедиа / Сборник трудов конференции молодых ученых, Выпуск 6. - СПб: СПбГУ ИТМО, 2009. - с. 231-236.

Тиражирование и брошюровка выполнены в учреждении

«Университетские телекоммуникации»

197101, Санкт-Петербург, Саблинская ул., 14

Тел. (812) 233 4669 объем 1 п.л.

Тираж 100 экз.

ВВЕДЕНИЕ.

I ОПИСАНИЕ ПРОБЛЕМЫ И ОБЗОР МЕТОДОВ ПРИНЯТИЯ РЕШЕНИЙ В ЗАДАЧАХ МНОГОКРИТЕРИАЛЬНОГО ОЦЕНИВАНИЯ В СЛАБОСТРУКТУРИРОВАННЫХ ПРЕДМЕТНЫХ ОБЛАСТЯХ.

1.1 Современные требования к системе оценки результатов обучения в условиях модернизации высшего образования.

1.2 Особенности автоматизированного оценивания уровня подготовки студентов в слабоструктурированных предметных областях.

1.3 Оценка обучающихся методом е-портфолио.

1.4 Обзор существующих методов принятия решений слабоформализованных задач в условиях неопределенности.

ВЫВОДЫ ПО ГЛАВЕ I.

II НАУЧНО-МЕТОДИЧЕСКОЕ ОБЕСПЕЧЕНИЕ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ МНОГОКРИТЕРИАЛЬНОГО ОЦЕНИВАНИЯ В СЛАБОСТРУКТУРИРОВАННЫХ ПРЕДМЕТНЫХ ОБЛАСТЯХ.

2.1 Разработка модели системы многокритериального оценивания результатов обучения в слабоструктурированных предметных областях.

2.2 Управление процессом обучения в слабоструктурированных предметных областях на основе методов и средств многокритериального оценивания уровня подготовки студентов.

2.2.1 Метод генерации альтернатив (е-портфолио).

2.2.2 Методы экспертной оценки и классификации альтернатив.

2.2.3 Методы оценки качества учебного процесса.

2.3 Разработка алгоритма решения задачи многокритериального оценивания результатов обучения в слабоструктурированных предметных областях.

ВЫВОДЫ ПО ГЛАВЕ II.

III СИСТЕМА МНОГОКРИТЕРИАЛЬНОГО ОЦЕНИВАНИЯ В СЛАБОСТРУКТУРИРОВАННЫХ ПРЕДМЕТНЫХ ОБЛАСТЯХ НА ОСНОВЕ Е-ПОРТФОЛИО.

3.1 Информационная система многокритериального оценивания в слабоструктурированных предметных областях на основе е-портфолио.

3.2 Программные средства реализации проекта.

3.3 Методика применения средств многокритериального оценивания в учебном процессе вуза.

3.4 Экспериментальная проверка системы многокритериального оценивания в слабоструктурированных предметных областях и статистическая обработка результатов эксперимента.

ВЫВОДЫ ПО ГЛАВЕ III.

К задачам управления оцениванием относится определение образовательных достижений учащихся для целей аттестации и коррекции индивидуальных результатов обучения, а также оценка уровня образовательных достижений группы с целью оценки качества учебного процесса (успеваемость студентов, успеваемость группы, ограничения на показатели выставленных оценок). Во многих случаях задача оценивания учебных достижений может быть представлена как задача классификации, при этом недостаточным х являются традиционные подходы к педагогическому контролю, основанные на раздельном однокритериальном оценивании. Дополнительные трудности появляются в случае слабоструктурируемых проблем, сочетающих количественные и качественные зависимости. Проблематика оценивания эффективности профессионального образования исследуется и развивается в работах И.А. Морева, A.M. Новикова, С.Д. Смирнова, A.B. Соловова, Ю.Г. Татура и др. Различные аспекты построения и функционирования автоматизированных систем управления (АСУ) рассматриваются в работах B.JI. Зудина, В.Е. Коржакова, Е.В.Луценко, О.В. Токмаковой, М.Ю. Шевелева и т.д.

Кроме того, необходимо расширение разнообразных измерений в системе оценивания и фиксация образовательных результатов в длительном периоде времени адекватным инструментарием. Портфолио является формой аутентичного оценивания образовательных результатов по продукту, созданному учащимся в ходе учебной, творческой, социальной и других видов деятельности. Электронный портфолио (е-портфолио) использует цифровые технологии, позволяющий собирать и организовывать результаты учебных достижений с помощью разных медиа-форматов (аудио, видео, графика, текст). Идеи организации педагогического процесса подобными средствами исследуются в работах Н. Barrett, Г.Б. Голуб, Т.Г. Новиковой, Т.А. Полиловой, О.Г. Смоляниновой и др.

Сравнительный анализ и многокритериальное оценивание характеризуется высокой вычислительной сложностью (А.Б. Петровский,

0.И. Ларичев, A.B. Лотов, И.И. Поспелов, A.C. Пономарев и др.). По этой причине многокритериальное оценивание учебных достижений должно осуществляться в системе управления в рамках АСУ учебным процессом. Следовательно, приобретает особую актуальность разработка математического, алгоритмического и методического обеспечения автоматизированного многокритериального оценивания результатов обучения в слабоструктурированных предметных областях на основе е-портфолио.

Цель исследования - автоматизация многокритериального оценивания в слабоструктурированных предметных областях на основе е-портфолио.

Объект исследования - процедура оценивания результатов обучения в ' слабоструктурированных предметных областях в образовательных учреждениях высшего профессионального образования.

Предмет исследования — модели, методы и алгоритмы, обеспечивающие автоматическое оценивание учебных достижений студентов на основе е-портфолио.

Для достижения поставленной цели были сформулированы и решены следующие задачи:

1. Анализ современных методов принятия решений в слабоструктурированных предметных областях и особенностей их применения в задачах многокритериального оценивания результатов обучения.

2. Построение модели автоматизированного многокритериального оценивания как обобщения однокритериальных моделей оценивания и многопараметрических методов принятия решений.

3. Разработка методов комплексной оценки результатов обучения в слабоструктурированных предметных областях на основе е-портфолио.

4. Разработка алгоритма решения задачи автоматизированного многокритериального оценивания в слабоструктурированных предметных областях на основе е-портфолио.

5. Разработка методики автоматизированного многокритериального оценивания результатов обучения в слабоструктурированных предметных областях с целью оценки качества учебного процесса.

6. Разработка программных средств, реализующих предложенные методы и алгоритмы.

Методы исследования. Для решения поставленных задач исследования в диссертации использовались: системный анализ, теория управления, теория алгоритмов, теория принятия решений, теория нечетких множеств, математическое моделирование, а также методы анализа статистических данных.

Результаты, выносимые на защиту:

1. Модель автоматизированного оценивания результатов обучения в слабоструктурированных предметных областях на основе е-портфолио, реализующая вычисление частных оценок учебных достижений и их интеграцию в комплексную оценку качества учебного процесса.

2. Метод многокритериального оценивания учебных достижений, генерирующий векторные оценки, основанные на вербальных шкалах и предусматривающий экспертную оценку, классификацию и количественную интерпретацию полученных результатов.

3. Алгоритм решения задачи автоматизированного многокритериального оценивания в слабоструктурированных предметных областях, реализующий эффективное оценивание результатов обучения в условиях нечетких исходных данных.

Научная новизна и теоретическая значимость заключается в следующем:

1. Создана модель автоматизированного решения задачи многокритериального оценивания в слабоструктурированных предметных областях, в соответствии с которой на первом этапе генерируются векторные оценки учебных достижений на основе е-портфолио, на втором - экспертная оценка и классификация на основе вербальных шкал оценивания, на третьем - оценка качества учебного процесса средствами нечеткого регулирования.

2. Разработан метод многокритериального оценивания в слабоструктурированных предметных областях, в соответствии с которым на первом этапе формируются векторные оценки учебных достижений, основанные на вербальных шкалах, а на втором этапе эти частные оценки подвергаются классификации и упорядочению. Предложен алгоритм его реализации в составе АСУ учебным процессом.

3. Предложена методика многокритериального автоматизированного оценивания, минимизирующая случайные ошибочные суждения преподавателя, состоящая в последовательном выполнении этапов оценивания: ввод начальных параметров, коэффициентов и условий оценивания; вывод частных оценок; предварительный анализ частных оценок; вывод оценки качества учебного процесса.

Практическая значимость диссертационной работы заключается в том, что:

1. Предложенный формализованный подход к построению АСУ образовательного назначения позволяет обеспечить студента и преподавателя эффективным инструментарием многокритериального оценивания в слабоструктурированных предметных областях.

2. На основе предложенного алгоритмического обеспечения разработана система многокритериального оценивания результатов обучения в слабоструктурированных предметных областях, которая прошла апробацию и внедрена в учебный процесс образовательных учреждений.

Апробация результатов исследования. Основные положения диссертационной работы и результаты проведенных исследований докладывались, обсуждались и получили одобрение на международной конференции «The future of Education» (Флоренция, Италия, 2011), на двух

Всероссийских научно-методических конференциях «Телематика» (Санкт-Петербург, 2010 и 2009), на трех Всероссийских межвузовских конференциях молодых ученых (Санкт-Петербург, 2011, 2010 и 2009), на научно-практической конференции «Наследие М.В. Ломоносова. Современные проблемы науки и техники, решаемые молодыми учеными НИУ ИТМО» (Санкт-Петербург, 2011), на XXXVIII научной и учебно-методической конференции профессорско-преподавательского состава СПбГУ ИТМО (Санкт-Петербург, 2009).

Работа была поддержана на различных этапах ее выполнения рядом научно-технических программ. В числе основных - гранты правительства Санкт-Петербурга для молодых научно-педагогических работников вузов и академических институтов в 2010, 2009 и 2008 годах.

Результаты диссертации опубликованы в 11 печатных статьях, из них 3 в изданиях, входящих в перечень российских рецензируемых научных журналов, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученых степеней доктора и кандидата наук (список ВАК).

Внедрение результатов исследования. Материалы диссертационной работы использованы при организации обучения студентов естественнонаучного факультета НИУ ИТМО специальности 230202 «Информационные технологии в образовании» и слушателей Санкт-Петербургской академии постдипломного педагогического образования.

Структура и объем диссертации. По структуре диссертация состоит из введения, трех глав и заключения. Общий объем работы составляет 121 с. Список литературы включает 111 наименований. Работа содержит 24 рисунка и 16 таблиц.

ЗАКЛЮЧЕНИЕ И ВЫВОДЫ ПО ДИССЕРТАЦИИ

Основным результатом работы является модель многокритериального оценивания результатов обучения в слабоформализованных, слабоструктурированных предметных областях с расплывчатыми ограничениями, неполными и нечеткими данными, сильно зависящими от изменений внешней среды и субъективных предпочтений преподавателя на основе применения методов теории принятия решений, теории нечетких множеств и теории управления. В исследовании для предложенной модели разработаны новые и адаптированы существующие методы, необходимые для реализации системы.

Таким образом, при проведении исследования получены следующие значимые результаты:

1. В результате анализа существующих подходов к оцениванию результатов обучения в слабоструктурированных предметных областях построена модель автоматизированного многокритериального оценивания результатов обучения на основе е-портфолио, состоящая из трех основных частей: генерация векторных оценок учебных достижений на основе е-портфолио, экспертная оценка и классификация на основе вербальных шкал оценивания, оценка качества учебного процесса средствами нечеткого регулирования. Эта модель позволяет обоснованно выбирать методы оценивания результатов обучения и создает основу для комплексного оценивания процесса обучения средствами автоматизированной системы управления учебным процессом.

2. Разработан многокритериальный метод к оцениванию учебных достижений, в соответствии с которым на первом этапе формируются векторные оценки учебных достижений, основанные на вербальных шкалах, а на втором этапе эти частные оценки подвергаются классификации и упорядочению объектов по их близости к центру класса. Этот подход позволил интегрировать количественные и качественные показатели учебных достижений студентов в слабоструктурированных предметных областях и автоматизировать интерпретацию полученных оценок в виде классов решений и в баллах.

3. Предложен алгоритм процесса оценивания, предусматривающий генерацию альтернатив на основе е-портфолио, экспертную оценку, проверку на непротиворечивость, построение решающего правила, оценку качества учебного процесса, повышающий точность оценивания учебных достижений студента по сравнению с подходом, основанным на расчете среднего арифметического полученных оценок, что подтверждено в ходе эксперимента статистически несущественным расхождением полученных оценок с коллегиальным мнением экспертной комиссии. Разработанный алгоритм программно реализован. Сформулирована методика его применения для контроля учебных достижений студентов, состоящая в последовательном выполнении таких этапов оценивания как: ввод начальных параметров, коэффициентов и условий оценивания; вывод частных оценок; предварительный анализ частных оценок; вывод оценки качества учебного процесса. Использование предложенной методики многокритериального оценивания в составе автоматизированной системы управления учебным процессом обеспечивает более объективное и достоверное оценивание учебных достижений студента, чем при их традиционном раздельном оценивании.

1. Новиков A.M. Методология учебной деятельности. М.: Эгвес, 2005. -176 с.

2. Полат Е. С., Бухаркина М. Ю. Современные педагогические и информационные технологии в системе образования: Учебное пособие для вузов. М.: Академия, 2007. — 368 с.

3. Смирнов С.Д. Педагогика и психология высшего образования: от деятельности к личности: Учебное пособие для вузов. М.: Академия, 2001. -304 с.

4. Татур Ю.Г. Высшее образование: методология и опыт проектирования: Учебное пособие. М.: Логос, 2006. - 256 с.

5. Фокин Ю. Г. Преподавание и воспитание в высшей школе: Методология, цели и содержание, творчество: Учебное пособие для вузов. -М.: Академия, 2002. 224 с.

6. Лаврентьев Г.В., Лаврентьева Н.Б., Неудахина H.A. Инновационные обучающие технологии в профессиональной подготовке специалистов. -Барнаул: Изд-во Алт. ун-та, 2002. 232 с.

7. Литвиненко М.В. Проектирование результатов подготовки специалистов в условиях модульной системы обучения: Методическое пособие. -М.: МИИГАиК, 2006. 58 с.

8. Звонников В.И., Челышкова М.Б. Контроль качества обучения при аттестации: компетентностный подход: Учебное пособие. — М.: Логос, 2009. 272 с.

9. Ефремова Н.Ф. Тестовый контроль в образовании. М.: Логос, 2007. -386 с.

10. Домрачев В.Г., Ретинская И.В. Модель создания системы сертификации набора компетенций // Материалы 1-ой Всероссийской научно-практической конференции «Устройства измерения, сбора и обработки сигналов в

11. Кочин Д.Ю. Построение баз экспертных знаний для интеллектуальных обучающих систем: Автореф. дис. . канд. техн. наук. М., 2006. - 26 с.

12. Найханова JÏ.B., Дамбаева C.B. Методы и алгоритмы принятия решений в управлении учебным процессом в условиях неопределенности: Монография. Улан-Удэ: ВСГТУ, 2004. - 164 с.

13. Сорина Г.В. Принятие решений как интеллектуальная деятельность: монография. М.: Канон, 2009. — 272 с.

14. Кулинич А.А., Титова Н.В. Модель оценки альтернатив управления слабоструктурированными динамическими ситуациями // Труды Института проблем управления. Том 28. 2007. - с. 32-45

15. Олейников Д.П., Бутенко JI.H. Принятие решений при неоднородном качественном описании альтернатив // Фундаментальные исследования: науч. теоретич. журнал. - 2005. - №7. - с. 37-39.

16. Терелянский П.В. Программные системы поддержки принятия социо-экономических и технических решений (опыт создания и проектирования) // Аудит и финансовый анализ. 2009. - № 3. - с. 145-161.

17. Петровский А.Б. Теория принятия решений: Учебник для вузов. М.: Академия, 2009. - 398 с.

18. Плаус С. Психология оценки и принятия решений. М.: Филинъ, 1998. -368 с.

19. Юдин Д.Б. Вычислительные методы теории принятия решений. М.: Наука, 1989. - 320 с.

20. Ларичев О.И. Вербальный анализ решений. М.: Наука, 2006. - 181 с.

21. Ларичев О.И. Теория и методы принятия решений, а также Хроника событий в Волшебных странах: Учебник для вузов. — 2-е изд., перераб. и доп. -М.: Логос, 2002.-392 с.

22. Олейников Д.П., Бутенко Л.Н. Использование иерархического подхода к декомпозиции задачи в методах вербального анализа решений // Успехи современного естествознания. — 2005. — № 9 — с. 81-82

23. Китаевская Т.Ю. Проектирование обучения информатике с использованием автоматизированных систем. — М.: Образование и Информатика, 2004. 142 с.

24. Мицель A.A., Романенко В.В., Веретенников М.В., Щербаков А.И. Автоматизация разработки компьютерных учебных программ. Томск: М-Принт, 2005. - 383 с.

25. Петухов М.А. Профессионально-технологическая система обучения специальным предметам: Учебное пособие. Ульяновск: УлГТУ, 2001. -199 с.

26. Соловов A.B. Проектирование компьютерных систем учебного назначения: Учебное пособие. Самара: СГАУ, 1995. - 140 с.

27. Головина Е.Ю. Объектно-ориентированные и интеллектуальные технологии создания информационных систем. М.: Издательство МЭИ, 2008. - 94 с.

28. Громов Г.Р. От гиперкниги к гипермозгу. Информационные технологии эпохи Интернет. Эссе, диалоги, очерки. М.: Радио и связь, 2004. 208 с.

29. Мамиконов А.Г. Теоретические основы автоматизированного управления. М.: Высшая школа, 1994. 489 с.

30. Пупков К.А., Егупов Н.Д., Владимиров И.Г. Методы классической и современной теории автоматического управления: Учебник для вузов. — 2-е изд., перераб. и доп. М.: Изд-во МГТУ, 2004. - 24 см.

31. Ройтенберг Я.Н. Автоматическое управление. М.: Наука, 1992. - 576 с.

32. Титоренко Г.А. Информационные технологии управления: Учебное пособие для вузов. 2-е изд., доп. - М.: ЮНИТИ-ДАНА, 2003. - 439 с.

33. Трайнёв В.А., Теплышев В.Ю., Трайнёв И.В. Новые информационные коммуникационные технологии в образовании. М.: Дашков и К, 2008. - 320 с.

34. Зудин B.JI. Педагогические программные средства и автоматизация обучения: Учебное пособие. Ярославль : Ярославский государственный технический университет, 2007. — 223 с.

35. Токмакова О.В. Управление процессом обучения: Учебное пособие. -Киров: Старая Вятка, 2005. 123 с.

36. Шевелев М.Ю., Шевелев Ю.П. Технические средства контроля знаний для систем автоматизированного обучения. Томск: В-Спектр, 2006. - 233 с.

37. Дьячук П.П. Динамические компьютерные системы управления и диагностики процесса обучения. Красноярск : ИПК КГГГУ, 2005. - 343 с.

38. Корсаков B.C. Современные информационные технологии в управлении и образовании : пятая науч.-практ. конф.: сб. тр. М.: МИРЭА, 2005. - 332 с.

39. Мишустин C.B. Алгоритмическое обеспечение автоматизированной системы управления образовательной деятельностью специалиста по эксплуатации авиационных радиотехнических средств: Автореф. дис. . канд. техн. наук. М., 2009. - 18 с.

40. Шаров А.Г. Автоматизация процессов контроля знаний с применением заданий открытого типа (на примере предметной области «Информатика»): Автореф. дис. . канд. техн. наук. — М., 2006. — 18 с.

41. Луценко Е.В., Коржаков В.Е., Лаптев В.Н. Теоретические основы и технология применения системно-когнитивного анализа в автоматизированных системах обработки информации и управления (АСОИУ) (на примере АСУ вузом). Майкоп: АТУ, 2009. - 536 с.

42. Авдеева З.К., Коврига C.B., Макаренко Д.И. Когнитивное моделирование для решения задач управления слабоструктурированными системами (ситуациями) // Управление большими системами. Вып. 16. — 2007. с. 26-39.

43. Емельянов C.B., Коровин С.К. Новые типы обратной связи. Управление при неопределенности. М.: Наука, 1997. — 352 с.

44. Плотников C.B. Алгоритмическое и аппаратное обеспечение автоматизированной системы тестирования операторов сложных технологических установок: Автореф. дис. . канд. техн. наук. — М., 2010. — 19 с.

45. Barrett H. Researching Electronic Portfolios and Learner Engagement: The REFLECT Initiative // Journal of Adolescent and Adult Literacy. 2007. - v. 50 (№ 8). - p. 436-449.

46. Clark J.E., Bret E.B. E-portfolios at 2.0—Surveying the Field // Peer Review. -2009.-v.ll (№ l).-p. 18-23.

47. Meyer В., Latham N. Implementing Electronic Portfolios: Benefits, Challenges, and Suggestions // EDUCAUSE Quarterly. 2008. - v. 31 (№ 1). - p. 34-41.

48. Андресен Б.Б., Бринк К.ван ден. Мультимедиа в образовании: специализированный учебный курс. 2-е изд., испр. и доп. - М.: Дрофа, 2007.- 224 с.

49. Новикова Т.Г., Пинская М.А., Прутченков А.С., Федотова Е.Е. Портфолио в зарубежной образовательной практике // Вопросы образования.- 2004. №3. - с. 201-238.

50. Полилова Т.А. Концепция электронного портфолио Электронный ресурс. Режим доступа: http://schools.keldysh.ru/courses/e-portfolio.htm (дата обращения 29.08.2011)

51. Clark R.E., Feldon D.F. Five common but questionable principles of multimedia learning // Cambridge University Press. 2005. - v. 4 (№ 1). - p.97-115.

52. Mayer R.E. The Cambridge Handbook of Multimedia Learning. NY, USA: Cambridge University Press, 2005. - 663 p.

53. Шлыкова O.B. Культура мультимедиа: Учебное пособие для студентов. -М.: ФАИР-ПРЕСС, 2004. 415 с.

54. Коломоец Ф.Г. Основы системного анализа и теории принятия решений.- М.: Тесей, 2006.-318 с.

55. Лотов В.А., Поспелова И.И. Многокритериальные задачи принятия решений: Учебное пособие. М.: МАКС Пресс, 2008. - 197 с.

56. Петровский А.Б. Многокритериальное принятие решений по противоречивым данным: подход теории мультимножеств //

57. Информационные технологии и вычислительные системы. 2004. — № 2. - с. 56-66.

58. Асанов A.A. Генетический алгоритм построения экспертных решающих правил в задаче многокритериальной классификации Электронный ресурс. Режим доступа: http://zhumal.ape.relarn.ru/articles/2002/155.pdf (дата обращения 29.08.2011)

59. Аскеров Э.М.оглы. Автоматизация многокритериального оценивания уровня сформированности профессиональных компетенций будущих специалистов: Автореф. дис. канд. техн. наук. — М., 2010 — 19 с.

60. Ройзензон Г.В. Интерактивные методы снижения размерности признакового пространства в задачах многокритериального принятия решений: Автореф. дис. . канд. техн. наук. М., 2008. - 25 с.

61. Кумэ X. Статистические методы повышения качества. М.: Финансы и статистика, 1990. - 304 с.

62. Локтев Д.В. Оценка качества технологического процесса // Экономика производства. 2006. — №15. — с. 18-21.

63. Пономарев С.В, Мищенко C.B. Управление качеством продукции. Инструменты и методы менеджмента качества. М.: Стандарты и качество, 2005. - 248 с.

64. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М.: Финансы и статистика, 1989. - 607 с.

65. Дубров A.M., Мхитарян B.C., Трошин Л.И. Многомерные статистические методы. М.: Финансы и статистика, 2003. - 352 с.

66. Ермолаев О.Ю. Математическая статистика для психологов. 4-е издание испр. - М.: Московский психолого-социальный институт Флинта, 2006. - 336 с.

67. Катулев А.Н., Северцев Н.А. Математические методы в системах поддержки принятия решений. М.: Высшая школа, 2005. - 312 с.

68. Электронный учебник StatSoft по промышленной статистике Электронный ресурс. Режим доступа: http://www.statsoft.ru/home/portal/textbookind/default.htm (дата обращения 29.08.2011)

69. Кузин Е.С.Информационно сложные задачи и технология их решения // Новости искусственного интеллекта. №1. — 2003. - с.24-29.

70. Пономарев А.С. Нечеткие множества в задачах автоматизированного управления и принятия решений. — Харьков: НТУ «ХПИ», 2005 — 232 с.

71. Рутковская Д., Пилиньский М., Рутковский JL. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польского Рудинского И.Д. М.: Горячая линия - Телеком, 2004. - 452 с.

72. Штовба С.Д. Введение в теорию нечетких множеств и нечеткую логику Электронный ресурс. Режим доступа: http://matlab.exponenta.ru/fuzzylogic/bookl/index.php (дата обращения 29.08.2011)

73. Алексеев В.Е. Графы и алгоритмы. Структуры данных. Модели вычислений. М.: БИНОМ. Лаборатория знаний, 2006. — 318 с.

74. Ахо А., Хопкрофт Д., Ульман Д. Структуры данных и алгоритмы. М.: Вильяме, 2003.-384 с.

75. Давыдов В.Г. Программирование и основы алгоритмизации: Учебное пособие для вузов. 2-е изд., стер. - М.: Высшая школа, 2005. - 448 с.

76. Игошин В.И. Математическая логика и теория алгоритмов: Учебное пособие. 2-е изд., стер. - М.: Академия, 2008. - 448 с.

77. Крупский В.Н. Теория алгоритмов. М.: Академия, 2009. - 205 с.

78. Левитин A.B. Алгоритмы: введение в разработку и анализ. М.: Вильяме, 2006. - 574 с.

79. Макконелл Дж. Основы современных алгоритмов. 2-е изд. - М.: Техносфера, 2004. - 368 с.

80. Матрос Д.Ш., Поднебесова Г.Б. Теория алгоритмов. М.: БИНОМ. Лаборатория знаний, 2008. — 202 с.

81. Маклаков C.B. Создание информационных систем с AIIFusion Modeling Suite. M.: Диалог-МИФИ, 2003. - 432 с.

82. Марка Д., МакГоуэн К. Методология структурного анализа и проектирования SADT. М.: 1993.-231 с.

83. Федотова Д.Э., Семенов Ю.Д., Чижик К.Н. CASE-технологии: Практикум. М.: Горячая линия - Телеком, 2005. - 160 с.

84. Черемных C.B., Семенов И.О., Ручкин B.C. Моделирование и анализ систем. IDEF-технологии: практикум. М.: Финансы и статистика, 2006. -192 с.

85. Поршнева C.B. MATLAB 7. Основы работы и программирования. М.: Бином. Лаборатория знаний, 2006. - 320 с.

86. Боланте Э. Adobe After Effects 7.0. Спецэффекты и создание видеокомпозиций. М.: Триумф, 2007. - 832 с.

87. Бурлаков М.В. Adobe Flash CS3. Самоучитель. M.: Диалектика, 2007. -624 с.

88. Гарригус С. Sound Forge 8. Звуковая студия. М.: Триумф, 2008. - 479 с.

89. Мак-Клелланд Д., Фуллер Л. Adobe Photoshop CS2. Библия пользователя. М.: Диалектика, 2007. - 944 с.

90. Третьяк Т.М., Анеликова Л.A. Photoshop. Творческая мастерская компьютерной графики. -М.: СОЛОН-Пресс, 2008. 165 с.