автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модели, методы и программные средства оценки качества информационно-образовательных ресурсов

На правах рукописи

* аврилов Сергей Игоревич

МОДЕЛИ, МЕТОДЫ И ПРОГРАММНЫЕ СРЕДСТВА ОЦЕНКИ КАЧЕСТВА ИНФОРМАЦИОННО-ОБРАЗОВАТЕЛЬНЫХ РЕСУРСОВ

05.13.01 - Системный анализ, управление и обработка информации (в информационных системах)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Автор: ' . 2 ИЮН 2011

Москва - 2011

4849070

Диссертация выполнена в Национальном исследовательском ядерном университете «МИФИ»

Научный руководитель д.т.н., профессор

Гусева Анна Ивановна

Официальные оппоненты Д.т.н., профессор

Григорьев Сергей Георгиевич,

к.т.н.

Шапкин Александр Владимирович,

Ведущая организация ФГУП «Ситуационно-Кризисный Центр

Федерального агентства по атомной энергии»

Защита диссертации состоится «5/7» ¿¿/-¿Р/-/Я_2011 года в

заседании диссертационного совета Д 212.130.03 при Национальном исследовательском ядерном университете «МИФИ» по адресу: 115409, г. Москва, Каширское шоссе, д.31.

С диссертацией можно ознакомиться в библиотеке НИЯУ МИФИ.

Отзывы на автореферат в двух экземплярах, заверенные печатью, просьба направлять по адресу: 115409, Москва, Каширское шоссе, 31, диссертационные советы НИЯУ МИФИ (тел. +7(495)323-95-26)

Автореферат разослан «.£5» [/СЮ-Я_2011 года.

Ученый секретарь диссертационного совета д.т.н.,доцент "Ч ЛеоноваН.М.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность темы

Переход к информационному обществу в мире характеризуется значимостью интеллектуального труда, ориентированного на использование мировых информационных ресурсов, и острой потребностью в коммуникациях между профессиональными сообществами, общественными организациями, государствами и т.д. Роль информационных и коммуникационных технологий в развитии общества фактически привела к образованию нового технологического уклада. В результате общество приступило к созданию единого мирового информационного пространства, или, мировых информационных ресурсов.

Информационные ресурсы - вся накопленная информация об окружающей нас действительности, зафиксированная на материальных носителях или в любой иной форме, обеспечивающей передачу информации во времени и пространстве между различными потребителями для решения различных задач (научных, образовательных, производственных, управленческих и других). Существуют различные виды классификации информационных ресурсов: по виду деятельности или тематике, для которой они предназначены; по форме представления информации; по способу ограничения доступа или защите и т.д.

В соответствии с целевым назначением будем выделять информационно-образовательные ресурсы как информационные ресурсы, представленные в электронной форме, основной целью которых является обучение, а не просто хранимая в них информация (контент). Исходя из вышесказанного, следует, что информационно-образовательный ресурс должен обладать рядом свойств, для пригодности к использованию в обучении: научность; объективность; полнота; достоверность; адекватность; доступность; актуальность.

С другой стороны, ИОР - это программная система, которая представляет собой продукт, качество которого может быть определено согласно соответствующим международным стандартам ИСО 9000, 9001, 9002 и 9003 (редакция 2000 года), которые содержат универсальные требования к системе качества и определяют различные модели его обеспечения на разных этапах жизненного цикла.

Предложенные в работе алгоритмы и модели при оценке качества ИОР позволяют учесть обе их сущности - информационную и специализированную по области применения. Так же при оценке качества ИОР применяется методологии ШЬМТБМ и БСОКМ. Это позволяет считать тему актуальной.

Объектом исследования диссертационной работы являются информационно-образовательные ресурсы.

Предметом исследования диссертационной работы являются модели и методы оценки ИОР на различных стадиях жизненного цикла.

Большой вклад в разработку вопросов оценки эффективности электронного обучения и качества информационно-образовательных ресурсов внесли работы отечественных и зарубежных ученых и специалистов в области управления электронными образовательными ресурсами, оценки эффективности и качества обучения: С.Г. Григорьева, М.В. Булгакова, Е.Г. Гридиной, А.Д. Иванникова, В.А. Старых, А.Н. Тихонова, В.В. Ли-паева, А.И. Гусевой, А.И. Башмакова, Галкиной А.И., Соловова A.B., К.Г. Скрипкина, Т.Саати и других. В исследовании использовались материалы, включенные в международные, государственные и отраслевые стандарты.

Цели и задачи исследования

Целью диссертационного исследования является разработка моделей, методов и программных средств для оценки информационно-образовательных ресурсов на базе методологии ITILAITSM для улучшения эффективности управления информационно-образовательными ресурсами и повышения их уровня качества.

Достижение поставленной цели исследования определяет необходимость решения следующих задач:

1. Исследовать современные методы и средства оценки качества информационных систем, позволяющие определить специфику информационно-образовательных ресурсов, провести анализ существующих методов оценки;

2. Разработать модель управления качеством ИОР в рамках спиралевидной модели жизненного цикла по методологии SCORM;

3. Разработать комплексную иерархическую многоуровневую систему оценки качества информационно-образовательных ресурсов, учитывающую как информационные свойства, так и целевое назначение ресурсов;

4. Осуществить математическое и алгоритмическое обоснование решения задачи управления качеством информационно-образовательных ресурсов;

5. Разработать информационную систему для оценки качества информационно-образовательных ресурсов;

6. Экспериментально проверить разработанные модели, методы и программные средства на процессах проектирования и разработки ИОР.

Методы исследования

Для решения поставленных в диссертационной работе задач использовались метод семантического эквивалентирования из общей теории систем, метод анализа иерархий Т. Саати, метод аналитических сетей, метод

смещенного идеала. При разработке программного обеспечения использовались методы объектно-ориентированного программирования.

Достоверность работы

Научные положения и выводы, полученные в диссертационной работе, являются достоверными и обоснованными, что подтверждается проведенными в работе экспериментальными и теоретическими исследованиями, сравнительным анализом результатов с общеизвестными исследованиями, сравнительным анализом полученных результатов с другими моделями оценки качества, соответствующими актами о внедрении, представлением основных результатов диссертации на международных конференциях и выставках.

Научная новизна. Научная новизна работы заключается в следующем:

1. Систематизированы наборы функциональных требований уровней специализированного качества ИОР; с помощью агрегирования методологии ШЬ/ИБМ по описанию ИОР через набор информационных сервисов информационных ресурсов и методологии БСОЯМ, с помощью которой данные информационные ресурсы разработаны, выделены наборы общих и специализированных свойств исследуемых объектов, что позволило интегрировать две сущности ИОР - информационную и специализированную по области применения;

2. Разработана модель управления качеством ИОР в рамках спиралевидной модели жизненного цикла по методологии БСОЯМ для повышения их качества, а так же комплексная модель оценки качества ИОР, позволяющая оценивать ресурсы различного уровня, сложности и предназначения;

3. Адаптирован метод анализа иерархических сетей и разработаны алгоритмы для решения задачи управления качеством следующих информационно-образовательных ресурсов: информационно-образовательных порталов, программных тренажеров и ИОР как объектами инновационной инфраструктуры;

4. Разработано программное приложение на базе предложенных моделей, позволяющее оценивать качество ИОР на всех этапах спиралевидного жизненного цикла;

5. Проведена комплексная оценка ИОР как объектов инновационной инфраструктуры в рамках реализации программы «Формирование в НИЛУ МИФИ инновационной среды, обеспечивающей коммерциализацию результатов НИОКР во взаимодействии с промышленными предприятиями в рамках перехода на новые технологические платформы».

Практическая значимость результатов диссертации. Практическая значимость заключается в разработанной и внедренной модели управле-

ния качеством ИОР в рамках спиралевидной модели жизненного цикла по методологии БССЖМ, а так же программном средстве, позволяющем оценивать качество ИОР различного уровня. Данные результаты диссертационной работы позволяют вовлечь в процесс управления качеством ИОР всех участников образовательного процесса.

Разработано и внедрено программное средство для оценки ИОР различной сложности и назначения в рамках предложенной классификации — Программа для ЭВМ «Система оценки информационно-образовательных ресурсов» (Свидетельство о регистрации программы для ЭВМ № 2010616101 от 16.09.2010).

Разработанная модель и программные средства были использованы:

1. При проектировании и разработке 12 электронных обучающих курсов и 3 программных тренажеров в рамках выполнения работ по проекту АВЦП «Развитие научного потенциала высшей школы (2009-2010 годы)». Использование полученных научных и практических результатов позволило значительно снизить сроки разработки указанных ИОР и гарантировать требуемое качество, что подтверждено соответствующим актом о внедрении. Все указанные информационно-образовательные ресурсы в настоящее время внедрены в учебный процесс НИЯУ МИФИ, по ним прошли обучение более 2000 учащихся и слушателей.

2. При проектировании системы поддержки научно-исследовательской деятельности в рамках работ по проекту ФЦП «Научные и научно-педагогические кадры инновационной России (2009-2013 гг.)», что подтверждено соответствующим актом об использовании. В настоящее время система поддержки научно-исследовательской деятельности готовится к вводу в опытную эксплуатацию.

3. При проектировании электронных обучающих курсов «Дискретная математика» и «Информатика» в рамках Программы создания и развития НИЯУ МИФИ (2010 г.), предназначенных для электронного и дистанционного обучения на основе унифицированных информационных ресурсов в рамках единого образовательного пространства НИЯУ МИФИ.

4. При комплексной оценке учебно-методологического и научно-методического обеспечения в рамках реализации программы «Формирование в НИЯУ МИФИ инновационной среды, обеспечивающей коммерциализацию результатов НИОКР во взаимодействии с промышленными предприятиями в рамках перехода на новые технологические платформы». Рассмотренные ИОР предназначены для развития инновационной инфраструктуры образовательных учреждений.

Положения, выносимые на защиту:

1. Комплексная модель оценки качества ИОР, интегрирующая две их сущности - информационную и специализированную по области при-

менения, которая позволяет оценивать ИОР различного уровня сложности и предназначения в рамках предложенной классификации.

2. Результаты адаптации метода анализа иерархических сетей, математическое и алгоритмическое обеспечение решения задачи управления качеством информационно-образовательных ресурсов в рамках спиралевидной модели жизненного цикла по методологии БСОЯМ.

3. Программное приложение на базе предложенных моделей, позволяющее оценивать качество ИОР на всех этапах жизненного цикла.

4. Содержательные результаты управления качеством ИОР, полученные в ходе использования программного приложения при проектировании и разработке целого ряда электронных обучающих курсов и программных тренажеров, системы поддержки научно-исследовательской деятельности, а так же комплексной оценке учебно-методологического и научно-методического обеспечения в рамках выполнения работ по проектам федеральных и ведомственных целевых программ.

Апробация и внедрение результатов исследования.

Основные результаты диссертационного исследования докладывались и обсуждались на международных и всероссийских конференциях и семинарах, в том числе:

- Научные сессии МИФИ 2007-2011 гг.;

- ХУП-Х1Х Международные научно-технические семинары «Современные технологии в задачах управления, автоматизации и обработки информации» (г. Алушта, 2008-2010 гг.);

- Международные конференции-выставки «Информационные технологии в образовании» 2009-2010 гг.

Разработанное программное приложение для оценки качества ИОР и программные тренажеры экспонировалось на XIII выставке научно-технических работ "НАУКА И ИННОВАЦИИ НИЯУ МИФИ" (2011 г.).

Публикации. По теме диссертационного исследования опубликовано 15 работ, 3 из которых опубликованы в изданиях, рекомендованных ВАК для публикации основных результатов диссертационных исследований и 2 являются работами, приравненными к публикациям.

Структура работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложений. Общий объем работы составляет 138 страниц. Диссертация содержит 2 приложения, 10 таблиц и 45 рисунков. Список использованной литературы состоит из 81 наименования.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность рассматриваемой проблемы, определены цель, задачи, предмет, объект исследования, раскрыта его теоретическая и информационная база, изложены научная новизна, теоретическая и практическая значимость.

В первой главе анализируется современное состояние дел в отрасли электронных ИОР, существующие стандарты их создания.

Определение понятия "информационные ресурсы" было сформулировано в Федеральном законе "Об информации, информатизации и защите информации". "Информационные ресурсы - отдельные документы и отдельные массивы документов, документы и массивы документов в информационных системах (библиотеках, архивах, фондах, банках данных, других информационных системах)".

Под ИОР будем понимать информационный ресурс, используемый для целей обучения. Обозначив информационный ресурс, как образовательный необходимо соответственно выделить ряд присущих ему свойств: объективность; полнота, качество и достаточность для реализации учебной дисциплины; достоверность; адекватность; доступность; актуальность.

Для информационных обучающих ресурсов предлагается выделить шесть уровней специализированного качества, отражающих функциональность ИОР. Эти уровни обеспечивают возрастающую шкалу, которая позволяет соотнести получаемый уровень системности со стоимостью конкретной разработки и возможностью достижения ожидаемого качества:

- опубликованный электронный документ — информационный ресурс, используемый в учебном процессе, без привязки к технологиям обучения, как то объявление, конспект лекций, база данных с учебно-методическим наполнением и т.д. (УСК 0);

- программная оболочка с соответствующим педагогическим наполнением, которая используется для самообразования на локальном компьютере (УСК 1);

- образовательный портал, содержащий набор единообразных образовательных элементов, распределенных по сети, и поддерживающий унифицированную систему доступа к ресурсам (УСК 2);

- образовательный портал, включающий в себя систему организации и поддержки обучения (УСК 3);

- система управления обучением (ЬМБ), поддерживающая адаптируемые модели обучаемого, инструктора, модуля оценок и образовательных ресурсов (УСК 4);

- интеллектуальные многоагентные обучающие системы (УСК 5).

Отличительной особенностью данной классификации является применение факторов узкоспециализированного качества. Факторы строятся на основе методологии ITIL/ITSM, определяя каждый уровень специализированного качества как соответствующий набор сервисов, предоставляемых ИОР различным группам пользователей. Набор сервисов для каждой группы пользователей индивидуален, но в то же время сервисы в данных наборах могут повторяться. Выбранный подход позволяет подойти к вопросу оценки качества ИОР как к совокупности оценок качества ИОР с точки зрения каждой группы пользователей и соответствующих им наборов сервисов.

Проектирование ИОР в формате SCORM дает возможность впервые реализовать спиралевидный жизненный цикл образовательного ресурса, когда не только контент, но и сам информационный ресурс, представленный SCO (Sharable Content Objects), представляет собой объект, который многократно используется для обновления, дополнения и улучшения обучающего ресурса. Эти достоинства SCORM, используемые при создании, так же учитываются в системе показателей качества.

В условиях спиральной модели жизненного цикла необходимо осуществлять мониторинг качества и эффективности программного средства непрерывно. В связи с этим, первоочередной задачей является создание комплексной системы оценки качества и модели управления качеством ИОР в рамках данного вида жизненного цикла. Агрегирование свойств методологий ITILMTSM и SCORM позволяет на каждом его этапе оценить качество ИОР и сформулировать рекомендации по его повышению, учитывая интересы каждой группы пользователей ИОР.

Анализ существующих средств оценю! качества ИОР, таких как: Оценка электронных ресурсов науки и образования (ОФЭРНиО), Система оценки качества программных комплексов для дистанционного обучения (МИЭМ) и других показал, что ни одна из них не рассматривает качество ИОР с применением совокупности методологий, рассматриваемых в данной работе.

Используя принцип семантического эквивалентирования, жизненный цикл ИОР можно описать как

Ч-q,,Ч^ >^з - модели этапов жизненного цикла, a Pq (vF;.,Ш j) - предикат функциональной целостности, отражающий правомерность перехода между ними. На каждом этапе жизненного цикла модель Ч1. Sj ^

распределенной обучающей системы отражает необходимость нашего представление о ней. Использование методологии управления качеством

ИОР приводит к необходимости эквивалентировать систему Е новой системой Е"',

~ = (^0' ' ' ' Р0 ('Р/'' где 1р;=рср;.)

Носитель М;. расширяется за счет включения множества показателей качества к и множества контрольных точек г, а сигнатура Б- изменяется

за счет добавления:

- предиката Pj , отражающего соответствие между показателями качества к- и контрольными точками г ., в которых они измеряются;

- предиката Р2 , который определяет, удовлетворяют ли значения показателей качества требуемому значению в данной контрольной точке или нет;

- множества функций Р для измерения нужных показателей качества в нужных точках,

- множества функциональных отношений Я, отражающего переход к следующей контрольной точке и множество корректирующих и идентифицирующих нотаций N.

Таким образом, применение модели управления качеством ИОР в рамках спиралевидного жизненного цикла по методологии БСОЯМ приводит к эквивалентированию системы Е новой системой Е', отражающей показатели качества ИОР на его следующем этапе.

Во второй главе, с учётом результатов анализа предметной области, произведено моделирование жизненного цикла ИОР и процесса оценки качества ИОР, как его составляющей.

Для разработки модели управления качеством ИОР в рамках спиралевидного жизненного цикла по методологии БСОЯМ выполнены:

- моделирование процессов управления качеством ИОР;

- применение метода анализа иерархий как наиболее гибкий и удобный механизм сопоставления показателей качества ИОР;

- обобщение метода аналитических сетей для учета зависимости между показателями качества;

- определение набора показателей качества ИОР различных уровней.

Модель процесса управления качеством ИОР представляет собой детализацию особенностей спиралевидного жизненного цикла ИОР, описывает процесс обеспечения качества, как без применения разработанных средств, так и с их помощью. Модель разработана с использованием про-

граммного комплекса Enterprise Architect и используется как эффективный инструмент визуализации разрабатываемой технологии.

Метод анализа иерархий может применяться в тех случаях, когда эксперты не могут дать абсолютные оценки альтернатив по критериям, а пользуются более слабыми сравнительными измерениями. Метод позволяет получить приоритеты в шкале отношений.

К недостаткам метода можно отнести возможность ошибочного введение новой, недоминирующей альтернативы, которая может в общем случае привести к изменению предпочтений между двумя ранее заданными альтернативами. Тем не менее, данный метод подходит для получения искомых оценок качества анализируемого ИОР.

Особенность метода заключается в том, что анализ иерархий ориентируется на суждения экспертов с возможностью их проверки на непротиворечивость при высокой строгости дальнейшей математической обработки, базирующейся на методе собственного значения и принципе иерархической композиции. Сущность метода состоит в декомпозиции показателей качества ИОР на все более простые составляющие части и дальнейшая обработка последовательности суждений, сравнивая пары альтернатив.

Показатели для оценки качества ИОР составим, опираясь главным образом на данные стандарта ISO 9126 «Качество программных средств». Логика стандарта предполагает деление показателей качества программного средства (далее - ПС) на две категории.

Первая категория, основанные показатели, - функциональные, определяются в зависимости от типа разрабатываемого ПС, его назначения, целевой группы и т.д. - показатели, характеризующие УСК.

Ко второй категории показателей относятся общие показатели оценки качества ИОР, которые в целом можно отнести к любому разрабатываемому ПС. Показатели этой категории поддерживают показатели первой, т.е. являются факторами, влияющими на улучшение общего показателя качества, но не играющими определяющей роли в оценке качества ИОР.

В результате опроса экспертов заполняется матрица А, где элемент а у (А- важнее или равно A j) определяется от а ^ =1 - свойства равны по

значимости, доа^=9 - А- имеет абсолютное превосходство над А .. Если напротив, имеется превосходство элемента А • относительно А., то элемент а^ = 1/а^.

Для каждой таблицы вычисляется вектор приоритетов одних критериев над другими: суммировать элементы каждой строки и нормализовать делением каждой суммы на сумму всех элементов; сумма полученных

результатов будет равна единице. Первый элемент результирующего вектора будет приоритетом первого объекта, второй - второго объекта и т. д.

п .¡=1

Затем каждый вектор нормируется:

* со-

I

о). =--—

' п

Найденный вектор приоритетов соответствует главному собственному вектору [с).). Значение со- для каждого критерия соответствует искомой весовой функции <я(/, у), которая отражает значимость (вес) критерия в формировании фактора либо критерия более высокого уровня иерархии.

На следующем шаге находится индекс согласованности для каждой таблицы. Согласованность мнения экспертов можно оценить по величине коэффициента конкордации (далее - КК):

„г ™ , где »2(»3-«)

Б - сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения, п - число экспертов, т - число объектов экспертизы.

Коэффициент конкордации изменяется в диапазоне 0<\У<1, причем 0 -полная несогласованность, 1 - полное единодушие. При построении иерархий, значение КК ниже 0,9 недопустимо.

Далее необходимо определить вид функции полезности. Для включения в функцию пользовательских ограничений принято решение использовать так называемые потребительские ограничения. В работе в качестве функции полезности предлагается использовать аддитивную функцию (метод смещенного идеала - один из методов решения оптимизационных задач). Данный метод является универсальным и позволяет решить широкий круг практических задач.

Выбираются допустимые решения О • - объекты многокритериальной

задачи -,х]п) Для которых по каждому критерию удовлетворя-

ется ограничение типа х/ >/., где

- /=1,2,...,1; - - предельно допустимые потребительские значения выбранных критериев качества.

По каждому критерию выбирается максимальное значение среди рассматриваемых, в результате чего формируется вектор, обозначающий искомый идеал:

j_nmах rmax гшах ЛшахЛ i-^j ,i2 ,...,ii ,...,in )

Для каждого из рассматриваемых объектов по каждому из критериев, находится отклонение от идеала. Эти отклонения являются аддитивной целевой функцией:

пор = 0 ^ если \/x<fi

Таким же образом рассчитываются пользовательские ограничения, позволяющие оценить степень соответствия ИОР ожиданиям пользователей.

После получения функция полезности для ИОР и для пользовательских ограничений, можно сделать вывод об эффективности ИОР. Чтобы ИОР

считался эффективным, необходимо, чтобы F^Qp > F^q ■

При вычислении весов показателей качества необходимо учитывать возможную зависимость между схожими показателями качества в иерархии (Рис.1). Для учета данных зависимостей предлагается использовать обобщенный вариант Метода аналитических сетей (далее - MAC) - универсального инструмента измерений зависимостей в иерархии показателей.

Рисунок 1. Зависимые показатели качества из разных факторов

MAC требует больших затрат труда для представления фактов и их взаимосвязей, поэтому в данной работе он используется не как основной метод, а как вспомогательный - для учета зависимости между объектами иерархии.

Суть MAC заключается в выделении зависимых (схожих) критериев, которые могут повлиять на точность конечного результата оценки (Рис. 1). Далее выделенные критерии сравниваются таким образом, чтобы оценить степень их влияния на третий элемент того же компонента относительно управляющего критерия.

Так как в работе рассматривается зависимость критериев из разных кластеров факторов - общих и факторов специализированного качества, то предлагается использовать MAC для учета зависимости между объектами иерархии. Для этого следует обобщить общие и специализированные факторы в один - Качество ИОР. Данная модификация будет являться компромиссным подходом, позволяющим получить приемлемый по точности результат при небольших затратах времени.

Для получения необходимого результата следует рассчитать вес каждого показателя в обеих иерархиях (общих показателей качества и показателей специализированного качества) по отдельности.

* (О:

со. =--—

' п

*

Значение со. для каждого показателя соответствует искомой весовой функции со (i,j), которая отражает значимость (вес) показателя в формировании фактора, либо критерия более высокого уровня иерархии. Далее необходимо объединить обе иерархии в одну - Качество ИОР. После этого расчет весов каждого показателя иерархии производится заново.

т. = ■

1 п ,

Значение а. для каждого показателя новой иерархии соответствует искомой весовой функции ©'(/,/), которая отражает значимость (вес) каждого показателя новой объединенной иерархии в формировании фактора либо критерия более высокого уровня. Значения весов показателей двух разных иерархий будут отличаться. Для того чтобы учесть данный факт, необходимо посчитать среднее значение веса каждого показателя.

СО +0) СО. = -!—!-' 2

Значение а*и соответствует искомой весовой функции ет"о,которая отражает значимость (вес) каждого показателя с учетом возможных

зависимостей между показателями качества. Данные значения следует использовать в дальнейших расчетах.

В третьей главе было спроектировано и разработано программное средство для оценки качества ИОР. Так же рассмотрены варианты оценки экономической эффективности от использования разработанных моделей и информационной системы.

Проектирования информационной системы было реализовано посредством иМЬ (Рис.2).

«Target>> Повышение качества ИОР

<<Target» Повышение уровня образован»«

<<Target» Сокращеже временных затрат

-N_

«Target» Сокращение денежных затрат

Рисунок 2. Цепи системы

Система имеет две сущности пользователей это «Администратор» и «Пользователь ИОР», который осуществляет оценку используемого им образовательного ресурса, и, соответственно, состоит из двух подсистем: «Администрирование» и «Оценка».

Типовые функциональные требования системы составляют функциональные требования для каждой из двух подсистем (Рис.3)

Редактирование сведений об оцениваемом ИОР

Редактирование свдений о мэдели оценки

Анализ данных

Пользовательская оценка ИОР

Рисунок 3. Функциональные требования к системе

Для того чтобы программное средство не было ограничено в применении определенными видами ИОР и несколькими уровнями УСК, подход к его созданию подразумевал создание такой системы, чтобы глубина вложенности уровней показателей качества, а так же их состав был настраиваем и зависел только от задач, стоящих перед его пользователями.

Экономическая модель оценки эффективности методов управления ИОР оценивается на основе расчета выгод от субституции ИОР. Для этого в классическую модель совокупной стоимости владения (Total Cost of Ownership, TCO) введен ряд дополнительных показателей.

Полученные данные показали, что при разработке ИОР, затраты связанные с оценкой качества без использования ПС выше на 15%, нежели с использованием ПС (Рис.4).

Дополнительные затраты связанные с оценкой качества

ШШШШ

: .

................................................................... йЗьчрашна оценку курса

тяжтт

й Зз:!>э:ы уче^а Эцечки

ЯК. : ИЯШтвА««'■

С лримен^ииел* РС лваменоиий ПС

Рисунок 4. Дополнительные затраты на оценку качества ИОР

В 4 главе рассмотрены результаты внедрения разработанных моделей и программного средства для оценки качества ИОР.

В рамках работы по созданию модели управления качеством ИОР были разработаны иерархии для двух уровней ИОР, соответствующих УС-КЗ и УСК4. При этом показатели Общего качества у них одинаковые, так как на данных уровнях ИОР отличаются в основном в рамках своего предназначения.

Для расчета весовых коэффициентов каждого показателя был проведен опрос экспертов, который позволил получить следующие данные:

1) Весовые коэффициенты показателей Общего качества (для УСКЗ и УСК4) (Рис.5).

0,132

0,160 0,1-10 0,120 0,100 0,080 0,060 0,040 0,020 0,000

Рисунок 5. Весовые коэффициенты показателей Общего качества

16

2) Весовые коэффициенты показателей Специализированного качества для УСКЗ (Рис.6):

0. 36 «• ад.......................... 0.1 25

0 059

0,€ 51 О.С 51 О.С

0.018 л : О.С 0.022

1 Я-п- . п п @ п1!

Рисунок 6. Весовые коэффициенты показателей Специализированного качества

для УСКЗ

3) Весовые коэффициенты показателей Специализированного качества для УСК4 (Рис.7):

0,120 : 0,100 : 0,080 : 0,060 : 0,040 :

О.

0,020 : 001» ] 0.005 |

0,000

0.007 Г

е I

о.ою г;

КМ Е) 0.00* (;:

# «я'с?

> с.-1" ^

Рисунок 7. Весовые коэффициенты показателей Специализированного качества

для УСК4

Полученные весовые коэффициенты использовались для оценки качества таких систем, как Программа развития инновационной инфраструктура НИЯУ МИФИ (разрабатываемая в рамках Постановления Правительства РФ №219 от 9 апреля 2010 г.), Информационно-образовательная система МИФИСТ, Образовательный портал lntuit.ru (Интернет-университет), отдельные курсы порталов МИФИСТ и Intuit.ru.

Результаты оценки говорят о том, что образовательная система МИФИСТ является качественным иформционно-образовательным ресурсом, предоставляющим полный спектр функционала для достижения основной цели любого ИОР - обеспечения качественного образовательного процесса. Это подтверждается проведенным опросом, в котором приняли участие как преподавательский состав НИЯУ МИФИ, так непосредственные пользователи - студенты.

На представленном рисунке (Рис.8) видно, что каждая оценка каждого показателя системы МИФИСТ равна или превосходит значение пользовательских ограничений для ИОР такого уровня, заданных экспертами при разработке модели управления качеством ИОР.

Для сравнения приведена так же экспертная оценка качества известного информационно-образовательного ресурса INTUIT.RU.

^^—Пользовательские ограничения — Оценка качества ИОР МИФИСТ-——Оценка качества Int4it.ru

Рисунок 8. Соответствие оценок специализированного качества МИФИСТ пользовательским ограничениям

Так же в рамках проекта «Развитие теории характеризационного управления для интеграции научного и образовательного пространств распределенного исследовательского университета и создание веб-ориентированной системы интеграции» федеральной целевой программы «Научные и научно-педагогические кадры инновационной России (20092013 гг.)» с помощью разработанной модели осуществлено выделение сервисов для каждого типа пользователей Системы поддержки научной деятельностью (СПНД) на основе разработанной спецификации системы, то есть на начальной стадии жизненного цикла системы (Рис.9).

Выделенные сервисы позволили определить показатели качества и с помощью опроса экспертов определить их весовую значимость. Был произведен расчет потребительских ограничений, который позволил после разработки системы оценить ее на соответствие требуемому уровню качества.

Спецификация СПНД

Определение типов пальзовате- | лей. выделение сервисов, определение показателей качества

Определение потребительских

Разработка СПНД в соответствии с выделенными показателями каче-

; Оценка СЯНД после разработки

Соответствует требованиям

Не соответствует требованиям

Эксплуатация

Рисунок 9. Применение модели оценки качества ИОР

В заключении приведены научные выводы по результатам проведенных исследований, практические рекомендации, изложены направления для дальнейшего исследования.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИОННОГО РАБОТЫ

!. Систематизированы наборы функциональных требований уровней специализированного качества ИОР; с помощью агрегирования методологии 1Т1Ь/1Т8М по описанию ИОР через набор информационных сервисов информационных ресурсов и методологии БСОИМ, с помощью которой данные информационные ресурсы разработаны, выделены наборы общих и специализированных свойств исследуемых объектов, что позволило интегрировать две сущности ИОР - информационную и специализированную по области применения;

2. Разработана модель управления качеством ИОР в рамках спиралевидной модели жизненного цикла по методологии SCORM для повышения их качества, а так же комплексная модель оценки качества ИОР, позволяющая оценивать ресурсы различного уровня, сложности и предназначения;

3. Адаптирован метод анализа иерархических сетей и разработаны алгоритмы для решения задачи управления качеством следующих информационно-образовательных ресурсов: информационно-образовательных порталов, программных тренажеров и ИОР как объектами инновационной инфраструктуры в соответствии с Постановлением правительства РФ 9 апреля 2010 г. №219.

4. Разработано программное приложение на базе предложенных моделей, позволяющее оценивать качество на всех этапах жизненного цикла ИОР.

5. Впервые проведена комплексная оценка ИОР как объектов инновационной инфраструктуры в рамках реализации программы «Формирование в НИЯУ МИФИ инновационной среды, обеспечивающей коммерциализацию результатов НИОКР во взаимодействии с промышленными предприятиями в рамках перехода на новые технологические платформы».

6. С помощью разработанной программной реализации системы оценки качества ИОР (свидетельство о регистрации программы для ЭВМ № 2010616101 от 16.09.2010) было проведено проектирование и сформированы функциональные требования для 12 электронных обучающих курсов и 3 программных тренажеров в рамках проекта № 3.2.3/6542 АВЦП «Развитие научного потенциала высшей школы (2009-2010 годы)».

7. С помощью программной реализации системы оценки качества ИОР были проведены проектирование и разработка электронных обучающих курсов «Информатика. Части 1-4» и «Дискретная математика. Части 1-3» в рамках Программы создания и развития НИЯУ МИФИ (2010 г.).

8. Предложенная модель управления качеством использована при выполнении работ в рамках проекта по ФЦП «Научные и научно-педагогические кадры инновационной России (2009-2013 гг.)» в части разработки моделей информационных сервисов по методологии ITIL/ITSM системы поддержки научно-исследовательской деятельности, что подтверждено соответствующим актом об использовании.

Работы, опубликованные по теме диссертации

Публикации в изданиях, рекомендованных ВАК:

1. Гаврилов С.И. Модель управления качеством информационно-образовательных ресурсов / Гусева А.И., Гаврилов С.И., Тихомирова А.Н. // Программные продукты и системы. №1, 2010. - с. 146-149.

2. Гаврилов С.И. Система оценки качества информационно-образовательных ресурсов / Гусева А.И., Гаврилов С.И. // Качество. Инновации. Образование. - 2010. - №5. - с. 9-15.

3. Гаврилов С.И. Инструментарий для оценки качества информационно-образовательных ресурсов / Гусева А.И., Гаврилов С.И., Воронцова А.Н. // Аудит и финансовый анализ. - 2010. - №6. - с. 353-358.

Работы, опубликованные в других рецензируемых изданиях:

4. Гаврилов С.И. Оценка эффективности информационной системы на этапе внедрения на основе методологии ITIL/ITSM / Гусева А.И., Гаврилов С.И. // Информационная математика № 1(6), 2007, с. 74-80.

Работы, опубликованные в сборниках трудов конференций:

5. Гаврилов С.И. Жизненный цикл информационных образовательных ресурсов в формате SCORM /Гаврилов С.И., Гусева А.И., Цыплаков A.C. // Информационные технологии в образовании. XIX Международная конференция-выставка: сб. научных трудов. Часть II. — М.:МИФИ, 2009. -с. 64-66.

6. Гаврилов С.И. Модель оценки качества информационно-образовательных ресурсов // Международная конференция «Информационные технологии в образовании»: сб. тезисов, Часть 2 "Единая информационная среда образовательного учреждения". - М.:2010. - с. 249-251.

7. Гаврилов С.И. Оценка затрат на распределенную информационную систему на основе совокупной стоимости владения // Научная сессия МИФИ-2009. XII Московская международная телекоммуникационная конференция студентов и молодых ученых «МОЛОДЕЖЬ И НАУКА». В 2-х частях. Ч. 1. М.: МИФИ, 2009. - с. 219-220.

8. Гаврилов С.И. Сервисная модель информационно-образовательной среды // Научная сессия НИЯУ МИФИ-2010. XIII Московская международная телекоммуникационная конференция студентов и молодых ученых «МОЛОДЕЖЬ И НАУКА». В 3-х частях. Ч. 3. М.: НИЯУ МИФИ, 2010, с. 179-180.

9. Гаврилов С.И. Проектирование и разработка программного средства для оценки качества информационно-образовательного ресурса // Научная сессия НИЯУ МИФИ-2011. XIV Московская международная телекоммуникационная конференция студентов и молодых ученых «МОЛОДЕЖЬ И НАУКА». В 3-х частях. Ч. 3. М.: НИЯУ МИФИ, 2010, с. 111112.

10. Гаврилов С.И. Соглашение об уровне сервиса (SLA) и его роль в процессе взаимодействия бизнеса и ИТ // Современные технологии в задачах управления, автоматики и обработки информации: Труды XVII Международного научно-технического семинара. Алушта, сентябрь 2008 г. - СПб.: ГУАП, 2008. - 286 с. 225.

11. Гаврилов С.И. Использование совокупной стоимости владения в управлении ИТ-службами // Современные технологии в задачах управления, автоматики и обработки информации: Труды XVIII Международного научно-технического семинара. Алушта, 2009 г. - СПб.: ГУАП, 2009. с. 266.

12. Гаврилов С.И. Построение системы оценки качества информационно-образовательного ресурса // Современные технологии в задачах управления, автоматики и обработки информации: Труды XIX Международного научно-технического семинара. Алушта, 2010 г. - Издательский дом МЭИ, 2010. с. 124-125.

13. Гаврилов С.И. Применение метода анализа иерархий Т. Саати для оценки информационной системы // Научная сессия МИФИ-2007 Сборник научных трудов. М.:МИФИ, 2007, Т.2, с. 108-109.

Приравненные к публикациям работы:

14. Гаврилов С.И. Программный тренажер «Вычислительные сети и телекоммуникации. Стек TCP/IP» / Гусева А.И., Киреев B.C., Гаврилов С.И., Маслий Н.П., Цыплаков A.C., Кожин И.М., Иванов A.B.// М.: РОСПАТЕНТ, Свидетельство о государственной регистрации программы для ЭВМ №2010611485 от 19.02.2010.

15. Гаврилов С.И. Система оценки информационно-образовательных ресурсов / Гусева А. И., Гаврилов С.И., Воронцова А.Н. // М.: РОСПАТЕНТ, Свидетельство о государственной регистрации программы для ЭВМ №2010616101 от 22.08.2010.

Подписано в печать 18.05.2011. Заказ № 159. Тираж 100 экз. Типография НИЯУ МИФИ. 115409, г. Москва, Каширское ш., 31

ВВЕДЕНИЕ.

ГЛАВА 1. МОДЕЛИ И МЕТОДЫ ОЦЕНКИ КАЧЕСТВА ИОР.

1.1 Качество.

1.2 Управление качеством.

1.3 Оценка качества.

1.4 Информационно-образовательные ресурсы.

1.5 Стандарты в области е-1еагп

§.

1.6 Модели и методы анализа оценки качества ИОР.

1.7 Информационная система для оценки качества ИОР.

1.8 Постановка задачи.

1.9 Выводы по 1 главе.

ГЛАВА 2. МОДЕЛИ И МЕТОДЫ ОЦЕНКИ КАЧЕСТВА ИОР.

2.1. Оценка качества ИОР.

2.2. Метод анализа иерархий для оценки качества ИОР.

2.3. Учет зависимостей между показателями с помощью применения Метода аналитических сетей.

2.4. Метрики качества ИОР.

2.5. Весовые коэффициенты показателей качества.

2.6. Модель оценки качества ИОР.г.

2.7. Выводы по 2 главе.

ГЛАВА 3. РАЗРАБОТКА ИНФОРМАЦИОННОЙ СИСТЕМЫ.

3.1. Назначение информационной системы.

3.2. Проектирование системы.

3.3. Разработка информационной системы.

3.4. Описание работы информационной системы.

3.5. Выводы по 3 главе.

ГЛАВА 4. ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ.

4.1. Оценка качества Системы МИФИСТ и портала Intuit.ru.

4.2. Оценка качества учебных курсов, построенных с использованием БСОИМ технологий.

4.3. Оценка качества ИОР, как объекта инновационной инфраструктуры.

4.4. Разработка модели оценки качества Системы поддержки научной деятельностью (СПНД).

4.5. Оценка экономической эффективности использования программного средства.

4.6. Выводы по 4 главе.

Переход к информационному обществу в мире характеризуется значимостью интеллектуального труда, ориентированного на использование мировых информационных ресурсов, и острой потребностью в коммуникациях между профессиональными сообществами, общественными организациями, государствами и т.д. Роль информационных и коммуникационных технологий в развитии общества фактически привела к образованию нового технологического уклада. В обществе, основанном на знаниях, формируются рынки данных, информации, знаний [37] .В результате общество приступило к созданию единого мирового информационного пространства, или, мировых информационных ресурсов.

В настоящее время не существует единого понятия «информационный ресурс». Впервые четкое определение понятия "информационные ресурсы" было сформулировано в Федеральном законе "Об информации, информатизации и защите информации" «как отдельные документы и отдельные массивы документов, документы и массивы документов в информационных системах (библиотеках, архивах, фондах, банках данных, других информационных системах)". С точки зрения Международной организации стандартизации (ISO), информационный ресурс - неч то, имеющее отличительную особенность, благодаря которой данная сущность может быть выделена в самостоятельном качестве, как правило - электронный документ (стандарт ISO 15836:2003). В стандартах Института инженеров по электротехнике и электронике (IEEE) понятие информационного ресурса заменено понятием "образовательный объект" (learning object) - цифровая или нецифровая сущность, которая может использоваться в образовательных целях. Таким образом, вводится единая модель для систематизации информационных сущностей (любых видов и форм), материальных объектов, кадровых ресурсов и событий, относящихся к сфере образования. В стандарте IEEE LOM (Learning

Object Metadata standard) от 2002 года информационный ресурс определяется как документ (совокупность документов), предназначенный и самостоятельно оформленный для распространения среди неограниченного круга лиц либо служащий основой для представления информационных услуг.

Можно утверждать, что информационные ресурсы - вся накопленная информация об окружающей нас действительности, зафиксированная на материальных носителях или в любой иной форме, обеспечивающей передачу информации во времени и пространстве между различными потребителями для решения любых задач (научных, образовательных, производственных, управленческих и других) является источником образовательной информации, питающим создаваемую единую образовательную среду [76].

Существуют различные виды классификации информационных ресурсов: по виду деятельности или тематике, для которой они предназначены (законодательные ресурсы; статистические ресурсы; образовательные ресурсы; научные ресурсы и т.д.); по форме представления информации (текстовая форма; графическая форма; мультимедиа и т.д.); по способу ограничения доступа или защите (сведения, составляющие государственную тайну; персональные данные; сведения, составляющие коммерческую тайну) и т.д.

В соответствии с целевым назначением информационно-образовательные ресурсы выделяются как информационные ресурсы, представленные в электронной форме, основной целью которых является обучение, а не просто хранимая в них информация (контент). Исходя из вышесказанного следует, что информационно-образовательный ресурс должен обладать рядом свойств (качеств), для того чтобы он имел способность к использованию в обучении: научность; объективность — степень повышения достоверных знаний; полнота, качество и достаточность для реализации учебной дисциплины (учебного элемента учебной дисциплины); достоверность; адекватность - степень соответствия реальному объективному состоянию дел; доступность - мера возможности получить информацию; актуальность - степень соответствия информации текущему моменту времени. В большей степени эти характеристики относятся к содержанию ИОР, т.е. к его контенту.

С другой1 стороны, ИОР представляет собой программную систему, которая представляет собой продукт, качество которого может быть определено согласно соответствующим международным стандартам ИСО 9000, 9001, 9002 и 9003 (редакция 2000 года), которые содержат универсальные требования к системе качества и определяют различные модели его обеспечения на разных этапах жизненного цикла.

Предметом исследования диссертационной работы являются модели и методы оценки ИОР на различных стадиях жизненного цикла.

Вопросы оценки эффективности электронного обучения и качества информационно-образовательных ресурсов рассматривались в исследованиях В.П. Тихомирова, Ю.Ф. Тельнова, Нежуриной М.И. и других.

Целью диссертационного исследования является разработка моделей, методов и программных средств для оценки информационно-образовательных ресурсов на базе методологии 1Т1Ь\1Т8М в целях улучшения эффективности управления информационно-образовательными ресурсами и повышения их уровня качества.

Достижение поставленной цели исследования определяет необходимость решения следующих задач:

1. Исследовать современные методы и средства оценки качества информационных систем, позволяющие определить специфику информационно-образовательных ресурсов, провести анализ существующих методов оценки;

2. Разработать модель управления качеством информационно-образовательных ресурсов на всех этапах жизненного цикла;

3. Разработать комплексную иерархическую многоуровневой систему оценки качества информационно-образовательных ресурсов; учитывающую как информационные свойства, так и целевое назначение ресурсов;

4. Осуществить математическое и алгоритмическое обоснование решения задачи управления качеством информационно-образовательных ресурсов;

5. Разработать информационную систему для оценки качества информационно-образовательных ресурсов;

6. Экспериментально проверить разработанные модели, методы и программные средства на процессах проектирования и разработки ИОР.

Теоретическую и методологическую основу исследования составили работы отечественных и зарубежных ученых и специалистов в области управления электронными образовательными ресурсами, оценки эффективности и качества обучения: С.Г. Григорьева, М.В. Булгакова, Е.Г. Гридиной, А.Д. Иванникова, В.А. Старых, А.Н. Тихонова, В.В. Липаева, А.И. Гусевой, А.И. Башмакова, Галкиной А.И., Соловова A.B., К.Г. Кречетникова, А.З. Бабин-ского, A.A. Букатова, В.А. Шапиро, О.В. Шаройко, К.Г. Скрипкина, Т.Саати и других. В исследовании использовались материалы, включенные в международные, государственные и отраслевые стандарты.

Научная новизна исследования состоит в следующем: систематизированы наборы функциональных требований уровней специализированного качества ИОР и проведено обобщение требований методологии ITIL/ITSM по описанию информационных систем через набор информационных сервисов и свойств информационных ресурсов, созданных по методологии SCORM; выделены наборы общих и специализированных свойства исследуемых объектов, что позволило впервые интегрировать две сущности ИОР - информационную и специализированную по области применения; разработаны модели управления качеством на всех этапах жизненного цикла ИОР для повышения их качества и эффективности и комплексная модель оценки качества для информационно-образовательных ресурсов, которая позволяет оценивать ИОР различного уровня, сложности и предназначения; адаптирован метод анализа иерархических сетей и разработаны алгоритмы для решения задачи управления качеством следующих информационно-образовательных ресурсов: информационно-образовательных порталов, программных тренажеров и ИОР как объектами инновационной инфраструктуры в соответствии с Постановлением правительства РФ 9 апреля 2010 г. №219; разработано программное приложение на базе предложенных моделей, позволяющее оценивать качество ИОР на всех этапах жизненного цикла; впервые проведена комплексная оценка ИОР как объектов инновационной инфраструктуры в рамках реализации программы «Формирование в НИЯУ МИФИ инновационной среды, обеспечивающей коммерциализацию результатов НИОКР во взаимодействии с промышленными предприятиями в рамках перехода на новые технологические платформы».

Практическая значимость заключается в разработанной и внедренной модели управления качеством ИОР, а так же программном средстве, позволяющем оценивать качество ИОР различного уровня. Данные результаты диссертационной работы позволяют вовлечь в процесс управления качеством ИОР всех участников образовательного процесса.

Разработана и внедрена информационная система для оценки ИОР любой сложности и любого назначения - Программа для ЭВМ «Система оценки информационно-образовательных ресурсов» (Свидетельство о регистрации программы для ЭВМ № 2010616101 от 16.09.2010).

Разработанная модель и программные средства были использованы:

При проектировании и разработке 12 электронных обучающих курсов и 3 программных тренажеров в рамках выполнения работ по проекту АВЦП «Развитие научного потенциала высшей школы (2009-2010 годы)». Использование научных и практических результатов Гаврилова

С.И. позволило значительно снизить сроки разработки указанных ИОР и гарантировать требуемое качество, что подтверждено соответствующим актом о внедрении. Все указанные информационно-образовательные ресурсы в настоящее время внедрены в учебный процесс НИЯУ МИФИ, по ним прошли обучение более 2000 учащихся и слушателей.

При проектировании системы поддержки научно-исследовательской деятельности в рамках работ по проекту ФЦП «Научные и научно-педагогические кадры инновационной России (2009-2013 гг.)», что подтверждено соответствующим актом об использовании. В настоящее время система поддержки научно-исследовательской деятельности готовится к вводу в опытную эксплуатацию.

При проектировании электронных обучающих курсов «Дискретная математика» и «Информатика» в рамках Программы создания и развития НИЯУ МИФИ (2010 г.), предназначенных для электронного и дистанционного обучения на основе унифицированных информационных ресурсов в рамках единого образовательного пространства НИЯУ МИФИ.

При комплексной оценке учебно-методологического и научно-методического обеспечения в рамках реализации программы «Формирование в НИЯУ МИФИ инновационной среды, обеспечивающей коммерциализацию результатов НИОКР во взаимодействии с промышленными предприятиями в рамках перехода на новые технологические платформы». Рассмотренные ИОР предназначены для развития инновационной инфраструктуры образовательных учреждений.

Достоверность работы. Научные положения и выводы, полученные в диссертационной работе Гаврилова С.И. являются достоверными и обоснованными, что подтверждается проведенными в работе экспериментальными и теоретическими исследованиями, сравнительным анализом результатов с общеизвестными исследованиями, сравнительным анализом полученных результатов с другими моделями оценки качества, соответствующими актами о внедрении, представлением основных результатов диссертации на международных конференциях и выставках.

Апробация работы. Основные результаты диссертационного исследования докладывались и обсуждались на международных и всероссийских конференциях и семинарах, в том числе:

- Научные сессии МИФИ 2007-2011 гг.;

ХУП-Х1Х Международные научно-технические семинары «Современные технологии в задачах управления, автоматизации и обработки информации» (г. Алушта, 2008-2010 гг.);

Международные конференции-выставки «Информационные технологии в образовании» 2009-2010 гг.

Разработанное программное приложение для оценки качество ИОР и программные тренажеры экспонировалось на XIII выставке научно-технических работ "НАУКА И ИННОВАЦИИ НИЯУ МИФИ" (2011 г-)

Публикации. По теме диссертационного исследования опубликовано 15 научно-практических работ, 3 из которых опубликованы в журналах из числа включенных ВАК в перечень ведущих рецензируемых научных журналов и изданий

Структура работы. Диссертация состоит из введения, четырех глав, заключения, перечня использованной литературы, приложений.

4.6. Выводы по 4 главе

С помощью разработанной информационной системы оценки качества " ИОР (свидетельство о регистрации программы для ЭВМ № 2010611485 о 2010616101 от 16.09.2010) было проведено: £

1) Проектирование и сформированы функциональные требования для 12 электронных обучающих курсов и 3 программных тренажеров в рамках проекта № 3.2.3/6542 АВЦП «Развитие научного потенциала высшей школы (2009-2010 годы)»

2) Проектирование и разработка электронных обучающих курсов «Информатика. Части 1-4» и «Дискретная математика. Части 1-3» в рамках Программы создания и развития НИЯУ МИФИ (2010 г.).

3) Работа в рамках проекта по ФЦП «Научные и научно-педагогические кадры инновационной России (2009-2013 гг.)» в части разработки моделей информационных сервисов по методологии 1Т1Ь/1Т8М системы поддержки научно-исследовательской деятельности, что подтверждено соответствующим актом об использовании.

121

Среди основных результатов работы можно выделить следующие.

1. Систематизированы наборы функциональных требований уровней специализированного качества ИОР и проведено обобщение требований методологии ГПЬЛТЗМ по описанию информационных систем через набор информационных сервисов и свойств информационных ресурсов, созданных по методологии 8СОКМ; выделены наборы общих и специализированных свойства исследуемых объектов, что позволило впервые интегрировать две сущности ИОР - информационную и специализированную по области применения.

2. Разработаны модели управления качеством на всех этапах жизненного цикла ИОР для повышения.их качества и эффективности и комплексная модель оценки качества для информационно-образовательных ресурсов, которая позволяет оценивать ИОР различного уровня, сложности и предназначения.

3. Адаптирован метод анализа иерархических сетей и разработаны алгог, ритмы для решения задачи управления качеством следующих информационно-образовательных ресурсов: информационно-образовательных порталов, программных тренажеров и электронных обучающих курсов в формате БСОИМ, а так же ИОР как объектами инновационной инфраструктуры в соответствии с Постановлением правительства РФ 9 апреля 2010 г. №219.

4. Разработано программное приложение на базе предложенных моделей, позволяющее оценивать качество на-всех этапах жизненного цикла ИОР.

5. Впервые проведена комплексная оценка ИОР как объектов инновационной инфраструктуры в рамках реализации программы «Формирование в НИЯУ МИФИ инновационной среды, обеспечивающей коммерциализацию результатов НИОКР во взаимодействии с промышленными предприятиями в рамках перехода на новые технологические платформы».

122

6. С помощью разработанной программной реализации системы оценки качества ИОР (свидетельство о регистрации программы для ЭВМ № 2010611485 о 2010616101 от 16.09.2010) было проведено проектирование и сформированы функциональные требования для 12 электронных обучающих курсов и 3 программных тренажеров в рамках проекта № 3.2.3/6542 АВЦП «Развитие научного потенциала высшей школы (2009-2010 годы)».

7. С помощью программной реализации системы оценки качества ИОР были проведены проектирование и разработка электронных обучающих курсов «Информатика. Части 1-4» и «Дискретная математика. Части 1-3» в рамках Программы создания и развития НИЯУ МИФИ (2010 г.).

8. Предложенная модель управления качеством использована при выполнении работ в рамках проекта по ФЦП «Научные и научно-педагогические кадры инновационной России (2009-2013 гг.)» в части разработки моделей информационных сервисов по методологии 1Т1Ь/1Т8М ДЛЯ системы поддержки научно-исследовательской деятельности, что подтверждено соответствующим актом об использовании.

1.Г.Г. Азгальдов. Теория и практика оценки качества товаров (основы квалиметрии). - М.: Экономика, 1982.- 256с.

2. Ю.Н. Андрианов, А.И. Субетто. Квалиметрия в приборостроении и машиностроении. JL, 1990. — 221с.

3. ГОСТ Р ИСО 9000-2001 — «Система менеджмеента качества. Основные положения и словарь».

4. JIS/TR Q 0005:2005 —Руководящие указания по устойчивому развитию

Quality management systems — Guidelines for sustainable growth)[3/l].

5. П.Сенге. Построение обучающей организации. Вестник Санкт-Петербургского университета, 2004, №1.[3/2] С.113-134

6. А.И. Субетто. Квалиметрия.Эффективность как мера качества систем и процессов.JL,.: ВИКИ им. А. Ф. Можайского, 1979 - 1986. \

7. Н.В. Акинфиева. Квалиметрический инструментарий педагогических исследований. Педагогика. №4.1998 г. - С. 30-35.

8. О.В.Рогозин. Выбор инструментальных средств анализа качественных характеристик программного обеспечения в области образования как объекта инвестиций. Открытое образование №3 2009г. С.48-63.

9. Т. Саати. «Принятие решений. Метод анализа иерархий». М.: Радио и связь, 1993.-278с.

10.Федеральный закон от 27.07.2006 № 149-ФЗ "Об информации, информатизации и защите информации".

11.ГНИИ ИТТ «Информика» [Электронный ресурс], - Режим доступа: http://www.informika.ru/, свободный.

12.Г.С. Сиговцев, М.А. Чарута, А.А. Ковалевский. О СРАВНИТЕЛЬНОЙ ОЦЕНКЕ ЦИФРОВЫХ ОБРАЗОВАТЕЛЬНЫХ РЕСУРСОВ. Труды XIV Всероссийской научно-методической конференции Телематика'2007 (18-21.06.2007, г.Санкт-Петербург). 2007. Т. 1. С. 188190.

13.ГОСТ 7.60 90 Система стандартов по информации, библиотечному и издательскому делу. ИЗДАНИЯ. ОСНОВНЫЕ ВИДЫ. ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ

14.А.И Гусева. Модель оценки качества распределенных обучающих систем // Информатика и образование, №2, 2003 , с. 64-80.

15.Блог живое обучение [Электронный ресурс], - Режим доступа: http://www.elearningtime.blogspot.com, свободный.

16.Горбатов В.А. Фундаментальные основы дискретной математики. М.: Наука, 1999.

17.Гусева А.И., Сидоренко Е.В. Тихомирова А.Н. Моделирование процесса принятия решений с использованием характеризационного управления // Программные продукты и системы, 2010, № 1. - С. 131-135.Я

18.Гусева А.И., Гаврилов С.И., Тихомирова А.Н. Модель управления качеством информационно-образовательных ресурсов // Программные ч продукты и системы, 2010, № 1. - С. 146-149.

19.А.З. Бабинский, A.A. Букатов, В.А. Шапиро. О-В. Шаройко. Определение базовых сервисов, разработка методики наполнения и методов реализации образовательных порталов / Сб. научн. ст. "Интернет-порталы: содержание и технологии". Вып. 1. ГНИИ ИТТ "Информи-ка". - М.: Просвещение, 2003. - С. 329-364.

20.А.Ю.Афонин. Принципы создания информационно - образовательных сайтов для ОДО. Университетское управление. 2000. № 1(12). С. 5860.

21.И.Е.Вострокнутов. Автореферат по специальности 13.00.02. Теория и технология разработки программных средств образовательного назначения.

22.Ю.Д. Корольков. Сводная оценка качества компьютерных обучающих систем // Новые информационные технологии в университетском образовании: Материалы Междунар. науч.-метод. конф. - Новосибирск: НИИМИООНГУ, 1996.- 14-15.

23. В.М Милова. Автореферат по специальности 05.13.10.Разработка экс-пертно-аналитического метода оценки качества образовательных систем.

24.П.Н. Воробкалов. Автореферат по специальности 05.13.10.Управление качеством электронных обучающих систем.

25.Н.А. Котлярова. Автореферат по специальности 08.00.13. Экономико-математические методы и модели оценки потребительского качества информационных систем и технологий в образовательном процессе.

26.В.Г. Домрачев, О.М. Полищук, И.В. Ретинская. О новом методе оценки качества электронных учебников. Телематика 2005. Труды Всероссийской научно-методической конференции С-пб, 2005, стр. 276-277.

27.Бабешко В.Н., Нежурина М.И. Система оценки качества программных комплексов для дистанционного обучения М.: ЦДО МИЭМ; ЕвропейI ский центр по качеству, 2004. — 178 с.

28.В.В. Вихман. Автореферат по специальности 13.00.01. Оценка и анализ эффективности применения информационных технологии-в^ образовании. Новосибирск, 2004.

29.Т.С. Яшина. Автореферат по специальности 13.00.01. Оценка качества образовательных веб-сайтов как фактор развития единого информационного образовательного пространства.

30.А.Г. Гагарин. Анализ качества программного обеспечения методом анализа иерархий: проблема учета влияния находящихся на границах области допустимых значений оценок при большом количестве критериев и альтернатив. Аудит и финансовый анализ №2,2010 г. - С. 446445.

31.А.И. Долженко. Автореферат по специальности 08.00.13. Нечеткие методы и модели оценки потребительского качества вебориентированных информационных систем: теория, методология и струментарий.

32.Липаев В. «Качество программного обеспечения», М.: Финансы и Статистика, 1983 год

33.ГОСТ Р ИСО/МЭК 12207-2001 - «Информационная технология. Процессы жизненного цикла программных средств».

34.Т. Саати. «Принятие решений при зависимостях и обратных связях. Аналитические сети» [Текст] // Пер.с англ.- М.: Книжный дом «Либроком». - 2009. - 360 с.

35.ISO 9126 (ГОСТ Р ИСО / МЭК 9126-93) — «Информационная технология. Оценка программного продукта. Характеристики качества и руководство по их применению».

36.Ивлев В.А. и Попова Т.В. Что такое функционально-стоимостной анализ процессов и систем. (В сборнике "TQM-XXI. Проблемы, опыт, перспективы". Вып. 4. - М.: ИздАТ, 2000 - С. 169 - 188). #

37.Тихомиров В.П. Качественное образование для всех как основа формирования общества знаний // Информационное общество, 2005,вып.4С. 6-10. t: '?/

38.Рейли Р., Швайс Р. Оценка нематериальных активов / Р. Рейли, Р.Швайс. М.: ИД Квинто-Консалтинг, 2005.

39.Менеджмент систем качества: Учебное пособие / М.Г. Круглов, С.М. Сергеев, В.А. Такташов и др. — М.: ИПК Изд-во стандартов, 1997. —368 с.

40.Михайлова Е.А. Основы бенчмаркинга: эволюция концепций качества // Менеджмент в России и за рубежом, № 2/2001. С.126-133.

41.ITIL Infrastructure Library. Электронный ресурс. Режим доступа: http://www.itil-officialsite.com/home/home.asp

42.Сейед Тахакхогхи, Хью Е.Вильямс «Руководство по MySQL» /Пер. с англ. — М. «Русская Редакция»; 2007. — 544 с.

43.Золотухина Е.Б. «Основы бизнес-моделирования». МИФИ, 2005. — 89с.

44.Д.В Котеров. А.Ф Костарев «РНР5» .Спб.: БХВ-Петербург, 2010. 1104с.

45.А. Матросов, А. Сергеев, М. Чаунин «HTML 4.0». Спб.: БХВ-Петербург, 2008. 672с.

46.В. Мержевич «HTML и CSS на примерах».Спб.: БХВ-Петербург, 2005. 448с.

47.Елиферов В.Г., Репин В.В. «Бизнес-процессы: Регламентация и управление» М.: Инфра-М, 2004 - 319 е.;

48.«ITIL: поддержка услуг», TSO, 2005 - 395 е.;

49.ITIL® V3 Glossary Russian Translation v0.92, 30 Apr 2009 fhttp://www.itsmforum.ru/ZAM-test) — доступ свободный

50.В.Притуленко «Управление ИТ-службами на основе ITIL», Корпоративные системы; №5, 2004

51.Экономика знаний / В.В. Глухов, С.Б. Коробко, Т.В. Маринина. СПб.: Питер, 2003. 528 с.

52.Davenport Т., Prusak L. Working knowledge. Harvard Business School Press, 1998.

53.Rosenberg M.J. Beyond e-learning: approaches and technologies to enhance organizational knowledge, learning, and performance. John Wiley & Sons: 2006. 402 c.

54.Гусева А.И., Киреев C.B., Тихомирова A.H., Филиппов С.А., Цыганов А.А. Программа учебной дисциплины «Информационные технологии в экономике и управлении: Информационное пространство преподавателя высшей школы» // М.:МИФИ, 2007 — 16с.

55.Advanced Distributed Learning (ADL), Sharable Content Object Reference Model (SCORM®) 2004 2nd Edition Overview, 2004.

56.Alliance of Remote Instructional Authoring and Distribution Networks of Europe, 2000 (ARIADNE) //www.aldnet.org

57.IMS - Instructional Management Standards //www.imsproject.org

58.Aviation Industry CBT Committee, 2007 (AICC) //www.aldnet.org

59.Газета «ПОИСК» №19 - 20, 2008

60.IEEE P1484.1/D9-pre, 2001-11-15 Draft Standard for Learning Technology — Learning Technology Systems Architecture (LTSA)//www.aldnet.org

61.Courtney J., Haynes J., Paradice D. Inquiring organizations: moving from knowledge management to wisdom. Idea Group Inc., 2005. 398 c.

62.Encyclopedia of communities of practice in information and knowledge management / edited by Coakes E., Clarke S. Idea Group Inc., 2006. 631 c.

63.Норенков И. П. Основы автоматизированного проектирования: Учеб. для вузов. 2-е изд., перераб. и доп. — М.: Изд-во МГТУ им. Н. Э. Баумана, 2002. — 336 с.

64.ISO 15836:2009 Information and documentation — The Dublin Core metadata element set

65.Горбатов B.A. Фундаментальные основы дискретной математики. M!: Наука. Физматлит, 1999. 544 с.

66.Репин В.В., Елиферов В.Г. Процессный подход к управлению. Моделирование бизнес-процессов. — М.: РИА «Стандарты и качество», 2008. —408 с.

67.Гусева А.И. Характеризационное управление при синтезе распределенных систем // Информационные коммуникации, сети, системы и технологии: матер. Всемир. конгр. ITS-93. М.: Междунар. акад. информатизации, 1993. С. 65—70.

68.0.М. Полещук, К. К. Рыбников. Модели анализа тестирования в образовательном процессе

69.http://ofemio.ru/portal/modules/news/ - доступ свободный

70.http://dlc.miem.edu.ru/ - доступ свободный

71.Кларин М.В. Корпоративный тренинг от А до Я, М., "Дело", 2002 г., с. 159.

72.Гаврилов С.И., Гусева А.И. Оценка эффективности информационной системы на этапе внедрения на основе методологии IT1L/ITSM // Информационная математика № 1(6), 2007, 74-80

73.Гаврилов С.И. Проектирование и разработка программного средства для оценки качества информационно-образовательного ресурса. Научная сессия НИЯУ МИФИ-2011. XIV Московская международная телекоммуникационная конференция студентов и молодых ученых «МОЛОДЕЖЬ И НАУКА». В 3 частях. Ч. 3. М.: НИЯУ МИФИ, 2010, 111112.

74.Гаврилов С.И. Построение системы оценки качества информационно-образовательного ресурса // Современные технологии в задачах управления, автоматики и обработки информации: Труды XIX Международного научно-технического семинара. Алушта, 2010 г. — Издательский дом МЭИ, 2010. стр. 124-125

75.Постановление от 9 апреля 2010 г. №219 «О государственной поддержке развития инновационной инфраструктуры в федеральных образовательных учреждениях высшего профессионального образования»

76.Гридина Е.Г., Иванников А.Д., Булгаков М.В., Чиннова И.И., Сигалов A.B. Система федеральных образовательных порталов: 3 года в Internet // открытое образование. 2005. №1. С. 35-54.

77.Замков О.О., Толстопятенко A.B., Черемных Ю.Н. // Математические методы в экономике: Учебник/ Под общ.ред. д.э.н., проф. А.В.Сидоровича; МГУ им. М.В. Ломоносова. — 3-е изд., перераб., - М.: Издательство «Дело и Сервис», 2001. - 368 с.

78.Салтыков С.А. Экспериментальное сопоставление методов взвешенной суммы, теории полезности и теории важности критериев для решения многокритериальных задач с балльными критериями. // Журнал «Управление большими системами», № 29 (14), 2010. - с. 16-41.

79.Иванников А.Д., Булгаков М.В., Гридина Е.Г., Булакина М.Б., Сигалов A.B. Создание и перспективы развития ИС «Единое окно доступа к ресурсам образовательных порталов» // Открытое образование. 2006. №4. С. 15-21.

80.Чиннова И.И. Жизненный цикл цифровых образовательных ресурсов единой коллекции // Информационные ресурсы России. 2009. № 3. С. 18-20.

81.Попов, А. Э. Опыт применения системы поддержки e-learning в ДПО [Текст] / А. Э. Попов // Высшее образование в России. — 2008. - № 7. С.53-56

Наблюдение

Анализ

Внедрение j Сбор информации разработка мероприятий улучшению качества

Рисунок 1.1. Цикл Деминга (PDCA)

Ниже представлена более подробная реализ ация сп иральной модели ЖЦ в контексте управления качеством ИОР [74] (Рис. 1.2).

Внедрение в образовательную программу

Конец

Реализация и I тестирование \ SCORM-пакета Л

Внедрение в \ образовательную V программу у

Реализация и \ тестирование | SCO RM-пакета /

Анализ

Начало

Проектирование \ SCORM-пакета W

Проектирование \ SCORM - пакета W

Конец

А требований к \ П SCORM - пакету J Анализ [ требований к I SCORM - пакету

Рисунок 1.2. Спиральная модель жизненного цикла z/

Процесс управления качеством не может быть реализован без столь важного элемента, которым является необходимость принятия решений. Принятие решения обусловлено проблемой, которую следует решить, выполняя определенный порядок действий. Задание этого порядка и его содержания является непосредственной задачей лица принимающего решения (далее - ЛПР).

ЛПР' находится внутри заданной системы, которая определяется текущим состоянием. На основе определенного порядка, запускается механизм решения какой-либо проблемы, то есть принятое решение определяет стратегию дальнейших действий, а также ресурсы для ее реализации [16].

При этом задачей ЛПР является выбор той стратегии поведения, которая при минимальных затратах ресурсов приведет к реализации заранее заданной цели, то есть обеспечит переход системы из текущего состояния в желаемое.

Используя принцип семантического эквивалентирования из характеризационного управления, жизненный цикл ИОР можно описать как [17]: н = < то, ¥1, Т2, тз, рооет, ¥]>, где ТО, Т1, Т2, ТЗ— модели этапов жизненного цикла, а Р0(Т1, Т]) -предикат функциональной целостности, отражающий правомерность перехода между ними. На каждом этапе жизненного цикла модель Т1 = <1УП, распределенной обучающей системы отражает необходимость нашего представление о ней. Использование методологии управления качеством ИОР приводит к необходимости эквивалентировать систему Е новой системой Е"', Е"' = < Т ""О, Т1, Тл2, Т"3, Р"0(Т'1, Чг'})>, где Т'Т = Носитель М1 расширяется за счет включения множества показателей качества К и множества контрольных точек Ъ, а сигнатура 81 изменяется за счет добавления:

- предиката Р1, отражающего соответствие между показателями качества 1а и контрольными точками г] , в которых они измеряются;

- предиката Р2, который определяет, удовлетворяют ли значения показателей качества требуемому значению в данной контрольной точке или нет;

- множества функций Б для измерения нужных показателей качества в нужных точках,

- множества функциональных отношений Я, отражающего переход к следующей контрольной точке и множество корректирующих и идентифицирующих нотаций N.

Применение методологии управления качеством ИОР приводит к экви-валентированию системы Е новой системой Е"', содержащей контур управления качеством (Рис. 1.З.). Таким образом, встает задача построения модели, позволяющей реализовать принцип сопровождения ИОР посредством реализации контура управления информационно-образовательным ресурсом.

-- старая система

Е "- новая система, содержащая все составляющие старой

Рисунок 1.3. Контур управления качеством

Следовательно, основа построения контура управления качеством ИОР базируется на реализации пщнщпавхарактеризационного управления [65].

Использование принципа характеризационного управления позволяет рассмотреть задачу, с которой связана необходимость принятия решений, с

29 различных позиций. Такой подход обеспечивает продуманность и объективность принятого решения[67]. Рассмотрение проблемы изнутри помогает понять все механизмы и взаимосвязи в системе, в которой принимается решение, а также способствует пониманию степени сложности реализации той или иной стратегии поведения [18].

Рассмотрение системы с позиции модели черного ящика дает возможность оценить объем и характер ресурсов, которые будут использованы для достижения требуемого результата, а также эффект, получаемый после реализации принятого решения.

На практике, объем ИР, используемых при решении ПС, увеличивается в зависимости от сложности принятия решений. Для типовых ПС процесс принятия решений может быть автоматизирован при достаточном уровне базовых данных, информации, знаний о проблемной ситуации и минимальной потребности в привлечении дополнительных ИР. С ростом воздействия внешних факторов на проблемную ситуацию повышается объем необходимых дополнительных ИР [51; 52; 53].

Разработка соответствующей информационной системы позволит организации принимать эффективные решения в условиях быстро меняющейся экономической ситуации.

1.6 Модели и методы анализа оценки качества ИОР

Проведенный анализ исследований посвященных оценке качества образовательных систем выявил недостаточность внимания к указанной проблеме по оценке качества ИОР.

Основной объем исследований в этой области направлен на решение проблем оценки качества самостоятельных видов ИОР: отдельно образовательных порталов [19, 20], отдельно обучающих программных средств [21] и др. В тоже время практически отсутствует комплексная система оценки качества образовательных ресурсов.

Однако для полноценного обеспечения образовательного процесса требуется наличие не одного вида ИОР в обучающей системе. Таким образом, возникает необходимость применения соответствующего метода оценки качества для каждого вида образовательного ресурса, что крайне неудобно в рамках одной системы. Такой метод не дает возможности стандартизации качества образовательных ресурсов хотя бы в рамках одной организации. Например, исследования по оценке качества обучающих программных средств [22] не предоставляют всего набора необходимых показателей, которые присущи различным типам ИОР, что затрудняет определение качественной характеристики.

Общая методика анализа качества обучающих систем складывается из следующих этапов (работы В.М. Милова [23], П.Н Воробкалова [24], H.A. Котлярова [25], В.Г. Домрачева, О.М. Полещука [68], И.В. Ретинской [26]):

1) Выбор показателей

Обратимся к анализу существующих исследований на предмет выбора и агрегирования показателей для построения модели. Набор показателей качества ИОР, как правило, подлежит разбиению на два непересекающихся множества, одно из которых определяет конструктивные особенности ИОР (Ю.Д. Корольков, В.Н. Бабешко, М.И. Нежурина [27]). Другое представлено его функциональными особенностями (М.И. Нежурина, М.В. Кузнецова). Также в некоторых исследованиях предлагается дополнительное разбиение функциональных требований на два подмножества методическая обоснованность и психолого-эргономические аспекты (В.В. Вихман [28]). Однако такое разбиение не позволяет решить задачу по оценке качества различных видов ИОР, в отличие от системы двух иерархий.

2) Проведение опроса экспертов.

Для проведения опроса экспертов используются следующие методы:

Метод Делфи (H.A. Котлярова, Т.С.Яшина [29]) - находит наиболее широкое применение.

Недостатком этого метода является необходимость проведения процесса анкетирования с повторениями, также прослеживается тенденция зависимости мнения участников от других участников опроса, во избежание этого подбор экспертов должен строиться на выборе независимых высококомпетентных экспертов, что не всегда легко осуществить.

Другой широко распространенный метод экспертного опроса - метод парных сравнений МАИ (М.А. Чарута, В.М. Милова, В.Н. Бабешко, М.И. Нежурина, А.Г.Гагарин [30], П.Н Воробкалов).

Среди факторов, влияющих на получение качественных оценок, которые бы отвечали реальному состоянию системы, принципиальное значение имеет выбор экспертных групп. Поэтому этому этапу создания модели оценки качества следует уделить определенное внимание. В исследованиях по данной тематике, как правило, подразумевается всего одна категория экспертов, а именно - преподаватели. (Г.С. Сиговцев, М.А. Чарута, A.A. Ковалевский).

Но главный принцип СМК говорит об ориентированности на потребителя - кто, как не потребитель, лучше оценит достоинства и недостатки используемых им ИОР. В связи с тем, что система не ограничена одной категорией пользователей, а расширяется вместе с изменением УСК, использование одной категории не отвечает допустимому уровню приемлемости.

Дальнейшие этапы реализации оценки целиком зависят от объекта оценки. Так, широкое применение в качестве метода для оценки образовательных систем находит теория нечетких множеств [31], предоставляющая возможность удобного объединения как качественных, так и количественных характеристик объекта. Также применяются модели, построенные на основе сетей Петри, как наиболее оптимально характеризующие принципы построения адаптивных систем обучения. Но данные методы не представляют таких преимуществ в условиях реализации оценки ИОР, как: а. Комплексность оценки ИОР, как информационной системы и педагогических свойств b. такие важные свойства, определяемые 8ССЖМ - повторная используемость и т.д. c. Необходимые сервисы по 1Т1Ь (свойства информационных систем).

1.7 Информационная система для оценки качества ИОР

Завершающим этапом формирования представления о поставленной задаче является рассмотрение программной реализации методов оценки ИОР.

Модели программных средств по оценке качества ИОР позиционирует себя в первую очередь как системы открытого типа (Рис. 1.4). Поэтому одной из основных задач, решаемых данной системой, должна быть реализация процесса взаимодействия с пользователем. В связи с этим важной задачей стоит решение следующих проблем:

- необходимость удаленного опроса экспертной группы ставит задачу по созданию информационной системы, которая бы позволяло осуществлять постоянный мониторинг экспертного мнения;

- для удобства пользователей, а также для создания условий, которые позволят наиболее достоверно провести экспертный опрос, возникает задача о проведении такого опроса сразу после ознакомления с ИОР. и=ЭД=ЕФ(КШ=1,п

Общая информационная обучающая система

Рис 1.4. Модель программного средства, представленная в контексте обучающей системы

Информационная система, реализуемая на основании приведенной модели, п озволяет проводить многоаспектный качественный анализ объекта. Это дает возможность выходные данные направить не только на получение рекомендаций по улучшению качества ИОР, но также при условии использования с другими автоматизированными системами, использовать их, как входные данные. Например, для CRM систем.

В условия правильного функционирования как элемента общей образовательной системы ее использование позволяет ощутить оказываемый синерге-тический эффект от внедрения модели. Поэтому важным является построение системы, имеющей возможность взаимодействия с другими обучающими системами, или способность к легкой реализации такой задачи.

В таблице 1.1 представлены разработки программных средств по оценке качества, как процесса обучения, так и обучающих ресурсов [69, 70].