автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Исследование и разработка средств оценки качества программных продуктов учебного назначения

На правахрукописи

Королев Илья Викторович

ИССЛЕДОВАНИЕ И РАЗРАБОТКА СРЕДСТВ ОЦЕНКИ КАЧЕСТВА ПРОГРАММНЫХ ПРОДУКТОВ УЧЕБНОГО НАЗНАЧЕНИЯ

Специальность: 05.13.11 -Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва - 2004

Работа выполнена в Московском государственном университете экономики, статистики и информатики

Научный руководитель доктор технических наук,

профессор Титарев Лев Григорьевич

Научный консультант кандидат технических наук,

старший научный сотрудник Ярных Валерий Васильевич

Официальные оппоненты: доктор технических наук,

профессор Щерс Артур Львович,

кандидат технических наук, доцент Тарасов Валерий Борисович

Ведущая организация Московский государственный университет

печати

Защита состоится 28 апреля 2004 г. в 16 часов на заседании диссертационного совета Д 520.005.01 ООО "ГВЦ Интуриста" по адресу: 103031, г. Москва, Дмитровский пер., д.1; тел. 229-3343.

С диссертацией можно ознакомиться в библиотеке ООО "ГВЦ Интуриста".

Автореферат разослан 24 марта 2004 г.

Ученый секретарь диссертационного совета, доктор политических наук

Семенов В.А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В настоящее время наблюдается скачкообразный рост количества программных продуктов, выпускаемых как государственными высшими учебными заведениями (ВУЗами), так и коммерческими организациями, работающими в области дистанционного обучения. В связи с этим все более актуальными становятся проблемы оценки качества программных продуктов, используемых в учебном процессе и изучение совместимости программных продуктов различных ВУЗов. Каждый ВУЗ разрабатывает программные продукты исходя из своих потребностей, имеющихся в его распоряжении специалистов и финансовых возможностей. В результате используемые в учебном процессе программные продукты имеют широкий спектр функциональных возможностей (от трансляции видеоматериалов до статических веб-сайтов с материалами лекций) и практически не совместимы между собой. Зарубежный опыт показывает, что для создания полноценного и функционально полного программного продукта учебного назначения при разработке необходимо поддерживать стандарты, регламентирующие образовательную деятельность. Процессы, происходящие в ведущих зарубежных образовательных структурах, нацелены на разработку технологических систем, в основе моделей которых используются различные подходы. Можно выделить три таких подхода: создание аккредитационных стандартов, разработка спецификаций и сертификация. Каждый подход имеет свою сферу применения, но сертификация представляет наибольший интерес, так как может быть проведена с помощью программных систем. В РФ уже действует центр новых информационных технологий Mil У "Станкин" по сертификации средств информатизации в сфере образования, но он проводит оценку программных продуктов на предмет соответствия заявленных производителем характеристик реальным возможностям программного продукта. Такая сертификация не может определить насколько качественно сделан программный продукт и возможна ли его интеграция в действующую технологическую среду ВУЗа. Это определяет актуальность создания средств оценки качества программных продуктов учебного назначения на основе международных стандартов качества- и спецификаций по стандартизации образовательной деятельности.

Цель и задачи. Целью настоящей работы является решение следующей научной проблемы: разработка и реализации системы

аттестации качества программных продуктов учебного назначения на основе теории принятия решений и международных стандартов оценки качества программных продуктов. В соответствии с поставленной целью требуется решить следующие задачи:

- провести анализ современных образовательных технологий и стандартов оценки качества;

- разработать аттестационную модель для проведения аттестации качества программных продуктов учебного назначения;

- создать методику определения согласованности оценок.разных экспертов при использовании метода анализа иерархий (МАИ) на основе теории математической статистики;

- создать методику использования лингвистических переменных при проведении экспертной оценки по МАИ;

разработать итеративную процедуру согласования экспертных оценок для распределенных систем поддержки принятия решений;

- построить распределенную систему поддержки принятия решений, работающую с применением разработанных методик на основе теории принятия решений;

- решить практические задачи по аттестации качества программных продуктов учебного назначения с помощью построенной системы.

Объект исследования представляет собой порождающий проблемггую ситуацию и избранный для изучения процесс аттестации качества программных продуктов учебного назначения.

Предметом исследования являются аттестационные модели, стандарты качества и методы теории принятия решений.

Методы исследования. Для достижения поставленной в работе цели были выбраны методы математической статистики и теории принятия решений. Для создания системы поддержки принятия решений была выбрана технология Active Server Pages и Microsoft SQL Server. Программный код разрабатывался в среде InterDev.

Методологическая основа. Работа выполнена на основе методологии теории принятия решений и методологии объектно-ориентированного (00) построения программных систем.

Достоверность полученных результатов подтверждается теоретической проработкой созданных методик, их практическим

применением и апробацией работающей на их основе системы поддержки принятия решений.

Научная новизна. Автор видит новизну полученных в работе результатов в следующем:

- разработана аттестационная модель для аттестации качества программных продуктов учебного назначения, учитывающая рекомендации ИСО 15504 и процессы, связанные с образовательной деятельностью;

- впервые разработана методика оценки согласованности экспертных оценок, полученных при использовании МАИ, с использованием распределения Стьюдента;

- разработана методика использования лингвистических переменных в МАИ для составления анкет;

- разработана итеративная процедура согласования экспертных оценок в распределенных системах поддержки принятия решений; •

- создана и апробирована оригинальная система оценки качества программных продуктов учебного назначения, позволяющая не только оценить зрелость процессов, составляющих жизненный цикл программных продуктов, но и дать рекомендации по их улучшению.

Оценка теоретической значимости результатов работы. Полученные в работе результаты являются теоретической основой создания распределенных систем для аттестации качества программных продуктов. Методики определения согласованности экспертных оценок в МАИ и использования лингвистических переменных могут быть использованы для решения различных задач, связанных с разработкой распределенных систем поддержки принятия решений.

Практическая ценность результатов работы. Практическая ценность полученных результатов состоит в создании методик использования теории математической статистики, теории принятия решений и работающей на их основе системы поддержки принятия решений для аттестации качества программных продуктов учебного назначения и получения рекомендаций по повышению качества.

На защиту выносятся следующие положения:

- аттестационная модель жизненного цикла программного продукта

учебного назначения;

- методика определения согласованности оценок разных экспертов при использовании метода анализа иерархий (МАИ) на основе теории математической статистики;

- методика использования лингвистических переменных в МАИ для составления анкет;

- итеративная процедура согласования экспертных оценок в распределенных системах поддержки принятия решений;

- система поддержки принятия решений, работающая на основе разработанных методик и результаты ее внедрения.

Внедрение результатов. Программная реализация в виде системы поддержки принятия решений по качеству программных продуктов учебного назначения используется в НИИ Образовательных технологий МЭСИ для самоаттестации разрабатываемых программных-продуктов и повышения зрелости процессов, составляющих жизненных цикл программных продуктов.

Апробация результатов работы. По основным результатам работы были сделаны научные доклады, которые обсуждались и получили в целом одобрение на Всероссийской конференции "Проблемы научно-методического и организационного обеспечения единого образовательного пространства" Москва, 2001 г., Первой Всероссийской молодежной конференции IT-Youth 2002, г. Москва, 2002 г., Всероссийской конференции "Роль информационных технологий при обучении по программе МВА", Москва, 2003 г.

Личный вклад. Личный вклад автора заключается в разработке аттестационной модели для аттестации качества программных продуктов учебного назначения, методик на основе теории1 математической статистики и теории принятия решений и их реализации в системе поддержки принятия решений.

Публикации. Основные результаты диссертации изложены, в 4 научных статьях (3 с соавтором) и 3 тезисах научных докладов (1с соавтором).

Структура и объем диссертации. Диссертационная работа состоит из введения, списка основных сокращений, 4 глав, выводов по каждой

главе, заключения, списка использованной литературы и приложения.

- В первой главе рассматривается необходимость аттестации качества программных продуктов учебного назначения, проводится обзор информационных технологий, применяемых в образовании, стандартов оценки качества программных продуктов и степени внедрения этих технологий.

- Вторая глава посвящена разработке аттестационной модели для оценки качества программных продуктов учебного назначения и методик согласования экспертных оценок. При разработке аттестационной модели были учтены рекомендации ИСО 15504, а также созданы категории процессов, связанных с образовательной деятельностью.

- В' третьей главе дается обоснование выбора платформы для разработки системы поддержки принятия решений, описывается алгоритм функционирования и возможности разрабатываемой системы. В главе также проведено исследование алгоритмов умножения матриц для выбора оптимального алгоритма с точки зрения отношения точность/вычислительная сложность.

- Четвертая глава посвящена применению разработанных методик для решения практических задач по аттестации качества программных продуктов учебного назначения, разработанных в НИИ Образовательных технологий МЭСИ.

Диссертация изложена на 122 страницах, содержит 19 рисунков, 20 таблиц. Список использованной литературы включает 109 наименований, в том числе 44 на английском языке. Приложения на 38 страницах содержат 10 таблиц и 1 акт о внедрении.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы, определяется сложившаяся проблемная ситуация в системе образования РФ, отсутствие необходимых способов ее преодоления. В соответствии с этим, обосновывается цель и определяются задачи работы.

В первой главе рассматривается необходимость аттестации качества программных продуктов учебного назначения, проводится обзор информационных технологий применяемых в образовании, стандартов оценки качества программных продуктов и степени внедрения этих

технологий. Анализ международных стандартов оценки качества показывает, что система поддержки принятия решений по качеству программных продуктов учебного назначения должна относиться к классу распределенных систем, для обеспечения работы экспертов в оцениваемых организациях. Наиболее перспективной методологией является ИСО 15504, которая позволяет организации последовательно повышать качество разрабатываемых программных продуктов. Для выработки рекомендаций необходимо использовать многокритериальные методы экспертной оценки. Проведенный в работе анализ методов теории принятия решения показал, что метод анализа иерархий, в отличие от других рассмотренных методов, позволяет получить ранжированные оценки вариантов на основе субъективных мнений экспертов и позволяет оценить согласованность оценок экспертов, что гарантирует высокую достоверность получаемых результатов. Проведенный анализ существующих экспертных систем показал, что существующие системы не позволяют провести всестороннюю оценку качества программных продуктов учебного назначения. Для решения этой задачи необходимо разработать аттестационную модель и соответствующие методики для использования их в системе поддержки принятия решений.

Среди авторов научных трудов, послуживших теоретической основой новых информационных технологий в обучении и управлении образованием особо отмечаются Извозчиков В.А., Ваграменко Я.А., Гершунский Б.С., Роберт И.В., Брановский Ю.С, Тихомиров В.П. и, Титарев Л.Г.

Рассматриваются новейшие научные публикации, посвященные информационным технологиям в образовании и качеству программных продуктов.

В главе выделен и подробно рассмотрен класс программных продуктов учебного назначения - системы автоматизированного проектирования и применения (САПРиП) электронных учебных пособий. Данный класс программных продуктов полностью отвечает .всем требованиям, предъявляемым к программным продуктам, используемым в учебном процессе и является объектом для изучения проблемы оценки качества программных продуктов учебного назначения.

Сегодня проблема определения качества программного обеспечения имеет приоритетное значение при выборе готовых решений для производства. Это в полной мере относится и к процессам обучения с использованием современных образовательных технологий. Приводимый обзор современных технологий разработки технологических систем показывает, что наиболее актуальной становится стандартизация

программных продуктов учебного назначения, обеспечивающая их взаимозаменяемость и переносимость учебно-методического обеспечения.

Проведенный в первой главе анализ многочисленных публикаций послужил обоснованием задач поставленных в работе.

Вторая глава посвящена разработке аттестационной модели для оценки качества программных продуктов учебного назначения. При разработке аттестационной модели за основу была взята эталонная модель ИСО 15504-2. Предложена аттестационная модель, которая содержит категории, охватывающие весь жизненный цикл программного продукта и методику оценки зрелости процессов, в которой категории "Поддержка на уровне учебного заведения", "Разработка курса", "Организация учебного процесса", "Поддержка студентов" и "Успеваемость и контроль знаний" позволяют оценить учебные аспекты программного продукта. Проведено исследование возможности использования метода анализа иерархий для получения рекомендаций по улучшению зрелости процессов жизненного цикла программного продукта учебного назначения. Проведен анализ методик определения согласованности экспертных оценок каждого эксперта при использовании метода анализа иерархий, которые могут использоваться для повышения достоверности экспертных оценок, полученных от разных экспертов.

Для проведения аттестации качества программного продукта учебного назначения эксперты должны работать в ВУЗе, эксплуатирующем программный продукт и в организации разработчике. В связи с этим, автором было принято решение о создании распределенной системы поддержки принятия решений, с доступом экспертов через сеть Интернет. Методология МАИ, используемая для получения рекомендаций по улучшению зрелости процессов жизненного цикла программного продукта, содержит механизмы оценки согласованности экспертных оценок, получаемых от каждого эксперта. Поэтому, при проведении экспертной сессии в режиме "круглого стола", при котором в ходе обсуждения получаются оценки, учитывающие мнения всех экспертов, достаточно рассчитать отношение согласованности для каждой матрицы попарных сравнений (МПС) и если оно окажется меньше 0.1, то оценки считаются согласованными. В случае изолированной работы каждого эксперта возникает проблема определения насколько оценки разных экспертов согласованы между собой. Для решения этой проблемы в главе представлена методика

получения обобщенных экспертных оценок, разработанная на основе теории математической статистики. Для получения обобщенной экспертной оценки, учитывающей мнения всех экспертов, каждый элемент обобщенных МПС формируется как среднее геометрическое соответствующих элементов МПС каждого эксперта. Использование среднего геометрического обосновывается тем, что обратно изоморфное осреднение функции результатов наблюдений (оценок каждого эксперта) обладает всеми свойствами среднего геометрического:

1-Ф(Хг1 =х

1 Х,={х}

2. ср(Хп)* ФрСп-1)=1

3. min х < ф(Х„) ^ шах х хеХ„ х е Х„

4.3 С: lim Р(|<р(Х„)-С| < е) =1

Выполнение первых трех свойств очевидно, а выполнение четвертого свойства доказывается с помощью введения переменной у=1п х и доказательства сходимости по вероятности у к ту, вытекающая из теоремы Чебышева. Поскольку у подчиняется нормальному закону, то х подчиняется логнормальному закону распределения. Используя функцию Лапласа и неравенство х < х было получено следующее неравенство:

Правая часть неравенства подчиняется закону распределения Стьюдента. Поэтому оценки можно считать согласованными, если

Таким образом, для определения насколько согласованы между собой оценки разных экспертов, достаточно рассчитать z и сравнить с соответствующим значением из распределения Стьюдента. Если оценки согласованы, то в качестве обобщенных оценок можно использовать

среднее геометрическое элементов МПС.

Для выработки рекомендаций лицо, принимающее решение (ЛПР) формирует трех уровневую иерархию, у которой на первом уровне находится цель проводимого исследования, на втором - критерии, по которым предполагается сравнивать различные варианты улучшения процессов и на третьем - сами варианты.

В связи со сложностью методологии МАИ, требующей от эксперта знания правил оценки иерархий и оценочной шкалы, а также для облегчения работы экспертов, в главе предлагается методика проведения попарной оценки элементов иерархии с помощью обработки экспертами анкет с лингвистическими переменными.

Вводятся следующие лингвистические переменные, которые заменяют шкалу МАИ представленную в таблице:

Таблица

Лингвистическая шкала

Значение шкалы Лингвистическая переменная

1 одинаковая важность

3 Важнее

5 намного важнее

7 значительно важнее

9 абсолютно важнее

1/3 менее значимо

1/5 намного менее значимо

1/7 значительно менее значимо

1/9 абсолютно менее значимо

В результате вместо заполнения МПС эксперту предстоит ответить на вопросы, каждый из которых реализует попарное сравнение двух элементов МПС (например, "Определите насколько для курса доступность изложения материала важнее наличия • практических работ?"). Ответом служит одно из значений- лингвистической переменной. Вся экспертная оценка сводится к работе с анкетой, которая в последствии преобразуется в МПС. Это позволяет привлекать к аттестации экспертов не знакомых с методологией МАИ и значительно облегчает их работу.

Для- согласования экспертных оценок в- главе разработана

итеративная процедура согласования. Итерации начинаются в том случае, если рассчитанное значение z оказалось больше значения из распределения Стьюдента. ЛПР предлагает экспертам, давшим крайние оценки, обосновать свое решение или изменить свои оценки в соответствии с мнением большинства экспертов. Если эксперты изменяют свои оценки, то рассчитывается новое значение z и итерации продолжаются до тех пор, пока значение ни станет приемлемым. В случае, если эксперты приводят веские аргументы в защиту своего мнения, ЛПР должен иметь возможность принять в качестве обобщенной оценки одну из экспертных оценок.

Третья глава посвящается программной реализации представленных во второй главе методик. Разработанная система поддержки принятия решений является частью системы "Дистанционная аспирантура МЭСИ", созданной в ходе выполнения проекта по программе «Научное, научно-методическое, материально-техническое и информационное обеспечение системы образования» Министерства Образования РФ. В главе приводится обоснование выбора для хранения данных Microsoft Sql Server, а в качестве языка разработки технологию -Active Server Pages. В качестве среды разработки использовалась оболочка InterDev, входящая в состав Microsoft Office 2000. Разработан веб-интерфейс, обеспечивающий работу трех типов пользователей: администратор, руководитель проекта (ЛПР) и эксперт. Для каждого типа пользователя создан свой функциональный набор операций, который позволяет проводить оценку качества программных продуктов учебного назначения, давать необходимые рекомендации по улучшению зрелости процессов и публиковать полученные результаты в сети Интернет.

Руководитель проекта и администратор системы имеют возможность управлять доступом к системе экспертов и жестко задавать временные рамки аттестации. Это позволяет стимулировать активность экспертов и избежать многократной коррекции получаемых оценок. В качестве исходной аттестационной модели руководителю предлагается использовать модель, представленную во второй главе. Он может вносить в нее необходимые изменения, а также использовать модели из других проектов. Руководитель проекта формирует команду экспертов, которым автоматически предоставляется доступ к системе через сеть Интернет. Эксперты используют шестиуровневую шкалу для определения зрелости процессов аттестуемых программных продуктов учебного назначения. По окончании аттестации руководитель проекта, в соответствии с методологией МАИ, формирует иерархии с критериями и вариантами

улучшения зрелости процессов. Система поддержки принятия решений формирует на основе иерархии анкету, которая предоставляется всем экспертам.

При обработке анкет с помощью методик, представленных в третьей главе, определяется согласованность полученных экспертных оценок и в случае приемлемого результата формируется ранжированные оценки для вариантов улучшения зрелости процессов. В случае несогласованности экспертных оценок запускается итеративная процедура согласования, в ходе которой экспертов давших крайние оценки, просят их обосновать или изменить в соответствии с мнением большинства экспертов. Руководитель имеет возможность опубликовать все полученные в ходе аттестации результаты в сети Интернет. Администратор выполняет техническую работу по обеспечению корректной работы экспертной системы, а также может изменять права доступа других пользователей системы.

Четвертая глава посвящена применению разработанных методик и работающей по ним системы для решения практических задач по аттестации качества программных продуктов учебного назначения, разработанных в НИИ Образовательных технологий МЭСИ. НИИ Образовательных технологий ведет разработку программных продуктов учебного назначения, используемых не только в учебном процессе МЭСИ, но и в других ВУЗах. С целью повышения конкурентоспособности разрабатываемых программных продуктов и уровня организации технологического процесса с помощью разработанной системы поддержки принятия решений была проведена самоаттестация программного продукта Технологии Образовательных Ресурсов (ТОР). ТОР реализует стандарты IMS и обеспечивает выполнение следующих функций: разработка учебных материалов (УМ), хранение УМ и проведение учебного процесса в сети Интернет.

В качестве потребителей услуг НИИ ОТ выступает управление учебно-методического обеспечения (УМО) МЭСИ и кафедры МЭСИ. Соответственно, в качестве экспертов в аттестации принимали участие сотрудники НИИ ОТ, управления УМО и преподаватели, ведущие обучение студентов с использованием ТОР.

Проведенная аттестация показала, что большинство процессов, относящихся к категориям: "Потребитель—Поставщик", "Инженерные процессы", "Вспомогательные процессы", "Управленческие процессы" и "Организационные процессы", соответствуют уровню зрелости "Управляемый процесс". В тоже время процессы, относящиеся к категориям: "Поддержка обучаемого", "Структура курса", "Успеваемость

и Оценка" достигли уровня зрелости "Устоявшийся процесс'*. Высокий уровень зрелости процессов связанных с педагогической составляющей системы ТОР объясняется использованием последних версий международных спецификаций IMS и постоянными консультациями между преподавателями и разработчиками системы. В результате создаваемое с помощью ТОР учебно-методическое обеспечение может быть импортировано из хранилища в любые другие системы поддерживающие IMS.

С целью исследования влияния процедуры согласования на количество необходимых итераций, экспертная группа была разделена на две части. Экспертам была предложена анкета с 12 вопросами и 9-ю возможными ответами на каждый из вопросов. В первой группе, состоящей из четырех экспертов, при согласовании экспертных оценок использовались личные контакты между экспертами. Эксперты имели возможность общаться между собой с помощью чата. Во второй группе, также состоящей из четырех экспертов, на каждой итерации формировались случайные пары экспертов, которые имели возможность обмениваться оценками, на условиях анонимности. На рисунке представлены итерации процедур согласования для каждой группы.

3,000

2,800

—♦—С личными контактами -л— Без личных контактов —»(0.8,3)

2,600 ■

2,400 -

2 2,200 -

х

X

" 2,000 -

я

5 1,800£

1,600 ■

1,400 -

1,200 ■

1,000 I I-,-,-,-,-,-,-,-,-,-,-,-,-,-,-,-,-,

1 2 3 4 5 в 7 8 9 10 11 12 13 14 15 16 17 18 19 20

№ итерации

Рис. Сравнение вариантов согласования экспертных оценок

В первой экспертной группе на девятой итерации согласования была получена оценка z меньше соответствующего значения распределения Стьюдента и итерации были прекращены. Во второй экспертной группе для получения согласованных оценок потребовалось выполнить двадцать итераций. Использование личных контактов между экспертами позволило первой группе значительно быстрее получить согласованные оценки, но в тоже время в ряде случаев эксперты принимали позицию более авторитетных специалистов. Это несколько снижает компетентность получаемых оценок. В этом случае уменьшается число независимых экспертных оценок. Во второй группе эксперты получали доступ к оценкам на условиях анонимности. Таким образом, на экспертов второй группы .не влиял авторитет других специалистов. Они могли свободно отстаивать свою точку зрения. По этой причине процесс согласования оценок во второй группе был более протяженным во времени, чем в первой группе. В целом оценки двух экспертных групп дали практически одинаковые результаты с небольшой разницей в процентных соотношениях.

На основе представленных результатов были сформулированы рекомендации по повышению качества программного продукта ТОР, в которых указывается на необходимость создания системы качества МЭСИ.

Рекомендации были приняты к сведению, и в настоящее время в МЭСИ создана комиссия по качеству, и ведется работа по описанию учебных и технологических процессов университета, а также запланирована аттестация международным аудитором.

В заключении дается перечисление полученных в работе в соответствии с поставленными задачами новых научных результатов.

В приложении приводятся аттестационная модель на основе стандарта ИСО 15504 и акт о внедрении результатов.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработана и внедрена для аттестации качества программных продуктов учебного назначения аттестационная модель на основе стандарта ИСО 15504. Она позволяет получить оценку зрелости процессов жизненного цикла программных продуктов учебного назначения, на основании которой может быть вынесено суждение о конкурентоспособности программного продукта учебного назначения.

2. Создана методика определения согласованности оценок разных экспертов при использовании метода анализа иерархий на основе теории математической статистики, решающая проблему согласования экспертных оценок МАИ в распределенных системах поддержки принятия решений.

3. Разработана и апробирована методика использования лингвистических переменных в методе анализа иерархии для составления анкет. Данная методика значительно облегчает работу экспертов с помощью замены попарных сравнений элементов иерархии на обработку анкеты с лингвистическими переменными. Внедрение данной методики позволяет привлекать в качестве экспертов специалистов не знакомых с методом анализа иерархии, что значительно расширяет сферу применения разрабатываемых систем.

4. Создана итеративная процедура согласования экспертных оценок в распределенных системах поддержки принятия решений с личными контактами между экспертами и обменом оценками на условиях

анонимности. Проведено сравнение различных процедур согласования экспертных оценок, позволившее оценить продолжительность процедуры согласования.

5. Построена система поддержки принятия решений по качеству программных продуктов учебного назначения, позволяющая не только оценить зрелость процессов, составляющих жизненных цикл программных продуктов на основе теории принятия решений и математической статистики, но и дать рекомендации по их улучшению.

6. С помощью построенной системы получены результаты решения практических задач НИИ ОТ МЭСИ, исследованы недостатки в организации технологического процесса и даны соответствующие рекомендации.

Главный смысл работы автор видит в создании аттестационной модели, учитывающей специфику программных продуктов учебного назначения, и разработке методик согласования оценок, полученных с помощью МАИ, в распределенных системах. Это дает дополнительные возможности по использованию МАИ в распределенных системах поддержки принятия решений различного назначения.

В качестве путей продолжения исследуемой темы в работе отмечены следующие задачи для будущих исследований:

- создание базы знаний для экспертной системы оценки качества программных продуктов учебного назначения;

- разработка аттестационных моделей программных продуктов различного назначения;

- исследование возможности применения методики согласования оценок разных экспертов, основанной на теории математической статистики, в других методах теории принятия решений;

- разработка новых итеративных процедур согласования экспертных оценок, использующих представленные в работе методики.

Основные результаты, полученные автором в ходе работы над диссертацией, отражены в следующих публикациях:

1. Матюхин Б.Н., Иванов Д.Н., Королев И.В. Принятие решений с использованием метода анализа иерархий в сети Интернет//Дистанционное образование. - 2000. - N3. - С. 19-20

2. Королев И.В., Титарев ДЛ., Титарев Л.Г. Стандарты и архитектура технологических систем в образовании//Ведомственные и корпоративные сети и системы (ВКСС Connect). - 2001. - N6. - С. 69.

3. Королев И.В. Исследование качества программных продуктов

учебного назначения/Юткрытое образование. - 2002. - N6. - С. 5-9.

4. Королев И.В., Титарев Д.Л. Дистанционная аспирантура МЭСИ//Будущее электронного бизнеса в России: Сборник материалов. -М.:МЭСИ,-2002.-С278.

5. Королев И.В. Исследование качества программных продуктов учебного назначения//Сборник статей конференции "Влияние образовательных технологий на развитие регионов", - М.: МЭСИ, 2003, -С. 66.

6. Королев И.В. Экспертная система оценки качества-программных продуктов учебного назначения//Сборник тезисов докладов Всероссийской конференции "Роль информационных технологий при обучении по программе МВА". - М.: МЭСИ, 2003, - С. 130

7. Королев И.В., Ярных В.В. Использование метода анализа иерархий для принятия решений по качеству учебных ресурс ов//Открытое образование. - 2004, - N2, - С. 7-10.

Принято к исполнению 22/03/2004 Исполнено 23/03/2004

Заказ № 93 Тираж:80 экз.

ООО «11-й ФОРМАТ» ИНН 7726330900 Москва, Балаклавский пр-т, 20-2-93 (095)318-40-68 www.autoreferat га

í-58 14

Введение.

Глава 1. Оценка качества информационных технологий в образовании и анализ современных методов экспертной оценки.

1.1. Информационные технологии в образовании.

1.2. Системы автоматизированного проектирования и применения ЭУП.

1.3. Международные стандарты оценки качества.

1.4. Экспертная оценка и J11 IF.

1.5. Анализ существующих экспертных систем.

Глава 2. Разработка аттестационной модели и методик согласования экспертных оценок программных продуктов учебного назначения.

2.1. Разработка аттестационной модели жизненного цикла программного продукта учебного назначения.

2.2. Категории процессов, связанные с учебной деятельностью.

2.3. Методика подготовки рекомендаций по повышению зрелости процессов

2.4. Методика определения согласованности экспертных оценок каждого эксперта при использовании метода анализа иерархий.

2.5. Методика определения согласованности экспертных оценок нескольких экспертов при использовании метода анализа иерархий.

2.6. Разработка методики проведения попарной оценки с помощью анкет.

2.7. Итеративная процедура согласования экспертных оценок.

Глава 3. Создание системы оценки качества программных продуктов учебного назначения с использованием разработанных методик.

3.1. Обоснование выбора среды разработки.

3.2. Алгоритм функционирования системы поддержки принятия решений

3.3. Исследование вычислительной сложности алгоритмов умножения матриц попарных сравнений.

3.4. Функциональные возможности разработанной системы.

Глава 4. Применение разработанной системы и методик для решения практических задач.

4.1. Оценка качества программного продукта ТОР.

4.2. Возможные применения результатов диссертации.

Актуальность работы. В настоящее время наблюдается скачкообразный рост количества программных продуктов, выпускаемых как государственными высшими учебными заведениями (ВУЗами), так и коммерческими организациями, работающими в области дистанционного обучения. В связи с этим все более актуальной становятся проблемы оценки качества программных продуктов, используемых в учебном процессе и изучение совместимости программных продуктов различных ВУЗов.

Цель и задачи. Целью настоящей работы является решение следующей научной проблемы: разработка и реализация системы аттестации качества программных продуктов учебного назначения на основе теории принятия решений и международных стандартов оценки качества программных продуктов. В соответствии с поставленной целью требуется решить следующие задачи:

- провести анализ современных образовательных технологий и стандартов оценки качества;

- разработать аттестационную модель для проведения аттестации качества программных продуктов учебного назначения;

- создать методику определения согласованности оценок разных экспертов при использовании метода анализа иерархий (МАИ) на основе теории математической статистики;

- создать методику использования лингвистических переменных при проведении экспертной оценки по МАИ;

- разработать итеративную процедуру согласования экспертных оценок для распределенных систем поддержки принятия решений;

- построить распределенную систему поддержки принятия решений, работающую с применением разработанных методик на основе теории принятия решений;

- решить практические задачи по аттестации качества программных продуктов учебного назначения с помощью построенной системы.

Объект исследования представляет собой порождающий проблемную ситуацию и избранный для изучения процесс аттестации качества программных продуктов учебного назначения.

Предметом исследования являются аттестационные модели, стандарты качества и методы теории принятия решений.

Методы исследования. Для достижения поставленной в работе цели были выбраны методы математической статистики и теории принятия решений. Для создания системы поддержки принятия решений была выбрана технология Active Server Pages и Microsoft SQL Server. Программный код разрабатывался в среде InterDev.

Методологическая основа. Работа выполнена на основе методологии теории принятия решений и методологии объектно-ориентированного (00) построения программных систем.

Достоверность полученных результатов подтверждается теоретической проработкой созданных методик, их практическим применением и апробацией работающей на их основе системы поддержки принятия решений. Научная новизна. Автор видит новизну полученных в работе результатов в следующем:

- разработана аттестационная модель для аттестации качества программных продуктов учебного назначения, учитывающая рекомендации ИСО 15504 и процессы, связанные с образовательной деятельностью;

- впервые разработана методика оценки согласованности экспертных оценок, полученных при использовании МАИ, с использованием распределения Стьюдента;

- разработана методика использования лингвистических переменных в МАИ для составления анкет;

- разработана итеративная процедура согласования экспертных оценок в распределенных системах поддержки принятия решений;

- создана и апробирована оригинальная система оценки качества программных продуктов учебного назначения, позволяющая не только оценить зрелость процессов, составляющих жизненный цикл программных продуктов, но и дать рекомендации по их улучшению.

Оценка теоретической значимости результатов работы. Полученные в работе результаты являются теоретической основой создания распределенных систем для аттестации качества программных продуктов. Методики оценки согласованности экспертных оценок в МАИ и использования лингвистических переменных могут быть использованы в различных задачах, связанных с разработкой распределенных систем поддержки принятия решений.

Практическая ценность результатов работы. Практическая ценность полученных результатов состоит в создании методик использования теории математической статистики, теории принятия решений и работающей на,их основе системы поддержки принятия решений для аттестации качества программных продуктов учебного назначения и получения рекомендаций по повышению качества.

На защиту выносятся следующие положения.

- Аттестационная модель жизненного цикла программного продукта учебного назначения;

- Методика определения согласованности оценок разных экспертов при использовании метода анализа иерархий (МАИ) на основе теории математической статистики;

- Методика использования лингвистических переменных в МАИ для составления анкет;

Итеративная процедура согласования экспертных оценок в распределенных системах поддержки принятия решений;

- Система поддержки принятия решений, работающая на основе разработанных методик и результаты ее апробации.

Внедрение результатов. Программная реализация в виде системы поддержки принятия решений по качеству программных продуктов учебного назначения используется в НИИ Образовательных технологий МЭСИ для самоаттестации разрабатываемых программных продуктов и повышения зрелости процессов, составляющих жизненный цикл программных продуктов. Апробация результатов работы. По основным результатам работы были сделаны научные доклады, которые обсуждались и получили в целом одобрение на Всероссийской конференции "Проблемы научно-методического и организационного обеспечения единого образовательного пространства" Москва, 2001 г., Первой Всероссийской молодежной конференции IT-Youth 2002, г. Москва, 2002 г., Всероссийской конференции "Роль информационных технологий при обучение по программе МВА", Москва, 2003 г.; Личный вклад. Личный вклад автора заключается в разработке аттестационной модели для аттестации качества программных продуктов учебного назначения, методик на основе теории математической статистики и теории принятия решений и их реализации в системе поддержки принятия решений. Публикации. Основные результаты диссертации изложены в 4 научных статьях (3 с соавтором) и 3 тезисах научных докладов (1с соавтором). Структура и объем диссертации. Диссертационная работа состоит из списка основных сокращений, введения, 4 глав, выводов по каждой главе, заключения, списка использованной литературы и приложения.

- В первой главе рассматривается необходимость аттестации качества программных продуктов учебного назначения, проводится обзор информационных технологий, применяемых в образовании, стандартов оценки качества программных продуктов и степени внедрения этих технологий.

- Вторая глава посвящена разработке аттестационной модели для оценки качества программных продуктов учебного назначения и методик согласования экспертных оценок. При разработке аттестационной модели были учтены рекомендации ИСО 15504, а также созданы категории процессов, связанных с образовательной деятельностью.

- В третьей главе дается обоснование выбора платформы для разработки системы поддержки принятия решений, описывается алгоритм функционирования и возможности разрабатываемой системы. В главе также проведено исследование алгоритмов умножения матриц для выбора оптимального алгоритма с точки зрения отношения точность/вычислительная сложность.

- Четвертая глава посвящена применению разработанных методик для решения практических задач по аттестации качества программных продуктов учебного назначения, разработанных в НИИ Образовательных технологий МЭСИ.

Диссертация изложена на 122 страницах, содержит 19 рисунков, 20 таблиц. Список использованной литературы включает 109 наименований, в том числе 44 на английском языке. Приложения на 38 страницах содержат 10 таблиц и 1 акт о внедрении.

Выводы по главе:

1. Проведена оценка качества программного продукта НИИ Образовательные технологий МЭСИ ТОР, которая показала достаточно высокий (управляемый) уровень процессов, связанных с разработкой и последующим применением программного продукта;

2. Выявлен ряд недостатков, связанных с недостаточной полной документацией по выполнению процессов в НИИ Образовательных технологий, для устранения которых предложено разработать систему качества;

3. Применение методик согласование экспертных оценок обеспечило высокую достоверность полученных результатов аттестации;

4. Проведен анализ различных процедур согласования экспертных оценок, который показал преимущества методов с личными контактами между экспертами.

Заключение

В диссертации представлено решение научной проблемы оценки качества программных продуктов учебного назначения и были получены новые, по отношению к имевшимся ранее результатам научных исследований. По приводимым далее полученным результатам делаются соответствующие выводы, отмечается их теоретическая значимость и практическая ценность.

1. Разработана и внедрена для аттестации качества программных продуктов учебного назначения аттестационная модель на основе стандарта ИСО 15504. Она позволяет получить оценку зрелости процессов жизненного цикла программных продуктов учебного назначения, на основании которой может быть вынесено суждение о конкурентоспособности программного продукта учебного назначения.

2. Создана методика определения согласованности оценок разных экспертов при использовании метода анализа иерархий на основе теории математической статистики, решающая проблему согласования экспертных оценок МАИ в распределенных системах поддержки принятия решений.

3. Предложена и апробирована методика использования лингвистических переменных в методе анализа иерархий для составления анкет. Данная методика значительно облегчает работу экспертов с помощью замены попарных сравнений элементов иерархий на обработку анкеты с лингвистическими переменными. Внедрение данной методики позволяет привлекать в качестве экспертов специалистов не знакомых с методом анализа иерархий, что значительно расширяет сферу применения разрабатываемых систем.

4. Разработана итеративная процедура согласования экспертных оценок в распределенных системах поддержки принятия решений с личными контактами между экспертами и обменом оценками на условиях анонимности. Проведено сравнение различных процедур согласования экспертных оценок, позволившее оценить продолжительность процедуры согласования.

5. Построена система поддержки принятия решений по качеству программных продуктов учебного назначения, позволяющая не только оценить зрелость процессов, составляющих жизненных цикл программных продуктов на основе теории принятия решений и математической статистики, но и дать рекомендации по их улучшению.

6. С помощью построенной системы получены результаты решения практических задач НИИ ОТ МЭСИ, исследованы недостатки в организации технологического процесса и даны соответствующие рекомендации.

Главный смысл работы автор видит в создании аттестационной модели, учитывающей специфику программных продуктов учебного назначения, и разработке методик согласования оценок, полученных с помощью МАИ, в распределенных системах. Это дает дополнительные возможности по использованию МАИ в распределенных системах поддержки принятия решений различного назначения.

В качестве вариантов развития исследуемой темы в работе были отмечены следующие задачи для будущих исследований:

- создание базы знаний для экспертной системы оценки качества программных продуктов учебного назначения;

- разработка аттестационных моделей программных продуктов различного назначения;

- исследование возможности применения методики согласования оценок разных экспертов, основанной на теории математической статистики, в других методах теории принятия решений;

- разработка итеративных процедур согласования экспертных оценок, использующих представленные в работе методики.

1. Адельсон-Вельский F.M., Арлазаров В.П., Донской М.В. Программирование игр. М.: Наука. 1978.

2. Анич И., Ларичев О.И. Метод ЭЛЕКТРА и проблемы ацикличности отношений альтернатив//АиТ. 1996. - N8. - С. 108-118.

3. Березовский Б.А., Барышников Ю.М., Борзенко В.И., Кемпнер Л.М. Многокритериальная оптимизация: математические аспекты. -М.: Наука, 1989.

4. Борзенко В.И., Трахтенгерц Э.А., Шершаков В.М. Аппроксимационная многокритериальная оптимизация в вычислительных системах//АиТ. 1986. -N9.-С. 152-162.

5. Борзенко В.И., Голубенков А.В., Трахтенгерц Э.А., Шершаков В.М. Многокритериальный выбор параметров оптимального режима функционирования в вычислительных системах//АиТ. 1988. - N 2. -С. 173-177.

6. Бурков В.Н., Еналиев А.К., Новиков Д.А. Механизмы функционирования социально-экономических систем с сообщением информации//АиТ. 1996. -N3. - С. 3-25.

7. Бурков В.Н., Новиков В.А. Введение в теорию активных систем. М.: ИПУ, 1996.

8. Брановский Ю., Беляева А. Работа в информационной среде//Высшее образование в России. 2002. - N1. - С. 81-87

9. Ваграменко Я.А., Галкина А.И. О сертификации компьютерных учебных программ//Информатизация базового гуманитарного образования в высшей школе: Тез. докл. Межвузовской науч. метод, конф. - М.: НИИВО, 1995, - С. 55-57.

10. Ваграменко Я. А., Каракозов С. Д. Развитие образовательных телекоммуникаций в России, Международная конференция по программе ЮНЕСКО: Тез. Докл. Социально-экономические проблемы образования в Западно-Сибирском регионе России. Барнаул, 1995.

11. Ваграменко Я.А., Роберт И.В., Львовский B.JI. Концепция использования новых информационных технологий в организационно-методическом обеспечении учебного заведения М.:, 1992.

12. Гершунский Б.С. Философско-методологические основания стратегии развития образования в России//Рос. акад. образ. Ин-т теорет. педагогики и междунар. исслед. в образовании. М.:, 1993. - С. 160

13. Гершунский Б.С. Компьютеризация в сфере образования: проблемы и перспективы. М.: Педагогика, 1987. - 263 с.

14. Гершунский Б.С. Программа научно-методического обеспечения развития образования в России. М.: ИТПИМО, 1993. - 120 с.

15. Гриценко А.В., Королев И.В., Павлов Р.В. Дистанционная аспирантура МЭСИ // Будущее электронного бизнеса в России: Сборник материалов. М.: МЭСИ, 2002.

16. Древе Ю.Г. Корпоративные библиотечные сети как системообразующий элемент открытого образования//Современные информационные технологии -2001. N3 - С. 56-62

17. Зайцева Ж.Н., Рубин Ю.Б., Титарев Л.Г., Тихомиров В.П., Хорошилов А.В., Усков В.Л., Филиппов В.М. Открытое образование стратегия XXI века для России/Под общей редакцией Филиппова В.М. и Тихомирова В.П. - М.: МЭСИ, 2000.

18. Зайцева Ж.Н., Рубин Ю.Б., Титарев Д.Л.,Титарев Л.Г., Тихомиров В.П., Хорошилов А.В., Ярных В.В., Яхшибекян А.А. Интернет-образование: не миф,а реальность/Под общей редакцией Тихомирова В.П. М.: МЭСИ, 2000.

19. Золотарев В.В., Шевцов А.Ю. Способы повышения применимости и эффективности экспертных систем//Современные информационные технологии. 2003. - N4. - С. 185-195

20. Кини Р.Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения. М.: Радио и связь, 1984.

21. Королев И.В. Исследование качества программных продуктов учебного назначения/Юткрытое образование. 2002. - N6. - С. 5-9.

22. Королев И.В. Исследование качества программных продуктов учебного назначения: Сборник статей конференции "Влияние образовательных технологий на развитие регионов", М.: МЭСИ, 2003. - С. 66.

23. Королев И.В. Экспертная система оценки качества программных продуктов учебного назначения: Сборник тезисов докладов Всероссийской конференции "Роль информационных технологий при обучении по программе MB А", М.: МЭСИ, 2003. - С. 130

24. Королев И.В., Титарев Д.Л. Дистанционная аспирантура МЭСИ//Будущее электронного бизнеса в России: Сборник материалов. М.: МЭСИ, -2002. - С. 278.

25. Королев И.В., Титарев Д.Л., Титарев Л.Г. Стандарты и архитектура технологических систем в образовании//Ведомственные и корпоративные сети и системы (ВКСС Connect). 2001. - N6. - С. 69

26. Королев И.В., Ярных В.В. Использование метода анализа иерархий для принятия решений по качеству учебных ресурсов//Открытое образование. -2004.-N2.-С. 7-10

27. Кузьмин В.Б. Травкин С.И. Теория нечетких множеств в задачах управления и принципах устройства нечетких процессоров //АиТ. 1992. - N2. - С. 7-36.

28. Ларичев О.И. Некоторые проблемы искусственного интеллекта: Сб. трудов М: ВНИИСИ, 1990. - N10. - 3-9 с.

29. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. -М.: Наука. Физматлит., 1996.

30. Ларичев О.И. Объективные модели и субъективные решения. М.: Наука, 1987.

31. Липаев В.В. Методы обеспечения качества крупномасштабных программных средств. М.: СИНТЕГ, 2003

32. Макаров И.М., Виноградская Т.М., Рубчинский А.В., Соколов В.Б. Теория выбора и принятие решений. М.: Наука, 1982.

33. Малышев Ю.В. Разработка методик и средств использования статистических и нечетных данных для имитационного моделирования компьютерной сети предприятия: Автореф. дис. канд. тех. наук. М.: -2001,- И с.

34. Маринин A.M., Древе Ю.Г. Поддержка принятия решений в системах управления качеством продукции//Современные информационные технологии. -2003.-N4.-С. 115-125

35. Матюхин Б.Н., Иванов Д.Н., Королев И.В. Принятие решений с использованием метода анализа иерархий в сети Интернет//Дистанционное образование. 2000. - N3. - С. 19-20

36. МОЦНИТ Режим доступа:http://www.mocnit.miee.ru/mocnit 14.03.2003.

37. Оценка и аттестация зрелости процессов создания и сопровождения программных средств и информационных систем (ISO/IEC TR 15504— СММ) / Пер. с англ. А.С. Агапова, С.В. Зенина, Н.Э. Михайловского, А.А. Мкртумяна.- М.: Книга и бизнес, 2001

38. Поспелов F.C., Ириков В.А. Программно-целевое планирование и управление. М.: Советское радио, 1976

39. Прилуцкий М.Х. Многокритериальное распределение однородного ресурса в вычислительных системах//АиТ. 1996. - N2. - С. 139-146.

40. Райфа X. Анализ решений. Введение в программу выбора в условиях неопределенности. М.: Наука, 1977.

41. Роберт И. В. Новые информационные технологии в обучении: дидактические проблемы, перспективы использования. М.: Школа-Пресс, 1994. - 205 с.

42. Роберт И.В. Современные информационные технологии в образовании: дидактические проблемы, перспективы использования. М.: Школа-Пресс, 1994. - 204 с.

43. Руа Б. Проблемы и методы принятия решений в задачах с многими целевыми функциями//Вопросы анализа и процедуры принятия решений. М.: Мир, 1976.

44. Рубин Ю. Б., Самойлов В. А., Шевченко К. К., Технологические системы в открытом образовании: Тезисы конференции Информационные Технологии в Образовании, М.: МЭСИ, 2001

45. Рыбаков Н. Шкала качества//Инфобизнес. 2001. - N44

46. Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993.

47. Сертификация средств информационных технологий. Режим доступа: http://cert.stankin.ru.

48. Система дистанционного обучения ПРОМЕТЕИ Режим доступа: http://www.prometeus.ru/ 27.02.2003.

49. Скотт Хилайдер, Дениел Мизик Программирование Active Server Page М.: Издательский отдел «Русская редакция» ТОО «Chanel Trading Ltd.», 1999.

50. Спутниковые, телевизионные и компьютерные технологии обучения в СГУ Режим доступа: http://www.video.muh.ru/science/l5.04.2002.

51. Танака К. Итоги рассмотрения факторов неопределенности и неясности в инженерном искусстве/В кн.: Нечеткие множества и теория возможностей под ред. Ягера Р.Я. М.:, Радио и связь, 1986. - с. 37-50

52. Применение новых технологий в образовании: Тез. Докл. X Международная Конференция Фонд новых технологий в образовании "Байтик", Троицк, 1999

53. Трахтенгерц Э.А. Генерация, оценка и выбор сценария в системах поддержки принятия решения//АиТ. 1997. - N3. - С. 167-178.

54. Трахтенгерц Э.А. Компьютерный анализ в динамике принятия решений//Приборы и системы управления. 1997. - N1. - С. 49-56

55. Трахтенгерц Э.А. Методы генерации, оценки и согласования решений в распределенных системах поддержки принятия решений//АиТ. 1995. - N4. - С. 3-52.

56. Трахтенгерц Э.А. Построение распределенных систем группового проектирования//АиТ. 1993. - N9. - С. 154-174.

57. Трахтенгерц Э.А. Представление знаний в экспертных системах//Информатика за рубежом. 1989. - N9. - С. 1-25.

58. Трахтенгерц Э.А. Принятие решений на основе компьютерного анализа. -М.: ИПУ, 1996.

59. Уинстон П. Искусственный интеллект. М.: Мир, 1980.

60. Хейс-Рот Ф., Уотерман Д., Ленит Д. Построение экспертных систем М.:, Мир, 1987.

61. Хомский Н. О некоторых формальных свойствах грамматик. Кибернетический сборник. М.: Изд. иностр. лит., 1962.

62. Шнейдерман М.В. Обратные связи в итеративных экспертных процедурах// АиТ. 1986. - N7. - С. 90-101

63. Шнейдерман М.В. Процедуры коллективного экспертного опроса и их экспериментальное исследование//АиТ. 1988. - N5. - С. 3-16

64. Advances in Programming and Non-Numerical Computation. Ed. by Fox. Pergamon Press, 1966

65. AICC Aviation Industry CBT Committee Режим доступа: http://www.aicc. org 13.05.2003.

66. ARIADNE Project Home Page Режим доступа: http://ariadne.unil.ch 15.05.2003.

67. Backus I.W. The syntax and semantics of the proposed international language of the Zurich ACM-GAMM//Conference ICIP Paris, June, 1959

68. Beroggi C.E. G., Wallace W.A. Operational risk management: a new paradigm for decision making//IEEE Transactions on Systems, Man and Cybernetic, v. 24, 1994, p. 1450-1457

69. Blackboard Режим доступа: http://www.blackboard.com 22.03.2002.

70. Boje D.M., Mumingham J.K. Group confidence pressures in iterative decision//Manag. Sci., V. 28, 1982, p. 1187-1196.

71. Borzenko V.I. Approximational approach problems//Lecture Notes in Economics and Systems. Springes Vertag, 1989, vol.337.

72. Buchanan B.C., Bobrow D., Davis R., Me Dermott j., Shorlife E.M. Knowledge -based systems//Annual Report Computer Science, v. 4, 1990, p. 395-416

73. Craigmyle M. and Fletcher I. Improving IT Effectiveness Through Software Process Assessment//Software Quality Journal, v. 2, 1993, p. 257-264

74. Click21eam Making Knowledge a Tangible Asset Режим доступа:http://www.asymetrix.com. 05.12.2002.

75. Dagan N., Volij O. The bankruptcy problem: a cooperative bargaining approach // Mathematical Social Sciences, v. 3, 1993, p. 205-318

76. Dalxey N.,Helmer O. Experimental application of the Delphi method to the use of experts//Manag. Sci, V. 9, 1963, p. 458-467

77. Durfee E.H., Lesser V.R., Gorkill D.D. Trends in cooperative distributed problem solving/ЯЕЕЕ Trans. Knowledge and Data Eng. March, v. 1, 1989, p. 63-83

78. Findler N.V., Lo R. An examination of distributed planning in the world of air traffic control//Parallel Distributed Computers, v. 3,1986, p. 411-431

79. Franclin J.E., Carmody C.L., Keller K., Levit T.S., Butean B.L. Expert system technology for military selected samples//Proceedings of the IEEE vol. 76, N 10, 1988

80. Ginzberg M.J., Stohr E. A. A decision support: Issues and Perspectives//Processes and Tools for Decision Support. Amsterdam, North Holland Publ. Co, 1983

81. Gpyal S., Worrest R. Expert system applications to network management//Expert Systems Applications to Telecommunications, New York, v. 1, 1988, p.3-44

82. Humphrey W. S. Managing the Software Process. Addison Wesley, 1989.

83. IEEE Режим доступа:http://www.ieee.org 24.05.2003.

84. IMS Global Learning Consortium Режим доступа:http://www.imsproject.org 14.05.2002.

85. ISO International Organization for Standardization Режим доступа: http: //www. iso. org 18.04.2003.

86. Kuvaja P., Simila J., Krzanik L., Bicego A., Koch G. and Saukkonen S. Software Process Assessment and Improvement: The BOOTSTRAP Approach, Blackwell, 1994

87. Mackie C.A. and Rigby P.J. Practical Experience in Assessing the Health of the Software Process//Software Quality Journal, v. 2,1993, h. 265-275

88. Macromedia Coursebuilder for Dreamwever Training Class. Режим доступа: http: //www. coursebuilder-training. com 10.11.2002.

89. Madduck Режим доступа:http://www.madduck.com 10.12.2002.

90. Nash J.F. The bargaining problem//Econometrica, v. 18, 1950, p. 155-162.

91. Paulk M.C., Curtis В., Chrissis M.B. and Weber C.V. Capability Maturity Model, Version 1.1//IEEE Software, V. 10,1993, P. 18-27

92. PROMETEUS Режим доступа: http://prometeus.org 17.04.2003.

93. Quillian M.R. Semantic methodology information processing MIT press. Cambridge Mass, 1968, p. 354-402

94. Saaty T.L. Exploring the interface between hierarchical structures. Fuzzy Sets and Systems, v. 1,1978, p. 57-68

95. Simon H.A. The new science of management decision. Englewood Cliffs, N.Y., Prentice Hall Inc., 1975

96. Simon H., Newell A. Heuristic problem solving: the next advance in operations research//Operations research, v.6,1958

97. Simonovic A., Slobodan P. Decision support for sustainable water resources development in water resources planning in a changing world//Proceeding of International UNESCO symposium, Karlsruhe, Germany, v. 3,1994

98. Smith S.F., Hynynen J.E. Integrated decentralization of production management:an approach for factory scheduling//Intelligent and Integrated Manufacturing Analysis and Synthesis, New York, 1987, P. 427-431

99. Steff R., Camarata S., Narain S., Rothenburg J., Giaria W. Cooperative intelligence for remotely piloted vehicle flight control//Rand Corp. Tech/Report. R-3408-ARPA, oct. 1986.

100. The Learning Space Online Teacher Network Режим доступа: http://www.learningspace.org 15.06.2003.

101. Wagner С. Facilitating space-time differences, group heterogeneity and multysensory task work through a multimedia supported group decision system//Decision Support Systems v. 15, 1995, p.197-210

102. WBT Systems: e-Learning solutions for Online Learning and Web Based Training Режим доступа:http://www.wbtsystems.com 22.04.2003.

103. Webct Режим доступа:http://www.webct.com 15.06.2003.

104. White L.L. Organic structural hierarchies In "Unity and Diversity in Systems". New York. 1969

105. Yamakawa T. Intrinsic Fuzzy electronic circuits for sixth generation computer//Fuzzy Computing, North Holland, 1988, p. 157-171

106. Zimmerman H.J., Zysno P. Decisions and evaluations by hierarchical aggregation of information//Fuzzy Sets and Systems, v. 10,1983, p. 243-260

107. Московский государственный университет экономики, статистики иинформатики1. На правах рукописи