автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.14, диссертация на тему:Многокритериальная оценка качества и оптимальный выбор авторских инструментальных систем для создания компьютерных учебных программ

ГОСУДАРСТВЕННЫЙ КОМИТЕТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ПО ВЫСШЕМУ ОБРАЗОВАНИЮ МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ЛЕСА

На правах р\коп»сн УДК 681.3.01

ШУГРИНА Марина Валериевна

МНОГОКРИТЕРИАЛЬНАЯ ОЦЕНКА КАЧЕСТВА И ОПТИМАЛЬНЫ!! ВЫБОР АВТОРСКИХ ИНСТРУМЕНТАЛЬНЫХ СИСТЕМ ДЛЯ СОЗДАНИЯ КОМПЬЮТЕРНЫХ УЧЕБНЫХ ПРОГГЛММ

Специальность 05.13.14 - Системы обработки информации и управления

Автореферат диссертации на соисканне ученой степенн кандидата технических наук

Москва -1995

Работа выполнена в ¡¿ооновском Государственном Университете Леса Научный руководитель - доктор технических наук, профессор, лауреат Государственной премии Домрачев В.Г. Научный консультант - кандидат технических наук Ретинскзя К. В.

Официальные оппоненты: - доктор технических наук, профессор

Ведунья организация - Российский НИИ информационных систем

заседании диссертационного совета Д 053.31.05

по адресу: 141005, г.Мытищи, Московская обл., МГУЛ С диссертацией можно познакомиться в библиотеке института.

Васильев В. И.

- кандидат технических наук Лобанов Ю. И.

Автореферат разослан " 995)

■f

Ученый секретарь диссертационного совета к.т.н., доц. Дашков A.A.

0Б1ЦАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В связи с повсеместным внедрением персональных компьютеров в учебный процесс вузов и появлением широкого спектра программного обеспечения учебного назначения (ПОУН) становится актуальной задача оценки его качества. На базе высших учебных заведений и научно-исследовательских организаций создаются сертификационные лаборатории по тестированию и оценке качества ПОУН, что является следствием Соглашения по политике информатизации No.44 от 11.11.94 ме.чзду Госкомвузом РФ и Комитетом при Президенте РФ (Роско-минфор.ч). Следует отметить, что сфера применения ПОУН не ограничивается только учебными заведениями, это также крупные промышленные предприятия, военные и гражданские организации, ведущие самостоятельную подготовку и переподготовку кадров.

К ЛОУН относятся как компьютерные учебные программы (КУП), так и авторские инструментальные системы (ЛИС), или, как их называют на Западе, Authoring systems, предназначенные для создания КУП. АИС представляит собой многофункциональные интегрированные среда разработчика КУП.

Применение АИС является одним из способов разработки и внедрения КУП в учебный процесс наряду с использованием готовых фирменных КУП и прямого программирования на языках высокого уровня. Применение АИС имеет ряд преимуществ, главными из которых является: возможность ^ разработки КУП непосредственно преподавателями вузов без привлечения профессиональных программистов, высокая степень соответствия создаваемой КУП конкретному учебному курсу, решение проблемы "второго автора" в случае модификации КУП и обеспечение высокой технологичности процесса разработки.

В настоящее время на российском рынке программного обеспечения (ПО) распространено значительное количество как зарубежных, так и отечественных универсальных и специализированных АИС, имеющее различные функциональные возможности и области применения. Наличие у них инварчантнах состзвлякицдх позволяет создать систему характеристик, адекватнуа задаче оценки их качества. Выбор оптимальной АИС, реализук^ей соответствуинцую поставленной учебной задаче функциональную поддержку, обеспечивает создание эффективной КУП в короткие сроки с минимальными трудозатратами. До последнего времени решение задачи оценки качества и выбора АНС проводилось без достаточного применения математических методов. Предлагаемая в диссертации оптимизационная модель позволяет проводить оценку качества и выбора АИС на основе разработанной иерархической системы характеристик качества с использованием метода векторной оптимизации - метода обобщенного критерия качества (ОКК).

Целью работы является построение оптимизационной модели оценки качества на основа разработанной системы характеристик качества АИС с последухязим исследованием результатов сценки качества иа примере

нескольких отечественных универсальних АИС к выработкой рекомендаций по выбору оптимальной АИС.

Цля достижения поставленной цеди решались сдедуюище взаимосвязанные задачи:

- классификация АИС с точки зрении принципов' обучения и функциональных возможностей;

- классификация КУП с точки зрения использования возможностей AMC применительно к оценке важности характеристик качества;

- обоснование выбора совокупности AMC, взятых в качестве объектов исследования;

- разработка иерархической системы характеристик качества на основе Международного стандарта оценки качества программного обеспечения (ПО) ISO/IEC S126 с учетом среды запроса;

- разработка алгоритмов проведения многоэтапного экспертного опроса для определения коэффициентов важности на основе методов ран--' жирования, полных парных сравнений и непосредственной оценки;

- анализ исходной экспертной информации на непротиворечивость и согласованность на стадии определения коэффициентов важности характеристик качества;

- разработка способов определения значений характеристик "качества;

- выбор способов нормирования значений характеристик и типов агрегирования исходной экспертной информации, определяющих стратеги» оценивания;

- разработка принципов создания библиотеки тестовых примеров для определения значений ряда характеристик качества и последующего выбора АИС;

- разработка способов получения ОКК для иерархической системы характеристик качества и в случае использования неполных наборов характеристик;

- разработка комплекса интерактивных компьютерных программ оценки качества АИС <IBK_L), компьютерной библиотеки тестовых примеров и организация гипертекстового представления системы характеристик качества. '

Метод исследований, метод обобщенного критерия качества (ОКК), лежащей в основе математической модели, относится к методам векторной оптимизация, позволякнцда получить Парето-опткигль ное решение задачи оценки качества с учетом структуры предпочтений лиц, принимающих решение (ЛПР) по выбору АИС. На промежуточных этапах оценки использовались статистические методы (ранговые корреляции) и принципы теории целенаправленных иерархических систем.

Научная новизна работы заключается в:

- разработке иерархической системы характеристик качества на основе .Международного стандарта оценки качества ПО IS0/IEC 9126 с

/

учетом принципов теории целенаправленных иерархических систем и среды запроса;

- разработке технологической модели процесса оценки качества АКС и математической модели на основе метода векторной оптимизации ОКК;

- разработке способов определения значений характеристик качества, позволяй!!?«: произвольно заменять исследуемые объекты без влияния на резудьтнрушщу» оценку качества;

- разработке алгоритмов проведения многоэтапного экспертного опроса для определения коэффициентов важности и значений характеристик качестваГ

"- разработке способов получения ОКХ для иерархической системы характеристик качества:

- разработке принципов создания библиотеки тестовых примеров для определения ряда характеристик качества и последующего выбора ЛИС;

- получении на основе анализа ОКХ ряда ва,жных выводов о наиболее элективной организации процесса оценки качества и выбора АИС;

- разработке рекомендаций по проведения» вчбора АИС на основе разработанной оптимизационной модели.

На защиту выносятся.- иерархическая система характеристик для оценки качества АИС;

- технологическая и математическая модели процесса оценки качества;

- результаты оценки качества АНС.

Практические результаты диссертационной работы представляют собой реализованные для Несовместимых ПК:

- алгоритмы и комплекс интерактивных программ оценки качества 1ЕИ_1 ;

- гипертекстовое представление иерархической системы характеристик качества АИС;

- компьютерной библиотеку тестовых примеров для сопровождения процесса оценки качества АИС.

Полученные в работе результаты могут найти применение для оценки качества, оптимального выбора, а также сертификации ПО различного назначения при разработке адекватной системы характеристик качества и задании соответстауккцих браковочных уровней.

Реализация и внедрение.

Раора^оталная иерархическая система -характеристик качества АИС в виде гипертекстового ^айла использовалась в Центре интерактивных средств обучении при Министерстве образования РФ с цель» стандартизации фонда программно-методических комплексов. Предложенная оптимизационная модель оценки качества н вибора АНС была использована в Центре новых информационных технологий при МИФИ с целы» исследования

эффективности ее применения для задач оценки качества ПОУН. Комплекс интерактивных программ оценки качества 1BMJL используется преподавателями ШКП ГАНГ им.И. К.Губкина и в ЦКИТ МГУЛ для выбора АИС, наиболее подходящей для разработки КУП, сопровождающих учебный процесс; а такяе в.Департаменте образования северо-западного учебного округа при практическом выборе АИС.

Апробация работа. Результаты работы докладывались на научно-техническом совещании "Электроннформ-92" (Н.Новгород, 1992), научно-технической конференции "Микросистема-93" (Москва,1993), XXI международной конференции "САПР-94: Новые информационные технологии в науке, образовании, медицине и бизнесе" (Симферополь, 1994), межвузовской научно-практической конференции "Эффективность информационных технологий обучения в высшей школе" (Новороссийск,1994), международной конференции "Компьютерные технологии в образовании EW-ED*94" (Симферополь,1994), III Всероссийской конференции-выставке "Информационные технологии в образовании" (Москва, 1994), всероссийской научно-методической конференции "Телематика-95" (С.-Петербург, 1995), XXII международной конференции "САПР-95" (Симферополь, 1995), международной конференции ЮНЕСКО по инженерному образовании ICEED'95 (Москва,1995), международной конференции-выставке "Информационные технологии в непрерывном образовании" (Петрозаводск, 1995), всероссийской научно-технической конференции "Перспективные информационные технологии в высшей школе (Тамбов,1995). _

Публикации. По теме диссертации опубликована 21 печатная работа.

Структура и объем работы. Диссертация состоит кз введения, четырех глав с выводами, заключения и ? приложений. Основной текст работы _ изложен на //'/ страницах машинописного текста, содержит '_3б страниц рисунков, 40 таблиц. Список литературы включает 69 наименования.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулирована цель исследования, обоснована структура работы и ее краткое содержание, а также основные положения, выносимые на защиту.

В первой главе проведен анализ существующих подходов к оценке качества и выбору ПОУН: "четкого" на основе оптимизационных и статистических математических методов и "нечеткого" на основе аппарата теории нечетких множеств. Результаты анализа свидетельствуют о необходимости разработки новых моделей процесса оценки качества ПОУН, позволякицкх в условиях достаточной исходной информации:,

- проводить оценку на основе научно разработанной системы характеристик качества;

- получать Парего-оптимальное решение при использовании различных стратегий иценивания, учитывающих структуру предпочтения ЛПР , и позволяющих сравтшать ПОУН между собой;

- добиться открытости совокупности исследуеяых объектов, когда добавление или исключение последних не влияет на результирующую оценку качества;

- проводить сравнение качества исследуемых объектов на основании количественных оценок.

Разработана классификация АИС с точки зрения принципов организации процесса обучения и функциональных возможностей. Сделан классификационный обзор специализированных АИС, ориентированных на наиболее полное решение конкретной учебной задачи. Сформулированы принципа выбора совокупности АИС в качестве объектов исследования.

Проведена классификация КУП применительно к оценке важности характеристик качества с точки зрения использования функциональных возможностей АИС.

В постановке задачи обосновывается применение метода векторной оптимизации ОКК для задачи оценки качества и выбора АИС при наличии системы некоррелированных характеристик качества. Сущность метода ОКК заключается в том, что качество исследуемого объекта х характеризуется единственным числом Z (р, г (х)), являющимся Парето-опти-мальным решением, и исходная оптимизационная многокритериальная задача сводится к задаче математического программирования с единственным критерием

__ Z (¡Г, 2 (х)) — тах;

где р= -С0i> - весовые коэффициенты, учитывающие относительную важность отдельных характеристик и удовлетворяющие следующим требованиям: п

. fli>0, £ ii=l; i -i

z" <x) ={?j (x)}={?; (f j (x))} - нормированные с помощь» однотипных преобразований ? значения характеристик качества -if i ix) 1, удовлетворяющие условию 0 < Zi(x) < i. При этом значение 1 соответствует высшему уровни качества i-ой характеристики, а значение 0 -низшему уровню качества.

Оптимальный выбор при наличии ОКК - это задача переборного типа, когда из заданной совокупности выбирается объект, обладающий наибольшей оценкой Z.

.Из трех сутцествугапщх в теории принятия решений основных направлений формирования ОКК в работе используется представление ОКК с по-мощьи достаточно представительного семейсгза функций, моделирующего различите структура предпочтений ЛПР. Эти функции представляют собой обобщенные t-средние (или средневзвешенные) по Колмогорову, позволяйте поддер.чмвать либо компенсаторный механизм учета влияния характеристик качества (компенсаторные стратегии оценивания), либо некоторые гарзнпфС2лн;;ые стратегии, в которых учитываются только лучкие или худшие значения характеристик качества, а также доля общего чис-

ла реализованных характеристик.

Таким образом, получение ОКК осуществляется в три приема: сначала расчитываются весовые коэффициенты характеристик качества ИС, отражающие их важность в зависимости от типа КУП; затем определяются и приводятся к сопоставимому безразмерному виду значения характеристик качества АЛ С. Эти этапы базируются на данных экспертного опроса, проводимого единовременно для получения исходной информации, после чего проводится агрегирование данной информации с использованием ряда средневзвешенных по Колмогорову, что позволяет для каждой исследуемой АИС получить Парето-оптимальное решение, учитывающее структуру предпочтений Л1Р.

В главе 2 предлагается технологическая модель процесса оценки качества авторских АИС, основные отличия которой от модели Международного стандарта IS0/IEC 9126 приводятся в главе и .обусловлены, в первую очередь, выбором в качестве базового метода ОКК, предполагавшего получение исходных данных на основе экспертного опроса. Приводится объяснение основных терминов, используемых в процессе оценки качества.

В предлагаемую технологическую модель процесса оценки качества АИС входят следукицие этапы:

1. Разработка иерархической системы характеристик качества на основе Международного стандарта оценки качества ISO/IEC 9126 с точки зрения разработчика КУП.

2. Подготовка основы для оценки качества на основе метода векторной оптимизации ОКК, куда помимо выбора шкал и рейтинговых уровней входит организация сбора исходной экспертной информации по оценке важности характеристик качества и определении их значений.

3. Процедура оценки качества и выбора оптимальной АИС в зависимости от типа разрабатываемой КУП.

В основу построения системы характеристик качества были положены такие принципы иерархичности и конкретизации, как полнота, информативность, разложимость и неизбьггочность. Иерархическая система характеристик качества разработана на основе Международного стандарта оценки качества ПО любого типа ISO/IEC 9126. Всего система характеристик для. АИС содержит порядка 250 характеристик, 230 из которых представляют собой оригинальную разработку. Максимальное число уровней иерархии не превышает шести, а набор свойств на лйбом уровне ограничен с учетом психологических аспектов восприятия информации 7-8 характеристиками. Разработанная система характеристик, помимо того, что является основой дм проведения оценки качества и выбора АИС на стадии их использования, может служить для выработки регламентирук-щих требований на стадии разработки АИС.

Следует отметить, что наборы характеристик не привязаны к конкретной компьютерной платформе или операционной среде, но учитывают

при этом последние тенденции в развитии компьютерных технологий, в частности, мультимедиа-технологии.

На этапе подготовки основы для оценки выбор метода ОКК в качестве базового метода предопределил использование шкал порядка, в которых числовые значения меняются от О да 1. Поскольку преобладающее количество характеристик качества оценивается при двух градациях оценки О и 1 или по десятибалльной системе, минимальный (уровень отбраковки) и максимальный (эталонный) рейтинговые уровни задавались лишь для количественных характеристик. Заданные экспертами рейтинговые уровни использовались в дальнейшем при нормировании значений характеристик качества.

Важной частью этапа подготовки основы для оценки качества является экспертный опрос различных групп специалистов для определения важности характеристик и их значений. Экспертный опрос проводится один раз и его результаты представляют собой основу для дальнейшего расчета ОКК. Первая группа экспертов, определяющих важность характеристик, была представлена специалистами в области методологии создания КУП, не знакомыми с возможностями конкретных АИС. Этот факт важен для объективности экспертизы, поскольку оценка важности характеристик проводится при абстрагировании от объектов исследования с привязкой только к типу КУП. Эта группа была представлена 6 экспертами для надежности проведения анализа на согласованность суждений. Вторая группа экспертов, определяющих значения характеристик качества, состояла из главных разработчиков ИС и специалистов, создавших с помощью исследуемых АИС несколько КУП различных типов. Эта группа была представлена 8 экспертами (по два на каждую ' из исследуемых АИС). Каждая пара экспертов работала лииь с одной АИС, не имея доступа к экспертным данным по другим системам. Предусматривалось три способа задания значений: для качественных характеристик либо 10-ти балльная оценка, либо оценка, имеющая градации 0 и 1, что определяет отсутствие или наличие реализации характеристики; для количественных - измерение или ввод известной величины в соответствующих единицах измерения. Для приведения значений к безразмерному сопоставимому виду применялась естественная нормировка:

г1-(Г1- Г^^/СГ^х - Г4т1п),

где значения Г ¡т1п и Г 11гах - худшее и лучшее по предпочтению значения характеристики.

Часть количественных и балльных качественных характеристик для проведения корректной оценки нуждалась в сопровождении экспертизы компьютерными тестовыми примерами по каждой исследуемой АИС. Для создания наиболее информативных и идентичных по значимости тестов соблюдались специально разработанные принципы организации библиотеки

тестовых примеров.

Процедура расчета ОКК и выбора на его основе оптимальной с точки зрения требований ЛПР АИС является заключительным этапом процесса оценки качества и состоит из:

- задания типа предполагаемой КУП;

- выбора стратегии оценивания, определяемой структурой предпочтений ЛПР;

- задания полноты расчета ОКК (интегральная оценка или оценка по наборам или группам наборов характеристик качества);

- расчета ОКК и визуализации результатов расчета в виде диаграмм и графиков с учетом стоимостного фактора для сетевого варианта мак- . симальной конфигурации АИС;

- выбора АИС с ориентацией на максимальное значение ОКК для интегральной оценки или на максимальные оценки по отдельным наборам или группам наборов.

Проведение экспертизы и выбора оптимальной АИС реализовано в виде компьютерного диалога с помаиуью комплекса интерактивных программ 1ВМ_Ь, снабженных терминологическим словарем и развитой системой справочной информации.

В 3 главе приводится математическое описание модели процесса оценки качества, а такие структура и основные особенности программного комплекса 1ВМ_1..

Описаны используемые на стадии определения важности характеристик методы проведения экспертного опроса: полных парных сравнений, ранжирования и непосредственной оценки. Рассмотрены этапы анализа экспертной информации, предшествующей выработке коллективного решения о приоритетности характеристик качества и вычислении весовых коэффициентов. В основу анализа положено сравнение рассчитанных на основе экспертного опроса значений коэффициентов конкордации Кендала V с их табличными значениями Ит.

п ш т сп+1) 2 С СЕ --5

3*1 1=1 г

V =

т

т 2

(т/12) [т-п (п2-1) - Е Е ^ ^¡к - 1)3 1

где ^Е К1! ]■ - суммарный ранг;

т - число методов или экспертов;

п - число характеристик качества в текущем наборе характеристик качества; 5; - число групп неразличимых рангов в ранжировке ¡-го метода или эксперта;

tik _ число связанных рангов в k-ci группе ранжировки Л 1-го метода или эксперта.

Значения W меняются в диапазоне 0<W<1, причем К=1лтогда и только тогда, когда все ранжировки совпадают, и значение W приблзжзетси к 0 при слабой согласованности данных по методам (или экспертам). Случай, когда значения W значимо отличаются от 0, можно интерпретировать , как отсутствие противоречия в мнениях одного эксперта по всем методам экспертного опроса или наличие согласованности между экспертами по каддому методу.

На стадии определения значений характеристик качества обосновывается выбор естественной нормировки.

Рассматриваются способы получения ОКК, представляющие собой достаточно простые функции от весовых коэффициентов и нормированных значений характеристик.' Семейство функций, представленных обобщенными t-среднимя, с однбй стороны учитывают структуру предпочтений ЛПР при выборе стратегии оценивания, а с другой позволяют получить Паре-то-оптймальное значение ОКК: п

Zt= ( £ J5j zit)ut, при -~°<t<«.

1=1

Роль параметра t оказывается существенной при выявлении структуры предпочтений ЛПР. Если в структуру заложен жесткий принцип оценивания, предполагающий слабую компенсации значений одних характе-' ристик другими с ориентацией на худшее значение, то формализация такой структуры осуществляется при t<0. По мере увеличения параметра t до нуля происходит ослабление жесткости принципа оценивания от 1 = 2j (где j = arg- min Zi/ßi, j=l,П; n - общее число характеристик

fii

системы или набора) до 20 - П 2,- (1=1,п), и в какой-то мере начинают

t

приниматься в расчет не только худиие значения характеристик, но и общее количество реализованных характеристик. Однако равенство 0 хотя бы одной ' характеристики влечет за собой отбраковку исследуемых объектов по обобщенному среднему.

Принцип компромисса (0<t<3) в большей степени учитывает вклад каждой характеристики в ОКК. При такой структуре предпочтений ЛПР считает, что низкая оценка качества-по одним характеристикам может компенсироваться высокой оценкой по другим. Этот принцип чаще всего формализуется средневзвешенным арифметическим Zi» £ jljZi или квадра-

тическкм Za=(£ ßj2;2)1 /2.Последнее еще в большей степени подчеркивает

компенсацию худших значений характеристик лучшими.

Значительно реже структура предпочтений ЛПР 'основывается на

"оптимистическом" принципе оценивания совокупного качества с ориентацией на лучшие значения характеристик. Этому принципу отвечают й-федние при 1)3. С увеличением I все большум роль играют лишь лучшие рценки характеристик:

2и,= (где з-аг? тах^гь ¿=1,п).

1<1<п

Приведенные формулы получения ОКК работают только в случае не-рааветвленноЯ системы характеристик качества. В главе описаны разработанные способы расчета ОКК, учитывающие иерархическую структуру системы характеристик: механизмы "сбора матрешки" и "нанизывания".

Рассматривается получение ОХК при использовании неполного набора характеристик в случае невостребованности ряда характеристик ЛПР или недостатка экспертной информации. В этом случае для выполнения

_ г _ _ _

по формуле:

=- ; Ь 1,п; 0=1,к;

где - пересчитанное аначение весового коэффициента в исследуемом наборе;

Р; - первоначальное аначение весового коэффициента;

Рз - аначения неиспользуемых весовых коэффициентов;

п - общее число характеристик в исследуемом наборе;

к - число невостребованных характеристик набора.

К основным достоинствам разработанной оптимизационной модели можно отнести:

- получение Парето-оптимального решения с учетом структуры предпочтений ЛПР;

- возможность сравнения качества АИС на основании количественных оценок;

- независимость результирующих оценок качества от добавления (или исключения) новых объектов в совокупность исследуемых АИС;

- отчуждение мнений экспертов от конкретных АИС на этапе определения важности характеристик качества;

- возможность получения как интегральной оценки качества, так и оценок по отдельным наборам или группам наборов характеристик;

- возмодность получения оценки качества в условиях недостатка экспертной информации о значениях характеристик по отдельным наборам.

В главе такие приводятся структура и основные особенности комплекса интерактивных программ оценки качества АКС 1ЕИ_Ь.

В главе 4 приводятся результаты анализа исходной экспертной информации и поведения ОКК в различных ситуациях, проведенных с по-

мощью исследовательских программ комплекса 1ВМ_Ь. Эти исследования были проведены для наиболее эффективного применения разработанной оптимизационной модели, создания окончательного варианта программы оценки качества комплекса 1ВМ_Ь для ЛИР, а такие выработки рекомендаций по выбору АИС.

Анализ исходной экспертной информации на непротиворечивость и согласованность суждений экспертов позволил произвести отбраковку ненадежной исходной информации для дальнейших расчетов ОЖ.

Исследование поведения ОКК включало анализ интегральной оценки качества по всем характеристикам наборов системы и по отдельным наборам, а такие определение погрешности измерений и ввода экспертных значений характеристик качества.

Анализ интегральной оценки качества позволил существенно сократить число первоначально используемых способов агрегирования до двух: в компенсаторных стратегиях ограничиться только средневзвешенным арифметическим; а в гарантированных стратегиях отказаться от минимаксной оценки и смягчить нулевое пороговое значение для геометрического средневзвешенного до 10"5.

К важным выводам полученным в результате анализа, интегральной оценки и оценок по наборам верхнего уровня иерархии можно отнести несущественную зависимость ОКК от типов КУП, не влиякигу» на расстановки АИС по предпочтении. Это подтвердило справедливость ограничения большого числа разновидностей КУП всего четырьмя типами.

Была обнаружена неэквивалентность замены распределения АИС по предпочтении для интегральной оценки распределением по суммарному рангу, не учитывающему влияние весовых коэффициентов.

Исследование ОКК для интегральной оценки, полученное при применении гарантированной стратегии, продемонстрировало наличие большого количества нереализованных характеристик качества, что свидетельствует о необходимости доработок АИС. Кроме того, при применении компенсаторных стратегий било отмечено сближение исследуемых АИС по степени реализации характеристик качества, установленное по слабой "дифференциации минимального и максимального значений ОКК.

Анализ ОКК по отдельным наборам также подтвердил вывод о недостаточной реализации общего количества предъявленных в наборах характеристик качества, а также показал устойчивое распределение АИС по предпочтениям при применении различных стратегий оценивания. Для отдельных наборов нижних уровней иерархии было установлено изменение расстановок АИС по предпочтениям в зависимости от типа КУП, что объясняется существенным влиянием на ОКК весовых коэффициентов характеристик.

Исследование погрешности измерений и ввода экспертных значений характеристик позволило сделать вывод о наибольшем влиянии на интегральную оценку ошибок, возможных при вводе значений характеристик с

градациями оценки О и 1. Причем влияние тем сильнее, чем вше уровень иерархии, а величина изменения ОКК прямопропорциональна величине' весовых коэффициентов. Было выявлено, что для нарушения расстановки АИС следовало бы сделать 4 (и более) ошибки при вводе 0 или 1 для компенсаторной стратегии оценивания и 13 (и более) ошибок для гарантированной стратегии (для значений характеристик на верхних уровнях иерархии). Изменение количественных и качественных балльных характеристик еще в меньшей степени влияет на интегральную оценку. В целом была подтверждена устойчивость разработанной модели к погрешностям измерения и ввода.

В результате проведенных исследований поведения ОКК были сформулированы рекомендации по выбору АИС, определяющие следующую последовательность действий ЛПР:

1. Выбор стратегии оценивания (компенсаторной или гарантированной) .

Z. Изучение интегральной оценки качества для любого типа КУП в зависимости от стоимостного фактора с целью получения самого общего представления о распределении АИС по предпочтению.

3. Более углубленное исследование ОКК на базе основных наборов характеристик верхнего уровня иерархии, даю:цих представление об общих функциональных возможностях и свойствах АИС.

4. Детальное изучение ОКК для отдельных наборов характеристик качества, представляющих наибольший интерес при создании конкретного типа КУП.

5. Соотнесение предварительного- мнения о выбранной АИС с уровнем представления информации в ней по библиотеке тестовых примеров.

6. Выяснение сомнительных моментов в распределении АИС по результатам экспертных значений характеристик для любой интересующей АИС.

Данные рекомендации наряду с использованием программы оценки качества АИС комплекса IBMJL позволяют существенно сократить процесс подбора подходящего инструментария для разработки КУП различного назначения.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработана классификация АИС для создания КУП с точки зрения принципов обучения и функциональных возможностей, з также классификация основных типов КУП с точки зрения использования возможностей AMC применительно к определению важьоии характеристик качества.

2. Разработана иерархическая система характеристик качества АИС на базе Международного стандарта оценки качества ISO/IEC 9126 с учетом принципов теории целенаправленных иерархических систем и среда запроса. t -

3. Разработана технологическая модель процесса многокритериаль-

ной оценки качества АИС и математическая модель на основе метода векторной оптимизации (метода обобщенного критерия качества).

4. Сформулированы основные принципы создания библиотеки тестовых примеров для определения значений ряда характеристик качества и выбора АИС и на их основе создана компьютерная библиотека тестов.

5. Разработаны способы получения ОКК для иерархической системы характеристик качества и в случае использования неполных наборов характеристик.

6. Проведены анализ исходной экспертной информации и исследование поведения ОКК в различных ситуациях для четырех широко применяемых отечественных универсальных АИС, в результате которых были установлены:

- независимость расйтановоя АИС по предпочтению от типа КУП для интегральной оценки качества;

- изменение распределения АИС в зависимости от типа КУП для отдельных наборов характеристик на нижних уровнях иерархии;

невысокая степень общего количества реализованных характеристик для всех исследуемых АИС, выявленная при применении гарантированной стратегии оценивания;

- неэквивалентность замены распределения АИС по предпочтению для интегральной оценки распределением по суммарному рангу, не учитывающему влияние коэффициентов важности характеристик качества;

- устойчивость оптимизационной модели к погрешностям измерения и ввода экспертной информации при определении значений характеристик качества.

- сближение исследуемых АИС по степени реализации характеристик качества иерархической системы на основании исследования ОКК для интегральной оценки качества при компенсаторной стратегии оценивания.

К сопутствующим результатам проведенных исследований можно отнести:

- доказательство надежности используемой исходной экспертной информации;

- ограничение используемых типов агрегирования средневзвешенными арифметическим и геометрическим;

- необходимость смягчения нулевого порогового значения характеристик качества для возможности использования гарантированной стратегии оценивания при оценке АИС;

- устойчивость АИС по предпочтениям для отдельных исследованных наборов характеристик ' качества при применении различных стратегий оценивания.

8. Рагработами рекомендации по Использованию комплекса интерактивных программ 1ВН_Ь для выбора АИС, оптимальной с точки зрения разработки конкретной КУП.

9. Результаты работы использованы в Центре интерактивных

средств обучения при Министерстве образования РФ с нельм стандартизации фонда программно-методических комплексов; в Центре новых тех-нолопй при МИ4И с целью исследования эффективности применения оптимизационной модели на базе метода ОКК для задач оценки качества П0-УН; в Департаменте образования северо-западного учебного округа г.Москвы, на ФПКП ГАНГ им.И.Н.Губкина и в ЦКИТ МГУЛ при практическом выборе АИС с цель» разработки КУП для сопровождения учебного процесса.

По теме диссертации опубликованы следуюете работы:

1. Ретиненая И.В., Шугрина Н.В. Методика проведения сравнительного анализа различных программных средств/ Тезисы научно-технического совещания "Электроинформ-92". Н.Новгород, 1992, с.10.

2. Шугрина Ы.В. -соисполнитель в разделе 1.4 "Компьютерные среды для деятельности преподавателей вуза"/0тчет Исследовательского центра качества подготовки специалистов "Разработка теоретических и практических основ компьютерных средств, предназначенных для организации деятельности преподавателей вуза". М.,1993.

3. Ретинская И.В., Шугрина Н.В. Отечественные системы для создания компьютерных учебных курсов/ Мир ПК, Но.7.П., 1993, с.55-60.

4. Ретинская И.В., Шугрина Н.В. Критерии выбора авторской оболочки при создании компьютерных учебных программ в области автоматики и вычислительной техники/ Тезисы докладов н.-т. конференции "Микро-система-93". М., 1393, с.157.

5. Ретинская H.H., Иугрнна Н.В. Моделирование оценки качества инструментальных систем для создания компьютерных учебных программ/ Тезисы докладов XXI Международной конференции "САПЯ-94: Новые информационные технологии в науке, образовании, медицине и бизнесе". ВЬронеж, 1984,0.21-22.'

6. Ретинская И.В., Сухов В.Г., Шугрина М.В. О классификации компьютерных учебных программ/Межвузовский сборник научных трудов "Оптимизация и моделирование в автоматизированных средах". Воронеж, 1994, с.176-178.

7. Ретинская И.В., Сухов. В.Г.,, Шугрина М.В. Об интегральной оценке качества инструментальных систем для создания компьютерных учеб, них программ/ Межвузовский сборник научных трудов "Оптимизация и

моделирование в автоматизированных средах". Воронеж, '1Q94, с.179-183.

8. Ретинская И.В., ¡Еугрнна М.В. Моделирование многокритериальной оценки качества инструментальных систем для создания компьютерных средств учебного назначения/ Тезисы докладов межвузовской научно-практической конференции "Эффективность информационных технологий обучения в высшей школе". М.,1994, с.101.

9. Ретинская И.В., Сухов В.Г., ¡Еугрина М.В. 1С вопросу об оценке качества инструментальных систем для создания программ тестового контроля знаний/ Тезисы докладов межвузовской научно-практической конференции "Эффективность информационных технологий обучения в высшей иколе". И.,1994, с. 103

IQ.Retinskaya 1.7., Shugrina H.Y. Modeling of multicroteria quality estimation of authoring systems used to develop computer-assisted instructions (CAI)/ International Conference "Computer technologies in education EVi-ED'94", Proceedings, Part 2, Crimea.M. ,1994, p.181.

11.Ретинская M.S. ,12утрнна Ы.В. Характеристики качества инструментальных систем для создания компьютерных учебных программ/Информатика и образование, Н0.5.М. ,1994, с.69-77.

12.Ретинская И.В., Шугрина М.В. Основные типы компьютерных учебных программ/Научные труды МГУЛ, вып. 269. М., 1995, с.111-118.

13.Шугрина М.В. О выборе метрики и рейтинговых уровней для оценки качества инструментальных систем учебного нааначения/Научные труды МГУЛ, вып.269. М., 1995, с.123-126.

14.Шугрина М.В. О построении оптимизационного аппарата выбора инструментальных систем учебного назначения на основе экспертного опроса/Тезисы III Всероссийской конференции-выставки "Информационные технологии в образовании".М., 1394, с.40.

15.Калинина Э.В., Еугрина М.В. О методике проведения экспертного опроса для оценки качества инструментальных систем учебного назначения/ Материалы Международной научно-методической конференции. Новосибирск, 1995, с.65-67.

16.Калинина Э.В., Ретинскяй B.C., Ретинская И.В., Шугрина М.В. О некоторых аспектах процесса оценки качества программного обеспечения специального назначения/ Тезисы докладов Всероссийской научно-методической конференции "Телематика-95". С.-Петербург, 1995, с. 110.

17.Retinsky Y.S., Shugrina M.V. About a set of interactiv expert programs for evaluating software quality of special destination / XXII International school and conference on computer aided design. CAD-95. Hew information technologies applications in science, education, medicine and business. Proceedins. Part 2. Crimea, 1995, p.199

lS.Retinskaya I.V., Sheinbaum V.S., Shugrina M.V. Problems of deve--lopment and introduction of computer assisted training software into petroleum and gas specialized high shools/ICEED'95. International conference of engineering education.UNESCO.Abstracts.Moscow, 1S95, p.198.

19.Dorarachev V.G., Retinskaya I.Y., Shugrina M.V. A problem to choose a computer system for educational technologies and Fossible

ways to solve it/ICEED*95. International conference of enginee-. ring education. UNESCO.Abstracts. Moscow,1995, p.217.

20.Ретинская И.В., Шугрина М.В. О библиотеке тестовых примеров при оценке качества инструментальных систем для создания компьютерных учебных программ/Тезисы докладов международной конференции-выставки "Информационные технологии в непрерывном образовании". Петрозаводск, 1995, с.141-142.

21.Калинина Э.В., Ретинсккй B.C., Ретинская И.В., Иугрина М.В. О результатах оценки качества инструментальных систем для создания компьютерных учебных программ/Тезисы докладов Всероссийской н.-т. конференции "Перспективные информационные технологии в высшей школе. Тамбов, 1995, с.105.

Подписано к печати 25.IC.95.

Объем С ,7 уч.-изд.л. Заказ 1476

Формат 6CxSC/I6 Тираж ?С экз.

Типография издательства "ПаТть и газ"