автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка системы оценки качества программных комплексов для дистанционного обучения

На правах рукописи

Бабешко Владимир Николаевич

РАЗРАБОТКА СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ПРОГРАММНЫХ КОМПЛЕКСОВ ДЛЯ ДИСТАНЦИОННОГО ОБУЧЕНИЯ

Специальность 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва - 2003

Работа выполнена в Московском государственном институте электроники и математики (технический университет)

Научный руководитель: кандидат технических наук,

доцент Нежурина Марина Игоревна

Официальные оппоненты:

доктор технических наук,

профессор Ретинская Ирина Владимировна

кандидат технических наук, доцент Игнатова Ирина Гургеновна

Ведущая организация:

Московский государственный технический университет им. Н.Э. Баумана

Защита состоится «¿Г» 2003г. в $ часов на заседании

диссертационного совета Д212.133.01 Московского государственного института электроники и математики (технический университет) по адресу: 109082, Москва, Большой Трехсвятительский пер. 1-3/12 стр. 8.

С диссертацией можно ознакомиться в библиотеке МИЭМ.

Автореферат разослан «

Ученый секретарь диссертационного совета Кандидат технических наук, доцент

Бузников С.Е.

3

Общая характеристика работы Актуальность темы

В последние годы наблюдается интенсивное развитие дистанционного обучения (ДО) в сочетании с ростом количества разработок программных комплексов для ДО (ПКДО) во всем мире. Это ставит перед образовательными учреждениями проблему научно обоснованного выбора таких программных средств с позиций качества, т.е. степени соответствия отличительных свойств ПКДО потребностям или ожиданиям, которые установлены, обычно предполагаются или являются обязательными для данного образовательного учреждения. При этом обострилась конкурентная борьба на рынке производителей ПКДО, что привело к необходимости повышения качества проектирования и разработки ПКДО, сертификации, а также необходимости разработки инструментальных средств, автоматизирующих эти процессы.

Весомая роль технологической подсистемы в системе ДО определяется тем, что современные сетевые информационные технологии являются основным средством доставки учебной информации в процессе ДО, средством взаимодействия всех участников образовательного процесса и инструментом формирования информационно-образовательной среды (ИОС) ДО. Поэтому одной из основных задач обеспечения качества ДО является повышение качества ПКДО.

В настоящее время в нашей стране происходит становление нормативной базы в сфере ДО. В частности, об этом свидетельствует ряд НИР, проводимых под эгидой Министерства образования РФ и, в числе прочего, направленных на разработку рекомендаций и требований к качеству ДО и стандартизацию процессов проектирования программных средств учебного назначения.

Проведенный анализ современных подходов к оценке качества программных средств учебного назначения позволил выявить следующие характерные особенности:

• акцентирование исследования качества программных средств лишь на отдельных аспектах качества; либо напротив, общий и неконкретный характер исследований, который затрудняет их практическое использование необходимостью решения сложных частных подзадач;

• отсутствие учета государственных и международных стандартов в области качества и ориентации на построение системы качества ДО;

• отсутствие целостного подхода к оценке качества, учитывающего все аспекты специфики ПКДО;

• отсутствие во многих классификациях программных средств учебного назначения ПКДО как отдельного класса, несмотря на очевидную нетривиальную специфику, связанную с их структурной сложностью, функциональными особенностями, распределенностью, значительным количеством различных категорий пользователей и т.д.

Таким образом, существующие на сегодняшний день наработки в этой области в чистом виде для решения задачи оценки качества ПКДО неприменимы, однако их фрагменты необходимо учитывать в числе отдельных составляющих комплексной процедуры оценки качерЙ>Б*5ЙЦ4ионАльнл|| I

I БИБЛИОТЕКА |

< ! ;

16774

При этом важно отметить необходимость решения задачи оценки качества ПКДО с позиций пользователей, для которых функциональность является определяющей составляющей качества.

Поэтому, проблема научно обоснованной оценки качества ПКДО при их проектировании, выборе и сертификации сегодня особенно актуальна. Таким образом, можно сделать вывод о необходимости проведения настоящего исследования с целью преодоления разрыва между потребностями практики в современной, сравнительно молодой отрасли дистанционного обучения и отсутствием комплексной методики и программного обеспечения для оценки качества ПКДО.

Цель и задачи исследования

Целью данного диссертационного исследования является обеспечение качества ПКДО при их проектировании и разработке, повышение объективности решений при выборе и сертификации ПКДО за счет разработки системы оценки качества ПКДО как совокупности взаимосвязанных процедур, методик, моделей, программного и математического обеспечения для получения оценки качества.

Объектом исследования являются программные комплексы для дистанционного обучения, представляющие собой инструментальные программные средства, которые предназначены для организации сетевой ИОС ДО - системно организованной совокупности средств передачи данных, информационных ресурсов, протоколов взаимодействия, аппаратно-программного и организационно-методического обеспечения, ориентированной на удовлетворение образовательных потребностей пользователей.

Предметом исследования является качество ПКДО, т.е. степень соответствия отличительных свойств ПКДО потребностям или ожиданиям, которые установлены, обычно предполагаются или являются обязательными.

Для достижения поставленной цели были сформулированы следующие задачи исследования:

1. Построить функциональную модель ПКДО для идентификации объекта исследования с точки зрения функциональности.

2. Разработать систему характеристик качества ПКДО и методику ее формирования.

3. Построить математическую модель учета пользовательских предпочтений для полученной системы характеристик качества.

4. Разработать алгоритмическое и программное обеспечение для системы оценки качества ПКДО.

5. Разработать методико-практические рекомендации по применению полученной системы оценки качества ПКДО при проектировании и разработке, при выборе ПКДО и при их сертификации.

Методы исследования

В работе использован системный подход к решению поставленных задач, методология структурного анализа и проектирования, методы квалиметрии, методология структурирования функции качества, методы многокритериальной

оптимизации и теории принятия решений, метод анализа иерархий, общенаучные методы сравнительного анализа и аналогий.

Научная новизна работы

Научная новизна диссертационного исследования связана со следующими результатами, полученными в дайной работе:

1. Автором построена базовая функциональная модель ПКДО на основе методологии структурного анализа и проектирования с учетом специфики предметной области ДО.

2. Предложена и реализована новая методика формирования системы функциональных характеристик качества сложных программных комплексов на основе функционального моделирования по стандарту ШЕРО.

3. Разработана методика построения системы характеристик качества ПКДО с учетом специфики данного класса программных средств, совместимая с методологией структурирования функции качества (ОРБ).

4. Построена математическая модель учета пользовательских предпочтений для системы характеристик качества ПКДО на основе метода анализа иерархий, позволяющая формализовать принцип ориентации на потребителя.

Практическая значимость работы

Практическая значимость результатов работы заключается в следующем:

1. Предложенная система оценки качества ПКДО может использоваться проектными организациями для повышения эффективности проектирования ПКДО, образовательными учреждениями для научно-обоснованного выбора ПКДО в зависимости от целей и предпочтений с учетом соотношения «цена/качество», органами сертификации для формирования сертификационных требований и оценки качества ПКДО.

2. Получена базовая функциональная модель ПКДО для применения на стадии проектирования ПКДО в качестве основы для формирования технического задания, что позволяет повысить эффективность проектирования.

3. Разработанная система характеристик качества и алгоритм ее построения могут быть использованы при формировании нормативной базы ДО в рамках отраслевой стандартизации, что, в частности, позволит создать профиль отраслевого стандарта ПКДО.

4. Разработан сетевой программный комплекс автоматизации оценки качества ПКДО для использования в рамках системы образовательных порталов для автоматизации процедуры экспертных оценок, который снижает трудоемкость экспертного опроса и повышает эффективность оценки качества за счет использования накопленной информации.

5. Благодаря универсальности методологии функционального моделирования, разработанная методика .формирования функциональных характеристик качества может быть перенесена на другие предметные области.

Реализация результатов

Разработанные методики и программное обеспечение системы оценки качества ПКДО внедрены на базе Центра дистанционного обучения МИЭМ и

используются для развития, совершенствования и постоянного мониторинга качества программно-методического комплекса ИОС ДО «ДО-он-лайн».

Результаты диссертационной работы использованы при выполнении ряда научно-исследовательских работ в рамках межвузовской научно-технической программы Минобразования РФ «Создание системы открытого образования» 2003-2004 гг.:

• для разработки методического и программного обеспечения системы оценки качества программных комплексов для системы открытого образования РФ;

• при формировании требований к специальной корпоративной информационной системе электронного документооборота дистанционного обучения в образовательных учреждениях высшего, среднего и дополнительного профессионального образования;

Разработанные методики использованы в рамках Федеральной целевой программы развития единой образовательной информационной среды (20012005гг.) для разработки м его дико-практических рекомендаций по применению современных методов и инструментов управления качеством в системе мониторинга и оценки качества образовательных порталов.

Внедрение результатов настоящего диссертационного исследования подтверждено соответствующими актами.

Апробация работы

Результаты исследований докладывались на 10 международных и всероссийских научно-технических конференциях (НТК) и семинарах, в числе которых VI Международная студенческая школа-семинар «Новые информационные технологии» (Москва, 1998 г.), ежегодная Всероссийская научно-методическая конференция «Телематика» (С.Петербург, 1999-2003 гг.), Международная НТК Российской школы молодых ученых и специалистов «Системные проблемы качества, математического моделирования и информационных технологий» (Сочи, 2000 г.), IV Международная научно-методическая конференция «Качество образования. Достижения. Проблемы.» (Новосибирск, 2001 г.), ежегодная НТК студентов, аспирантов и молодых специалистов МИЭМ (1998 - 2003 гт.).

Результаты исследований и практических разработок, полученные в рамках настоящего диссертационного исследования, отмечены:

• дипломом «за лучшую работу, представленную на научно-технической конференции студентов, аспирантов и молодых специалистов МИЭМ» в 2003 г.;

• дипломом Всероссийского выставочного центра «за разработку организационного и программно-методического комплекса информационно-образовательной среды вуза» в 2002 г. (в составе авторского коллектива).

По результатам открытого конкурса «на поддержку инновационного потенциала научных разработок аспирантов МИЭМ» получен грант Фонда содействия развитию образовательной и инновационной деятельности в высшей школе.

Публикации

По теме диссертации опубликовано более 28 печатных работ в сборниках трудов, материалах конференций и специализированных периодических изданиях. Основные положения диссертации опубликованы в 9 печатных работах, список которых приводится в конце реферата.

Структура и объем диссертации

Диссертация состоит из введения, четырех глав, заключения, списка использованной литературы и 4 приложений. Объем основной части работы -138 страниц, 19 рисунков, 20 таблиц и 103 наименования используемых источников. Объем приложений - 37 страниц.

Содержание работы

Во введении обоснована актуальность научной работы, охарактеризовано общее состояние проблемы и степень ее изученности, сформулированы цель, задачи и методы исследования, приведены положения, выносимые на защиту, показана научная новизна и практическая ценность полученных результатов, даны сведения о внедрении и апробации полученных результатов. А также приведены краткие сведения о структуре и содержании диссертации.

В первой главе диссертации «Анализ подходов к оценке качества ПКДО» проводится сравнительное исследование и классификация современных ПКДО. По результатам их анализа делается вывод о том, что на сегодняшний день наиболее распространенным и функциональным является класс сетевых ПКДО, использующих клиент-серверную архитектуру и применяющихся образовательными организациями и их подразделениями. Этот класс ПКДО выбран для дальнейшего исследования.

Проводится сравнительный анализ имеющих наибольший спрос за рубежом и в нашей стране сетевых комплексов, среди которых инструментальная среда WebCT, семейство программных продуктов ЮМ линейки Lotus LearaingSpace, системы ДО «Прометей)1, ".Сроке«, <<Гиперметод« и информационно-образовательная среда дистанционного обучения «ДО-онлайн» - авторская разработка Центра дистанционного обучения МИЭМ, в создании которой диссертант принимал непосредственное участие.

По результатам анализа современных ПКДО формулируются следующие выводы об их функциональной специфике:

1. ПКДО аккумулируют в себе фактически все функции и особенности основных классов программных средств учебного назначения.

2. Широкая функциональность неизбежно приводит к структурной и технической сложности ПКДО. По этой причине все ПКДО имеют отчетливо выраженную модульную структуру, т.е. относятся к классу сложных сетевых программных комплексов.

3. Сложность ПКДО связана также с их универсальностью, вызванной необходимостью реализации обучения в любых предметных областях, от гуманитарных до технических. Это накладывает повышенные требования на

открытость архитектуры ГТКДО для реализации педагогических приемов, свойственных разным предметным областям. 4. Характерной особенностью ГТКДО является сложная иерархическая структура различных категорий пользователей.

В данной главе проводится обзор современных международных и государственных стандартов в области оценки качества программных средств и анализ перспектив их использования для оценки качества ПКДО, позволяющий сделать следующие выводы:

1. В силу своей универсальности стандарты обладают рядом особенностей, которые не позволяют без дополнительной конкретизации стандартизированных методов и процедур оценки качества, без адаптации под специфику ПКДО, использовать их для решения поставленной задачи.

2. Использование стандартов необходимо, поскольку они обеспечивают однозначность и согласованность понятий, унификацию методов оценки качества, высокую достоверность оценки качества ПКДО, гарантии совместимости и возможности интеграции с другими программными средствами, а также перспективы рассмотрения поставленной задачи в рамках более общей задачи построения системы качества открытого и дистанционного обучения на базе информационно-коммуникационных технологий. Таким образом, рассмотренные стандарты составляют основу для формализации процессов разработки, выбора и оценивания ПКДО.

На основании проведенных исследований и анализа современных подходов к оценке качества программных средств делается вывод о необходимости комплексного решения проблемы разработки системы оценки качества ПКДО. Система оценки качества определяется как совокупность взаимосвязанных процедур, методик, моделей, программного и математического обеспечения для получения оценки степени соответствия отличительных свойств ПКДО потребностям или ожиданиям, которые установлены, обычно предполагаются или являются обязательными.

В заключительной части главы формулируется постановка задачи исследования диссертационной работы, производится ее декомпозиция на отдельные взаимосвязанные подзадачи и намечаются пути их решения.

Во второй главе «Методика построения системы оценки качества ПКДО» решаются задачи построения функциональной модели ПКДО и разработки методики формирования системы характеристик качества ПКДО.

Рассматриваются принципы построения системы оценки качества ПКДО, на основании которых формулируются основные цели оценки их качества:

1. Обеспечение качества ПКДО при проектировании и разработке.

2. Научно-обоснованный выбор ПКДО образовательными учреждениями с учетом соотношения «цена-качество» и специфики целей выбора.

3. Сертификация ПКДО.

Делается вывод о том, что базовая структура характеристик качества остается неизменной в пределах специфики рассматриваемого класса программных продуктов, однако учет конкретных характеристик качества и степени их влияния на качество ПКДО существенно зависят от целей оценивания качества, пользовательских предпочтений и условий среды.

Предлагается комплексный подход к разработке системы оценки качества ГОСДО, базирующийся на системном подходе к моделированию объекта исследования и детализации характеристик качества, учете пользовательских предпочтений и на международных и государственных стандартах в области оценки качества программных средств.

Осуществляется выбор метода моделирования ПКДО на основе технологии структурного анализа и проектирования IDEF0. Разрабатывается методика построения базовой функциональной модели ПКДО, сводящаяся к следующей процедуре:

1. Проведение аналитического исследования, позволяющего получить информацию, необходимую для построения функциональной модели.

2. Осуществление выбора цели и точки зрения модели. При этом цель модели определяется целями оценивания качества ПКДО: проектирование и разработка, выбор или сертификация ПКДО. Выбор точки зрения осуществляется на основе разработанной автором классификации пользователей ПКДО.

3. Составление списка данных, под которым понимается набор объектов, используемых и генерируемых рассматриваемой системой. В число таких объектов включаются различные документы и структуры данных ПКДО, сгруппированные по видам. К основным группам документов и структур данных ПКДО, согласно результатам обзора, проведенного в первой главе, относятся следующие: регламентирующая и справочная информация, учебные и методические материалы, административная учебная информация.

4. С помощью полученного списка данных осуществляется составление укрупненного списка функций, агрегированного по целям и операциям.

5. Формирование IDEFO-диаграммы верхнего уровня для описания процесса функционирования ПКДО, состоящей из 3-6 важнейших функций, взаимосвязанных через информацию управления и данные. Порядок доминирования функций определяется классической петлей качества, которая проецируется на предметную область ДО.

6. Обобщение IDEFO-диаграммы верхнего уровня.

7. Декомпозиция функциональных блоков повторением этапов 1-6 настоящей процедуры. Условием остановки моделирования служит возможность непосредственного оценивания характеристик следующего шага декомпозиции, т.е. получение единичных показателей качества.

Разработанная методика применяется для построения базовой функциональной модели ПКДО (рис.1).

В главе формулируются основные требования к системе характеристик качества, с учетом которых разрабатывается методика формирования системы характеристик качества ПКДО на основании методологии структурирования функции качества QFD (Quality Function Deployment).

Рис 1. Диаграмма верхнего уровня функциональной модели ПКДО.

Предлагается перенести основную идею QFD, которая разделяет потребительские свойства (фактические показатели качества) и установленные в стандартах параметры продукта (вспомогательные показатели качества), на систему характеристик качества, разделив для последующего рассмотрения и дальнейшей формализации функциональные и конструктивные характеристики качества.

Тогда формирование системы характеристик качества осуществляется по следующему алгоритму:

1. В основание системы характеристик качества ПКДО положить модель качества программных средств, рекомендованную стандартом ISO 9126.

2. Сформировать иерархическую систему функциональных характеристик качества на основе функциональной модели ПКДО (рис. 2).

3. Построить иерархическую систему конструктивных характеристик качества на основе рекомендаций стандартов ISO 9126 и ГОСТ 28195.

4. Синтезировать с учетом пользовательских предпочтений совокупность характеристик качества по аналогии с методологией структурирования функции качества.

5. Осуществить выбор шкал для единичных показателей качества. Предложенный алгоритм используется для формирования системы

характеристик качества ПКДО, содержащей три составляющих:

• иерархическую систему функциональных характеристик;

• иерархическую систему конструктивных характеристик качества;

• матрицу оценок единичных показателей качества.

Рис. 2. Структура функциональных характеристик ПКДО.*

* УММ - учебно-методические материалы

В третьей главе «Разработка математического и программного обеспечения системы оценки качества ПКДО» предложена формализация процедуры оценки качества ПКДО (рис. 3) и анализа получаемых результатов с учетом целей оценки качества методами теории оптимизации и принятия решений, а также разработан сетевой программный комплекс автоматизации оценки качества ПКДО.

Для решения задачи оценки показателей качества ПКДО предлагается следующая методика экспертного опроса. Целью экспертизы на первой стадии методики является определение относительных приоритетов характеристик качества ПКДО, а на второй - оценивание единичных показателей качества конкретных ПКДО, значения которых не могут быть получены иными способами (например, расчетным, регистрационным и т.п.).

Вход

Рис. 3. Структурная схема процедуры оценки качества ПКДО.

Для реализации первой стадии и этапа экспертизы второй стадии процесса оценки качества ПКДО предлагается методика экспертного опроса.

Разрабатывается модель учета пользовательских предпочтений с помощью метода анализа иерархий для определения относительных приоритетов характеристик качества ПКДО.

Предлагается формальная постановка задачи определения пользовательских предпочтений следующего вида.

Конечное частично упорядоченное множество Н с бинарным отношением порядка Р, далее обозначаемым как >, с наибольшим элементом Ъ называется иерархией, если выполнено:

1. Существует разбиение Н на подмножества Ьк,к= 1,..., А, где Ь1 = {Ь}.

2. Из хеЬк следует, что х с ]}*\к- 1,... ,/¡-1.

3. Изхе 1} следует, чтох+ с Ьк~\ к = 2,..., И.

" Здесь х = {у | х покрывает у}, х* = {у \ у покрываете}. Покрытие означает

I следующее: х покрывает у, если х > у, и ни для какого г не выполнено х > 2 > у.

При этом множества Ьк называются уровнями иерархии.

Для любого хеН существует весовая функция (1) - функция приоритета элемента одного уровня относительно цели х:

: х -> [0,1 ] я выполнено условие нормировки ^^(у) =' - (1 ^

увх'

Тогда основная задача метода анализа иерархий в терминах оценки качества ПКДО формулируется так. Дано: Н - иерархическая система характеристик качества ПКДО с главной целью Ь и множеством единичных показателей качества Ьк, образующих нижний уровень иерархии. Требуется: определить приоритеты элементов уровня Ьк по отношению к Ь.

Решение этой задачи сводится к отысканию вектор-функции Ц^*' приоритетов для А+1 уровня относительно элемента г к-1 уровня в виде (2).

(2)

где В - матрица приоритетов к+1 уровня, составленная из Ьу = п>у (х,), е Ь*, х, е Ьм, а = к= 1,..., А-7.

Таким образом, каждый компонент вектор-функции приоритетов вычисляется по формуле (3)

«*

где щ - количество элементов в Ц*. к = 1,..., А.

При этом искомые приоритеты характеристик нижнего уровня иерархии, т.е. единичных показателей качества, по отношению к главной цели Ь вычисляются по формуле (4).

ТУ^ В*В* '...В2, (4)

где Б* - матрица приоритетов к-то уровня, к= 2,..., А.

В случае древовидных систем характеристик, полученных во второй главе, для любого хе I?,к = 2,..., А покрывающее множество х+ состоит ровно из одного элемента (5).

\х+\= 1, Ухе О = 2,..„А. (5)

* При этом в (4) каждый компонент цг? вектора приоритетов характеристик

последнего уровня иерархии по отношению к главной цели Ь представляет собой | произведение приоритетов вдоль единственного пути к вершине Ь в дереве

характеристик

Решение задачи учета пользовательских предпочтений сводится к следующему алгоритму:

1. Для разработанной древовидной структуры функциональных характеристик качества строятся матрицы парных сравнений Акт = где ац -

L*= U* ,k = 2,...,h. (6)

интенсивность относительной важности г-го элемента L * по сравнению су"-ым по отношению к цели верхнего уровня xmeLk~l, где Lkm = хт : x„eLk'\ т =1,..., nk.t. Благодаря свойству (5), для к-го уровня иерархии имеет место представление (б).

U

2. Согласно методу анализа иерархий, эксперты проводят парные сравнения, определяя наддиагональные элементы для всех Л*. При этом иерархия рассматривается по уровням, начиная со 2-го, сверху вниз.

3. Проводится анализ согласованности исходных данных, полученных от каждого эксперта. Для проверки согласованности вычисляется индекс согласованности (ИС), характеризующий степень отклонения максимального собственного значения лшъг матрицы парных сравнений от t (7).

(7)

Отношение согласованности (ОС) для каждой А * вычисляется по формуле (8):

ИС

0С=§, (8)

где значение случайного индекса согласованности (СИ) берется из таблиц.

Значение ОС <0,1 считается приемлемым и означает согласованность экспертных оценок. В случае нарушения согласованности автором предлагается смешанная стратегия повышения согласованности на основе двух методов: методе уточнения матрицы Л* и методе отсева несогласованных мнений. Для плохо согласованной матрицы Ак„ = Ца^Ц с собственным вектором w, соответствующим максимальному собственному значению Л^, строится

матрица рассогласования D* = |Ш|, где dv = | а„- - — |. Далее в матрице D*

выбирается «наихудшая» строка г* из соотношения (9).

i

i' = argmax^^ . (9)

' м

После чего в матрице А * полагаем а,. ,• = — и производим анализ

"j

согласованности повторно. Если условие ОС <0,1 по-прежнему не вьшолняется, суждения эксперта исключаются из дальнейшего рассмотрения.

4. Вычисляется вектор приоритетов w как собственный вектор матрицы А^, соответствующий максимальному собственному значению Д^ и нормированный в соответствии с формулой (1).

5. Результирующий вектор приоритетов для всех экспертов вычисляется как собственный вектор матрицы средних геометрических, таким образом приоритеты приводятся в соответствие с предпочтениями большинства. Анализ согласованности производится по аналогии с п. 4 настоящего алгоритма.

6. По формуле (4) производится расчет весовых коэффициентов единичных показателей качества функциональности ПКДО Wth, i = Для

удобства введем обозначение а,- п = я*. При этом для весовых

л

коэффициентов а, вьшолнено условие нормировки = 1.

1-1

7. Аналогично шаги 1-6 выполняются для построенной древовидной иерархии конструктивных характеристик качества. Полученных при этом с! весовых коэффициентов обозначим Р1,]= \,...й.

8. Поскольку для экспертного опроса приемлемая погрешность составляет обычно 5-10%, то единичные показатели минимального приоритета с суммой весовых коэффициентов, не превышающей 0.05, в целях снижения трудоемкости процедуры оценивания можно исключить из рассмотрения. Весовые коэффициенты оставшихся характеристик при этом нормируются на единицу. Полученная система взвешенных характеристик представляет собой исходные данные для последующего анализа качества ПКДО.

Решение задачи оценки единичных показателей качества сводится к следующей процедуре:

1. Производится классификация единичных показателей качества в структуре характеристик качества по используемому методу оценки.

2. Согласно выбранным методам оценивания производится оценка единичных характеристик качества ПКДО.

3. Сведение полученных оценок к единой шкале нормированием или эмпирическими методами.

Для анализа и использования полученной оценочной информации в зависимости от целей оценивания предлагаются следующие модели:

1. Обозначим всю совокупность N = (1*п единичных показателей качества

(частных критериев) ПКДО через Р = {Р111 = 1.....Л}. Р, образуют векторный

критерий качества. Для задачи сертификации предложена процедура установления принадлежности оценки значения векторного критерия заданному множеству.

2. Для задачи выбора и оценки качества при проектировании предлагается использовать метод обобщенного критерия, форма которого выбирается с учетом специфики задачи из семейства средневзвешенных по Колмогорову. Предложенный обобщенный критерий имеет вид (10).

2>,П р/')- (ю)

где п - количество функциональных характеристик, а] - весовые коэффициенты функциональных характеристик, й - количество единичных конструктивных показателей, ру- - оценка /-го единичного конструктивного показателя качества для г'-ой функциональной характеристики, - соответствующие весовые коэффициенты.

Разработана структура и программная реализация сетевого программного комплекса для автоматизации оценки качества ПКДО с элементами экспертной системы. Спроектированное программное обеспечение является частью системы оценки качества ПКДО и предназначено для автоматизации процедуры оценки качества по предложенным методикам и алгоритмам.

В четвертой главе «Практическое использование результатов исследования» приведены методико-практические рекомендации по использованию результатов диссертационного исследования проектными организациями при разработке ПКДО, образовательными учреждениями при выборе ПКДО, сертификационными лабораториями при проведении сертификации.

Приводятся примеры постановок оптимизационных задач, возникающих при проектировании и выборе ПКДО:

1. Задача оценки минимальных затрат на разработку ПКДО для достижения заданного качества на стадии предпроектного исследования.

«и». (П)

= (12)

'=1 м

сц>сд™,1= 1.....п,г\,..А, (13)

где ру- - значение /-го единичного показателя качества г-ой функциональной характеристики проектируемого ПКДО, зависящее от сю - количества ресурса, необходимого для обеспечения этого значения, К - максимальное значение значения обобщенного критерия качества для конкурентных ПКДО, рассчитанное по этой же методике, с*'" - минимальный расход ресурса,

необходимый для достижения приемлемого значения соответствующею показателя качества.

Таким образом, мы получили нелинейную оптимизационную задачу (11), (12), (13), которая может быть решена, например, методом динамического программирования.

2. Задача выбора ПКДО с учетом соотношения «цена-качество».

р/ч«»

--»шах,

гл

к

где Ут - совокупная стоимость владения т-ъш ПКДО, т = 1,... М, М- количество рассматриваемых вариантов при ограничениях

(15)

Ут<Уу,т=1,...М, (16)

где Уу - допустимая совокупная стоимость владения т-ым ПКДО.

В главе намечены пути использования полученных результатов при разработке нормативной базы ДО и приведены примеры внедрения отдельных результатов в трех НИР, в том числе при определении этапов организации учебного процесса с использованием дистанционных образовательных технологий, при разработке базовой структуры корпоративной информационной системы электронного документооборота в ДО и при разработке методических рекомендаций по формированию базовой системы функциональных характеристик качества информационно-образовательных порталов Системы

открытого образования. Приводятся результаты апробации разработанной методики учета пользовательских предпочтений на примере опроса 22 экспертов, проведенного в Центре дистанционного обучения МИЭМ (рис. 4).

Информационно-

Рис. 4. Распределение функций ПКДО по степени влияния на общую функциональность.

Полученные результаты полностью согласуются с априорными представлениями о функциональном назначении ПКДО.

Проведенное экспериментальное исследование предпочтений пользователей программно-методического комплекса ИОС ДО «ДО-он-лайн» и оценка качества этого ПКДО позволили выявить приоритетные направления дальнейшего развития данного программного продукта. При этом были получены и реализованы в виде технических заданий рекомендации для повышения его конкурентоспособности и улучшения потребительских свойств.

Проведенный качественный анализ эффективности от внедрения разработанного сетевого программного комплекса для автоматизации оценки качества ПКДО показал, что по результатам эксперимента трудоемкость обработки экспертных оценок снижается в среднем на 30-40%.

В заключении приводятся основные выводы, теоретические и практические результаты диссертационного исследования.

В приложениях приведены: > • результаты сравнительного анализа функциональности более 50 зарубежных

сетевых программных комплексов для дистанционного обучения;

• ГОЕРО-диаграммы функциональной модели ПКДО;

• базовая иерархия функциональных характеристик ПКДО;

• акты внедрения результатов диссертационной работы.

Основные результаты диссертационной работы

Основными результатами проведенных в диссертации научных исследований и разработок являются следующие:

1. Проведено сравнительное исследование функциональности современных ГПСДО, позволяющее выявить специфику данного класса программных средств как сложных сетевых программных комплексов.

2. Построена функциональная модель ПКДО на основе методологии структурного анализа и проектирования, позволяющая идентифицировать объект исследования с точки зрения функциональности, определить целевые группы потребителей результатов оценивания и пользователей ПКДО, а также выделить состав характеристик качества для последующей оценки.

3. Разработана новая методика формирования системы функциональных характеристик качества сложных многопользовательских программных комплексов на основе функционального моделирования.

4. Предложена методика формирования системы характеристик качества ПКДО, в соответствии с которой разработана базовая структура системы характеристик качества ПКДО с учетом специфики данного класса программных средств, совместимая с методологией структурирования функции качества (С^В) и повышающая эффективность этапа проектирования ПКДО.

5. Построена математическая модель учета пользовательских предпочтений на основе метода анализа иерархий, позволяющая формализовать принцип ориентации на потребителя.

6. Разработаны методико-пракгические рекомендации по применению созданной системы оценки качества ПКДО при управлении качеством в проектировании и разработке, при выборе ПКДО и при их сертификации.

7. Спроектирован и разработан сетевой программный комплекс для оценки качества ПКДО, позволяющий автоматизировать процедуру экспертных оценок, что снижает трудоемкость экспертного опроса и повышает эффективность оценки качества ПКДО за счет использования накопленной информации.

Результаты диссертационной работы используются в ЦДО МИЭМ в составе программно-методического комплекса ИОС ДО \<ДО-0г1-лаик>.>. Получены акты внедрения от лаборатории методики и дидактики открытого инженерного образования Научно-методического центра «Инженерное образование», а также ГНИИ информационных технологий и телекоммуникаций «Информика».

Результаты исследования могут быть использованы проектными организациями при разработке ПКДО для повышения эффективности проектирования, образовательными учреждениями для научно обоснованного выбора ПКДО в зависимости от целей и предпочтений, а также органами сертификации для формирования сертификационных требований и оценки качества ПКДО. Разработанная система характеристик качества может бьггь использована при формировании нормативной базы ДО в рамках отраслевых стандартов.

Благодаря универсальности методологии функционального

моделирования, разработанная методика формирования функциональных

характеристик качества может быть перенесена на другие предметные области.

По теме диссертационной работы опубликовано 28 научных работ, основными из которых являются следующие:

1. Бабешко В.Н. Построение системы оценки качества программных комплексов для открытого и дистанционного обучения // Применение новых технологий в образовании: Материалы XIII Междунар. конф. 27-30 июня 2002 г. - Троицк, 2002. - С.63-65.

2. Бабешко В.Н. Использование функциональной SADT-модели для оценки качества программных средств дистанционного обучения // НТК студентов, аспирантов и молодых специалистов МИЭМ: Тезисы докладов. - М. ~:МИЭМ, 2003. - С. 110-112.

3. Бабешко В.Н. Подходы к оценке качества Информационно-образовательных сред дистанционного обучения // Науч.-тех. конф. студентов, аспирантов и молодых специалистов, посвященная 40-летию МИЭМ: Тезисы докладов. -М. ~:МГИЭМ, 2002. - С. 144-146.

4. Бабешко В.Н., Нежурина М.И. Практика обеспечения качества программных комплексов для дистанционного обучения // Качество. Инновации. Образование. - М.: Европейский центр по качеству, 2003. - № 1 (5), январь-март. - С. 60-65.

5. Бабешко В.Н., Нежурина М.И. О необходимости учёта пользовательских предпочтений при оценке качества программных комплексов для образовательных сред // Открытое и дистанционное образование. - Томск, 2002.-№4(8).-С. 94-96.

6. Бабешко В.Н., Нежурина М.И. Базовые принципы построения порталов для информационно-образовательной среды открытого и дистанционного обучения//Бизнес-образование.-М.-2001.-№ 1 (10)-С. 36-49.

7. Бабешко В.Н., Нежурина М.И. Принципы построения информационно-образовательной среды масштаба вуза // Основные направления развития образовательных электронных изданий и ресурсов: Материалы науч-пракгач. конф. - М РМЦ, 2002. - С. 124-131.

8. Бабешко В.Н., Нежурина М.И. Построение иерархии характеристик качества программных средств дистанционного обучения с помощью функциональных моделей // Качество дистанционного образования: концепции, проблемы: Тезисы докладов. 7 февраля 2003 г. (г. Москва). -Жуковский: МИМ ЛИНК, 2003. - С.75-77.

9. Бабешко В.Н., Нежурина М.И. IDEF0 как средство повышения объективности при формировании характеристик качества программных средств дистанционного обучения // Системы качества. Управление качеством в вузе. Сертификация, менеджмент, безопасность. Сб. тез. докл второй всерос. науч.-практ. конф. 12-13 марта 2003 г. - М.: ИТЦ «МАТИ» -РГТУ им. К.Э. Циолковского, 2003. - С. 29-30.

ИД №06117 от 23.10.2001 Подписано в печать 22.10.2003.

Формат 60x84/16. Бумага типографская № 2. Печать - ризография. Усл. печ. л. 1,1 Уч.-изд. л. 1,0 Тираж 100 экз. Заказ 592-03

Московский государственный институт электроники и математики 109028, Москва, Б.Трехсвятительский пер., 3/12.

Центр оперативной полиграфии (095) 916-88-04, 916-89-25

*167 7 477^

Г

¥

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИЗ ПОДХОДОВ К ОЦЕНКЕ КАЧЕСТВА ПРОГРАММНЫХ КОМПЛЕКСОВ ДЛЯ ДИСТАНЦИОННОГО ОБУЧЕНИЯ.

1.1. Исследование состояния современных программных комплексов для дистанционного обучения.

1.2. Обзор государственных и международных стандартов в области качества программных средств.

1.3. Анализ современных подходов к оценке качества программных средств учебного назначения.

1.4. Постановка задачи построения системы оценки качества ПКДО.

1.5. Выводы по ГЛАВЕ 1.

ГЛАВА 2. МЕТОДИКА ПОСТРОЕНИЯ СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ПКДО.

2.1. Основные принципы построения системы оценки качества ПКДО.

2.2. Построение базовой функциональной модели ПКДО.

2.2.1. Выбор и обоснование метода моделирования.

2.2.2. Методика построения базовой функциональной модели.

2.2.3. Построение базовой функциональной модели ПКДО.

2.3. Формирование системы характеристик качества ПКДО.

2.3.1. Процедура формирования системы характеристик качества ПКДО

2.3.2. Формирование системы функциональных характеристик качества

2.3.3. Формирование системы конструктивных характеристик качества

2.4. Выводы по ГЛАВЕ 2.

ГЛАВА 3. РАЗРАБОТКА МАТЕМАТИЧЕСКОГО И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ПКДО.

3.1. Структура процесса оценки качества ПКДО.

3.2. Основные этапы экспертного опроса.

3.3. Математическая модель учета пользовательских предпочтений

3.3.1. Формализация задачи учета пользовательских предпочтений.

3.3.2. Процедура учета пользовательских предпочтений.

3.4. Оценка значений единичных показателей качества ПКДО.

3.5. Анализ оценочной информации: построение обобщенного критерия качества.

3.6. Разработка программного обеспечения системы оценки качества ПКДО.

3.7. Выводы по ГЛАВЕ 3.

ГЛАВА 4. ПРАКТИЧЕСКОЕ ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ.

4.1. Рекомендации по практическому использованию методики оценки качества ПКДО.

4.1.1. Использование обобщенного критерия качества при проектировании и разработке ПКДО.

4.1.2. Использование обобщенного критерия качества при выборе ПКДО

4.2. Использование функциональной модели ПКДО при проектировании документооборота ДО.

4.3. Применение методики построения системы функциональных характеристик к оценке качества образовательных порталов.

4.4. Использование программного комплекса оценки качества ПКДО при проектировании.

4.5. Выводы по ГЛАВЕ 4.

Значимость информатизации современного общества такова, что зачастую ее сравнивают по исторической роли с книгопечатанием [74]. Образование отражает объективные социальные процессы в обществе, формируется его объективными потребностями и должно развиваться в русле этих тенденций. Поэтому вполне закономерно, что под влиянием развития информационного общества повсеместное внедрение информационно-телекоммуникационных технологий не обошло стороной и сферу образования [77]. Возникшее в этой связи и развивающееся в нашей стране изначально стихийно по инициативе отдельных образовательных учреждений, дистанционное обучение (ДО) достигло сейчас государственного уровня [61, 93].

Об этом свидетельствует и ряд государственных проектов в рамках отраслевых научно-технических и федеральных целевых программ, таких, например, как проект создания и развития Российского государственного открытого университета, который ведется Министерством образования Российской Федерации в течение последних трех лет (http://www.informika.ru), научно-техническая программа «Создание системы открытого образования» [80], федеральная целевая программа «Развитие единой образовательной информационной среды» и многие другие.

Вместе с тем, развитие рыночных отношений затронуло и сферу образования, и с каждым годом процент негосударственных образовательных учреждений лишь увеличивается. Расширение рынка образовательных услуг в сочетании с перспективными тенденциями выхода России на международный уровень в области открытого образования выводят на передний план вопросы качества дистанционного обучения [69, 51].

В настоящей работе решается одна из основных задач в области обеспечения качества в сфере ДО - задача построения системы оценки качества программных комплексов для дистанционного обучения (ПКДО) как совокупности взаимосвязанных процедур, методик, моделей, математического и программного обеспечения для получения оценки качества ПКДО.

Актуальность настоящего исследования обусловлена, во-первых, весомой ролью технологической подсистемы в системе ДО: современные сетевые информационные технологии являются основным средством доставки учебной информации в процессе ДО, средством взаимодействия всех участников образовательного процесса и инструментом формирования информационно-образовательной среды ДО. Как следствие, технологическая подсистема, которая реализуется ПКДО, являясь интегратором для всех остальных подсистем ДО, оказывает сильное влияние на качество системы ДО в целом. Поэтому одной из основных задач обеспечения качества ДО является повышение качества ПКДО. При этом важно отметить, что характеристики качества ПКДО важны для пользователя не сами по себе, а только как элементы решения общих задач ДО.

Во-вторых, в настоящее время в нашей стране происходит становление нормативной базы в сфере ДО [7, 20]. По заказу Министерства образования РФ проводится ряд научно-исследовательских работ (НИР) в этой области. В частности, несколько ПИР посвящены разработке приложений к «Методике применения дистанционных образовательных технологий (дистанционного обучения) в образовательных учреждениях высшего, среднего и дополнительного профессионального образования Российской Федерации» [61], в числе прочего, направленных на разработку рекомендаций и требований к качеству ДО, стандартизацию процессов проектирования программных средств учебного назначения и разработку методического и программного обеспечения системы оценки качества программных комплексов для Системы открытого образования РФ.

В-третьих, актуальность этого исследования обусловлена тем, что в последние годы наблюдается интенсивное развитие ДО в сочетании с ростом количества разработок ПКДО во всем мире. Это ставит перед образовательными учреждениями задачу научно обоснованного выбора таких программных средств с позиций качества, т.е. с позиций степени соответствия отличительных свойств ПКДО потребностям или ожиданиям, которые установлены, обычно предполагаются или являются обязательными для данного образовательного учреждения. При этом обострилась конкурентная борьба на рынке производителей ПКДО, что привело к необходимости повышения качества проектирования и разработки ПКДО, их сертификации, а также к необходимости разработки инструментальных средств, автоматизирующих эти процессы.

В-четвертых, как показал обзор отечественных и зарубежных публикаций, многие известные подходы к оценке качества программных средств в настоящее время неприменимы к сложным современным информационным системам. Например, модели «черного ящика» или подход, связанный с анализом структуры текста программы, уже не в состоянии полностью отразить всю структурную сложность их функций и данных, а также учесть специфику ДО. При этом большинство подходов направлены на оценку конструктивных показателей качества, в то время как функциональности программных средств уделяется недостаточно внимания.

Таким образом, существующие на сегодняшний день наработки в этой области в чистом виде для решения задачи оценки качества ПКДО неприменимы, однако их фрагменты необходимо учитывать в числе отдельных составляющих комплексной процедуры оценки качества ПКДО.

При этом важно отметить необходимость решения задачи оценки качества ПКДО с позиций пользователей, определяющей составляющей качества для которых является функциональность.

Поэтому, проблема научно обоснованной оценки качества ПКДО при их проектировании, выборе и сертификации сегодня особенно актуальна. Таким образом, можно сделать вывод о необходимости проведения настоящего исследования с целью преодоления разрыва между потребностями практики в современной, сравнительно молодой отрасли дистанционного обучения и отсутствием комплексной методики и программного обеспечения для оценки качества ПКДО с учетом специфики ДО.

Целью данного диссертационного исследования является обеспечение качества ПКДО при их проектировании и разработке, повышение объективности решений при выборе и сертификации ПКДО за счет разработки системы оценки качества ПКДО как совокупности взаимосвязанных процедур, методик, моделей, математического и программного обеспечения для получения оценки степени соответствия отличительных свойств ПКДО потребностям или ожиданиям, которые установлены, обычно предполагаются или являются обязательным.

Для достижения поставленной цели были сформулированы следующие задачи исследования:

1. Построить функциональную модель ПКДО для идентификации объекта исследования с точки зрения функциональности.

2. Разработать систему характеристик качества ПКДО и методику ее формирования.

3. Построить математическую модель учета пользовательских предпочтений для полученной системы характеристик качества.

4. Разработать математическое и программное обеспечение для системы оценки качества ПКДО.

5. Разработать методико-практические рекомендации по применению полученной системы оценки качества ПКДО при проектировании и разработке, при выборе ПКДО и при их сертификации.

Один из аспектов трудоемкости этой задачи связан с тем, что предмет исследования - качество ПКДО - находится на стыке целого ряда научно-практических областей, таких как информационные технологии, управление качеством, методы экспертных оценок, методы оптимизации и принятия решений, педагогика. И лишь синтезом передовых подходов во всех этих областях можно получить адекватное решение поставленной задачи.

Методологическую и теоретическую основу исследования составили труды ведущих отечественных и зарубежных авторов в области проектирования программных средств, дистанционного обучения, экспертных оценок и прикладной статистики, теории принятия решений, методов оптимизации, а также квалиметрии, метрологии, теории управления качеством, репрезентативной теории измерений, функционального моделирования, в числе которых В.Н. Спицнадель, Д.Т. Росс, В.В. Липаев, Т. Саати, Б.Г. Литвак, В.Н. Азаров, В.Г. Домрачев, И.П. Норенков, И.В. Ретинская, М.И. Нежурина, А.И. Орлов, И.Г. Игнатова, И.В. Роберт и др.

В работе использованы следующие методы исследования: методы системного подхода к решению поставленных задач, методология структурного анализа и проектирования, методы квалиметрии, методология структурирования функции качества, методы многокритериальной оптимизации и теории принятия решений, метод анализа иерархий, общенаучные методы сравнительного анализа и аналогий.

Научная новизна диссертационного исследования связана со следующими новыми результатами, полученными в данной работе:

1. Автором построена базовая функциональная модель ПКДО на основе методологии структурного анализа и проектирования с учетом специфики предметной области ДО.

2. Предложена и реализована новая методика формирования системы функциональных характеристик качества сложных сетевых программных комплексов на основе функционального моделирования по стандарту IDEF0.

3. Разработана методика построения системы характеристик качества (СХК) ПКДО с учетом специфики данного класса программных средств, совместимая с методологией структурирования функции качества (QFD).

4. Построена математическая модель учета пользовательских предпочтений для системы характеристик качества ПКДО на основе метода анализа иерархий, позволяющая формализовать принцип ориентации на потребителя.

Практическая значимость результатов работы заключается в следующем:

1. Предложенная система оценки качества ПКДО может использоваться проектными организациями для повышения эффективности проектирования ПКДО, образовательными учреждениями для научно-обоснованного выбора ПКДО в зависимости от целей и предпочтений с учетом соотношения «цена/качество», органами сертификации для формирования сертификационных требований и оценки качества ПКДО.

2. Получена базовая функциональная модель ПКДО для применения на стадии проектирования ПКДО в качестве основы для формирования технического задания, что позволяет повысить эффективность проектирования.

3. Разработанная система характеристик качества и алгоритм ее построения могут быть использованы при формировании нормативной базы ДО в рамках отраслевой стандартизации, что, в частности, позволит создать профиль отраслевого стандарта ПКДО.

4. Разработан сетевой программный комплекс автоматизации оценки качества ПКДО для использования в рамках системы образовательных порталов для автоматизации процедуры экспертных оценок, который снижает трудоемкость экспертного опроса и повышает эффективность оценки качества за счет использования накопленной информации.

5. Благодаря универсальности методологии функционального моделирования, разработанная методика формирования функциональных характеристик качества может быть перенесена на другие предметные области.

Разработанные методики и программное обеспечение системы оценки качества ПКДО внедрены на базе Центра дистанционного обучения МИЭМ и используются для развития, совершенствования и постоянного мониторинга качества программно-методического комплекса информационно-образовательной среды ДО «ДО-он-лайн».

Результаты диссертационной работы использованы при выполнении ряда научно-исследовательских работ в рамках межвузовской научно-технической программы Минобразования РФ «Создание системы открытого образования» 2003-2004 гг.:

• для разработки методического и программного обеспечения системы оценки качества программных комплексов для системы открытого образования РФ;

• при формировании требований к специальной корпоративной информационной системе электронного документооборота дистанционного обучения в образовательных учреждениях высшего, среднего и дополнительного профессионального образования; Разработанные методики использованы в рамках Федеральной целевой программы «Развитие единой образовательной информационной среды» (20012005гг.) для разработки методико-практических рекомендаций по применению современных методов и инструментов управления качеством в системе мониторинга и оценки качества образовательных порталов.

Внедрение результатов настоящего диссертационного исследования подтверждено соответствующими актами (Приложение 4).

Результаты исследований докладывались на 10 международных и всероссийских научных конференциях и семинарах, в числе которых VI Международная студенческая школа-семинар «Новые информационные технологии» (Москва, 1998 г.), ежегодная Всероссийская научно-методическая конференция «Телематика» (С.Петербург, 1999 - 2003 гг.), Международная научно-техническая конференция Российской школы молодых ученых и специалистов «Системные проблемы качества, математического и моделирования и информационных технологий» (Сочи, 2000 г.), IV Международная научно-методическая конференция «Качество образования. Достижения. Проблемы.» (Новосибирск, 2001 г.), Всероссийская конференция «Современная образовательная среда» (Москва, 2001, 2002 г.), XIII Международная конференция «Применение новых технологий в образовании» (Троицк, 2002 г.), 3-я Всероссийская конференция «Электронные учебники и электронные библиотеки» (Москва, 2002 г.), ежегодная научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ (1998 — 2003 гг.).

Результаты исследований и практических разработок, полученные в рамках настоящего диссертационного исследования, отмечены:

• дипломом «за лучшую работу, представленную на научно-технической конференции студентов, аспирантов и молодых специалистов МИЭМ» в 2003 г.;

• дипломом Всероссийского выставочного центра «за разработку организационного и программно-методического " комплекса информационно-образовательной среды вуза» в 2002 г. (в составе авторского коллектива).

По результатам открытого конкурса «на поддержку инновационного потенциала научных разработок аспирантов МИЭМ» получен грант Фонда содействия развитию образовательной и инновационной деятельности в высшей школе.

По теме диссертации опубликовано более 28 печатных работ в сборниках трудов, материалах конференций и специализированных периодических изданиях. Основные положения диссертации опубликованы в 9 печатных работах.

Диссертация состоит из введения, 4-х глав, заключения, списка литературы из 103 наименований, 4-х приложений. Объем основной части работы составляет 138 страниц, 19 рисунков и 20 таблиц. Объем приложений 37 страниц.

Результаты исследования могут быть использованы проектными организациями при разработке ПКДО для повышения эффективности проектирования, образовательными учреждениями для научно обоснованного выбора ПКДО в зависимости от целей и предпочтений, а также органами сертификации для формирования сертификационных требований и оценки качества ПКДО. Разработанная система характеристик качества может быть использована при формировании нормативной базы ДО в рамках отраслевых стандартов.

Благодаря универсальности методологии функционального моделирования, разработанная методика формирования функциональных характеристик качества может быть перенесена на другие предметные области, например порталостроение.

Важно отметить, что рассмотрение поставленной задачи оценки качества ПКДО проводилось с позиций пользователей, для которых функциональность является определяющей составляющей качества.

ЗАКЛЮЧЕНИЕ

Основными результатами проведенных в диссертации научных исследований и разработок являются следующие:

1. Проведено исследование функциональности современных ПКДО, позволяющее выявить специфику данного класса программных средств как сложных сетевых программных комплексов.

2. Построена функциональная модель ПКДО на основе методологии структурного анализа и проектирования, позволяющая идентифицировать объект исследования с точки зрения функциональности, определить целевые группы потребителей результатов оценивания и пользователей ПКДО, а также выделить состав функциональных характеристик качества для последующей оценки.

3. Разработана новая методика формирования системы функциональных характеристик качества сложных многопользовательских программных комплексов на основе функционального моделирования.

4. Предложена методика формирования системы характеристик качества ПКДО, в соответствии с которой разработана базовая структура системы характеристик качества ПКДО с учетом специфики данного класса программных средств, совместимая с методологией структурирования функции качества (QFD) и повышающая эффективность этапа проектирования ПКДО.

5. Построена математическая модель учета пользовательских предпочтений на основе метода анализа иерархий, позволяющая формализовать принцип ориентации на потребителя.

6. Разработаны методико-практические рекомендации по применению созданной системы оценки качества ПКДО при управлении качеством в проектировании и разработке, при выборе ПКДО и при их сертификации.

7. Спроектирован и разработан сетевой программный комплекс для оценки качества ПКДО, позволяющий автоматизировать процедуру экспертных оценок, что снижает трудоемкость экспертного опроса и повышает эффективность оценки качества ПКДО за счет использования накопленной информации.

Результаты диссертационной работы используются в ЦДО МИЭМ в составе программно-методического комплекса ИОС ДО «ДО-он-лайн». Получены акты внедрения от лаборатории методики и дидактики открытого инженерного образования Научно-методического центра «Инженерное образование», ГНИИ информационных технологий и телекоммуникаций «Информика», ИДО РУДН.

1. Азгальдов Г.Г. Практическая квалиметрия в системе качества: ошибки и заблуждения // Стандарты и качетво. - 2001. - №3. (http://www.stq.ru/stqsite/magasin/manager/2001/N3/html/030 l2.html)

2. Антошина И.В. Процедуры и модели оценки качества и выбора прикладного программного обеспечения систем обработки информации. Автореф. дис. на соиск. уч. ст. к.т.н.: 05.13.01 / Моск. гос. ун-т леса. М., 2001.

3. Антошина И.В., Домрачев В.Г., Ретинская И.В. Обзор подходов к оценке качества и выбору программных средств // Сб. Индустрия образования / ГОСНИИСИ. 2002. - вып. 6. - С. 140-149.

4. Антошина И.В., Подрезов М.В. О выборе программных средств с учетом личных предпочтений // Информационно-коммуникационные технологии в управлении ВУЗом: Материалы Всерос. науч.-практ. конф. (25-28 февр. 2003 г.) / ПетрГУ. Петрозаводск, 2003. - С. 4-6.

5. Бабешко В.Н. Использование функциональной SADT-модели для оценки качества программных средств дистанционного обучения // Науч.-тех. конф. студентов, аспирантов и молодых специалистов МИЭМ: Тезисы докладов. — М. ~:МГИЭМ, 2003. С. 110-112.

6. Бабешко В.Н. Подходы к оценке качества Информационно-образовательных сред дистанционного обучения // Науч.-тех. конф. студентов, аспирантов и молодых специалистов, посвященная 40-летию МИЭМ: Тез. докл. — М. ~:МГИЭМ, 2002.

7. Бабешко В.Н. Построение системы оценки качества программных комплексов для открытого и дистанционного обучения // Применение новых технологий в образовании: Материалы XIII Междунар. конф. 28-29 июня 2002 г. Троицк, 2002. - С.63-65.

8. Бабешко В.Н. Система контроля знаний в информационно-образовательной среде дистанционного обучения // Науч.-тех. конф. студентов, аспирантов и молодых специалистов МИЭМ: Тез. докл. М. ~:МИЭМ, 2000.

9. Бабешко В.Н., Корешков Р.Ю., Нежурина М.И., Система контроля знаний для программного комплекса дистанционного обучения на базе LOTUS NOTES // Новые информационные технологии: Тез. докл. VI Междунар. студ. школы-семинара. М.: МИЭМ, 1998. - С. 114-115.

10. Ю.Бабешко В.Н., Кочетков В.В. Портал для информационно-образовательной среды дистанционного обучения // Науч.-тех. конф. студентов, аспирантов и молодых специалистов МИЭМ: Тез. докл. М. ~:МИЭМ, 2001. - С. 112-114.

11. Бабешко В.Н., Кочетков В.В., Нежурина М.И. Коммуникационный портал информационно-образовательной среды дистанционного обучения ВУЗа // Современная образовательная среда: Всерос. конф. 21-24 нояб., 2001 г./ ВВЦ -Москва, 2001.-С. 121-124.

12. Бабешко В.Н., Кочетков В.В., Нежурина М.И. Концептуальная модель образовательного портала // Телематика'2002: Труды Всерос. науч.-методич. конф. 3-6 июня, 2002 г. С.-Петербург, 2002. - С.94-96.

13. М.Бабешко В.Н., Кочетков В.В., Нежурина М.И. Портал как новое качество информационно-образовательной среды дистанционного обучения // Качество образования. Достижения. Проблемы: Материалы IV Междунар. науч.-методич. конф / НГТУ. Новосибирск, 2001.

14. Бабешко В.Н., Мирошниченко А.А., Нежурина М.И. Система электронных продаж для информационно-образовательной среды дистанционного обучения. // Современная образовательная среда: Всерос. конф. 21-24 нояб., 2001 г./ВВЦ-Москва, 2001.-С. 124-126.

15. Бабешко В.Н., Нежурина М.И. Базовые принципы построения порталов для информационно-образовательной среды открытого и дистанционного обучения // Бизнес-образование. М. - 2001. — № 1 (10) - С.36-49.

16. Бабешко В.Н., Нежурина М.И. О возможных подходах к оценке качества программных комплексов для образовательных сред // Электронные учебники и электронные библиотеки: Тезисы докладов 3-й Всерос. конф. -М.: Изд-во МЭСИ, 2002. С. 40-45.

17. Бабешко В.Н., Нежурина М.И. О необходимости учёта пользовательских предпочтений при оценке качества программных комплексов для образовательных сред // Открытое и дистанционное образование. — 2002. -№ 4(8). стр. 94 - 96.

18. Бабешко В.Н., Нежурина М.И. Практика обеспечения качества программных комплексов для дистанционного обучения // Качество. Инновации. Образование. — 2003. № 1 (5), январь-март. — С.60-65.

19. Бабешко В.Н., Нежурина М.И. Принципы построения информационно-образовательной среды масштаба вуза // Основные направления развития образовательных электронных изданий и ресурсов: Материалы науч.-практич. конф. -М,~: РМЦ, 2002. С. 124-131.

20. Бабешко В.Н., Нежурина М.И. Реализация системы контроля знаний при дистанционном обучении на базе LotusNotes // Телематика'99: Труды Всерос. науч.-методич. конф. 8-12 мая 1999 г. С.Петербург, 1999.

21. Бабешко В.Н., Нежурина М.И. Телекоммуникационный портал информационно-образовательной среды дистанционного обучения // Телематика 2001: Труды Всерос. науч.-методич. конф. 18-21 июня, 2001 г. -С.Петербург, 2001. С.209-210.

22. Бабешко В.Н., Нежурина М.И., Демин И.В. Некоторые особенности контроля знаний при дистанционном обучении на базе Lotus Notes // Науч,-тех. конф. студентов, аспирантов и молодых специалистов МИЭМ: Тез. докл. М. ~:МИЭМ, 1999.

23. Бабешко В.Н., Нежурина М.И., Кочетков В.В. Концептуальная модель образовательного портала // Телематика'2002: Труды Всерос. науч.-методич. конф. 3-6 июня, 2002 г. С.-Петербург, 2002. - С.94-96.

24. Бадалов JI.M. Экономическое регулирование качества промышленной продукции. — М.: Экономика, 1969.

25. Батоврин В.К., Васютович В.В., Олейников А.Я. и др. Функциональная стандартизация и развитие единой информационной образовательной среды. Труды Всероссийской научно-методической конференции «Телематика 2002», СПб, 2002, С. 53,54.

26. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1974.

27. Богданов Д.В., Путилов В.А., Фильчаков В.В. Стандартизация процессов обеспечения качества программного обеспечения. Апатиты, КФ ПетрГУ, 1997.- 161 с.

28. Боэм Б.У. Инженерное проектирование программного обеспечения: Пер. с англ. / Под. ред. А.А.Красилова. М.: Радио и связь, 1985.

29. Вострокнутов И.Е., Теория и технология оценки качества программных средств образовательного назначения. — М.: «Госкоорцентр информационных технологий», 2001.

30. Гантмахер Ф.Р. Теория матриц. Ч. II. Специальные вопросы и приложения. -М.: Наука, 1966.-576 с.

31. ГОСТ 28195-89. Оценка качества программных средств. Общие положения. -М.: Изд-во стандартов, 1989.

32. ГОСТ Р 51141-98. Делопроизводство и архивное дело. Термины и определения. — М.: Изд-во стандартов, 1998. Введен с 1 января 1999 г.

33. Дэвид Г. Метод парных сравнений. — М.: Статистика, 1978.

34. Ионцев Н.Н. Администрирование Lotus Notes версий 4.1х и Lotus Domino версий 4.5х. Изд."Светотон", М., 1997, с.-ЗЗЗ.

35. Ионцев Н.Н., Поляков Е.В., Таранченко О.Г. Программирование в Lotus Domino R5. Изд."Светотон", М., 2000, Administrator's Guide Domino Lotus Notes, release 4.5, Lotus Dev. Corporation, 1997.

36. Козлов B.A., Щербо B.K. Функциональные стандарты в открытых системах. Часть 2. Международные функциональные стандарты. М.: Изд. МЦНТИ, 1997.

37. Компьютерная технология обучения. Словарь-справочник. Под ред. Гриценко В.Ю. и др. Киев: "Наукова думка", 1992.

38. Кречетников К.Г., Методология проектирования, оценки качества и применения средств информационных технологий обучения. Монография — М.: «Госкоорцентр информационных технологий», 2001.

39. Кривошеев А.О. Разработка и использование компьютерных обучающих программ // Информационные технологии. 1996. - №2. - С. 14-18.

40. Кривошеев А.О. Электронный учебник — что это такое? // Университетская книга. 1998. - №2. - С. 13-15.

41. Круглое М.Г., Нежурина М.И. Роль менеджмента качества в развитии системы образования России // Политика ОДО в Европейском Союзе и Российской Федерации: уроки, перспективы и сотрудничество: Сб. докл., проект Дел фи ТАСИС / Изд. РУДН М., 2001.

42. Круглов М.Г., Шишков Г.М. Управление качеством. — Учебное пособие. М.: Станкин, 1999.

43. Липаев В.В. Выбор и оценивание характеристик качества программных средств. Методы и стандарты. СИНТЕГ, М.: 2001.

44. Липаев В.В. Качество программных средств. Методические рекомендации. Под общей ред. Полякова А.А. М.: Янус-К, 2002. — 400с.

45. Липаев В.В. Надежность программных средств. СИНТЕГ, М.: 1998.

46. Липаев В.В., Потапов А.И. Оценка затрат на разработку программных средств. М.: Финансы и статистика, 1988.

47. Литвак Б.Г. Экспертная информация: Методы получения и анализа. М.: Радио и связь, 1982.

48. Майерс Г. Надежность программного обеспечения, М.: Мир, 1980, с. 151.

49. Малышев Ю.А., Нежурина М.И., Шатровский В.А. Об одном подходе к представлению учебных курсов для дистанционного обучения в среде WWW. Научно-технический сборник "Информационные технологии", № б, 1997, С.39-41.

50. Марка Д.А., МакГоуэн К.Л. Методология структурного анализа и проектирования SADT. М., 1993.

51. Методика применения дистанционных образовательных технологий (дистанционного обучения) в образовательных учреждениях высшего, среднего и дополнительного профессионального образования РФ, Приказ № 4452, Минобр. РФ, 18.12.2002.

52. Миллер Д. Магическое число семь плюс минус два: Инженерная психология. -М.: Прогресс, 1964.

53. Нежурина М.И. Принципы организации и разработка специализированной информационно-образовательной среды для дистанционного обучения. Автореф. дис. на соиск. уч. ст. к.т.н. — М., 1998.

54. Нежурина М.И. Принципы организации и разработка специализированной информационно-образовательной среды для дистанционного обучения: Дис. . к.т.н.: 05.13.11 /МИЭМ. М., 1998. - 176 с.

55. Нежурина М.И. Системный подход к решению проблем дистанционного обучения: Монография / Издание международного проекта DELPHI EDRUS 9706.-М., 1999.

56. Нежурина М.И. Создание гибких модульных курсов дистанционного обучения с использованием информационных технологий для специальных технических дисциплин. В журнале "Новые информационные технологии в проектировании и производстве", N 3, 1997, с.7-11.

57. Орлов А.И. Современный этап развития теории экспертных оценок // Заводская лаборатория. — 1996. — №1.

58. Орлов А.И. Устойчивость в социально-экономических моделях. — М.гНаука, 1979.-296 с.

59. Орлов А.И. Эконометрика: Учеб. пособ. для вузов. — М.: Изд-во «Экзамен», 2002.74,Основы открытого образования, под ред. Солдаткина В.И. — Т. 1. — Российский государственный институт открытого образования. — М.: НИИЦ РАО, 2002.

60. Отчет по НИР "Создание интегрированной Среды контроля знаний в информационно-коммуникационных системах по технологии WWW Internet". Нежурина М.И.-научн.рук., отв.исп., № гос.рег. 01970003657, М., МИЭМ, 1997, стр.23.

61. Оценка качества программных средств учебного назначения: Рабочие материалы 2-го науч.-практич. семинара.- М.: РосНИИИС, ноябрь 1996.

62. Позднеев Б.М., Солдатов А.В., Соломенцев Ю.М. Эффктивное управление ресурсами ВУЗа. // Информационно-коммуникационные технологии в управлении ВУЗом: Материалы Всерос. науч.-практ. конф. (25-28 февр. 2003г.) / ПетрГУ. Петрозаводск, 2003. - С. 132-137.

63. Портал дистанционного обучения IBM http://www.educ.ru.

64. НИР / РосНИИ ИС; науч. рук. Кривошеев А.О. на гос. регистрации. - М., 1997.-С. 125.

65. Роберт И.В. Экспертно-аналитическая оценка качества программных средств учебного назначения // Педагогическая информатика. 1993. - №1 — С 54-62.

66. Романов А.Н., Торопцов B.C., Григорович Д.Б. Технология дистанционного обучения в системе заочного экономического образования. М.: ЮНИТИ-ДАНА, 2000.

67. Российский научно-исследовательский институт информационных систем, http://www.riis.ru.

68. Рыжаков В.В., Пятирублевый Л.Г. Основы комплексного оценивания качества продукции: Учеб. пособ. для машиостроительных специальностей. Пенза, 1998.

69. Саати Т. Принятие решений. Метод анализа иерархий: Пер. с. англ. М.: Радио и связь, 1993.

70. Система критериев качества учебного процесса для дистанционного образования: Отчет о НИР / МГТУ им. Н.Э.Баумана; рук. проекта Норенков И.П. М., 2002.

71. Спицнадель В.Н. Системы качества: Учеб. пос. — СПб.: Изд. дом «Бизнес пресса», 2000. 336 с.

72. Статистические модели и многокритериальные задачи принятия решений: Сб. статей / Сост и науч. ред. Шахнов И.Ф. — М.: Статистика, 1979. — 184 с.

73. Тюрин Н.И. Введение в метрологию. Учебное пособие. — М.: Издательство стандартов, 1985.-248 с.

74. Управление качеством: Том 2. Принципы и методы всеобщего руководства качеством Основы обеспечения качества, Под общей ред. Азарова В.Н. М.: МГИЭМ, 2000.-356с.

75. Управление современным образованием: социальные и экономические аспекты. Под ред. Тихонова А.Н. М.: Вита-Пресс, 1998.

76. Федеральный закон №110819-3 от 01.07.2002 «О внесении изменений и дополнений в Закон РФ «Об образовании» и Федеральный закон «О высшем и послевузовском образовании» (в части дистанционных образовательных технологий)».

77. Харитонов Е.В. Согласование исходной субъективной информации в методах анализа иерархий // Математическая морфология. — 1999. Т.З, Вып. 2. (http://www.smolensk.rU/user/sgma/MMORPH/N-5-html/6.htm)

78. Cargill C.F. Information Technologie Stangardisation. Digital Press, 1989.

79. IBM Mindspan Solutions Introduces Lotus LearningSpace 5.http://www.lotus.com/products/learnspace.nsf/95febc 15 8ad081518525674c0065a a5£/l Iba69bbfe89211785256aaa0065e9db?OpenDocument

80. IEEE P1003.23-1998. IEEE Guide for Developing User Organization Open System Environment (OSE) Profiles

81. ISO/IEC 9126: 1991 (E) Information technology Software product evaluation -Quality characteristics and guidelines for their use.

82. ISO/IEC 9126-1:2001. Software engineering. Product quality. Part 1. Quality model.

83. Keeney R.L., Raiffa H. Decisions with Multiple Objectives: Preference and Value Tradeoffs. Wiley, New York, 1976.

84. Londeix B. Cost estimation for software development. Cornwall: Addison-Wesley. 1987.

85. Simon H. Reason in Human Affairs Stanfird Univ. Press, 1983.

86. Technology Based Training & On-line Learning: An overview of Authoring Systems & Learning Management Systems available in the UK. Dean Associates & Technologies for Training Ltd, 2000.