автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Классификация и оценка качества программных средств с использованием базы характеристик качества

Введение.

1. ГЛАВА 1. АНАЛИЗ СУЩЕСТВУЮЩИХ ПОДХОДОВ И ТЕХНОЛОГИЙ СЕРТИФИКАЦИИ И ОЦЕНКИ КАЧЕСТВА ПРОГРАММНЫХ СРЕДСТВ.

1.1. Существующие направления в сертификации программных средств.

1.2. Отечественные и зарубежные системы сертификации программных средств.

1.2.1. Анализ наиболее распространенных стандартов, используемые на практике, их недостатки и достоинства.

1.2.2. Совместимость различных стандартов, основные трудности их применения.

1.3. Анализ различных подходов к построению систем характеристик качества программных средств.

1.3.1. Предшествующие исследования.

1.3.2. Современное состояние проблемы.

1.4. Выводы по главе 1.

2. ГЛАВА 2. МОДЕЛИ КЛАССИФИКАЦИИ ПРОГРАММНЫХ СРЕДСТВ.

2.1. Анализ подходов к классификации программных средств. Состояние вопроса в других предметных областях. Рубрикаторы программ.

2.2. Методы классификации.

2.2.1. Гистограммный метод для построения априорного словаря признаков.

2.2.2. Модель классификации ПС

2.2.4.3.Декомпозиция задачи.

2.4. Выводы по главе 2.

3. ГЛАВА 3. МОДЕЛИ АВТОМАТИЗИРОВАННОЙ СЕРТИФИКАЦИИ

ПРОГРАММНЫХ СРЕДСТВ.

3.1. Разработка модели сертификации программных средств при любых наборах характеристик.

3.1.1. Модель оценки качества программных средств.

3.1.2. Способы шкалирования и идентификации характеристик качества.

3.1.3. Метод преобразования характеристик.

3.1.4. Коэффициенты важности характеристик качества ГОСТ ИСО 9126.

3.2. Разработка технологии создания универсальной базы данных функциональных характеристик качества программных средств.

3.2.1. Документационный метод обработки характеристик.

3.2.2. Снижение размерности признакового пространства характеристик программных средств и отбор наиболее информативных показателей.

3.2.3. Характеристики качества справочных правовых систем.

3.2.4. Расчет оценки качества СПС «ГАРАНТ»

3.3. Выводы по главе 3.

4. ГЛАВА 4. ДИНАМИЧЕСКАЯ АКТУАЛИЗИРУЕМАЯ СУБД ХАРАКТЕРИСТИК КАЧЕСТВА ПРОГРАММНЫХ СРЕДСТВ.

4.1. Описание программного модуля системы управления базой данных.

4.2.1. Реляционная модель базы данных.

4.2. Модуль на основе экспертной системы.

4.2.1. Экспертные системы.

4.2.2. Описание работы с программой.

Выводы по главе 4.

В современном мире разработка программных средств (ПС) превратилась в одну из самых дорогостоящих и высокопроизводительных индустрий. Увеличение номенклатуры ПС, их разнообразие затрудняют выбор программного продукта с наилучшим качеством среди однотипных программ. Кроме того, зачастую программы, предлагаемые разработчиками в качестве типичных представителей ПС, на самом деле не являются таковыми, в результате чего возникают ошибки их применения в предметной области. Отсутствие научных подходов к оценке качества создаваемых модулей приводит к снижению производительности работы ПС. Поэтому становится очевидной потребность разработки общих методов классификации, оценки качества и сертификации ПС.

Назначение процедуры классификации состоит в принятии решения о принадлежности неизвестного объекта, в данном случае ПС, к тому или иному классу, характеризующегося набором однотипных программ, выполняющих одинаковые функции.

Сертификация, включающая в себя оценку качества ПС с целью его оптимального применения, есть процесс подтверждения свойств ПС, заявленным в соответствующей нормативной документации.

Задачи классификации, оценивания качества и сертификации ПС относятся к классу трудноформализуемых. Нетривиальность таких задач заключается в новизне самой предметной области и ее изменчивости. Только опыта и интуиции лиц, проводящих классификацию и сертификацию ПС, для эффективного решения поставленной проблемы в динамично изменяющейся ситуации уже недостаточно. Необходимы научные подходы и компьютерная поддержка решения данных задач.

Существующие методики [44-46], позволяющие проводить классификацию и сертификацию, в настоящее время находятся на начальном этапе развития. Они не являются универсальными, зачастую весьма громоздки, и требуют большого количества экспертов в данной области.

Применение стандартов также существенно ограничивает их использование, поскольку многие имеющиеся стандарты в этой области [15-19] определяют только общие для большинства ПС характеристики, такие как функциональность, эффективность, надежность и др., давая их универсальное толкование и не конкретизируя их смысл применительно к конкретным классам программного обеспечения.

Используемый в международной практике стандарт ISO 9000 [15] носит лишь декларативный характер и относится к воздействию на процесс изготовления, а не к качеству готового продукта. Многие из отечественных ГОСТов [18,19,61-64] основываются на субъективной оценке экспертов и являются морально устаревшими. Они не содержат четких рекомендаций по оценке качества программного обеспечения, моделей процесса оценивания.

Задачи классификации и сертификации заключаются в определении полного перечня признаков (параметров), характеризующих ПС, в формировании рабочего алфавита классов, в разработке априорного словаря признаков, в описании всех классов на языке признаков, включенных в словарь. Выработка сведений о распознаваемых ПС и априорное описание классов - весьма трудоемкая часть в решении данных задач, требующая глубокого изучения свойств этих объектов. Выбор алгоритмов для распознавания класса ПС и оценки его качества должен быть рационально сделан на основе математических моделей, чтобы систематизировать и оптимизировать использование ПС наиболее эффективно для решения различных практических задач. Полных и достаточно подробных структурированных описаний существующих классов ПС - рубрикаторов, позволяющих проводить сертификацию, на сегодняшний день не существует.

Обычно число характеристик каждого класса ПС велико, поэтому удобно представлять их в виде динамической актуализируемой системы управления базой данных (СУБД), позволяющей классифицировать данный программный продукт в соответствии с рубрикатором и оценить его качество.

Создание и использование СУБД функциональных характеристик качества программных средств позволит ускорить процесс сертификации и в совокупности с применением математических моделей его формализовать.

Актуальность проблемы подтверждается и тем, что работа выполнялась автором в рамках гранта РФФИ № 01-07-90463.

Таким образом, целью диссертационной работы является: разработка процедур и моделей оценки качества для его сертификации согласно установленным требованиям. Для достижения поставленной цели решались следующие задачи:

1. разработка иерархического рубрикатора - классификатора программных средств;

2. формирование словаря характеристик, используемых при оценке качества ПС;

3. разработка моделей классификации и оценки качества ПС;

4. разработка динамической актуализируемой СУБД для автоматизации процедуры классификации и проведения сертификации ПС.

В работе предлагаются подходы к автоматической классификации и сертификации ПС. Этим обусловлена структура работы.

В первой главе приведен обзор существующих подходов к оценке качества ПС. Проведен анализ существующих в настоящее время методов и технологий классификации и сертификации ПС, описаны отечественные и зарубежные стандарты, используемые на практике, их недостатки, совместимость различных стандартов и основные трудности их применения. Проведена системная декомпозиция целей исследования. Обзор существующих подходов к оценке качества ПС показал, что отсутствуют общепринятые системы критериев качества и модели его оценки. Выявлено, что в большинстве случаев существующие отечественные и зарубежные методы и подходы к классификации и сертификации ПС не могут быть эффективно использованы для оценки качества ПС из-за отсутствия унифицированных моделей оценки качества, алгоритмов решения. Существующие разработанные модели применяются для определенного круга задач, многие из них требуют большого числа экспертов в данной области и трудоемки.

В заключении главы был сделан вывод о необходимости разработки методов классификации и оценки качества ПС .

Во второй главе рассматриваются существующие подходы к классификации. Рассмотрены методы классификации ПС. Путем проведенного анализа выявлен наиболее эффективный метод, основанный на кластерном анализе. Для применения модели классификации предложен иерархический рубрикатор-классификатор ПС. Отличительными свойствами предложенного свойствами рубрикатора являются: наличие определения классов, детализированность, полнота охвата существующих классов ПС. Для составления рабочего словаря признаков развит метод обобщенной гистограммы. Представлены результаты измерений классифицирующих признаков программ класса справочных правовых систем. Разработана математическая модель классификации ПС на основе кластерного анализа.

В третьей главе предложен алгоритм оценки качества ПС и математическая модель сертификации ПС на соответствие стандартам или Временным Техническим условиям, оптимально сочетающая точность и простоту реализации. Показано применение документационных методов с использованием экспертного подхода для определения количественных показателей характеристик качества. Рассмотрен разработанный метод преобразования характеристик «ПЕРЕХОД». Приведен расчет качества СПС «Гарант» на основе предложенной модели оценки качества ПС.

Структура базы данных и программного модуля подробно описана в четвертой главе, дана инструкция по работе с программой. Приведены приложения, содержащие акты о внедрении, дополнения в ВТУ для игровых обучающих программ, характеристики качества ПС некоторых классов с примерами

Выводы:

1. Разработана структура СУБД характеристик качества ПС.

2. Создана актуализируемая СУБД характеристик качества для ряда классов ПС.

3. Разработан модуль экспертной системы для процедуры сертификации.

ЗАКЛЮЧЕНИЕ

В настоящее время в России системы сертификации программных средств еще только зарождаются, и о перспективах массового внедрения автоматизированных решений в этой области говорить пока преждевременно. Однако уже сейчас можно наметить пути практического использования предложенной методологии и разработанного программного комплекса.

Во-первых, система автоматической оценки качества, представленная в данной работе, может использоваться в испытательных лабораториях, занимающихся оценкой качества ПС. На сегодняшний день процедура сертификации ПС является длительным процессом, и в среднем занимает около полугода. Не в последнюю очередь это объясняется тем, что почти для каждой программы, представленной для сертификации, приходится подготавливать новые Временные Технические Условия (ВТУ). Эти ВТУ впоследствии могут стать ГОСТом, если будут утверждены Госстандартом.

С помощью предложенной системы процесс сертификации ПС может быть упрощен и существенно ускорен. Выигрыш может быть достигнут за счет предшествующего сертификации процесса классификации. Правильная классификация позволит быстро подобрать существующие ВТУ или ГОСТ, либо принять правильное решение о создании новых ВТУ. Система автоматической классификации ПС сможет стать централизованным ресурсом, используемым многими испытательными лабораториями.

1. Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений. - М.: Статистика, 1974 г. - 240 с.

2. Айвазян С.А., Бухштабер В.М. Анализ данных, прикладная статистика и построение общей теории автоматической классификации // Методы анализа данных / Пер. с фр. М.: Финансы и статистика, 1985 г. - Вступ. ст. - с. 5-22.

3. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. М.: Финансы и статистика, 1989 г. - 607 с.

4. Александров В.В., Горский Н.Д. Алгоритмы и программы структурного метода обработки данных. Л.: Наука, - 1983 г. - 208 с.

5. Александров В.В., Алексеев А.И., Горский Н.Д. Анализ данных на ЭВМ. (На примере системы СИТО). М.: Финансы и статистика, 1990г. — 192с.

6. Антологические исследования системных проектов.// Аналитика капитал, том 5 «Банки правовой информации» / под ред. Новикова Д.Б., Першеева Д.В., Тихомирова С.Г., Морозова А.В. М.: из-во ВИНИТИ, 2001 г. - 199с.

7. Антошина И.В., Домрачев В.Г., Ретинская И.В. К вопросу о способах оценки надежности программных средств, // Труды конференции «Информационные технологии в науке, образовании, телекоммуникациях и бизнесе». Симферополь, 2000г. - с.145-146.

8. Боэм Б., Браун Д., Каспар X., Липов М., Мак-Леод Г., Мерит М. Характеристики качества программного обеспечения, М.: Мир, 1981 г. пер. с англ. - 206 с.

9. Браверман Э.М., Мучник И.Б. Структурные методы в обработке эмпирических данных. М.: Наука, 1983 г. - 287 с.

10. Ю.Бусленко Н.П., Калашников В.В, Коваленко И.Н., Лекции по теории сложных систем. -М.: Советское радио, 1973 г. 425 с.

11. П.Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. М.: Наука, 1973.-416 с.

12. Васильев В.В. Тестирование конверторов форматов данных // «КомпьюЛог 2000» М : 2000 г.

13. Васюткович В.В., Самотохина С.С., Стандартизация в области программных. М.: из-во ВНИИ стандарта ГОССТАНДАРТА РФ, 1999г.

14. ГОСТ ISO 9003-1997, 1997 г.

15. ГОСТ Р ИСО/МЭК 9126-93. Информационная технология. Оценка программной продукции. Характеристики качества и руководство по их применению.-М.: 1993 г.

16. ГОСТ Р ИСО/МЭК 8402. Качество. Словарь. 1994г.

17. ГОСТ 28195 89. Оценка качества программных средств. Общие положения. - М.: 1989 г.

18. ГОСТ 28806 90. Качество программных средств. Термины и определения. - М: 1990 г.

19. Домрачев В.Г. Ретинская И.В., Сухов В.Г. Классификация требований при оценке качества специализированных инструментальных систем для создания тестов. // Научные труды МГУЛ вып. № 269.- М., из-во МГУЛ, 1995 г.-с. 118-123.

20. Домрачев В.Г., Нешта Е.П., Ретинская И.В. База характеристик качества ПС и их сертификация // Сб. научных трудов МИЭМ «Информационные, сетевые и телекоммуникационные технологии» М.: из-во МИЭМ, 2001 г. - с. 119-126.

21. Дюран Б., Оделл П. Кластерный анализ. М.: Статистика, 1977 г.- с.128.

22. Елисеева И.И., Рукавишников В.О. Группировка, корреляция, распознавание образов: Статистические методы классификации и измерения связей. М.: Статистика, 1977 г. - 143 с.

23. Енюков И.С. Методы, алгоритмы, программы многомерного статистического анализа: пакет ППСА. М.: Финансы и статистика, 1986 г. - 232 с.

24. Зарубежное программное обеспечение в России. М.: Пандора, 1998 -35с.

25. Калинина Э.В., Лапига А.Г., Поляков В.В. и др. Оптимизация качества. Сложные продукты и процессы. М.: Химия, 1989 г. - 256 с.

26. Калянов Г.Н., Классификация CASE средств // Компьютерная Хроника №11, 1998 г. -с.27-40.

27. Ким О., Мьюллер Ч.У., Клекка У.Р. и др. Факторный, дискриминантный и кластерный анализ: Пер с англ. / Под ред. И.С. Енюкова. М.: Финансы и статистика, 1989 г. - 215 с.

28. Классификация и кластер. /Под ред. Дж. Вэн Райзина. М.: Мир, 1980 г., -390 с.

29. Количественные методы в исторических исследованиях / Под ред. И.Д.Ковальченко. М.: Высшая школа, 1984 г. - 384 с.

30. Корольков Ю.Д. Сводная оценка качества компьютерных обучающих систем, 2000 г. 15с.

31. Кулагин Н.В., Манишин В.Г., Манишин Е.Е., Николаев М.Я., Структура компьютерных средств поддержки самостоятельной работы учащихся 1999г.-5с.

32. Липаев В.В., А.И. Костогрызов, Качество программного обеспечения. М.: Финансы и статистика, 1983г. - 123с.

33. Липаев В.В., Костогрызов А.И. Сертификация систем качества на соответствие стандартам серии ISO 9000 для предприятий-разработчиков программных средств, Методическое руководство. М., из-во МГТУ «Станкин», 2000 г. - 132 с.

34. Липаев В.В. Требования к структуре и содержанию документации на прикладные программные средства информационных систем. М.: из-во «Станкин», 1999 г. - 77 с.

35. Мандель И.Д. Кластерный анализ. М.: Финансы и статистика, 1988 г. -176 с.

36. Методы анализа данных: Подход, основанный на методе динамических сгущений: Пер. с фр. / Кол. Авт. Под рук. Э.Дидэ / Под ред. и с предисл. С.А.Айвазяна и В.М.Бухштабера. М.: Финансы и статистика, 1985 г . -357с.

37. Налимов В.В. Вероятностная модель языка. О соотношении естественных и искусственных языков. М.: Наука, 1979 г. - 303 с.

38. Нешта Е.П. Характеристики программного обеспечения для конвертирования файлов // Материалы межвузовской научно-методической конференции «Информационные технологии и фундаментализация высшего образования». М: из-во РТУ нефти и газа, 1999 г. - с.50-52.

39. Нешта Е.П., Ретинская И.В. Модели сертификации аппаратно-программных средств // Труды всероссийской конференции «Новыеинформационные технологии в образовании на базе компьютеров Макинтош». М.: Нефть и газ, 1998 г. - с. 24-25.

40. ОСТ 115.1.6.-96. Информационная технология. Сертификация программных средств. Методика экспертизы программной документации. М: 1996 г.

41. ОСТ 115.1.8.-96. Информационная технология. Сертификация информационного обеспечения автоматизированных систем. М: 1996г.

42. ОСТ 115.1.8.-96. Требования к проведению статистического анализа программных средств. М: 1996г.

43. ОСТ 115.1.8.-96. Требования к проведению динамического анализа программных средств. М: 1996г.

44. Парницкий. Г. Основы статистической информатики. / Пер. с венгерского. М.: Финансы и статистика, 1981 г., 199 с.

45. Патрик Э. Основы теории распознавания образов / Пер с англ. Под ред. Б.Р.Левина. М.: Сов. Радио, 1980 г.- 408 с.

46. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа: Учеб. 2-е изд., доп. Томск: Изд-во НТЛ, 1997 г. - 396 с.

47. Ретинская И.В., Сухов В.Г. Интегральная оценка специализированных инструментальных систем для создания тестов. // Тезисы III Всероссийской конференции «Информационные технологии в образовании».- М., 1994 г. с. 41-43.

48. Сильвестров Д.С. Программное обеспечение прикладной статистики: Обзор состояния. Тенденции развития. М.: Финансы и статистика, 1988 г. - 240 с.

49. Статистические методы для ЭВМ / Под ред. К.Энслейна, Э.Рэлстона, Г.С.Уилфа: Пер с англ./Под ред. М.Б.Малютова. М.: Наука, 1986 г. -464 с.

50. Степин Ю.П. Проектирование автоматизированных систем управления в нефтяной и газовой промышленности. М.: Из-во МИНХ и ГП, 1984 г. -94с.

51. Терентьев П.В. Метод корреляционных плеяд // Вестник ЛГУ. №9.- Л: из-во ЛГУ, 1959 г. с. 137-141.

52. Терехов А., Вероника Туньон. Современные модели качества программного обеспечения. // BYTE №12. М.: 1999 г.

53. Уотерман Д. Руководство по экспертным системам. М.: Мир, 1989 г. -388с.

54. Фелингер А.Ф. Статистические алгоритмы в социологических исследованиях. Новосибирск: Наука, 1985 г. - 208 с.

55. Фомин Я.А., Савич А.В. Оптимизация распознающих систем. М.: Машиностроение, 1993 г. - 288 с.

56. Фомин Я.А., Тарловский Г.Р. Статистическая теория распознавания образов. М.: Радио и связь, 1986 г. - 264 с.

57. Фу К. Последовательные методы в распознавании образов и обучении машин. М.: Наука, 1971 г. - 256 с.

58. Фукунага К. Введение в статистическую теорию распознавания образов / Пер. с англ. М.: Наука, 1979 г. - 367 с.

59. Халабия Р.Ф. Ошибки в программах при их оптимизации // Сборник научных трудов «Программное и информационное обеспечение систем различного назначения на базе персональных ЭВМ». М.: МГАПИ, 1998 г. - с. 196-198.

60. Шараф М.А, Иллмэн Д.Л., Ковальски Б.Р. Хемометрика / Пер. с англ. -Л.: Химия, 1989 г.-272 с.

61. Шенфилд Дж Математическая логика / Пер. с англ. М.: Наука, 1975 г. -192 с.

62. Шрейдер Ю.А. Равенство, сходство, порядок. М.: Наука, 1971 г. - 256 с.

63. Экенроде Р.Т. Взвешенные многомерные критерии. / В кн. Статистическое измерение качественных характеристик. М.: Статистика, 1972 г. — 135 с.

64. Элджер Дж. Библиотека программиста С++. Санкт-Петербург, 2000 г., 320с.

65. Эпштейн С.С, Горелик А.Л. Об аддитивности информации в задачах распознавания объектов и явлений. // Кибернетика, 1983 г. М.: 1983 г. с.85-88.

66. Эфрон Б. Нетрадиционные методы многомерного статистического анализа // Сб. статей: Пер. с англ./ Предисловие Ю.П.Адлера, Ю.В.Кошевника. М.: Финансы и статистика, 1988 г. - 263 с.

67. Яглом И.М. Булева структура и ее модели. М.: Советское радио, 1980 г.-219 с.

68. A study of Fundamental Factors Underlying Software Maintenance Problems, CIRAD, Inc., December 1971

69. Allen Edward В., Halstead Robert, Trio Gary., Khoshgoftar Taghi M., Flass Ronald M. Using process history to predict software quality // Computer № 4, 1998 p.66-72.

70. Brown J.R., Lipov M. The Quantitative Measurement of Software Safety and Reliability, revised from TRW Report No. // SDP-1776, 1973

71. Gilb T. Software Metrics. Studentliteratur AB, Lund, Sweden and Winthrop, Cambridge: MA, USA,1976

72. Lauesen Soren, Younessi Houman. Является ли качество ПО визуально обнаруживаемым в коде? Is software quality visible in the code? IEEE, Software №4, 1998 p.63-73.

73. Marr D. Vision. A computational investigation into the human representation and processing of visual information

74. Research Toward Ways of Improving Software Maintaince // CIRAD, Inc., January 1973

75. Rosenfeld A. Image analysis: Progress, problems and prospects. // Proceedings of the 6-th international conference of pattern recognition, Germany, 1982, p.7-15

76. Rubey R.J., Hartwick R.D. Quantitative Measurement of Program Quality, Proceedings // ACM National Conferernce, 1968, pp.671-677

77. Sokal R., Sneath H. H., Principles of numerical taxonomy. Freeman Сотр., San Francisco L., 1963

78. Wulf W.A., Programming Methodology // Proceedings of Symposium on the High Cost of Software, J. Goldberg (ed.), Stanford Research Institute, 1973