автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модели и методики оценки качества прикладных программных систем

На правах рукописи

До Хонг Куанг

МОДЕЛИ И МЕТОДИКИ ОЦЕНКИ КАЧЕСТВА ПРИКЛАДНЫХ ПРОГРАММНЫХ СИСТЕМ

Специальность: 05.13.01 - Системный анализ, управление и обработка

информации (технические системы)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург - 2006

Работа выполнена в Санкт-Петербургском государственном электротехни-Чррком университете «ЛЭТИ» им. В.И. Ульянова (Ленина)

Научный руководитель — заслуженный деятель науки РФ,

доктор технических наук, профессор Падерно П.И.

Официальные оппоненты: заслуженный деятель науки РФ, доктор технических наук, профессор Щербаков О.В. кандидат технических наук, профессор Заяц А.М.

Ведущая организация - Военно-морской институт радиоэлектроники им. А.С. Попова

Защита состоится " "__2006 г. в часов на

заседании диссертационного совета Д 212.238.07 Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В.И. Ульянова (Ленина) по адресу: 197376, Санкт-Петербург, ул. Проф. Попова, 5.

С диссертацией можно ознакомиться в библиотеке университета. Автореферат разослан " ¿Л "_Март_ 2006 г.

Ученый секретарь диссертационного совета

Яшин А.И.

АооЬА

66 Г3 1

1. Общая характеристика диссертационной работы

Высокая конкуренция среди разработчиков и производителей различных изделий, повышение требований пользователей к их качеству привело разработчиков к пониманию важности вопросов стандартизации в области обеспечения качества. Для этого требования потребителей часто включаются в технические условия или представляются в виде неформализованных требований, описанных на некотором вербальном языке. Однако технические условия и неформализованные требования сами по себе не гарантируют их удовлетворение в конечном продукте. Это соображение привело к разработке стандартов, руководств, руководящих документов, относящихся к системам качества и дополняющих релевантные требования к продукции, установленные в соответствующих технических требованиях. Международные стандарты серии ИСО 9000 впервые создали общую основу для стандартов на системы качества, применимые в различных областях деятельности человека.

Как известно наибольшую трудность в процессе управления качеством любой продукции, в том числе и программной, вызывает установление, выявление причин (факторов), которые ухудшают те или иные характеристики (показатели) качества. Еще более сложной и в то же время необходимой процедурой является их оценка, дающая объективную основу для выработки эффективных управляющих воздействий на организацию процесса в целом, на деятельность структурных подразделений и отдельных сотрудников. Поэтому актуальным является выбор и внедрение методов, моделей и методик, обеспечивающих выявление конкретных зависимостей между факторами и характеристиками качества, методов, позволяющих принимать обоснованные решения и осуществлять конкретные мероприятия.

Зачастую на рынок конкурирующими фирмами выбрасываются сходные продукты, отличающимися некоторыми (неявными) функциональными различиями, стоимостью, технологией и др. В данном случае специалисты не всегда могут точно определить: на какой сегмент пользователей рассчитан тот или иной продукт. Возникает проблема: как из множества однотипных продуктов выбрать такой продукт, который наилучшим образом отвечает слабоформализуемым требованиям и предпочтениям пользователя.

При этом предлагаемый способ определения «наилучшего» (в смысле требований данного пользователя) продукта должен быть достаточно прост и понятен. Наличие такого способа позволит разработчикам заранее, моделируя требования различных пользователей, настраиваться на определенный сегмент рынка, т.е. на определенный контингент пользователей.

К сожалению, на сегодняшний день такой способ отсутствует

Таким образом, существует противоречие между необходимостью рационального выбора пользователем продукта и отсутствием моделей, ме-

тодик и средств, позволяющих обеспечить решение этой задачи с учетом нужд и возможностей пользователя.

Наличие этого противоречия определяет существование актуальной научно-технической задачи - необходимости разработки моделей, методик и алгоритмов, реализующих всестороннюю оценку качества изделий и систем.

Подход к решению этой задачи базируется на том, что частные показатели качества, находящиеся на одной ступени зависят от показателей нижней (следующей) ступени, т.е. образуют иерархическую структуру.

Проведенный анализ показал, что, несмотря на ряд стандартов (отечественных и международных), а также большое количество публикаций качеству программного обеспечения уделяется недостаточное внимание. Особенно это касается прикладных программных систем (1II 1С), т.к. пользователи, работающие над схожими задачами и использующие сходные программы, предъявляют к ним различные требования. Поэтому для сравнения разных III 1С необходимо иметь достаточно четкий и понятный механизм анализа (сравнительного анализа), основанный на конкретной модели качества 1111С.

Диссертационное исследование посвящено решению научно-технической задачи разработки моделей, методик и алгоритмов для оценки уровня качества продуктов (объектов), в том числе ППС, с учетом мнений пользователей и разработчиков и базируется на результатах исследований следующих ученых: А. Н. Анохина, А. Т. Ашерова, С. Д. Бешелева, А. М. Заяц, А. В. Копыльцова, В. В. Липаева, В. М. Львова, П. И. Падерно, Б. П. Пальчуна, А. И. Орлова, Т. Саати, Б. Я. Советова, А. А. Терехова, О.В.Щербакова, С. А. Яковлева, и др.

Актуальность исследования определяется существованием:

1) проблемы обеспечения необходимого качества;

2) отсутствием единых взглядов на оценку качества;

3) необходимостью учета мнений пользователей при оценке качества;

4) возможными противоречиями между формулировкой требований к качеству со стороны разработчика и пожеланиями пользователей.

Целью исследования являлось обеспечение объективности всесторонней оценки качества продукта (системы), в соответствии с поставленными требованиями, ограничениями, назначением и специфическими особенностями конкретных продуктов или систем.

Для реализации поставленной цели в работе решаются следующие задачи:

1. Определение особенностей структуры показателей качества и построение модели, позволяющей реализовать его всестороннюю оценку.

2. Разработка методики построения модели, позволяющей применять для оценки комплексного качества метод анализа иерархий.

3. Разработка методики, позволяющей получать объективные оценки качества в соответствии с поставленными требованиями, ограничениями, назначением и специфическими особенностями продукта.

4. Разработка математических моделей взаимосвязей частных и общих показателей качества (на примере ППС), на всех уровнях и ступенях.

5. Разработка алгоритмической поддержки (комплекса алгоритмов), реализующей автоматизированное решение задачи выбора (оценки качества ППС) в режиме диалога с пользователем.

6. Проведение экспериментальной проверки адекватности разработанных моделей, методик и алгоритмов.

Решение этих задач и составляет содержание исследования.

Объектом исследования являются изделия, в т.ч. прикладные программные системы, а предметом — оценка качества прикладных программных систем с учетом разнородных требований.

На защиту выносятся:

1. Теоретические положения, имеющие значимость для современного системного анализа:

1.1. Структуры показателей качества изделия (продукта, системы) с учетом требований всех категорий, участвующих в разработке, создании, реализации и эксплуатации, которые являются некоторыми подмножествами полной иерархии, причем обосновано ее предварительное разделение на уровни, которые, в основном, отражают требования различных категорий.

1.2. Процесс трансформации различных структур показателей качества, отражающих мнения отдельных категорий (экспертов), который реализован с наименьшими ошибками, и приводит, в результате комплексирования мнений, к ступенчатой иерархической структуре, относительные влияния показателей различных ступеней которой могут быть оценены с применением модифицированного метода анализа иерархий.

Научные результаты, выносимые на защиту, состоят в следующем:

1. Модель структуры показателей качества, представленная в виде набора кортежей и являющаяся двухуровневой ступенчатой иерархической структурой.

2. Методика, реализующая построение структуры показателей качества (приведением исходной структуры к ступенчатой иерархии).

3. Методика, реализующая оценку с использованием метода анализа иерархий, на основе комплексирования мнений различных экспертов.

4. Модель структуры частных показателей качества ППС, отражающая как видение конечных пользователей - верхний уровень иерархии, так и представление различных групп разработчиков - нижний уровень иерархии.

Новизна первого научного результата обусловлена наличием двух уровней, являющихся ступенчатыми иерархическими структурами, что позволяет учитывать зависимости компонент, находящихся на разных уровнях:

- значимость компонент верхнего уровня зависит от пользователей; - значимость компонент нижнего уровня от специфики и назначения объекта.

Новизна второго научного результата состоит в новом способе приведения исходной структуры к ступенчатой иерархии, что позволяет всесторонне учитывать взаимосвязи различных показателей качества.

Новизна третьего научного результата отличается возможностью корректно комплексировать мнения различных экспертов, что позволяет осуществлять контроль качества создаваемого изделия на всех этапах разработки, путем этапе формирования обоснованных требований.

Новизна четвертого научного результата состоит в возможности отражения как требований пользователей - верхний уровень иерархии, так и представления разработчиков - нижний уровень иерархии в обосновании и разработке функциональных структур рабочей операции на различных уровнях деятельности оператора и математических моделей оценки этих структур.

Практическая ценность диссертационной работы заключается в разработке модели и комплекса методик, явившихся методологической основой для создания алгоритмов автоматизированной поддержки процесса оценки качества изделий в режиме диалога.

Результаты использованы в учебном процессе СПбГЭТУ «ЛЭТИ» и ВМИРЭ им. A.C. Попова, а программный модуль апробируется в ЗАО «КОМПАНИЯ ГИПЕРМЕТОД», о чем имеются соответствующие акты.

Достоверность обоснованных положений и научных результатов:

обеспечена: - корректным комплексированием известных подходов к оценке качества (в том числе качества 1111С), - использованием апробированных математических моделей и методов для их оценки;

подтверждена: - результатами экспериментов, - достаточной апробацией и публикацией полученных результатов, а также внедрением.

Апробация работы. Основные результаты работы докладывались и обсуждались на: - ежегодных научно-технических конференциях профессорско

- преподавательского состава СПбГЭТУ в 2004 - 2006 гг.; - международной конференции «Региональная информатика: РИ-2004», Санкт-Петербургского Общества информатики, вычислительной техники, систем связи и управления (СПОИСУ), 2004г.; - научно-практической конференции «Ананьевские чтения - 2005: Развитие специальной психологии в изменяющейся России», СПбГУ, 2005г.

Публикации. По теме диссертации опубликованы 6 печатных работ, в том числе 3 статьи и 3 тезиса докладов.

Структура и объем диссертационной работы. Диссертационная работа состоит из введения, 4-х глав, заключения, списка литературы, включающего 91 наименование, 6-и приложений. Основная часть работы изложена на 142 страницах машинописного текста. Работа содержит 67 рисунков и 41 таблица.

2. Содержание диссертационной работы

Во введении обоснована актуальность темы диссертации, определены задачи исследования, сформулированы основные положения и научные результаты, выносимые на защиту, дана краткая характеристика их новизны, достоверности, теоретической значимости и практической ценности.

В первой главе проведен анализ различных моделей, предназначенных для оценки показателей качества различных продуктов, в том числе прикладных программ. На основе результатов этого анализа сформулирована актуальная научно-техническая задача, цели, задачи, объект и предмет исследования.

Во второй главе разработаны модель и методики оценки комплексного качества изделий и систем.

Сформулирован комплекс требований к структуре показателей качества, которые должны быть отражены в модели оценки качества. Для обеспечения корректности оценки сформулированы следующие требования, которым должен удовлетворять метод обработки и комплексирования мнений экспертов (возможно с учетом их различной компетентности, вызванной узкой специализацией и, как следствие, неравнозначностью весов мнений): - прозрачность (понятность) для экспертов; - простота; - обучаемость; - строгость; -преемственность; - возможность комплексирования мнений различных экспертов без га привлечения.

В качестве метода оценки предложено использовать модифицированный метод анализа иерархий.

Проведенный анализ требований к модели и выбранный метод оценивания позволяют сделать следующие выводы:

1. Модель должна быть двухуровневой, причем верхний уровень должен позволять учитывать все требования (ограничения) потребителя.

2. Структура верхнего (пользовательского) уровня должна быть иерархической (первая ступень - качество и т.д.).

3. Показатели нижней ступени верхнего уровня должны являться показателями верхней ступени нижнего уровня, т.е. вершинами иерархий.

4. Граница между верхним и нижним уровнями может изменяться, т.к. она во многом зависит от квалификации пользователя, который, в ряде случаев не может оценить нижние ступени иерархии пользовательского уровня.

Обобщенный вид двухуровневой модели представлен на рис. 1.

При реализации оценочных процедур для конкретного продукта двухуровневая модель позволяет моделировать основные ситуации.

Значимость элементов верхнего уровня зависит от потребителя, а зависимости (веса дуг) между показателями, находящимися на ступенях, относящихся к нижнему уровню, остаются неизменными для конкретного типа (вида) продукта. Для построения структуры показателей качества и ее корректировки приглашаются эксперты, у которых могут иметься различные мнения. При этом для построения иерархии показателей верхнего (пользовательского) и нижнего уровней необходимо привлекать различных экспертов.

Для реализации оценочных процедур каждым конкретным экспертом разработана обобщенная методика, которая включает основные стадии и этапы (рис.2.), значимость которых различна для разных задач и ситуаций. При проведении экспертной оценки несколькими экспертами возникает ряд задач, связанных с комплексированием их суждений и результатов.

Стадия

Стадия 2

Стадия

Рис. 2. Основные стадии и этапы методики Этапы 2.2, 2.3 и 2.4 проводятся последовательно для всех ступеней. Разработана методика построения иерархической ступенчатой структуры, реализующая при необходимости, сначала способ приведения неиерархической структуры к иерархической, а затем преобразование иерархической структуры к ступенчатому виду. При этом реализуются соответствующие правила пересчета весов.

Способ приведения неиерархической структуры к иерархической реализуется в тех случаях, когда в построенной структуре имеются связи между по-

казателями, находящимися на одной ступени. Способ основан на введении дополнительных элементов (ступеней) и корректном определении весов появляющихся дуг (проведено математическое обоснование корректности). Реализуемый подход не искажает взаимосвязи между показателями (взаимовлияние отдельных показателей), т.е. сохраняет их важность. Ввиду того, что число элементов (показателей), порождающих неиерархичность, по всей видимости, невелико, то число элементов и ступеней иерархической структуры увеличивается незначительно.

Преобразование иерархической структуры к ступенчатому виду. Суть методики заключается во введении в структуру дополнительных ложных элементов и корректном алгоритме пересчета весов элементов, не изменяющем их относительную важность.

Разработан новый способ сведения неступенчатой иерархии к ступенчатой структуре (эквивалентной, с точки зрения сохранения значений весовых коэффициентов соответствующих реальных показателей (элементов)). Способ основан на введении фиктивных элементов на различных ступенях иерархии и реализации итеративной процедуры пересчета весовых коэффициентов образующихся при этом дуг.

Способ обладает следующими достоинствами:

- не вносит ошибки (погрешности) при оценке весов вершин иерархии;

- обеспечивает корректность преобразований иерархии;

- является достаточно простым и имеет наглядную интерпретацию.

Структура, получаемая в результате применения методики, полностью

отражает все особенности исходной структуры (с сохранением весовых коэффициентов), являясь при этом ступенчатой иерархической структурой.

Для случая, когда в процессе оценивания важности показателей эксперты приходят к выводу, что один из показателей очень слабо влияет на показатели предыдущей ступени, разработан способ оценки ошибки (относительной ошибки), возникающей при удалении данного (малозначимого) элемента из структуры показателей.

Получена оценка для наибольшего веса (верхней границы) отбрасываемого элемента Д„ ¿(1/9(я-1) + 1) (п - число элементов данной ступени). Вычислена верхняя граница относительной погрешности в новых весах.

В таблице приведены значения для верхних границ отбрасываемого значения (в долях от верхнего элемента У) и относительной погрешности.

Таблица 1.

Значения для верхних границ отбрасываемого значения

п 4 5 6 7 8 9 10

д„ 0,036 0,027 0,022 0,018 0,016 0,014 0,012

8. 3,7% 2,8% 2,2% 1,85% 1,6% 1,4% 1,2%

Проведено отдельное исследование вопроса о целесообразности и границах возможности корректного удаления малозначимых связей (элементов). Показано (на примере двух экспертов), что если противоречия во мнениях экспертов отсутствуют, то удаление малозначимого элемента корректно. В остальных случаях подходить к комппексированию следует очень осторожно.

Предлагаемый подход позволяет:

- уменьшить число элементов иерархии, за счет удаления малозначимых связей с учетом внесения погрешности в результат;

- упростить процедуры парного сравнения и уменьшить их число, пропорциональное квадрату связей;

- облегчить и, следовательно, улучшить работу экспертов.

Ввиду отсутствия формальных способов комплексирования и корректировки мнений экспертов, особенно для случаев, когда они работают обособленно для случая, когда в процессе оценивания важности показателей необходимо комплексировать мнения различных экспертов разработаны корректные способы комплексирования и оценки влияния разброса мнений экспертов на результирующие показатели.

Предложено в качестве среднего мнения экспертов использовать средневзвешенное геометрическое:

(Д)0'. (в,)02..... (4)"° =Сс, Ъ0 (1)

п

где а, - нормированные коэффициенты значимости экспертов Ха< ;

/»I

В^,Вг,...,Вп~ вектора, полученные в результате обработки мнений экспертов по методу анализа иерархий до операции нормирования; С^ . элементы вектора С с. Здесь произведение векторов (матриц) и возведение в степень производится в смысле Адамара (поэлементное). Сравнение предложенного способа с классическим средневзвешенным арифметическим:

- - - ( /к V

а1В1+а2Я2+...+апВ„=Сн, йн = сыГ^сш / = 1,2,...Д, (2)

^ / «1 ;

показывает, что выполняется неравенство сы>ср , где сА; - элементы Сн. Равенство в (2) достигается лишь в том случае, когда мнения всех экспертов относительно значимости конкретного показателя являются одинаковыми.

Ввиду того, что число экспертов обычно мало, то для оценки согласованности мнений экспертов предложено использовать следующие показатели: -максимальное отношение половины разброса показателей к среднему:

Л'=Тс'^г' ,,/=1,2.....(3)

- относительное отклонение среднего арифметического от геометрического: Ал58!-0*/*« ' = 1,2,....*; (4) Очевидно, что значение А) из соотношения (3) должно быть невелико

(при хорошей согласованности мнений экспертов) для достаточно весомых показателей. Апробация данного соотношения на результатах экспериментов показало, что значение Д1 резко возрастает для незначимых показателей.

Компоненты вектора А2 =(Д2|,Д22,...,Л2(к)Г) отражают согласованность мнений группы экспертов относительно важности каждого из показателей.

Проведена (на конкретных примерах) оценка того, что следует считать хорошей согласованностью. Для случая, когда два эксперта (группы экспертов) оценивают значимость двух параметров и их мнения являются различ-

(*р] - _С р в>={цР)

по-

ными и находятся по одну сторону от 1 (Р >1): Я, = лучены выражения для оценки согласованности (&>1):

... 2^ (4к-1)2

А,. =Д„=1--= --—. (5)

21 а 1+* к+1 К '

Хотя значение к может находиться на интервале [1;9], но, в действительности, оно на интервале [1; 4]. Значения показателей согласованности Д, в зависимости от параметра «к» приведены в таблице 2. и на графике (рис 3.).

Таблица 2.

Зависимость значений А от параметра «Ь>

к 1 1,25 1,5 1,75 2 2,5 3 3,5 4

А 0 0,0062 0,02 0,038 0,057 0,0965 0,134 0,1685 0,2

1,00 1,25 1,50 1,75 2,00 2,50 3,00 3,50 4,00

Рис.3. Зависимость значения Д от параметра «А»

Отсюда можно сделать вывод, что если все компоненты вектора не превышают 0,1-0,2 , то можно считать, что мнения экспертов достаточно хорошо согласованы.

Выполнение неравенства > с!ы означает, что для i - го частного показателя мнения экспертов были более согласованы, чем для большинства остальных случаев.

В третьей главе разработана двухуровневая иерархическая модель структуры показателей качества прикладных программных систем.

Проведен анализ групп факторов, влияющих на качество ППС, результаты которого явились основой для построения двухуровневой иерархической модели, предназначенной для оценки качества ППС.

Разработана формализованная модель, представляющая взаимосвязь показателей качества ППС в виде набора кортежей (частных моделей взаимосвязей показателей соседних ступеней иерархии), которая отражает различные свойства программного продукта. Для верхней ступени первого уровня иерархии качества ППС кортеж имеет вид:

^пп = <*э> *с>.

где: ЛУщ - качество ППС; Кэ - эффективность; Кс - стоимость.

Верхний уровень двухуровневой модели имеет вид (рис. 4), а нижний представлен на рис. 5.

Модель верхнего уровня является наглядной, простой и доступной для непрофессионального пользователя. Взаимосвязи этой модели были оценены в процессе эксперимента с помощью метода анализа иерархий. Полнота модели обеспечивается включением всех наиболее существенных факторов.

Предложенная двухуровневая иерархическая модель является основой для автоматизированной оценки качества ППС.

Проведены предварительные исследования зависимости коэффициентов значимости показателей нижней ступени иерархии от весов показателей верхнего уровня, отражающих представление тех или иных пользователей.

Результаты анализа отражают специфические особенности обратной связи и указывают на необходимость создания механизма для управления конкретными показателями на этапе разработки ППС. Основные процедуры проведения экспертной оценки качества ППС касаются лишь оценочной стадии и могут быть использованы: - пользователями, при оценке конкурирующих программных средств; - разработчиками при планировании конкретных значений для отдельных показателей; - менеджерами фирмы-разработчика - при формулировании и оценке требований к ППС на ранних стадиях разработки и др.

Нижняя ступень первого уровня

Верхняя ступень второго уровня

Пр«»| (Корректность^

Ж

Ресурсоемкость

(Ывкность

Я,

УниВ*рсдлы(<>сгв.

У,

Сопро4ождаемость.

Специфические ВОЗМОЖНОСТИ

Практичность

Я2

И\

Интерфейс 1Н1

Рис. 5. Показатели качества ППС нижнего уровня

Полнот» реализации Целостность данных ( Логическая корректность Проверенного Завершенность Согласованность

Требования к периферий* иым устройствам

Требования к компьютеру

Тестируемость

Восстанавливаемость Защищенность

Работоспособность

Распространяемость

Поддержка различных форматов

Мобильность

Унифицированность дан* ных и процедур связи

Поддержка разных языков

Преемственность

Совместимость

Вспомогательная, справочная информация

Структурность

Простота конструкции

Наглядность

Повторяемость

Анализируем ость

^Освояемсть (Обучаемость;

4 Пригодность (Полезность)'

| Простота использования

! Средства просмотра

| Импорт и экспорт файлов

Специальный инструментарий для использования

I Использование шаблонов

К устройствам связи ] { К устройствам вывода |

К устройствам ввода

Занимаемый на жестком диске объем

Требования к графической карте

Размер дистрибутива 1

Требования к мощности

процессора

Требования к объему оперативной памяти

Устойчивость к ошибке)

Устойчивость функционирования

Адаптируемость

Взаимозаменяемость

Совместимость с опера* циониыми системами

Совместимость н азанмо-действие с другими ППП

Совместимость с другн-ми версиями этого ППП

Совместимость с плат_формами_

Легкость освоения

Время освоения

Простота инсталляции и деинсталляции

Скорость ввода-вывода]

Модифицируемость (дополняемость)

контроль и регулирование доступа

Поддержка мышк и клавиатуры

Поддержка горячих клавиш

Возможность поиска информации

Быстрый доступ к информации

Быстрый вызов ПОМОЩИ

Юзабилитн

Цветовая палитра

Диалоговые средства и компонент Шрифты

Настраиваем ость Регулирование степени подробности

Система навигации Рекомендация

Интуитивность Контекстная помощь

Иктер активность Примеры использования

В четвертой главе приведены алгоритмы, реализующие автоматизированную оценку качества ППС, описаны условия и результаты проведения эксперимента.

Приведена обобщенная схема работы модуля обеспечивающего; создание иерархической структуры критериев и показателей сравнения, ввод суждений экспертов, расчет согласованности и приоритетов

Проведено детальное рассмотрение перечня и содержания основных операций, выполнение которых обеспечивает достижение цели каждого из этапов экспертной оценки качества ППС.

Алгоритмы реализованы в виде программного модуля, который автоматизирует весь процесс оценивания и выбора. Для системы оценки качества ППС, разработано универсальное ПО. Основная цель - анализ и обработка результатов экспертного оценивания. Модуль разработан в среде Л^шМег.

В настоящее время программный продукт проходит апробацию в ЗАО «КОМПАНИЯ ГИПЕРМЕТОД», о чем имеется соответствующий акт.

Целью проведения эксперимента являлось апробирование предложенного подхода в среде (как программной, так и пользовательской) максимально приближенной к реальной, и, при этом, поддающейся всестороннему контролю и анализу для уточнения структуры и получения параметров модели.

Основными задачами эксперимента являлись:

1. Проверка возможности использования предложенного подхода для простых (не прошедших специального обучения) пользователей.

2. Сравнение результатов представлений различных пользователей с целью возможной корректировки классификации пользователей.

3. Обоснование разделения (выделения) всех пользователей на группы.

4. Проверка комплекса признаков для оценки ППС, предложенных в модели, на избыточность и достаточность для различных категорий пользователей.

5. Проверка адекватности модели представлениям различных категорий пользователей.

6. Корректировка структуры модели показателей качества по результатам анализа представления непрофессиональных пользователей о важности различных показателей и критериев;

7. Корректировка параметров модели (численных характеристик взаимосвязей нижних уровней иерархии) по результатам анализа мнений профессиональных и полупрофессиональных пользователей;

В целях корректного решения поставленных задач, с учетом возможности уточнения структуры и параметров модели, проведение настоящего экс-

перимента было разделено на две стадии. Во время первой стадии эксперимента решались задачи 1 + 4, после чего, на скорректированной модели проводился второй эксперимент, в процессе которого решались задачи 5 -г 7.

В качестве экспертов выступали студенты, аспиранты, выпускники вуза, преподаватели в области компьютерной технологии.

На первой стадии к проведению эксперимента были привлечены пользователи трех основных квалификаций: - начинающие (18 человек); - полупрофессионалы (12 человек); - профессионалы (16 человек).

Для оценки пользователям были предложены следующие ПП: - Adobe Photoshop 7.0; - Компас - 3D LT 5.11; - Netscape Navigator 7.2.

Предварительный анализ видов зависимостей указал на хорошую согласованность мнений экспертов внутри групп. Сравнение усредненных векторов значимости верхних ступеней иерархии, полученное по представлениям одинаковых групп пользователей, показало, что их представления достаточно близки для конкретного типа ППС. Отсюда следует, что для конкретных групп пользователей можно рекомендовать {зашить в соответствующий ПГ1С) уже полученные коэффициенты значимости, уточнить которые можно на основе проведения дальнейших экспериментов.

По результатам первой стадии эксперимента было сделано следующее:

1. Обоснована двухуровневость модели в восприятии конечного (непрофессионального) пользователя.

2. Скорректирована структура модели на верхнем и нижнем уровнях.

3. Дополнительно обоснована гипотеза о независимости коэффициентов влияния показателей качества на нижних ступенях от назначения ПП.

4. Предложена схема проведения следующей стадии эксперимента по уточнению тесноты взаимосвязей показателей качества на нижних уровнях иерархии в зависимости от назначения ПП.

На второй стадии к проведению эксперимента были привлечены эксперты, обладающие, в области программных и информационных технологий, достаточно высокой квалификацией - всего 50 человек.

Для оценки экспертам был предложен набор из 7 подструктур, отражающий взаимосвязи между групповыми показателями второго уровня (показателями пятой ступени) и показателями нижней ступени. Все подструктуры были разбиты на отдельные (частные) иерархии, по каждой из которых эксперты и высказывали свои мнения (в виде соответствующих матриц и результатов их обработки).

По результатам второй стадии эксперимента было сделано следующее:

1. Проверена и подтверждена гипотеза о независимости коэффициентов влияния показателей качества на нижних ступенях иерархии от показателей верхнего уровня иерархии.

2. Получены численные выражения (уточнены коэффициенты) зависимостей значений групповых показателей верхней ступени нижнего уровня от показателей нижних ступеней.

3. В качестве основной причины разброса значений при оценке экспериментальных данных по каждой из семи матриц, отражающего недостаточную согласованность, установлен факт, что каждый из подопытных отождествлял себя с узким профессионалом (кодировщиком, алгоритмистом, тестировщи-ком, эксплуатационником), представления которых различны.

Список публикаций по теме диссертации

1. До Хонг Куанг. Эффективность программных средств и вычислительных сетей [Текст]/ До Хонг Куанг, Ву Дык Лунг, П.И. Падерно // Межрегиональные проблемы экологической безопасности, посвященный Году России в Украине, г. Сумы, 17-20 сент. 2003 г.: Сб. науч. тр. -Сумы , 2004.- Т.2 - С.334-337.

2. До Хонг Куанг. Оценка качества программных продуктов (1111) [Текст]/ До Хонг Куанг, П.И. Падерно //Региональная информатика-2004 «РИ-2004»: Материалы 9-й междунар. конф., г. С.-Петерб., 22-24 июня 2004 г. - СПб., 2004. - С.46-47.

3. До Хонг Куанг. Взгляд пользователей на программные продукты [Текст]/ До Хонг Куанг//Развитие специальной психологии в изменяющейся России: Материалы науч.-практич. конф. «Ананьевские чтения - 2005», г. С.-Петерб., 25-27 окт. 2005 г. - СПб., 2005,- Изд-во СПбГУ - С. 309-310.

4. До Хонг Куанг. Оценка качества ПП с помощью метода анализа иерархий [Текст]/ До Хонг Куанг, П.И. Падерно //Известия СПбГЭТУ "ЛЭТИ", Сер.«Информатика, управление и компьютерные технологии».- СПб., 2005,-Вып. 1.-С. 18-20.

5. До Хонг Куанг. Оценка возможных ошибок при удалении малозначимых элементов при различных совпадениях мнений о важности частных показателей качества [Текст]/ До Хонг Куанг // Известия СПбГЭТУ "ЛЭТИ", Сер. «Информатика, управление и компьютерные технологии», СПб., 2005.-Вып. 3. - С. 79-85.

6. До Хонг Куанг. Двухуровневая модель оценки качества ПП с точки зрения конечного пользователя [Текст]/ До Хонг Куанг, П.И. Падерно // Сборник трудов симпозиума. Сумы, Украина, 2006г. -5с. (в печати).

Подписано в печать 20.03.06. Формат 60*84 1/16. Бумага офсетная. Печать офсетная. Печ. л. 1,0. Тираж 100 экз. Заказ 11.

Отпечатано с готового оригинал-макета в типографии Издательства СПбГЭТУ "ЛЭТИ"

Издательство СПбГЭТУ "ЛЭТИ" 197376, С.-Петербург, ул. Проф. Попова, 5

6é¿>2

6 6 8 3

Условные обозначения и сокращения.

Введение.

Глава 1. Анализ подходов к оценке качества.

1.1.Основные понятия и модели качества. Управление качеством.

1.1.1. Понятие качества.

1.1.2. Модели качества.

1.1.3. Управление качеством и стандарты качества.

1.2.0сновные подходы к сравнению и выбору продуктов (объектов).

1.2.1. Матричные методы.

1.2.2. Графовые методы.

1.2.3. Методы качественного оценивания.

1.2.4. Методы количественного оценивания.

1.3. Модели и метрики оценки надежности программных продуктов. ф 1.3.1. Аналитические и эмпирические модели надежности.

1.3.2. Анализ моделей надежности ПО.

1.3.3. Метрики, применяемые при оценке показателей качества ПО.

1.4. Качество программных продуктов.

1.4.1. Показатели качества программных продуктов.

1.4.2. Управление качеством программных продуктов.

1.5. Постановка задачи диссертационного исследования.

1.6. Результаты и выводы по главе 1.

Глава 2. Метод оценки качества.

2.1. Двухуровневая модель оценки качества.

2.1.1. Требования к модели.

2.1.2. Требования к методу оценки. ф 2.1.3. Двухуровневая модель взаимосвязи показателей.

2.1.4. Особенности построения модели и оценки структуры показателей.

2.2. Методика (основные стадии и этапы) оценки качества.

2.3. Подходы к построению ступенчатой иерархии.

2.3.1. Подход, основанный на принципе вычеркивания.

2.3.2. Подход, основанный на принципе дополнения.

2.4. Методика построения иерархической ступенчатой структуры.

4 2.4.1. Способ приведения неиерархической структуры к иерархической.

2.4.2. Методика приведения неступенчатой иерархической структуры к ступенчатой иерархической структуре. 2.5. Оценка возможных ошибок при удалении малозначимых элементов.

2.6. Способ комплексирования мнений экспертов.

2.7. Результаты и выводы по главе 2.

• Глава 3. Двухуровневая иерархическая модель структуры показателей качества ППС.

3.1. Построение иерархической модели взаимосвязей показателей качества ППС верхних ступеней на первом уровне.^

3.2. Построение нижнего уровня ступенчатой иерархии показателей каче

• стваППС.

3.3. Анализ зависимости влияния показателей нижнего уровня от соотношений приоритетов «Эффективность» и «Стоимость».

3.3.1. Анализ весовых коэффициентов.

3.3.2. Непосредственное определение весов элементов нижней ступени.

3.4. Результаты и выводы по главе 3.

Глава 4. Алгоритмы и экспериментальная оценка качества ППС.

4.1 .Алгоритмы оценки качества ППС и выбора наилучшего ПП.

4.1.1. Обобщенный алгоритм оценки качества ППС.

4.1.2. Вычислительные и оценочные процедуры.

4.1.3. Программное обеспечение.

4.2. Цели и задачи эксперимента оценки качества ППС.

4.3. Первая стадия эксперимента оценки качества ППС.

4.3.1. Условия проведения эксперимента.

4.3.2. Проведение эксперимента.

4.3.3. Анализ результатов эксперимента.

4.3.4. Результаты эксперимента.

4.3.5. Интерпретация результатов эксперимента.

4.4. Вторая стадия эксперимента оценки качества ППС.

4.4.1. Условия проведения эксперимента.

4.4.2. Проведение эксперимента.

4.4.3. Результаты эксперимента.

• 4.4.4. Методика анализа результатов эксперимента.

4.4.5. Интерпретация результатов эксперимента.

4.5. Результаты и выводы по главе 4.

Увеличивающая в мировом масштабе конкуренция среди разработчиков и производителей различной продукции, повышение требований конечного пользователя к качеству продукции привело разработчиков к пониманию важности вопросов стандартизации в области качества [50].

Для того чтобы поддерживать конкурентоспособность своей организации и продукции разработчики должны применять все более эффективные, рентабельные методы, технологии, инструментальные средства, способствующие постоянному повышению качества и более совершенному удовлетворению потребителей.

Требования потребителей часто включаются в технические условия (ТУ) или представляются в виде неформализованных требований [6, 18, 50], описанных на некотором вербальном языке. Однако технические условия и неформализованные требования сами по себе не гарантируют их удовлетворение в конечном продукте. Это соображение привело к разработке стандартов, руководств, руководящих документов, относящихся к системам качества и дополняющих релевантные требования к продукции, установленные в соответствующих технических требованиях. Международные стандарты серии ИСО 9000 впервые создали общую основу для стандартов на системы качества, применимые в различных областях деятельности человека.

Концептуальной основой стандартов серии ИСО 9000 является тот факт, что любая организация создает, совершенствует и обеспечивает (управляет) постоянный уровень качества своей продукции с помощью управляемой сети процессов.

Как показывает опыт, наибольшую трудность в процессе управления качеством любой продукции, в том числе и программной, вызывает установление, выявление причин (факторов), которые ухудшают те или иные характеристики (показатели) качества. Еще более сложной и в то же время необходимой процедурой является их оценка, дающая объективную основу для выработки оперативных и экономически эффективных управляющих воздействий [6] на организацию процесса в целом, на деятельность структурных подразделений и отдельных сотрудников. Поэтому актуальным является выбор и внедрение методов, обеспечивающих выявление конкретных зависимостей между факторами и характеристиками качества, методов, позволяющих принимать обоснованные решения и осуществлять конкретные мероприятия.

Зачастую на рынок конкурирующими фирмами выбрасываются сходные изделия и системы, отличающимися некоторыми (неявными) функциональными различиями, стоимостью, технологией и др. В данном случае специалисты не всегда могут точно определить: на какой сегмент пользователей рассчитан тот или иной продукт. Возникает проблема: как из множества однотипных продуктов выбрать такой продукт, который наилучшим образом отвечает слабоформализуемым требованиям и предпочтениям пользователя.

При этом предлагаемый способ определения «наилучшего» (в смысле требований данного пользователя) продукта должен быть достаточно прост и понятен. Наличие такого способа позволит разработчикам заранее, моделируя требования различных пользователей, настраиваться на определенный сегмент рынка, т.е. на определенный контингент пользователей.

К сожалению, на сегодняшний день такой способ отсутствует

Таким образом, существует противоречие между необходимостью рационального выбора пользователем продукта и отсутствием моделей, методов и средств, позволяющих обеспечить решение этой задачи с учетом нужд и возможностей пользователя.

Наличие этого противоречия определяет существование актуальной научно-технической задачи — необходимости разработки моделей, методик и алгоритмов, реализующих поддержку принятия решения при оценке качества изделий (систем).

Выбор изделий (систем) в качестве объектов для апробации теоретических результатов работы обоснован следующими соображениями:

1. Развитие программирования за 50 лет [50, 13] привело к формированию понятия программного продукта (ПП). Этот продукт является результатом нового вида современного промышленного производства. Из объекта научного творчества и произведения искусства отдельных программистов программы превратились в объект планомерной разработки, эксплуатации и сопровождения, массовое тиражирование и реализация которого приносит фирмам-разработчикам огромные доходы.

2. Рост доверия к программам и к их возможностям выполнять различные функции не только увеличил объем разработки, но и значительно повысил важность и ответственность выполняемых ими функций. Возрастание значения результатов функционирования пакетов прикладных программных систем

ППС) повысило интерес пользователей к анализу качества создаваемых и эксплуатируемых программных продуктов.

3. Пользователи, работающие над схожими задачами и использующие схожие программы, по своим индивидуальным пожеланиям и требованиям к тем или иным характеристикам и возможностям этих программ могут очень сильно различаться. Поэтому большое количество ПП, не столь мощных и многофункциональных, как лидеры данной области находят, тем не менее, своего потребителя, поскольку и стоят, как правило, дешевле. Таким образом, основным вопросом потребителя является: «Какую программу выбрать для данной проблемной области с учетом качества и стоимости?». Для того чтобы сделать этот выбор нужно обладать не только некоторой информацией по данному классу программных средств, но и иметь достаточно четкий и понятный механизм анализа [A3, А5].

4. Одной из причин снижения качества программного обеспечения (ПО) является отсутствие единого подхода и методик, позволяющих оценить качество различных систем [50]. Стандарты ISO (ИСО) или ГОСТы (в частности управления качеством) не позволяют провести сравнительный анализ различного ПО. Следовательно, производителям не приходится соревноваться друг с другом по объективным показателям, достаточно управлять соотношением цена/функциональность и обеспечить продвижение продукта за счет умелого маркетинга. Поэтому, прежде всего, следует определить, что именно подразумевается под качеством ПП, а затем уже то, как его можно измерить.

5. Качеству ПО посвящено много публикаций различного характера [6, 56]. Их авторы обычно ссылаются на одни и те же стандарты серии ISO 9000, а также на национальную нормативную базу. Основным способом обеспечения и подтверждения качества ПО предлагается считать использование процедур сертификации на соответствие этим стандартам, но этого явно не хватает для реального обеспечения качества ПО. Практический опыт свидетельствует об относительной действенности сертификации; жизнь постоянно ставит разработчиков перед необходимостью реально решать задачи обеспечения, поддержания и повышения качества своих ПО. Качество имеет вполне осязаемое стоимостное выражение. Именно это заставляет разработчиков обеспечивать необходимый уровень качества ПО. Хотя так называемые «чистые» потери из-за неудовлетворительного качества ППС встречаются довольно редко, довольно распространены косвенные потери. Компании-разработчики содержат значительные штаты служб технической поддержки и сопровождения, тестирования, консультирования, призванные в оперативном порядке выявлять причины претензий, устранять ошибки, документировать изменения и осуществлять необходимые мероприятия по улучшению и поддержанию качества ПО. Общая численность таких служб может превышать количество программистов, непосредственно занятых созданием продукта. ПО периодически совершенствуются разработчиками, однако при этом обычно возникают новые дефекты; растут и расходы на поддержание необходимого уровня качества.

6. Для того, чтобы было возможно при сравнении ПО оперировать численными показателями, для основных характеристик качества ПО должна быть проработана методика оценки.

Данное диссертационное исследование, посвященное решению научно-технической задачи разработки моделей, методик и алгоритмов для оценки уровня качества изделий и прикладных программных систем, с учетом мнений пользователей и разработчиков, непосредственно базируется на результатах исследований следующих ученых:

1) в области методов оценки качества и эффективности сложных систем и технологий - А. Н. Анохин, С. Д. Бешелев, А. И. Губинский, В. В. Липаев, А. А. Терехов, Т. Саати и др.

2) в области информационных технологий: Б. Я. Советов, С.А. Яковлев,

A. М. Заяц и др.

3) в области оценки надежности и эффективности программных средств: - А. В. Копыльцов, В. В. Липаев, Г. Майерс, Э. Нельсон, П. И. Падерно, Б. П. Пальчун, О. В. Щербакова и др.

4) в области эргономической экспертизы - А. Н. Анохин, В. Г. Евграфов,

B. М. Львов, П. И. Падерно и др.

Актуальность исследования определяется существованием:

1) проблемы обеспечения необходимого качества;

2) отсутствием единых взглядов на оценку качества;

3) необходимостью учета мнений пользователей при оценке качества;

4) возможными противоречиями между формулировкой требований к качеству со стороны разработчика и пожеланиями пользователей.

Целью исследования являлось обеспечение объективности всесторонней оценки качества изделий и системы в соответствии с поставленными требованиями, ограничениями, назначением и специфическими особенностями конкретных продуктов.

Для реализации поставленной цели в работе решаются следующие задачи:

Определение особенностей структуры показателей качества и построение модели, позволяющей реализовать всестороннюю оценку качества.

2. Разработка методики построения модели, позволяющей применять для оценки комплексного качества метод анализа иерархий.

3.Разработка методики, позволяющей получать объективные оценки качества в соответствии с поставленными требованиями, ограничениями, назначением и специфическими особенностями изделия и системы.

4. Разработка математических моделей взаимосвязей частных и общих показателей качества ППС, на всех уровнях и ступенях.

5.Разработка алгоритмической поддержки (комплекса алгоритмов), реализующей автоматизированное решение задачи выбора (оценки качества ППС) в режиме диалога с пользователем.

6.Проведение экспериментальной проверки адекватности разработанных моделей, методик и алгоритмов.

Решение этих задач и составляет содержание исследования.

Объектом исследования являются изделия, в т.ч. прикладные программные системы, а предметом — оценка качества прикладных программных систем с учетом разнородных требований.

Основные научные результаты и их новизна состоят в следующем:

1. Разработанная математическая модель структуры показателей качества, отличается от известных моделей иерархической структурой, наличием двух уровней, что дает возможность учитывать зависимости значимости компонент, находящихся на разных уровнях: - значимость компонент верхнего уровня зависит от пользователей; - значимость компонент нижнего уровня от специфики и назначения объекта.

2. Методика, реализующая построение структуры показателей качества, отличается новым способом приведения исходной структуры к ступенчатой иерархии, что позволяет всесторонне учитывать взаимосвязи различных показателей качества.

3. Методика, реализующая оценку с использованием метода анализа иерархий, отличается возможностью корректно комплексировать мнения различных экспертов, что позволяет осуществлять контроль качества создаваемого изделия на всех этапах разработки, путем этапе формирования обоснованных требований.

Практическая ценность диссертационной работы заключается в разработке модели и комплекса методик, явившихся методологической основой для алгоритмов автоматизированной поддержки процесса оценки качества изделий (систем) в режиме диалога.

Результаты внедрены в учебный процесс СПбГЭТУ «ЛЭТИ» и ВМИРЭ им. A.C. Попова, а программный модуль апробируется в ЗАО «КОМПАНИЯ ГИПЕРМЕТОД», о чем имеются соответствующие акты.

Достоверность обоснованных в диссертации положений и полученных научных результатов: обеспечена: - корректным комплексированием известных подходов к оценке качества (в том числе качества ППС), - использованием апробированных математических моделей и методов для их оценки; подтверждена: - результатами экспериментов, - достаточной апробацией и публикацией полученных результатов, а также внедрением.

Апробация работы.

Основные результаты работы докладывались и обсуждались на: ежегодных научно-технических конференциях профессорско - преподавательского состава СПбГЭТУ в 2004 - 2006 гг.; международной конференции «Региональная информатика: РИ-2004», Санкт-Петербургское Общество информатики, вычислительной техники, систем связи и управления (СПОИСУ), 2004г.; научно-практической конференции «Ананьевские чтения - 2005: Развитие специальной психологии в изменяющейся России», 2005г. СПбГУ.

Публикации. По теме диссертации опубликованы 6 печатных работ, в том числе 3 статьи и 3 тезиса докладов.

Структура и объем диссертационной работы. Диссертационная работа состоит из введения, четырёх глав, заключения, списка литературы, включающего 91 наименование, шести приложений. Основная часть работы изложена на 142 страницах машинописного текста. Работа содержит 67 рисунков и 41 таблица.

Вывод

Умножить все элементы на элемент предок

ЗАКЛЮЧЕНИЕ

Целью исследования являлось обеспечение объективности всесторонней оценки качества изделий в соответствии с поставленными требованиями, ограничениями, назначением и специфическими особенностями конкретных прикладных программных систем.

Данную цель предполагалось достичь на основе решения научно-технической задачи разработки моделей, методик и алгоритмов оценки качества ППС, представленного в виде иерархической структуры показателей.

Теоретическую основу исследования составили основные положения системного анализа, работы:

- в области методов оценки качества и эффективности сложных систем и технологий;

- в области информационных технологий;

- в области оценки надежности и эффективности программных средств;

- в области эргономической экспертизы, а также постулируемое положение о том, что если один частный показатель качества влияет на другой показатель качества, то он находится на более низкой ступени иерархии.

На базе анализа подходов к оценке (экспертизе) качества была сформулирована следующая гипотеза исследования:

Оценка качества изделия должна давать возможность учета разнородных требований и ограничений (потребностей и возможностей) пользователей, а также учитывать возможность ее оценки различными категориями разработчиков.

В качестве конкретного изделия для апробации разработанного подхода были выбраны прикладные программные продукты.

Для реализации поставленной цели исследования в работе были выполнены:

1. Определение особенностей структуры показателей качества и построение модели, позволяющей реализовать всестороннюю оценку качества.

2. Разработка методики построения модели, позволяющей применять для оценки комплексного качества продукта метод анализа иерархий.

3. Разработка методики, позволяющей получать объективные оценки качества в соответствии с поставленными требованиями, ограничениями, назначением и специфическими особенностями продукта.

4. Разработка математических моделей взаимосвязей частных и общих показателей качества ППС, на всех уровнях и ступенях.

5. Разработка алгоритмической поддержки (комплекса алгоритмов), реализующей автоматизированное решение задачи выбора (оценки качества ППС) в режиме диалога с пользователем.

6. Проведение экспериментальной проверки адекватности разработанных моделей, методик и алгоритмов.

Решение задач 1, 2 и 3 позволило построить двухуровневую модель показателей качества прикладных программных средств. Построение велось в несколько этапов:

- построение базовой иерархии;

- проведение экспериментальной проверки адекватности предложенной структуры;

- корректировка структуры по результатам эксперимента;

- проведение второй стадии эксперимента и проверка работы алгоритмов и программ по оценке качества ППС.

Комплекс разработанных алгоритмов и программ был (частично) апробирован при проведении эксперимента.

Экспериментальная проверка работоспособности разработанных моделей, методик и алгоритмов установила, что полученные на их основе оценки влияния частных показателей качества на более общие показатели достаточно адекватно отражают мнения пользователей (для верхнего уровня) и мнения различных категорий разработчиков ППС (для нижнего уровня).

В результате проведенного исследования получены четыре новых достоверных научных и практических результата:

1. Двухуровневая математическая модель структуры показателей качества, позволяющая учитывать зависимости значимости компонент, находящихся на разных уровнях:

- значимость компонент верхнего уровня зависит от пользователей;

- значимость компонент нижнего уровня от специфики и назначения объекта.

2. Методика, реализующая построение ступенчатой иерархической структуры показателей качества, позволяющая всесторонне учитывать взаимосвязи различных показателей.

3. Методика, реализующая комплексную оценку качества продукта с использованием метода анализа иерархий, обеспечивающая корректное комплек-сирование мнений различных экспертов и позволяющая осуществлять контроль качества создаваемого продукта на всех этапах разработки, путем этапе формирования обоснованных требований.

4. Модель структуры частных показателей качества прикладных программных продуктов, отражающая как видение потребителей (пользователей) - верхний уровень иерархии, так и представление разработчиков - нижний уровень иерархии.

Достоверность основных положений и полученных научных результатов обеспечена:

- корректным комплексированием известных подходов к оценке качества (в том числе качества ППС),

- использованием апробированных математических моделей и методов для их оценки;

И подтверждена:

- результатами экспериментов,

- достаточной апробацией и публикацией полученных результатов, а также внедрением.

Очевидно, что полученные результаты не полностью покрывают все теоретические и прикладные аспекты формирования моделей структуры показателей качества, в которых, вообще говоря, могут быть и прямые взаимосвязи на одном уровне. Возможность наличия таких взаимосвязей, в том числе и обратных, определяет одно из перспективных направлений дальнейших исследований.

1.Анохин А. Н. Методы эксперных оценок (применение в задачах эргономического обеспечения деятельности оператора АЭС) Текст./ А. Н. Анохин: Учеб. пособие. Обнинск: ИАТЭ, 1996. - 148с.

2. Антошина И. В. Методика составления системы характеристик качества для программных средств Текст./ И.В. Антошина, В.Г. Домрачев, И.В. Ретин-ская// Информационные технологии в менеджменте качества и инновационном менеджменте.- 2002.- №3, С.57-60.

3. Аншина М. Страсти по качеству программного обеспечения Текст./ М. Анши-на// Открытые системы.- 1998.- № 6. [http://text.marsu.ru/osp/os/1998/06/46.htm]

4. Ашеров А. Т. Эргономика информационных технологий Текст./ А.Т.Ашеров, С.А.Капленко, В.В.Чубук:Учеб. издание. Харьков: ХГЭУ, 2000 -224с.

5. Ашеров А. Т. Информационно-управляющие человеко-машинные системы. Исследование, проектирование, испытания: справочник.Текст./ А.Т.Ашеров,

6. A.И.Губинский, В Г Евграфов, Е А Лавров, П. И Падерно, Е Б Цой,- М.: Машиностроение, 1993.- 527с.

7. Баутов А. Оценка факторов, влияющих на качество программных продуктов Текст./ А. Баутов// Открытые системы.- 2001.- №11. [http://www.osp.ru/cio/ 2001/1 l-12/048.htm].

8. Бешелев С. Д. Математико-статистические методы экспертных оценок Текст./ С. Д. Бешелев, Ф. Г.Гурвич. М.: «Статистика», 1980. -263 с.

9. Благодатских В. А. Стандартизация разработки программных средств Текст./

10. B. А. Благодатских, В. А. Волнин, К. Ф. Поскакалов, О. С. Разумова: Учеб. пособие. -М.: Финансы и статистика, 2003. -288с.

11. Ю.Боем Б. Характеристики качества программного обеспечения Текст./ Б.Боем, Дж. Браун и др. М.: Мир, 1981. -206с.

12. П.Волченков Е. Стандартизация пользовательского интерфейса Текст./ Е. Вол-ченков// Открытые системы.- 2002.- № 4. [http://www.osp.ru/os/2002/04/037.htm]

13. Большая энциклопедия Кирилла и Мефодия: e-book Москва: Большая Российская энциклопедия, 2003. (www.megabook.ru).

14. Боронин С. Методика оценки основных характеристик программного обеспечения Текст./ С. Воронин// Virtual research group.- 2003.- №7. [http://www. vrg.ru]

15. Воробьев В. И. Методы и модели оценивания качества ПО Текст./ В. И. Воробьев, А. В. Копыльцов, Б. П. Пальчун, Р. М. Юсупов. СПб.: СПИИРАН, 1992. -33с.

16. Вронский К. Стандарты ISO и управление качеством проектов ИТ Текст./ К. Вронский// Центр программных систем.- 2001.- №2. [http://www.interface.ru/ qad/mfg/isoit.htm].

17. Вычислительная техника и новые информационные технологии. Русско-английский терминологический словарь. -М.: ВНИИКИ, 1992. -131с.

18. Гаврилов В. М. Оптимизация по последовательно применяемым критериям Текст./ В. М. Гаврилов, В. В. Подиновский. М.: Сов. радио, 1975. -192с.

19. ГОСТ Р ИСО/МЭК 9126 93. Информационная технология. Оценка программной продукции. Характеристики качества и руководство по их применению. -М.: Изд-во стандартов, 1994. -16с.

20. ГОСТ Р ИСО/МЭК 28195 89. Оценка качества программных средств. Общие положения. - М.: Изд-во стандартов, 1989.

21. ГОСТ Р ИСО/МЭК 12207 99. Информационная технология. Процессы жизненного цикла программных средств (Издание официальное). - М.: Изд-во стандартов, 1999. -53с.

22. ГОСТ Р ИСО 9003-96. Системы качества. Модель обеспечения качества при окончательном контроле и испытаниях. -М.: Изд-во стандартов, 1996. -12с.

23. ГОСТ 15467-79, Управление качеством продукции. Основные понятия. Термины и определения-М.: Изд-во стандартов, 1979.

24. Губинский А. И. Надежность и качество функционирования эрготических систем Текст./ А. И. Губинский. Д.: Наука, 1982. - 270с.

25. Губинский А. И. Эргономическое проектирование судовых систем управления Текст./ А. И. Губинский, В. Г. Евграфов. JI.: Судостроение. 1977, - 224с.

26. Даниляк В. И. Эргодизайн, качество, конкурентоспособность Текст./ В. И. Даниляк, В. М. Мунипов, М. В. Федоров,- М.: Изд-во стандартов, 1990. 200с.

27. Джеффри В. Качество программного обеспечения: восемь мифов Текст./ В. Джеффри// Открытые системы.- 1999.- №9-10. [http://www.text.marsu.ru/osp/ os/1999/042.htm]

28. Дэвид Г. Метод парных сравнений Текст./ Г. Дэвид. Пер. с англ. М.: Статистика, 1978. -218с.

29. Евграфов В. Г. Автоматизация эргономического обеспечения исследований и разработок автоматизированных систем обработки информации и управления Текст./ В. Г. Евграфов, П. И. Падерно: Учеб. пособие.- СПбГЭТУ, 1999. -60с.

30. Евграфов В. Г. Эргономическое обеспечение создания автоматизированных систем обработки информации и управления Текст./ В. Г. Евграфов, П. И. Падерно: Учеб. пособие.- СПбГЭТУ, 1999. -60с.

31. Иванов Д. Н. Принятие решений с использованием метода анализа иерархий в сети Интернет Текст./ Д. Н. Иванов, И. В. Королев, Б. Н. Матюхин// М.:-ФАПСИ.- 2000.- №3. [http://www.mesi.ru/joe/2000].

32. ИСО (ISO) 9000. Стандарты семейства ИСО 9000. Общее руководство качеством и стандарты по обеспечению качества. Руководящие указания по выбору и применению, http://www.iso9000.ru.

33. ИСО (ISO) 9000:2000. Системы управления качеством основные положения и словарь.- М.: Изд-во стандартов, 2000. -54с.

34. ИСО 8402-94. Управление качеством и обеспечение качества словарь.

35. Карповский Е. Я. Надежность программной продукции Текст./ Е. Я. Кар-повский, С. А. Чижов Киев: Техника, 1990. -160с.

36. Ковалевская Е. В. Практикум по дисциплине «Метрология и сертификация ПО» Текст./ Е. В. Ковалевская.-М.: МГУЭСИ, 2002. -30с.

37. Копыльцов А. В. Об оценке качества программных продуктов Текст./ А. В. Копыльцов// Проблемы информатизации (теоретический и научно-практический журнал).- 1994.- Вып. 3-4.- С.46-48.

38. Королюк В. С. Справочник по теории вероятностей и математической статистике Текст./ В. С. Королюк, Н. И. Портенко, А. В. Скороход, А. Ф.- Турбин.-Киев: «Наукова думка», 1978.- 581с.

39. Кречетов Н. Рынок программных средств. Технологии оценки качества программных продуктов Текст./ Н. Кречетов// По материалам Database Programming & Design Pick World.- 1996.- № 25. c.27-32. [http://www.info-system.ru/ quality/marketjsoftware.html].

40. Ларичев О. И. Теория и методы принятия решений Текст./ О. И. Ларичев: Учеб. пособие.- М.: Логос, 2000.- 296 с.

41. Липаев В. В. Анализ качества баз данных Текст./ В. В. Липаев// Открытые системы.-2002.- №3 С. 54-57.

42. Липаев В. В. Качество программного обеспечения Текст./ В. В. Липаев.- М.: Финансы и статистика, 1983.- 263 с.

43. Липаев В. В. Надежность программного обеспечения АСУ Текст./ В. В. Липаев- М.: Энергоиздат, 2002.- 240 с.

44. Липаев В. В. Оценка затрат на разработку программных средств Текст./ В. В. Липаев, А. И. Потапов.- М.: Финансы и статистика, 1988 168 с.

45. Липаев В. В. Тестирование программ Текст./ В. В. Липаев.- М.: Радио и связь, 1986.- 295 с.

46. Липов М. Надежность программного обеспечения Текст./ М. Липов, Э. Нельсон, Т. Тейер.- М: Мир, 1981.- 323 с.

47. Литвак Б. Г. Экспертные оценки и принятие решений Текст./ Б. Г. Литвак.- М. Патент, 1996.- 271 с.

48. Ломако А. Г. Стандартизация процессов обеспечения качества программного обеспечения Текст./ А. Г. Ломако. Учеб. СПб.: ГУАП, 2001. Режим доступа: [http://www.aanet.ru/webk46/textbooks/stdpro/vvst.htm].

49. Львов В. М. Человеко-компьютерное взаимодействие Текст./ В. М. Львов, В. Д. Магазанник: Учеб. пособие.- Тверь, 2005.- 199 с.

50. Майерс Г. Искусство тестирования программ Текст./ Г. Майерс: Пер. с англ. Позина Б. А — М.: Финансы и статистика, 1982.- 156 с.

51. Майерс Г. Надежность программного обеспечения Текст./ Г. Майерс.- М.: Мир, 1980.-360 с.

52. Мартыненко М. В. Человеко-машинные процедуры поддержки организационно-управленческих решений Текст./ М. В. Мартыненко, П. И. Падерно, О. И Шеховцов: Учеб. пособие. СПбГЭТУ, 2001.- 68 с.

53. Моргунов Е. Б. Человеческие факторы в компьютерных системах Текст./ Е. ф Б. Моргунов.- М.: Тривола, 1994. -268 с.

54. Маркова Н. Пристальный взгляд на качество программ Текст./ Н. Маркова// Открытые системы.- 1999.- №4. [http://text.marsu.ru/osp/os/1999/07-08/034.html].

55. Падерно П. И. Оценка погрешности в оценочном векторе при удалении малозначимых связей в иерархии Текст./ П. И. Падерно// Человеческий фактор. ЧФ: Проблемы психологии и эргономики.- 2005.- №3/1.- Тверь.- С.61-62.

56. Полаженко С. Оценка характеристик безопасности в рамках процесса оценки качества ПС в соответствии с международными стандартами ISO/IEC Текст./ С. Полаженко// Тестирование и Качество.- 2005,- №5.- С. 36-42.

57. Попов А. Метрики качества программного обеспечения Текст./ А Попов// Aplana Software.- 2003.- № 3. 20 с. [http://www.pmprofy.ru/content/rus/67/672]

58. Романов В. Ю. Метрики для измерения качества программного обеспечения Текст./ В. Ю. Романов.- М.: МГУ им. Ломоносова. Постоянный адрес статьи: [http://master.cmc.msu.ru/romanov/russian/pub/MartinMetrics.html]

59. Чк 67.Романюк С. Г. Оценка надежности программного обеспечения Текст./ С. Г.

60. Романюк М.: НИИСИ РАН: Открытые системы.- 1994.- №4. Режим доступа: http://text. marsu.ru/osp/os/1994/04/68.htm.

61. Саати Т. Принятие решений. Метод анализа иерархий Текст./ Т. Саати. Пер. с англ.- М.: «Радио и связь», 1993. -320 с.

62. Советов Б. Я. Информационная технология Текст./ Б. Я Советов.- М.: Высшая школа, 1994.- 368 с.

63. Советов Б. Я. Автоматизированное управления современным производством ^ Текст./ Б. Я. Советов, В. В. Цехановский.- JL: Машиностроение, 1988.- 167 с.

64. Советов Б. Я. Моделирование систем Текст./ Б. Я. Советов, С. А. Яковлев: Учебник для ВУЗов.- М.: Высшая школа, 1998.- 158 с.

65. Терехов А. А. Современные модели качества программного обеспечения Текст./ А. А. Терехов// Статья в журнале BYTE, Россия.- 1999.- №12.

66. Управление качеством продукции. Справочник.- М.: Издательство стандартов, 1985.- 199 с.

67. Холстед M. X. Начала науки о программах Текст./ M. X. Холстед.- М: Финансы и статистика, 1981. -128с.

68. Хубаев Г. Н. Сравнение сложных программных систем по критерию функ-^ циональной полноты Текст./ Г. Н. Хубаев// Программные продукты и системы (Software and Systems).- 1998.- № 2.- С.6-9.

69. Хубаев Г. Н. Сложные системы: экспертные методы сравнения Текст./ Г. Н. Хубаев// Известия высших учебных заведений. Северо-Кавказский регион. Серия «Общественные науки».- 1999,- №3.- С. 7-24.

70. Шубинский И. Б. Активная защита от отказов управляющих модульных вычислительных систем Текст./ И. Б. Шубинский, В. И. Николаев, С. К. Колга-нов, А. И. Заяц. -1993.- 284 с.

71. Щербаков О. В. Аппаратно-программные средства автоматизированных систем управления Текст./ О. В. Щербаков, Н. Р. Андронатий, А. А. Федулов идр. Ин-т математики с вычислит, центром. Кишинев: Штиинца.- 1989, 234 с.

72. Щербаков О. В. Автоматизированные системы управления Текст./ О. В.ф Щербаков, В. Д. Скугарев, А. А. Федулов,- М.: Воениздат, 1981.- 287 с.

73. Avison D. E. Software Quality Standards in Practice: The Limitations of Using ISO-9001 to Support Software Development Текст./ D. E. Avison, H. U. Shah, D. N. Wilson// Software Quality Journal.- 1994.- №3, P. 105-111.

74. Carnegie Mellon Software Engineering Institute. Capability Maturity Model for Software (SW-CMM). Website address: http://www.sei.cmu.edu/cmm.

75. Chrissis M. B. Capability Maturity Model for Software Текст./ M. B. Chrissis, B. Curtis, M. C. Paulk, С. V. Weber// IEEE Software, Version 1.1.- 1993.- P.18-27.

76. ISO/IEC Software Process Assessment, SPICE, Consolidated product, version 1.00, July 1995,451 p., Режим доступа: http://www.sqi.gu.edu.au/spice.

77. Lewis J. P. Large Limits to Software Estimation. ACM Software Engineering Notes, Vol 26, No. 4 July 2001, pages 54-59.

78. Simon H.A. The New Science of Management Decision. N.Y.: Harper and Row Publishers, 1960r.

79. Sunita D. C. Modeling Software Defect Introduction. USC Center for Software Engineering, Los Angeles, CA 90089-0781. №8, 61-70, 1999.

80. Список публикаций по теме диссертаций

81. А2. До Хонг Куанг. Оценка качества программных продуктов Текст./ До Хонг Куанг, П. И. Падерно// Региональная информатика-2004 «РИ-2004»: Материалы 9-й междунар. конф., г. С.-Петерб., 22-24 июня 2004. СПб., 2004. - С.46-47.

82. А4. До Хонг Куанг. Оценка качества ПП с помощью метода анализа иерархий Текст./ До Хонг Куанг, П.И. Падерно // Известия СПбГЭТУ "ЛЭТИ", Сер.«Информатика, управление и компьютерные технологии».- СПб., 2005.-Вып. 1.-С. 18-20.

83. А6. До Хонг Куанг. Двухуровневая модель оценки качества ПП с точки зрения конечного пользователя Текст./ До Хонг Куанг, П.И. Падерно // Сборник трудов симпозиума,- Сумы, Украина, 2006. -5 с. (в печати).