автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Тензорный метод анализа надежности программного обеспечения систем управления и обработки информации

Введение.

1 Введение в теорию надежности программного обеспечения.

1.1 Основные понятия и определения. Показатели надежности программного обеспечения.

1.1.1 Классификация моделей оценки надежности.

1.1.2 Этапы создания программного обеспечения.

1.1.3 Аналитические методы определения надежности программного обеспечения.

1.2 Модели оценки надежности программного обеспечения.

1.2.1 Эмпирические модели оценки надежности программного обеспечения.

1.2.2 Статистические модели оценки надежности программного обеспечения.

1.2.3 Вероятностные модели оценки показателей надежности программного обеспечения.

1.2.4 Моделирование промежутков времени между сбоями.

1.2.5 Модели роста надежности программного обеспечения.

1.2.6 Экспоненциальная модель роста надежности программного обеспечения (ЕХРМ).

1.2.7 Логарифмическая модель роста надежности программного обеспечения (LOGM).

1.2.8 Степенная модель роста надежности программного обеспечения (POWM).

1.2.9 Замедленная S-образная модель роста надежности программного обеспечения (DSSM).

1.2.10 Обратная полиноминальная модель роста надежности программного обеспечения (INPM).

1.3 Выводы.

2 Тензорный метод анализа сетей. Основные принципы.

2.1 Постулат первого обобщения тензорного метода анализа.

2.2 Постулат второго обобщения тензорного метода анализа.

2.3 Использование нового понятия «геометрический объект».

3 Тензорный метод анализа надежности программного обеспечения.

3.1 Использование метода диакоптики для анализа надежности программного обеспечения.

3.2 Исследование сложных алгоритмов по частям с использованием метода диакоптики.

4 Тензорный метод анализа надежности на стадии тестирования.

4.1 Основная концепция.

4.2 Контурная сеть как основная структура анализа.

5 Программные средства анализа надежности с использованием тензорного метода.

6 Исследование тензорного метода анализа методом имитационного моделирования.

6.1 Основные понятия ОРББ.

6.2 Основные блоки вР88.

6.3 Имитационная модель программного обеспечения.

На сегодняшний день среди множества показателей современной техники отдельный интерес представляет надежность. Практически любая выпускаемая продукция, начиная от бытовой техники и заканчивая программным обеспечением, характеризуется несколькими показателями надежности, такими как среднее время наработки на отказ, коэффициент готовности или же среднее время простоя. На первый взгляд все эти показатели имеют второстепенное значение. Например, для коммутационной техники в первую очередь важны максимальная емкость, поддерживаемые протоколы сигнализации, а также возможности, которые данная техника предоставляет абонентам. Но это лишь важно на первом этапе выбора соответствующей техники, поскольку за ним следует достаточно длительный процесс эксплуатации и технического обслуживания, и суммарные финансовые затраты на данном этапе могут достигать немалой величины. Поэтому показатели надежности современной техники имеют большое значение, и интерес инженера к данному виду характеристик проектируемой и разрабатываемой техники не только не уменьшается, но и растет с каждым днем.

Особое значение в современных системах обработки информации имеет программное обеспечение. Программы достаточно сильно различаются по структурному исполнению, назначению, области применения, и поэтому, проблема анализа надежности стоит здесь особенно остро. Действительно, если методы и принципы анализа надежности радиоэлектронной аппаратуры достаточно хорошо изучены, то анализ надежности современного программного обеспечения представляет собой еще достаточно новую область исследования, поскольку природа программных ошибок, которые собственно и приводят к сбоям в работе программ, куда более сложная и неоднозначная, чем природа физических отказов.

Первые методы анализа надежности программного обеспечения появились еще достаточно давно, и преобладающее большинство идей в них было позаимствовано из теории надежности аппаратных средств. Примерно в то же время появляются и другие идеи, позволяющие произвести либо точный анализ надежности, либо оценку основных показателей надежности. За последующие 30 лет было предложено еще множество методов и моделей анализа надежности, а также усовершенствований и доработок уже существующих. В целом, в процессе доработки модели усложняются и дополняются новыми возможностями, что можно было бы сказать и о самом программном обеспечении.

Диссертационное исследование направлено на решение следующей научной проблемы: создание тензорного метода анализа надежности программного обеспечения, использующего тензорную методологию и позволяющего получать аналитические отношения для программ практически любой сложности.

Целью диссертационной работы является повышение надежности программных средств систем управления и обработки информации с использованием тензорного метода анализа.

Для достижения поставленной цели решались следующие задачи:

- анализ существующих на сегодняшний день методик, моделей и алгоритмов оценки надежности программного обеспечения;

- анализ методик, моделей и алгоритмов анализа сложных систем, из которых достаточно перспективной оказалась тензорная методология;

- разработка тензорного метода анализа надежности программного обеспечения применительно к контурным структурам на стадии проектирования архитектуры программы;

- разработка тензорного метода анализа надежности программного обеспечения применительно к контурным, узловым и ортогональным структурам на стадии тестирования программных средств;

- создание программных средств и отдельных модулей, реализующих вычисления тензорным методом, а также разработка графического интерфейса, который позволяет вводить блок-схемы алгоритмов;

- применение метода для анализа реальных программ и программного обеспечения.

Методы исследования. При выполнении работы использовались тензорная методология, математическое и вероятностное моделирование параметров сложных систем, методы оценки надежности сложных систем, элементы теории вероятностей, теория надежности программного обеспечения, имитационное моделирование в среде GPSS.

Научная новизна работы:

- разработан тензорный метод анализа надежности программного обеспечения на стадии анализа архитектуры программы;

- разработан тензорный метод анализа надежности программного обеспечения на стадии тестирования программы;

- предложен метод перехода от аналитических соотношений, описывающих решение для одной конкретной системы, к другой, которая получена в результате модификации исходного алгоритма;

- предложен способ анализа достаточно сложных систем с использованием метода диакоптики - разбиения системы на отдельные подсистемы с последующим объединением решений;

- тензорный метод анализа реализован в виде отдельной программы с удобным графическим интерфейсом, позволяющим вводить все исходные данные.

Значение для теории. Результаты, полученные при выполнении диссертационной работы, могут быть непосредственно использованы в процессе анализа надежности программного обеспечения, а также создают теоретическую основу для разработки моделей, методов и алгоритмов, направленных на эффективный анализ программного обеспечения.

Практическая ценность. Разработанная методология позволяет получать численные данные показателей надежности на различных этапах жизненного цикла программного обеспечения, причем метод предполагает относительно эффективную программную реализацию алгоритма получения решения на ЭВМ.

Разработанная программная система позволяет:

- рассчитать требуемое время тестирования компонент программного обеспечения для достижения требуемого уровня надежности на этапе тестирования;

- получать численные значения показателей надежности для конкретных подсистем.

Достоверность полученных результатов подтверждается тестированием и оценкой результатов применения разработанной системы в реальных проектах, а также согласованностью расчетных и экспериментальных данных.

Реализация результатов работы. При использовании тензорного метода анализа надежности программных средств был реализован модуль и программа.

На защиту выносятся:

- тензорный метод анализа надежности программного обеспечения;

- метод преобразований результатов для одной структуры программы к результатам другой структуры программы с использованием матрицы перехода;

- метод анализа достаточно сложных программ с использованием метода диакоптики - разбиения системы на отдельные подсистемы с последующим объединением решений;

- программная реализация тензорного метода анализа программы в виде отдельного программного обеспечения.

Апробация работы. Основные положения и результаты работы прошли всестороннюю апробацию на всероссийских конференциях, научных семинарах и научно-практических конференциях. В том числе:

- на всероссийской научно-практической конференции «Современные проблемы радиоэлектроники», Красноярск, 2003-2006 г.;

- на международной научно-практической конференции «Системные проблемы надежности, качества, информационных и электронных технологий», 2003-2005 г.

Диссертационная работа в целом обсуждалась на научных семинарах кафедры «Сети и системы связи» Красноярского Государственного Технического Университета (2003-2006 гг.).

Публикации. По теме диссертации опубликовано 12 печатных работ. Полный список публикаций представлен в конце автореферата.

Структура и объем работы. Диссертация состоит из введения, шести глав, заключения и списка литературы.

Заключение

В данной диссертационной работе предложен принципиально новый подход к анализу надежности программного обеспечения на этапах дизайна архитектуры и тестирования, основанный как на опыте использования всех существующих на данный момент методов и оценок, так и с использованием тензорной методологии.

Все современные системы характеризуются достаточно большой сложностью, и поэтому многие аналитические методы для таких систем уже сложно применимы. Более того, обработка всей информации производится на ЭВМ, поэтому достаточно часто возникает вопрос об эффективной реализации вычислений конкретным методом с использованием ЭВМ. Наконец, в некоторых случаях при модификации алгоритма программы необходимо быстро получить характеристики надежности для новой структуры. Все вышеперечисленные особенности анализа надежности современного программного обеспечения легко решаются с помощью тензорного метода. Проблема сложности анализа больших структур достаточно эффективно решается методом разделения сложной системы на ряд подсистем - методом диакоптики, с последующим объединением результатов. Эффективность реализации алгоритма расчета тензорным методом на ЭВМ также очевидна, поскольку практически все вычисления сопровождаются операциями над матрицами, которым в памяти ЭВМ соответствуют двухмерные массивы данных. И, наконец, сам тензорный метод представляет собой некоторую последовательность преобразований системы координат, что позволяет легко переходить от одной проекции (системы) в одной частной системе координат к другой. Все эти преобразования осуществляются с помощью матриц перехода. Следует также заметить, что хотя тензорный метод в данной работе использовался для анализа надежности на двух этапах, остается перспективным также использование метода на других этапах жизненного цикла ПО.

1. Боэм, Б. Характеристики качества программного обеспечения / Б. Боэм, Дж. Браун, X. Каспар, М. Липов, Г. Мак-Леод, М. Мерит. М.: Мир, 1981.-208 с.

2. Боэм, Б.У. Инженерное проектирование программного обеспечения / Пер. с англ. М.: Радио и связь, 1985. - 512 с.

3. Брукс, Ф. Мифический человеко-месяц или как создаются программные системы // Ф. Брукс. СПб.: Символ-Плюс, 1999. - 304с.

4. Глазунов, Л.П. Основы теории надежности автоматических систем управления / Л.П. Глазунов, В.П. Грабовецкий, О.В. Щербаков. М.: Энергоатомиздат, 1984. - 208 с.

5. Гнеденко, Б.В. Математические методы в теории надежности / Б.В. Гнеденко, Ю.К. Беляев, А.Д. Соловьев. М.: Наука, 1965. - 524 с.

6. Дружинин, Г.В. Надежность автоматизированных систем / Г.В. Дружинин. М.: Энергия, 1977. - 536 с.

7. Канер, С. Тестирование программного обеспечения / С. Канер, Дж. Фолк, Енг. Нгуен. К.: Диасофт, 2000. - 544 с.

8. Ковалев, И.В. Многоатрибутивный метод принятия решений с учетом относительной близости к лучшей альтернативе / И.В. Ковалев, Р.Ю. Царев; Тез. докл. межрегиональной конференции «Математические модели природы и общества» Красноярск: ТЭИ, 2002. - С. 63-66.

9. Ю.Ковалев, И.В. Многоатрибутивная модель формирования гарантоспособного набора проектов мультиверсионных программных систем / И.В. Ковалев, Р.Ю. Царев; Вестник НИИ СУВПТ. Вып.7. -Красноярск: НИИ СУВПТ, 2001. - С. 129-137.

10. Н.Ковалев, И.В. Параллельные процессы в информационно-управляющих системах. Формирование и оптимизация: Монография/ И.В. Ковалев, Р.Ю. Царев, Ю.Г. Шиповалов. Под ред. д.т.н., проф. A.B. Медведева. -Красноярск: НИИ СУВПТ, 2001. - 143 с.

11. Колчанов, С.Ю. Использование генетических алгоритмов в задачах формирования мультиверсионных программных систем. / Вестник НИИ СУВПТ: Сб. научн. трудов/ Под общей ред. профессора Н.В. Василенко; Красноярск: НИИ СУВПТ.- 2003. Выпуск 11.- С. 166-179.

12. Крон, Г. Тензорный анализ сетей / Г. Крон М.: Советское Радио, 1978. - 720 с.

13. Крон, Г. Исследование сетей по частям диакоптика / Г. Крон - М.: Наука, 1972. - 544 с.

14. Лебедев, В.А. Параллельные процессы обработки информации в управляющих системах: Монография / В.А. Лебедев, H.H. Трохов, Р.Ю. Царев. Красноярск: НИИ СУВПТ, 2001. - 137 с.

15. Липаев, В.В. Качество программного обеспечения / В.В. Липаев. М.: Финансы и статистика, 1983. - 264 с.

16. Липаев, В.В. Технология проектирования комплексов программ АСУ / В.В. Липаев, Л.А. Серебровский. М.: Радио и связь, 1983. - 264 с.

17. Липаев, В.В. Тестирование программ / В.В. Липаев. М.: Радио и связь, 1986.-234 с.

18. Липаев, В.В. Надежность программного обеспечения /В.В. Липаев -М.: Радио и связь, 1998. 200 с.

19. Липаев, В.В. Проблемы обеспечения надежности и устойчивости сложных комплексов программ АСУ / В.В. Липаев В.В. М.: Радио и связь, 1977.

20. Ллойд, Д. Надежность / Д. Ллойд, М. Липов. М.: Сов. Радио, 1964. -686 с.

21. Майерс, Г. Искусство тестирования программ / Г. Майерс. М.: Финансы и статистика, 1982. - 176 с.

22. Майерс, Г. Надежность программного обеспечения: Пер. с англ./ Под ред. В.Ш.Кауфмана. М.: Мир, 1980. - 360 с.

23. Макгрегор, Дж. Тестирование объектно-ориентированного программного обеспечения / Дж. Макгрегор, Д. Сайке. К.: Диасофт, 2002. - 432 с.

24. Петров, А.Е. Тензорная методология в теории систем // А.Е. Петров. -М.: Радио и связь, 1985. 152 с.

25. Петров, М.Н. Анализ вероятностных характеристик сетей на основе тензорного исчисления.// XXXIII науч.-техн.конф,, посвящ. Дню радио: Тезисы докл. Новосибирск, -1990. - С. 8.

26. Петров, М.Н. Вероятностно-временные характеристики в сетях и системах передачи интегральной информации: Научное издание / М.Н. Петров. Красноярск: КГТУ, 2001. - 158 с.

27. Петров, М.Н. Исследование сетей связи методом тензорных преобразований // Международная науч.-техн. конф. "Проблемы функционирования информационных сетей ПФИС 91": Сб. Трудов: часть 2. Новосибирск, 1991. С. 186-189.

28. Петров, М.Н., Верёвкина, Е.В. Тензорный метод анализа нагрузки в сетях интегрального обслуживания // Вестник НИИ СУВПТ Сб. науч. трудов / Под общей ред. проф. Н.В. Василенко, Красноярск: НИИ СУВПТ, 2001г. Вьп. 7, стр. 100 107.

29. Петров, М.Н., Верёвкина, Е.В. Тензорный метод анализа нагрузки в сетях интегрального обслуживания большой размерности // Вестник

30. НИИ СУВПТ Сб. науч. трудов / Под общей ред. проф. Н.В. Василенко, Красноярск; НИИ СУВПТ. 2001 Вып.7, стр.11-18.

31. Петров, М.Н., Верёвкина, Е.В. Тензорный метод анализа нагрузки в сетях связи большой размерности.// Проблемы информатизации региона. ПИР-2001: Сб. науч. трудов под ред. Е.А. Вейсова, В.И. Подшивалова. Красноярск: ИПЦКГТУ, 2002. стр.113-120.

32. Петров, М.Н., Верёвкина, Е.В. Тензорный метод анализа нагрузки в сетях связи.// Проблемы информатизации региона. ПИР-2001: Сб. науч. трудов под ред. Б.А. Вейсова, В.И. Подшивалова. Красноярск: ИПЦ КГТУ, 2002. стр.120-122.

33. Петров, М.Н., Гришко, С.Н. Тензорный анализ надёжности алгоритма программного обеспечения контурной структуры // Вестник НИИ СУВПТ: Сб. науч. Трудов / под общей ред. профессора Н.В. Василенко, Красноярск: НИИ СУВПТ 2003г., Вып. 11, стр. 3-9.

34. Петров, М.Н., Гришко, С.Н. Анализ надёжности алгоритма программного обеспечения ортогональной топологии контурным методом // Вестник НИИ СУВПТ: Сб. науч. Трудов / под общей ред. профессора Н.В. Василенко; Красноярск: НИИ СУВПТ-2003., Вып 11.-стр.10-11.

35. Петров, М.Н., Гришко, С.Н. Анализ надёжности алгоритма программного обеспечения узловым методом // Вестник НИИ СУВПТ: Сб. научн. трудов / под общей ред. профессора Н.В. Василенко; Красноярск: НИИ СУВПТ-2003г., Вып. 11.- стр. 18-25.

36. Петров, М.Н., Девлишов, Д.А. Анализ надёжности ортогональной информационной сети узловым методом // Вестник НИИ СУВПТ:

37. Адаптивные системы моделирования и управления. Сб. научн. Трудов / под. Общей ред. профессора Н.В. Василенко; Красноярск НИИ СУВПТ, 2000г., стр. 159-168.

38. Петров, М.Н., Девлишов Д. А. Анализ надёжности узловой информационной сети // Вестник НИИ СУВПТ: Адаптивные системы моделирования и управления, Сб. научн. Трудов. / Под. Общей ред. профессора Н.В. Василенко; Красноярск НИИ СУВПТ, 2000г., стр. 168177.

39. Петров, М.Н., Ермилова, Е.Ю. Исследование экономических характеристик сетей интегрального обслуживания тензорным методом // Современные проблемы радиоэлектроники: Сб. науч. тр. / Под научн. ред. A.B. Сарафанова. Красноярск; ИПЦ КГТУ, 2003. 428-431 с.

40. Петров М.Н., Заленская М.К, Анализ эффективности деятельности узловой структуры // Вестник НИИ СУВПТ: Сб. научн. трудов / под общей ред. профессора Н.В. Василенко; Красноярск: НИИ СУВПТ, 2003 г., Вып. 12., стр. 49-56.

41. Петров, М.Н. Тензорный метод расчета характеристик качества функционирования сетей // Труды Международной школы-семинара "Качество функционирования и надежность телекоммуникационных сетей и их элементов". Новосибирск, 1993. - С. 16.

42. Петров, М.Н. Тензорная методология в информационных сетях / М.Н. Петров, М.О. Захарченко, Веревкина Е.В. Красноярск: НИИ СУВПТ, 2001.- 158 с.

43. Петров, М.Н. Тензорный анализ вероятностно-временных характеристик сетей СМО // Сети, узлы связи и распределение информации : Сб. науч. тр. учеб. ин-тов связи. Вып № 154, С-П., 1991. -С. 77- 80.

44. Петров, М.Н. Тензорный метод анализа вычислительных сетей // XXXII науч.-техн. конф., посвящ. Дню радио: Тез. док. Новосибирск,- 1989.-С, 13.

45. Петров, М.Н. Тензорный метод анализа и синтеза сетей связи // Сб. науч. тр. учеб. ин-тов связи. Вып № 148. JL, 1990. - С. 18-22.

46. Петров, М.Н. Тензорный метод анализа и синтеза сетей интегральною обслуживания. // В сборнике докладов 3-го Международного семинара (Сибконверсия 99), Том 2, Томск, 1999 г. стр.304-306.

47. Петров, М.Н. Тензорная методология исследования локальных сетей // Всесоюзное науч.-техн. совещание "Перспективы развития локальных информационно-вычислительных сетей на базе персональных ЭВМ": Тез. докл. Москва - Ивантеевка, ВИНИТИ, -1989. - С. 31.

48. Петров, М.Н. Тензорная методология исследования нагрузки в информационных сетях / М.Н. Петров, O.A. Корякина, Е.В. Веревкина.- Красноярск: НИИ СУВПТ, 2004. 105 с.

49. Петров, М.Н. Тензорная методология исследования сложных систем / М.Н. Петров, М.К. Заленская, Е.В. Веревкина. Красноярск: НИИ СУВПТ, 2004.-143 с.

50. Путилов, В.А. Стандартизация процессов обеспечения качества программного обеспечения / В.А. Путилов, Д.В. Богданов, В.В. Фильчаков. Аппатиты, КФ ПетрГУ, 1998. - 152 с.

51. Раинкшкс, К. Оценка надежности систем с использованием графов / К. Раинкшкс, И.А. Ушаков. -М.: Радио и связь, 1988.

52. Рябинин, И.А. Логико-вероятностные методы исследования надежности структурно-сложных систем / И.А. Рябинин, Г.Н. Черкесов. М.: Радио и связь, 1981. - 264 с.

53. Тейер, Т. Надежность программного обеспечения / Т. Тейер, М. Липов, Э. Нельсон. М.: Мир, 1981. - 326 с.

54. Фокс, Дж. Программное обеспечение и его разработка / Пер. с англ. Под ред. Д.Б.Подшивалова. - М.: Мир, 1985. - 268 с.

55. Царев, Р.Ю. Многокритериальное принятие решений при создании отказоустойчивого программного обеспечения / Вестник НИИ СУВПТ. Вып.2. - Красноярск: НИИ СУВПТ, 1999. - С. 190-194.

56. Черкесов, Г.Н. Логико-вероятностные методы расчета надежности структурно-сложных систем / Г.Н. Черкесов, A.C. Можаев. М/. Знание, 1991.-64 с.

57. Черкесов, Г.Н. Основы теории надежности АСУ / Г.Н. Черкесов Л.: 1975.-220 с.

58. Черкесов, Г.Н. Проектирование систем контроля с учетом надежности / Г.Н. Черкесов. -М.: Знание, 1989. 66 с.

59. Шишонок, H.A. Основы теории надежности и эксплуатации радиоэлектронной аппаратуры / H.A. Шишонок, В.Ф. Репкин, Л.Л. Барвинский. -М.: Советское радио, 1964. 552 с.

60. Шор Я.Б. Статистические методы анализа и контроля качества и надежности / Я.Б. Шор. М.: Сов. Радио, 1962. - 564 с.

61. Avizienis, A. The N-Version approach to fault-tolerant software / IEEE Trans, on Software Engineering. Vol. SEI 1, № 12, December, 1985. - P. 1491-1501.

62. Beizer B. Software testing techniques. (Second edit.) International Thomson Computer Press, 1990. 550p.

63. Bogomolov, S. Fault Tolerance Software Library Support of Real-Time Embedded Systems / S. Bogomolov, A. Bondarenko, A. Fyodarov; Third European Dependable Computing Conference,EDCC-3, Prague, Czech Republic , September 15-17,1999.

64. Butler, R.W. and G. B. Finelli (1993, January). The infeasibility of quantifying the reliability of life-critical real-time software. IEEE Transactions on Software Engineering 19(1), 3-12.

65. Cherif, A. Improving the Efficiency of Replication for Highly Reliable Systems / A. Cherif, M. Toyoshima, T. Katayama; FastAbstract ISSRE Copyright 1999.

66. Goodenough J.B., Gerhart S.L. Toward a Theory of Test Data Selection. IEEE Transactions on Software Engineering, 1975, SE-1, №.2, p.156-193.

67. Grams T. The Poverty of Reliabiliy Growth Models / FastAbstract ISSRE Copyright 1999.

68. Halstead M. Elements of Software Science. Elsevier North-Holland, Inc. 1977, pp.109.

69. Hecht, H. Fault tolerant software / IEEE Trans. Reliability, Vol. R-28, 1979.-P. 227-232.

70. Herman P. M. A Data Flow Analysis Approach to Program Testing Australian Computer Jornal. 1976. - Vol. 8, № 3. pp. 92 - 96.

71. Hui-Qun, Z. A New Method for Estimating the Reliability of Software System Based on Components / Z. Hui-Qun, S. Jing, G. Yuan; FastAbstract ISSRE and Chillarege Corp. Copyright 2001.

72. Jorgensen P. C., Erickson C. Object-Oriented Integration Testing Communications of the ACM. 37, 9 (Sept, 1994), pp. 30-38.

73. Kaszycki, G. Using Process Metrics to Enhance Software Fault Prediction Models/ FastAbstract ISSRE Copyright 1999.

74. Li, N. and Y. K. Malaiya. Fault exposure ratio: Estimation and applications. In Proc. of the IEEE International Symposium on Software Reliability Engineering, pp. 372-381.

75. Littlewood, B. A Bayesian reliability growth model for computer software. In Proceedings of the IEEE Symposium on Computer Software Reliability, pages 70-77,1973.

76. Lyu, M.R. Handbook of Software Reliability Engineering / Edited by Michael R. Lyu. Published by IEEE Computer Society Press and McGraw-Hill Book Company, 1996, 819 p.

77. Lyu, M.R. Software Fault Tolerance / Edited by Michael R. Lyu Published by John Wiley & Sons Ltd, 1996.

78. Malaiya, Y. K. and J. A. Denton (1998c, November). Estimating the number of residual defects. In Third International High-Assurance Systems Engineering Symposium,Washington D. C., pp. 98-195.

79. McCabe T. J., Schulmeyer G. G. System Testing Aided by Structured Analysis (A Practical Experience) // COMPSAC'82. Proc. IEEE Comput. Soc. 6th International Computer Software and Appl. Conference (Chicago, 111, Nov. 8-12, 1982). pp. 523 - 528.

80. McCabe T. J., Butler Ch. W. Design complexity measurement and testing Communications of the ACM. 32, 12 (Dec, 1989), pp. 1415 1425.

81. Moranda P.B. Asymptotic Limits to Program Testing, INFOTECH State of Art deport "Software Testing", v/2, 1979, p.201-210.

82. Musa, J. D. (1975). A theory of software reliability and its application. IEEE Transactions on Software Engineering SE-1(3), 312-327.

83. Ntafos S. C. A Comparition of Some Structural Testing Strategies IEEE Transaction on Software Engineering. 1988. - Vol. SE-14, № 6. pp. 868 -874.

84. Prather R., Myers J. P., Jr. The path prefix software testing strategy IEEE Transactions on Software Engineering SE-13, 7 (July, 1987), pp. 761 766.

85. Pai, G.J. Enhancing Software Reliability Estimation Using Bayaesan Network and Fault Trees / G.J. Pai, J.B. Dugan; FastAbstract ISSRE and Chillarege Corp. Copyright 2001.

86. Rosenberg, L. Software Metrics and Reliability / L. Rosenberg, T. Hammer, J. Shaw; Software reliability engineering was presented at the 9-th International Symposium, "Best Paper" Award, November, 1998.

87. Schneidewind, N. F. (1993, November). Software reliability model with optimal selection of failure data. IEEE Transactions on Software Engineering 19(11), 1095-1104.

88. Shimarov Y. A. Definition and quantitative estimation of testing criteria // Software Quality Concern for people. Proceedings of the Fourth European Conference on Software Quality. October 17-20, 1994, Basel, Switzerland, pp. 350 -360.

89. Shooman, M.L. Software Reliability for Use During Proposal and Early Design Stages / FastAbstract ISSRE Copyright 1999.

90. Tai, A. Performability Enhancement of Fault-Tolerant Software / A. Tai, J. Meyer, A. Avizienis. IEEE Trans, on Reliability, 1993. - Vol. 42, No. 2 . -P. 227-237.

91. Xie, M. Regression Goodness-Of-fit Test for Software Reliability Model Validation / M. Xie, B.Yang; FastAbstract ISSRE Copyright 2000.

92. Zahedi, F. Software reliability allocation based on structure, utility, price, and cost / F. Zahedi, N. Ashrafi. IEEE Trans, on Software Engineering, April 1991. - Vol. 17, No. 4. - P. 345-356.