автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Методическое обеспечение оценки надежности программного обеспечения информационных систем образовательного назначения

СПИСОК СОКРАЩЕНИЙ.

ВВЕДЕНИЕ.

1. АНАЛИЗ ПОДХОДОВ К ОЦЕНКЕ КАЧЕСТВА ПРИКЛАДНОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ОБРАЗОВАТЕЛЬНОГО НАЗНАЧЕНИЯ.

1.1. Анализ факторов, определяющих надежность программного обеспечения.

1.2. Особенности оценки показателей надежности прикладного программного обеспечения образовательного назначения.

1.3. Анализ существующих методов оценки надежности общесистемного программного обеспечения.

1.4. Математическая постановка задач исследований.

Выводы.

2. МОЗАИЧНЫЕ МОДЕЛИ ДЛЯ ОЦЕНКИ ВЕРОЯТНОСТИ БЕЗОТКАЗНОЙ РАБОТЫ ПРИКЛАДНОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ОБРАЗОВАТЕЛЬНОГО НАЗНАЧЕНИЯ.

2.1. Дискретные модели.

2.1.1. Дискретная логистическая модель.

2.1.2. Дискретная экспоненциальная модель.

2.2. Однородные модели с непрерывным временем.

2.2.1. Однородная логистическая модель.

2.2.2. Однородная экспоненциальная модель.

2.3. Неоднородные модели с непрерывным временем.

2.3.1. Неоднородная экспоненциальная модель с непрерывным временем.

2.3.2. Неоднородная логистическая модель с непрерывным временем.

Выводы.

3. МЕТОДИКА ОЦЕНКИ ПОКАЗАТЕЛЕЙ НАДЕЖОСТИ СПЕЦИАЛЬНОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ НА ОСНОВЕ РАЗРАБОТАННЫХ МОДЕЛЕЙ.

3.1. Методика расчета дополнительных параметров для дискретных и однородных непрерывных мозаичных моделей.

3.2. Постановка задачи оценки первоначального количества дефектов в прикладном программном обеспечении образовательного назначение.

3.3. Оценка первоначального количества дефектов в программе с помощью метода Монте-Карло.

3.3.1. Краткие сведения о методе Монте-Карло.

3.3.2. Точность метода Монте-Карло и его основные особенности.

3.4. Оценка первоначального количества дефектов в программе с помощью мозаичных моделей.

3.4.1. Оценка количества тестов, необходимого для достижения требуемой надежности прикладного программного обеспечения образовательного назначение

3.4.2. Метод максимального правдоподобия.

3.4.3. Непараметрический метод моментов.

4. ПРАКТИЧЕСКОЕ ИСПОЛЬЗОВАНИЕ РАЗРАБОТАННЫХ МАТЕРИАЛОВ И РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЙ.

4.1. Методика расчета показателей надежности прикладного программного обеспечения образовательного назначение.

4.2. Описание комплекса программ автоматизированного расчета показателей надежности прикладного программного обеспечения образовательного назначение.

4.2.1. Сбор исходных данных.

4.2.2. Получение точечной оценки.

4.2.3. Получение интервальной оценки.

4.2.4. Точность оценки.

4.2.5. Оценка ожидаемого числа тестов до достижения требуемой надежности

4.2.6. Оценка числа тестов для достижения требуемой наработки на отказ.

4.2.7. Определение первоначального количества ошибок в прикладном программном обеспечении образовательного назначение.

4.2.8. Оценка вероятности безотказной работы прикладного программного обеспечения образовательного назначение при его разработке.

4.2.9. Оценка вероятности безотказной работы прикладного программного обеспечения образовательного назначение при его эксплуатации в нормальных условиях

4.2.10. Оценка вероятности безотказной работы прикладного программного обеспечения образовательного назначение при его эксплуатации в критических условиях

4.3. Результаты расчета оценок показателей надежности прикладного программного обеспечения.

Актуальность темы диссертации. Опыт создания и применения сложных информационных систем (ИС) в последние десятилетия выявил множество ситуаций, при которых сбои и отказы их функционирования были обусловлены дефектами комплексов программ, что приводило к большому экономическому ущербу. Около двадцати лет назад появились первые обобщающие работы, в которых были сформулированы концепция и основные положения теории надежности программного обеспечения информационных систем. В это время были заложены основы методологии и технологии создания высоконадежных сложных комплексов программ. Стало ясно, что для обеспечения высокой надежности функционирования и безопасности применения создаваемых сложных комплексов программ необходимы четкая организация и высокая квалификация всего коллектива специалистов, участвующих в таком проекте. В коллективе разработчиков целесообразно выделять специалистов, ответственных за соблюдение технологии создания и развития программ, за обеспечение и контроль качества, а также за надежность и безопасность проекта программного обеспечения (ПО) и его компонентов.

Отмеченная проблема обеспечения надежности программного обеспечения имеет большое прикладное значение для сферы образования. Для современного состояния образовательного процесса характерно широкое внедрение информационных и коммуникационных технологий (ИКТ), которые реализуются в образовательном процессе в виде информационных систем образовательного назначения (ИСОН). Следует отметить, что развитие аппаратной составляющей ИСОН закономерно влечет за собой совершенствование программных средств, и, наоборот, развивающееся программное обеспечение предъявляет повышенные требования к аппаратной компоненте ИСОН. Многообразие актуальных задач, являющихся объективным следствием необходимости достижения педагогических целей, а также задач управленческого характера образовательным процессом, обусловило активное развитие прикладного программного обеспечения образовательного назначение (ППООН).

В настоящее время сложился достаточно обширный круг фирм-разработчиков, занимающихся программным обеспечением для системы образования. Среди них есть общепризнанные лидеры, осуществляющие массовый выпуск программных средств по самым разным учебным дисциплинам, такие как: «1С», «NMG», «Кирилл и Мефодий», «Интеллект - Сервис», «Физикон», «Новый диск». Многие учебные заведения самостоятельно занимаются разработкой ППООН. В сложившихся условиях первостепенной задачей является задача обеспечения требуемого качества ППООН.

Следует отметить, что многие аспекты проблемы оценки качества ППООН рассматривались в исследованиях, прежде всего, в области педагогической науки. Ряд исследований посвящен разработке экспертных методов оценки психолого-педагогических характеристик ППООН, реализованных на базе технологии Мультимедиа. Разработаны методологические основы использования экспертных методов в педагогических исследованиях, ориентированные на использование программных средств (Марченко Е.К., Михеев В.И., Полонский В.М., Черепанов B.C.), определены основные методические цели, которые наиболее эффективно реализуются с использованием ППООН. Разработана типология программных средств по функциональному и методическому назначению, дидактические требования к ППООН, сформулированы основные положения экспертно-аналитической деятельности по оценке качества ППООН и анализа их педагогической целесообразности (Роберт И.В.). Сформированы теоретические основы разработки технологии применения программно-методических средств в учебном процессе общеобразовательной школы (Саф-ронова Н.В.). Разработаны также психологические основы организации диалога учащегося с ИКТ (Горелов И.Н., Машбиц Е.И., Тихомиров O.K.). Успешно развивается Система добровольной сертификации программного обеспечения в сфере информатизации РОСИНФОСЕРТ, разработаны организационно-методические документы этой системы (Позднеев Б.М., Шахин В.П.). Вопросы практического использования экспертных методов для проведения сертификационных испытаний ППООН отражены в работах Ваграменко Я.А., Галкиной А.И., Роберт И.В. Одной из последних и значимых работ в области оценки отмеченных выше аспектов качества ППООН является диссертационная работа Вострокнутова И.Е., которая посвящена исследованию и разработке теоретических и прикладных аспектов методического обеспечения процесса оценки качества ППООН. Большая теоретическая и практическая работа по проведению экспертизы ППООН ведется в Институте информатизации образования РАО, в лаборатории, возглавляемой Романенко Ю.А.

Над вопросами теории и технологии оценки качества ПО ОН работают: Отраслевой фонд алгоритмов и программ (ОФАП) Государственного координационного центра информационных технологий, Институт информатизации образования (ИНИНФО), Институт информатизации образования Российской академии образования, СЦНИТ МГТУ «Станкин», Всероссийский НИИ проблем вычислительной техники и информатики Министерства связи России. Эта тема тесно переплетается с необходимостью разработки стандартов, отвечающих современным требованиям санитарно-гигиенических норм, как к средствам вычислительной техники, так и к программному обеспечению образовательного назначения.

Обеспечение надежности должно реализовываться специалистами в жизненном цикле программного обеспечения на основе использования современной методологии, технологического инструментария, стандартов и нормативных документов.

Вместе с тем закономерно отметить, что отмеченные выше работы в большей степени затрагивают именно психолого-педагогические аспекты обеспечения качества ППООН и оставляют в стороне техническую сторону проблемы. А вместе с тем, сложность ППООН, входящего в ИСОН такова, что в принципе не существует технологий создания программной продукции без единого дефекта. Поэтому ни одна организация-разработчик не может гарантировать (и не гарантирует) абсолютной надежности создаваемого ППООН. Кроме того, решение вопроса надежности ППООН затрудняют программные дефекты, например, логические мины. Эти дефекты (как «пассивные» так и «активные») могут быть непреднамеренно внесены как при эксплуатации, так и при разработке ППООН и привести к искажению или уничтожению информации.

Проблема обеспечения надежности ППООН информационных систем образовательного назначения резко обострилась в связи с широким внедрением информационных и коммуникационных технологий в образовательный процесс. Учитывая сложившуюся тенденцию к увеличению доли ППООН в ИСОН, расширение круга задач, решаемых ППООН, важность этих задач и ужесточение требований по надежности к ИСОН актуальным на сегодняшний день является вопрос об обеспечении надежности ППООН, предназначенного для использования в ИСОН. Декомпозиция этого вопроса определяет целый ряд задач, решение которых в априори позволит обеспечить требуемую надежность ППООН в ИСОН. Это задачи организации и подбора программистских кадров, разработки перспективных технологий программирования, проведения тестирования разработанного ППООН, оценки показателей надежности (ПН) ППООН.

Достаточно очевидно, что сбои в работе ППООН, входящего в состав ИСОН, имеют резко негативное последствие. Они могут привести к авариям, выходу из строя ИСОН, что чревато снижением уровня эффективности образовательного процесса.

Для эффективной эксплуатации информационных систем образовательного назначения необходимо располагать сведениями о значении их текущей интегральной оценки надежности. В области надежности аппаратуры уже достигнут тот уровень, когда создан ряд математических методов, позволяющих оценить ее надежность. Известна методика оценки интегральной надежности технического изделия с учетом топологии его структурной схемы и вероятностных характеристик его модулей. Но с учетом интеграции ППООН в сложные технические ИСОН оценка надежности такого комплекса только надежностью его аппаратных модулей дает неприемлемую погрешность. Следовательно, нам необходимы математические методы для оценки надежности ППООН. Вмести с тем, специфика ППООН, входящего в состав ИСОН, не позволяет в полной мере использовать уже существующие методы для оценки надежности. Специфика ППООН в частности заключается, во-первых, том, что в силу его функциональной неотъемлемости от ИСОН для получения интегральной оценки надежности такой системы и у программных и аппаратных модулей необходимо оценивать идентичные по сущности показатели надежности, а, во-вторых, в непостоянстве интенсивности модификаций ППООН.

В связи с этим актуальной на сегодняшний день является диссертационное исследование, посвященное разработке математических методов для оценки показателей надежности прикладного программного обеспечения информационных систем образовательного назначения.

С учетом проведенного выше анализа может быть определена проблемная ситуация, сущность которой состоит в противоречии между необходимостью эффективной интегральной оценки надежности ППООН, предназначенного для использования в ИСОН на всех этапах его разработки и эксплуатации и практической невозможностью ее получения на основе существующих математических моделей и методик.

В связи с этим целью диссертации является разработка методического обеспечения для оценки показателей надежности прикладного программного обеспечения информационных систем образовательного назначения.

Для достижения этой цели в диссертации решены следующие задачи исследований:

- Разработаны мозаичные модели оценки показателей надежности для этапа разработки и тестирования ППООН.

- Разработаны мозаичные модели оценки показателей надежности для этапа эксплуатации ППООН в нормальных условиях;

- Разработаны мозаичные модели оценки показателей надежности для этапа эксплуатации ППООН в критичных условиях.

- Разработано методическое обеспечение для оценки показателей надежности ППООН на различных этапах его жизненного цикла.

- Разработан программный комплекс для автоматизации расчетов показателей надежности ППООН.

Методы исследований и математический аппарат. Для решения задач исследований использованы методы теории вероятностей, математической статистики, теории конечных множеств, математического анализа и численных методов.

Научная новизна диссертации заключается в том, что в ней впервые получены следующие научные результаты:

1. Дискретные экспоненциальные и рекуррентные модели для оценки показателей надежности ППООН на этапе его разработки и испытаний.

2. Однородные непрерывные экспоненциальные и рекуррентные модели для оценки показателей надежности ППООН на этапе его подконтрольной эксплуатации.

3. Неоднородные непрерывные экспоненциальные и рекуррентные модели для оценки показателей надежности ППООН на этапе его эксплуатации в критических условиях.

4. Методика оценки показателей надежности ППООН на различных этапах его жизненного цикла.

5. Программный комплекс для автоматизации расчетов показателей надежности ППООН.

На защиту выносятся следующие научные результаты диссертационного исследования:

1. Мозаичные модели надежности ППООН ИСОН для оценки его вероятности безотказной работы на различных этапах жизненного цикла.

2. Методика использования порядковых статистик с урезанной выборкой, позволяющая учесть подмножество тестов, не вошедших в испытания.

3. Методика оценки количества тестов, необходимых для достижения требуемой вероятности безотказной работы и средней наработки на отказ, позволяющая сократить объем предварительных испытаний ППООН.

4. Автоматизированный программный комплекс, в котором реализована методика оценки надежности ППООН, позволяющий обеспечить оценку показателей надежности ППООН в режиме реального времени. Достоверность полученных научных результатов обусловлена корректным применением математического аппарата теории вероятностей и математической статистики, а также численных методов и использования практических статистических данных для решения поставленной задачи.

Реализация и внедрение результатов исследований. Результаты исследований, полученные в диссертации, реализованы в Институте информатизации образования Российской академии образования и в учебном процессе Тульского военного артиллерийского института.

Практическая ценность диссертационной работы состоит в том, что результаты проведенных теоретических и экспериментальных исследований доведены до алгоритмов и программ специального математического обеспечения программного комплекса для оценки вероятности безотказной работы ППООН, а их использование позволяет повысить на 10 - 15 % точность определения вероятности безотказной работы ППООН на этапах его разработки и эксплуатации.

Результаты исследований опубликованы в 5 статьях и 6 докладах на научно-технических конференциях.

Диссертация имеет объем 125 страниц, включает 8 рисунков, 2 таблицы и состоит из введения, четырех глав, заключения, списка литературы (70 наименований) и приложения.

Выводы

Разработанная на основе полученных аналитических выражений для оценок основных показателей надежности ППООН методика позволяет провести оценивание надежности ППООН по данным на этапе разработки и эксплуатационным данным, имеющим статистически неоднородный характер, с учетом постоянной и непостоянной интенсивности модификации и получать, при этом, оценки на 30 - 40 % точнее, чем при использовании широко известных статистических методов. Рост точности оценки интегрального показателя надежности ИСОН составляет 15-20 %.

Использование разработанного комплекса программ расчета основных показателей надежности ППООН по статистически неоднородным данным дает возможность оперативно, в режиме реального времени, провести исследования надежностных свойств ППООН с учетом реальных режимов и условий функционирования, спланировать проведение испытаний и провести уточнение технических условий и другой нормативно-технической документации.

Проведение уточнения показателей надежности ППООН по эксплуатационным данным с учетом реальных режимов и условий функционирования позволяет получать более реальную информацию о надежностных свойствах ППООН и, используя информацию об интервальных оценках, более обоснованно корректировать процессы разработки и эксплуатации, а также вносить изменения в производственно-технологическую документацию на последующие серии с целью снижения количества отказов (в некоторых случаях на 30 -40 %). щ

ЗАКЛЮЧЕНИЕ

В ходе решения научной задачи, состоящей в разработке математических методов оценки показателей надежности прикладного программного обеспечения информационных систем образовательного назначения и имеющей в современных условиях широкого внедрения информационных и коммуникационных технологий в сферу образования высокую актуальность, в диссертации были получены следующие результаты.

1. На основе комплексного анализа существующих математических моделей надежности ППООН были установлено, что имеющиеся модели или дают недопустимо низкую точность оценки или же адекватны только узкому классу программ. Поэтому были разработаны мозаичные модели в байесовском классе моделей надежности. Разработанные модели позволяют повысить точность вычислений на 30 - 40% при оценке ПН ППООН. Эти модели учитывают специфику ППООН, а именно, то что, во-первых, том, что в силу его функциональной неотъемлемости от ИСОН для получения интегральной оценки надежности такой системы и у программных и аппаратных модулей необходимо оценивать одинаковые (идентичные по сущности) показатели надежности, а, во-вторых, в непостоянстве интенсивности модификаций ППООН. Рост точности оценки интегрального показателя надежности ИСОН составляет 15 - 20%,

2. Разработаны мозаичные модели, которые позволяют получить оценку вероятности безотказной работы для этапов разработки и эксплуатации ППООН. Для этапа разработки были разработаны дискретные модели, а для этапа эксплуатации - однородные и неоднородные модели. С помощью однородных непрерывных моделей оценивается вероятность безотказной работы ППООН в случае, когда последовательность случайных моментов времени, в которые осуществляется модификация ППООН, представляет собой однородный пуассоновский точечный процесс. Эта ситуация возникает в случае эксплуатации ППООН в стационарном режиме, когда постоянно идет сбор данных по его отказам. Использование же неоднородных непрерывных моделей позволяет оценить вероятность безотказной работы ППООН в случае, когда интенсивность процесса модификации ППООН непостоянна, т.е. точки на временной 4 оси, в которые осуществляются модификации, образуют дважды стохастический пуассоновский точечный процесс (процесс Кокса). Подобная ситуация имеет место при использовании ППООН на комплексах с ограниченным временем доступа персонала.

3. Предложена методика оценки показателей надежности на основе разработанных моделей для этапов разработки и эксплуатации. Данная методика позволяет учесть специфику конкретного образца ППООН и характерные особенности распределения временных интервалов между отказами ППООН. Адаптация моделей под конкретный тип ППООН производится путем оценки первоначальной вероятности безотказной работы и параметризации коэффициентов, определяющих математическое ожидание и дисперсию распределения.

4. С учетом разработанных методик, моделей и алгоритмов созданы основы информационного и специального программного обеспечения для оценки показателей надежности ППООН на различных этапах его эксплуатации. Использование разработанного АРМ позволяет сократить время расчетов на 30 %.

1. Батурин Ю. Ошибка компьютера // Новое время, 1987, № 9. - С. 45-51.

2. Буш Р., Мостеллер Ф. Стохастические модели обучаемости. М.: ГИФМЛ,1962.-88 с.

3. Васютович В., Самотохинс., Никифоров Г. Регламентация жизненного цикла программных средств // Директор ИС, 2000, № 07-08.

4. Васютович В., Самотохин С. Стандартизация в области документирования программных средств // Computerworld, 1999, № 25 (186).

5. Вендров A.M. Проектирование программного обеспечения экономических информационных систем. -М.: Финансы и статистика, 2000. 352 с.

6. Волков JI. И. Управление эксплуатацией летательных комплексов. М.: Высшая школа, 1981. - 226 с.

7. Волков Л. И., Шишкевич А. М. Надежность летательных аппаратов. М.: Высшая школа, 1975. - 312 с.

8. Гальцов М. В. Модели просеивания случайных множеств: Дисс. . канд. физ.-мат. Наук. -М.: МГУ, 1992. 158 с.

9. Глас Р. Руководство по надежному программированию / Пер. с англ.

10. ГОСТ 28195-89. Оценка качества программных средств. Общие положения. М.: Государственный комитет СССР по стандартам, 1990. - 38 с.

11. Градштейн И. С., Рыжик И. М. Таблицы интегралов, сумм, рядов и произведений. -М.: Наука, 1971. 171 с.

12. Карповский Е. Я., Чижов С. А. Надежность программной продукции. Киев.: Тэхника, 1990. - 256 с.

13. Козлов А.О. Раздел отчета по НИР «Дозор». М.: МО, 1998.

14. Козлов А.О. Рекуррентная модель оценки показателей надежности специального программного обеспечения / Тезисы доклада на НТК. М.: МО, 1998.

15. Козлов А.О., Безродный Б. Ф. «Исследование путей оценки показателей надежности специального программного обеспечения на этапе его разработки и эксплуатации» / Тезисы доклада на НТК. М.: МО, 1998.

16. Козлов А.О., Безродный Б.Ф. Методика оценки показателей надежности специального программного обеспечения / Тезисы доклада на НТК. М.: МО, 2000.

17. Козлов А. О., Безродный Б. Ф. Рекуррентные модели оценки вероятности безотказной работы СПО на различных этапах его жизненного цикла / Тезисы доклада на НТК. М.: МО, 1999.

18. Козлов А.О., Безродный Б.Ф. Оценка вероятности безотказной работы программного обеспечения на этапе его разработки и эксплуатации / Сборник трудов. М: НИИ Радио, 2000.

19. Козлов А.О., Королев В.Ю., Матвеев Ф.В. Обобщенные логистические модели надежности / Тезисы доклада на 27 Всепольской конференции по применению математики. Закапоне, 1998. - с. 212-216.

20. Козлов А. О., Королев В. Ю., Матвеев Ф. В. Рекуррентные модели роста надежности / В сб. "Статистическое оценивание и проверка гипотез". Пермь, ПТУ, 1998.-с. 91-97.

21. Козлов А.О. Разработка методического обеспечения для оценки показателей надежности программного обеспечения в условиях информатизации образования / Ученые записки ИИО РАО, вып. 11. М.: ИИО РАО, 2003. - с. 23-27.

22. Козлов А.О., Безродный Б.Ф. Методика оценки показателей надежности программного обеспечения / В сб. трудов 19 ВНК. М.: МО, 2000. - с. 155-159.

23. Козлов А.О., Безродный Б.Ф. Оценка вероятности безотказной работы программного обеспечения на этапе его разработки и эксплуатации / В сб. трудов НИР. М.: МО, 2000. - с. 68-72.

24. Козлов А.О. Рекуррентная модель оценки показателей надежности специального программного обеспечения / В сб. трудов 17 ВНК. М.: МО, 1998. - с. 97-101.

25. Козлов А.О., Королев В.Ю. Обобщенные логистические модели надежности / Тезисы доклада на 27 Всепольской конференции по применению математики. Закапоне, 1998. - с. 212-216.

26. Козлов А.О., Безродный Б.Ф. Исследование путей оценки показателей надежности специального программного обеспечения на этапе его разработки / В сб. докладов на 17 ВНК, ч. 1. М.: МО, 1998. - с. 174-179.

27. Козлов А.О., Королев В.Ю. Рекуррентные модели роста надежности / В сб. «Статистическое оценивание и проверка гипотез». Пермь, ПТУ, 1998. - с. 9197.

28. Копылов В.В. Метод оценки надежности программных средств по результатам статистических испытаний // Кибернетика, Киев, 1990, № 5.

29. Королев В.Ю. Вероятностно-статистические методы прогнозирования надежности сложного программного обеспечения // Вестник Московского государственного университета, Сер. Вычислительная математика и кибернетика, 1992, №3. -с. 3-21.

30. Королев В. Ю. Прикладные задачи теории вероятностей: модели роста надежности модифицируемых систем. М.: Диалог-МГУ, 1997. -68 с.

31. Королев В. Ю. Сходимость случайных последовательностей с независимыми случайными индексами // Теория вероятностей и ее применения, 1994, т. 39, № 2.

32. Круглов В.М., Королев В.Ю. Предельные теоремы для случайных сумм. -М.: Изд-во МГУ, 1990.

33. Крылова Г.Д. Основы стандартизации, сертификации, метрологии: Учебник для вузов. М.: ЮНИТИ-ДАНА, 2001. - 711 с.

34. Липаев В.В. Надежность программных средств. М.: СИНТЕГ, 1998. -232 с.

35. Майерс Г. Надежность программного обеспечения. М.: Мир, 1980.

36. Майерс Т. Надежность программного обеспечения. М.: Мир, 1980. -360 с.

37. Майерс Г. Искусство тестирования программ / Пер. с англ.: Под ред. Б.А. Позина. -М.: Финансы и статистика, 1982. 176 с.

38. Метод статистических испытаний (метод Монте-Карло): Справочная математическая библиотека. М.: Государственное издательство физико-математической литературы, 1962. -332 с.

39. Орлов А. И. Первый всемирный конгресс Общества математической статистики и теории вероятностей им. Бернулли / Надежность и контроль качества, № 6, 1987.

40. Пальчун Б.П., Юсупов P.M. Оценка надежности программного обеспечения. СПб.: Наука, 1994. - 84 с.

41. Першиков В.И., Савинков В.М. Толковый словарь по информатике. -М.: Финансы и статистика, 1995. 544 с.

42. Поскакалов К.Ф. Тестирование программного обеспечения как средство обеспечения качества // «DiasoftlNFO», 2000, №9.

43. Розенблит П.Я. Статистическое оценивание характеристик надежности и эффективности сложных систем. Рига, Зинатне, 1979.

44. Савчук В.П. Байесовские методы статистического оценивания/ Серия «Надежность технических объектов». М.: Наука, 1989.

45. Саймон А.Р. Стратегические технологии баз данных: менеджмент на 2000 год / Пер. с англ.: Под ред. и с предисл. М.Р. Когаловского. М.: Финансы и статистика, 1999.-479 с.

46. Стандартизация разработки программных средств / В.А. Благодатских, В.А. Волнин, К.Ф.Поскакалов; Под ред. О.С. Разумова. М.: Финансы и статистика, 2003.-288 с.

47. Тейер Т. и др. Надежность программного обеспечения / Т. Тейер, М. Липов, Э. Нельсон: Пер. с англ. М.: Мир, 1981.-323 с.

48. Тестирование программного обеспечения / Сэм Канер, Джек Фолк, Енг Кек Нгу-ен / Пер. с англ. Киев: Изд-во «ДиаСофт», 2000. - 544с.

49. Феллер В. Введение в теорию вероятностей и ее приложения. Том 1.- М.: Издательство иностранной литературы, 1952. 428 с.

50. Шмелев О.Ю. Дисс. . канд. тех. наук на спецтему. М.: МО, 1995.

51. Экономика, разработка и использование программного обеспечения ЭВМ: Учебник / В.А. Благодатских, М.А. Енгибарян, Е.В. Ковалевская и др. М.: Финансы и статистика, 1995. - 288 с.

52. А. P. Dawid. Statistical theory: the prequential approach (with discussion). J, Royal Statist. Soc., Ser. A, 1984, Vol. 147(2), p. 278 - 292.

53. В. V. Gnedenko and V. Yu Korolev. Random summation: Limit Theorems and Applications. CRC Press, Boca Raton, Florida, 1996.

54. D.R. Miller. Exponential Order Statistics Models of Software Reliability Growth. Technical Report T-496/84, George Washington University, Washington, DC, 1984.

55. E.C.Nelson. A statistical Basis for Software Reliability assessment. Report TRW-SS-73-03. TRW Software Series, Redondo Beach, CA, 1973.

56. MathCad. User's Guide MathCad Plus 6.0. MathSoft Inc., 1996. 680 p.

57. Mills H.D. On the Statistical Validation of Computer Programs, FSC-72-6015, IBM Federal Systems Div., Gaithersburg, Md., 1972.

58. Musa I.A. The Theory of software reliability and its application. IEEE Transactions on Software Engineering, 1975, Vol. SE-1, № 3, p. 312 327.

59. P.B.Moranda Prediction of software reliability during debugging. in: Proc. Annual Reliability and Maintainability Symposium. 1975, p. 327 - 332.

60. S. Brocklehurst, P.Y. Chan, B. Littlewood and J. Shell. Recalibrating software reliability models. IEEE Trans. Software Engineering, 1990, Vol. 16, № 4, p. 458.

61. Schick G.I., Wolverton R.W. An analysis of computing software reliability model. IEEE Transactions on Software Engineering, 1978, vol. SE-4, № 2, p. 104 -119.

62. Shooman M.L. Structural models for software reliability prediction. 2-nd International Conference on Software Engineering, 1976, p. 268 - 280.

63. Software Reliability. Maidenheed, 1977.

64. T.J. Sweeting. Asymptotically independent scale-free spacings with application to discordancy testing. Ann. Statist, 1986, Vol. 14, № 4, p. 1485 - 1496.