автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка математических моделей надежности прикладного программного обеспечения при ограниченной статистической информации

На правах рукописи

Затеяко Светлана Ивановна

РАЗРАБОТКА МАТЕМАТИЧЕСКИХ МОДЕЛЕЙ НАДЁЖНОСТИ ПРИКЛАДНОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ПРИ ОГРАНИЧЕННОЙ СТАТИСТИЧЕСКОЙ ИНФОРМАЦИИ

05.13.01 - Системный анализ, управление и обработка информации (промышленность)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург - 2009

003479605

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Санкт-Петербургская государственная лесотехническая академия имени С.М.Кирова»

Научный руководитель:

доктор технических наук,

профессор Уткин Лев Владимирович

Официальные оппоненты: -

доктор технических наук,

профессор Соркин Леонид Рафаилович

доктор физико-математических наук,

профессор Ерохин Владимир Иванович

Ведущая организация: Санкт-Петербургский государственный

электротехнический университет "ЛЭТИ"

Защита диссертации состоится ^О_2009 г. в/Х^З^на заседании

Совета по защите докторских и кандидатских диссертаций Д 212.230.03 при Санкт-Петербургском государственном технологическом институте (техническом университете) по адресу: 190013, Санкт-Петербург, Московский пр., 26 (ауд. 61)

С диссертацией можно ознакомиться в библиотеке института

Отзывы на автореферат, заверенные печатью, просим направлять по адресу: 190013, Санкт-Петербург, Московский пр., 26, СПбГТИ(ТУ), Учёный совет; тел: (812)495-75-75, факс (812)712-77-91, E-mail: dissovet@lti-gti.ru

Автореферат разослан <<А//у> ¿7 9 2009 года

Ученый секретарь диссертационного Совета

д.т.н., доцент / /^/1/,

В.И. Халимон

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Современное прикладное программное обеспечение (ППО) обладает рядом особенностей. Оно по большей части является достаточно сложным и крупномасштабным, что с одной стороны повышает шансы наличия ошибок в программном коде, а с другой стороны вследствие слишком сложной структуры кода не позволяет использовать целый класс моделей, основанных на структурных свойствах программ. Другой особенностью является то, что время на реализацию ППО и его тестирование в большинстве случаев ограничено значительной конкуренцией на рынке прикладных программных средств. Это существенно снижает объем статистических данных, связанных с тестированием и отладкой, и делает многие известные математические модели, основанные на статистической обработке данных, неприменимыми. В настоящее время ППО является неотъемлемой частью большинства систем управления, а значит, его ненадёжное функционирование может привести к самым различным последствиям, включая катастрофические. Это накладывает дополнительные требования к обеспечению надежности ППО.

Все эти особенности, а также участие человека на всех стадиях проектирования и тестирования программ, не позволяют использовать известные модели надежности программного обеспечения, основанные на применении только теории вероятностей, что обусловлено, прежде всего, недостатком статистической информации. Недостатком интенсивно развивающихся в последнее время нечётких моделей надёжности является малая информативность полученных результатов моделирования.

Поэтому разработка новых математических моделей анализа надёжности ППО при отсутствии достаточного количества статистической информации по результатам тестирования и отладки, при отсутствии информации о структуре ППО является чрезвычайно важной задачей.

На данный момент наибольшее распространение получили два основных подхода для моделирования надёжности ППО: подход, основанный на нахождении максимума функции правдоподобия и байесовский подход. Однако ни один из них нельзя считать универсальным. При использовании первого необходимо иметь большое количество данных об отказах в процессе отладки и тестирования. Кроме того, этот подход не может быть применим в случае большого количества параметров. Проблема, которая возникает при использовании второго подхода, заключается В тем, ЧТО Произвольный БЫиОр аПрИОрНОГО раСПрсДсЛсНйи 11|Ч1 молим количестве статистической информации в достаточно сильной степени может влиять на результаты прогнозирования надежности ППО. Таким образом, создание новых методов моделирования, лишённых подобных недостатков, является актуальной задачей.

Цель работы состоит в создании классов новых математических моделей надежности ППО, основанных на использовании интервальных показателей надёжности, и ориентированных на определенные наборы ограниченных статистических данных об отказах, полученных в процессе тестирования и отладки.

Для достижения поставленной цели решаются следующие основные задачи:

- разработка методики создания дискретных и непрерывных математических моделей надёжности ППО при отсутствии информации о точных законах распределения вероятностей отказов;

- разработка новых интервальных моделей надёжности ППО, комбинирующих байесовский подход и принцип максимума функции правдоподобия;

- создание на основе разработанных математических моделей моделирующего комплекса программ, позволяющего вычислять надёжность ППО, используя различные виды статистических данных, а также оценивать качество прогноза моделей.

Объект исследования. Объектом исследования является прикладное программное обеспечение.

Предметом исследования являются модели и методы анализа надёжности ППО.

Методы исследования. В работе использовались методы математического анализа, теории вероятностей и математической статистики, методы теории интервальных средних.

Научная новизна работы заключается в следующем:

1. Разработан общий метод построения интервальных математических моделей надёжности ППО, отличающийся от существующих методов тем, что позволяет строить модели на множестве распределений вероятностей времени безотказной работы ППО в процессе отладки, используя только граничные функции распределения. Метод может быть использован в случаях, когда исходные данные об отказах носят непрерывный (календарное время до отказа) и дискретный характер (число запусков программы до отказа), а также в случае, когда отсутствуют сведения о независимости случайных времен до отказа.

2. Разработаны новые классы математических моделей надёжности ППО, которые сочетают в себе байесовский подход и принцип максимума правдоподобия, что в отличие от существующих моделей позволяет решить проблему выбора априорных распределений вероятностей параметров модели и существенно упростить задачу оптимизации функции правдоподобия.

3. Разработаны новые модификации известных моделей надежности ППО, которые позволяют работать с ограниченной статистической информацией об отказах и принимать осторожные решения о надежности ППО.

4. Создан моделирующий комплекс, предназначенный для расчёта надёжности

ППО иа ллилт>А илп1 ту илпопаи о дпп рибоТЬ! МСД2ЛСж» НС* 1'£»#1СД0!т1

конкретном наборе отладочных статистических данных. Комплекс позволяет оценить, какую модель предпочтительней использовать в анализируемой ситуации.

Практическая денность и реализация результатов работы.

Разработанный метод построения интервальных моделей надёжности ППО позволяет существенно расширить класс существующих моделей надежности ППО и является основой для разработки новых математических моделей, которые отличаются типом граничных функций распределения вероятностей.

Созданные на базе этого метода обобщённые байесовские модели надёжности ППО позволяют получать качественный прогноз надёжности даже при малом объёме статистических данных. Эффективность предлагаемых моделей в сравнении

с рядом известных моделей была продемонстрирована на реальных отладочных данных, с помощью созданного моделирующего комплекса.

Разработанный моделирующий комплекс позволяет прогнозировать надёжность ППО, используя при этом как новые, так и известные модели, а также сравнивать их на основе ряда показателей качества прогнозируемых оценок, что позволяет существенно сократить время тестирования модулей для получения требуемых оценок надёжности.

Созданный моделирующий комплекс был использован для анализа надёжности программных модулей средства защиты информации "Кобра", разработанного в научном филиале ФГУП НИИ "Вектор" СЦПС "Спектр" в 2009 г., что подтверждается актом об использовании.

Теоретические результаты диссертации, касающиеся вопросов моделирования надёжности ППО, вошли составной частью в программу дисциплин "Надёжность и диагностика систем управления" и "Диагностика и надёжность систем автоматизации" для подготовки магистров по направлению 550200 и специалистов по направлению 22030101 Санкт-Петербургской государственной лесотехнической академии имени С.М. Кирова, что подтверждается актом об использовании.

Достоверность результатов. Достоверность положений, выводов аналитических зависимостей и рекомендаций диссертационной работы базируется на применении методов теории интервальных средних, теории вероятностей, математического анализа. Основные аналитические зависимости и результаты доказаны с помощью строгих математических преобразований. Достоверность моделирования доказана па реальных статистических данных.

Основные положения выносимые на защиту:

1) Новый метод построения классов дискретных и непрерывных моделей надёжности ППО при отсутствии информации о точных законах распределения отказов и при ограниченной статистической информации об отказах.

2) Обобщённые байесовские модели надёжности ППО дискретного и непрерывного времени, модели надёжности ППО, основанные на использовании неоднородных процессов Пуассона, и модификации известных моделей надежности ППО.

3) Моделирующий комплекс, предназначенный для прогнозирования надёжности ППО на основе новых математических моделей, и реализация

ГПРИМя_тткт1г*ы г»п**и1/чд ^зчестна моделей

Аквобдц™ работы. Основные научные результаты диссертации докладывались и обсуждались на Всероссийских и Международных конференциях: 11-й, 12-й Международных конференциях по мягким вычислениям и измерениям (Санкт-Петербург, 2008, 2009); 4-й Международной научно-практической конференции "Управление качеством в современной организации" (Пенза, 2009); 13-й Международной научно-практической конференции «Системный анализ в проектировании и управлении» (Санкт-Петербург, 2009); Межвузовской научно-практической конференции молодых учёных и специалистов "Современные проблемы экономики и менеджмента предприятий лесного комплекса", проходившей в Санкт-Петербургской государственной лесотехнической академии имени С.М. Кирова (Санкт-Петербург, 2009); 15-й Международной научно-

методологической конференции "Актуальные проблемы развития высшей школы" (Санкт-Петербург, 2009); на Международном симпозиуме "Imprecise Probabilities and Their Applications", Durham, United Kingdom, 2009 г., на ежегодных научно-технических конференциях профессорско-преподавательского состава ЛТА имени С.М. Кирова 2007-2009 г.г.

Публикации. По теме диссертации опубликовано 12 работ, четыре из которых опубликованы в рецензируемых журналах ВАК, включая одну работу, опубликованную в журнале ВАК по требуемому направлению.

Структура и объём работы. Диссертация состоит из введения, четырёх глав, выводов, списка литературы. Диссертация изложена на 154 страницах основного текста, включает библиографический список из 120 наименований, 17 рисунков, 6 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность рассматриваемой проблемы, сформулированы цели и задачи исследований. Представлены научная новизна, практическая ценность, апробация и реализация основных результатов диссертационной работы.

В первой главе сформулированы проблемы анализа надёжности прикладного программного обеспечения и проведён критический обзор существующих моделей надёжности программного обеспечения.

Рассмотрены и проанализированы классические модели надёжности ППО: модель Джелински-Моранда, модель Шика-Волвертона, модель Вейса, модель Литтлвуда-Веррала и др., а также нечёткие модели надёжности ППО.

Во всех классических моделях времена между отказами программы в процессе отладки рассматриваются как случайные переменные Х,,...Х„ с некоторой заданной плотностью распределения. Если плотность распределения вероятностей случайной величины Xj, времени безотказной работы между (i-l)-u и /-м отказами программы,

равна то вероятность безотказной работы R(() программы за время t после

п -го отказа, т.е. в процессе эксплуатации, вычисляется как

Здесь б, =i|/(;,0), где \\> - функция роста, характеризующая рост надежности

ППП г, ......... ......а„„ „ л -------------------------------

Ill iw и lipuu^vvv. tlblipUUJLbllfl/l ишмиин, U I/ шишп^юи UU^UIHCJ рии шид^ш.

Различные вероятностные модели надежности ППО различаются типом плотности j?,(.y). Однако все они используют какое-нибудь одно конкретное распределение вероятности, что в свою очередь значительно ограничивает область применения этих моделей, так как появляется ™яд допущений, часто невыполнимых в реальной ситуации, а именно:

1) Используемые статистические данные должны быть однородными. На практике, как правило, имеет место неоднородность статистических данных, т.е. неравномерность распределения тестовых данных на множестве всех исходных данных.

2) Никакие новые ошибки не вносятся в процессе исправления обнаруженных ошибок. Это предположение не всегда верно. Внутренние взаимодействия и связи в

программе являются чрезвычайно сложными, поэтому исправление обнаруженной ошибки может привести к изменению корректного кода программы.

3) Имеется достаточное количество высококачественных данных для прогнозирования. Современное ППО является крупномасштабным, время на его реализацию и тестирование ограничено конкуренцией на рынке прикладных программных средств, поэтому объём статистических данных часто оказывается недостаточным.

Все известные модели надёжности ППО используют для нахождения параметров модели принцип максимума функции правдоподобия, т.е. по имеющимся в наличии статистическим данным, интервалам между отказами ППО составляется функция правдоподобия

Ш....../.|0) = Па(',|в)-

Значения параметров о выбираются так, чтобы максимизировать функцию правдоподобия ¿(/„...,/я|9).

Функция правдоподобия имеет данный вид, так как стандартные модели надёжности ППО используют допущение о независимости времён между отказами программы. Однако тесты обычно выбираются не случайно, а на основе предыдущих экспериментов с программой, также имеет место связь между исправлением одной ошибки и последующими ошибками, а значит, времена между отказами не всегда правильно рассматривать как независимые случайные величины.

Выполненный обзор моделей надёжности ППО показал, что модели, основанные на элементах классической теории вероятностей, не позволяют адекватно отражать различные аспекты проявления ошибок. Нечёткие же модели надёжности ППО, которые являются альтернативой вероятностным моделям, приводят к низкой информативности результатов моделирования, что, безусловно, является их серьёзным недостатком.

Анализ существующих моделей надёжности ППО продемонстрировал актуальность создания новых математических моделей надежности ППО, которые позволяли бы учитывать недостаток и неоднородность исходной статистической информации, а также возможность внесения ошибок в процессе отладки, и при этом были бы в достаточной степени информативны.

Для решения этой задачи в диссертационной работе предлагается новый класс моделей надёжности 11110, основанный на использовании интервальных показателей надежности. Особенность этих моделей заключается в том, что при их построении предполагается, что точные законы распределения времени безотказной работы ППО неизвестны, а известны только границы их функций распределения вероятности

А'то^^кУкТ^/Юк

-- > I / | у I / » I /

Тогда надёжность ППО в процессе эксплуатации представляет собой интервал, вычисляемый следующим образом:

ЦП = 1 -Лы (г). 1(1) = 1 -£„„(/).

Вторая глава посвящена разработке нового метода моделирования надёжности программного обеспечения, позволяющего строить модели на множестве

g

распределений вероятностей времени безотказной работы ППО в процессе отладки, используя только граничные функции распределения.

Этот метод сочетает в себе байесовский подход и принцип максимума правдоподобия. В результате этого сочетания решается проблема произвольности выбора априорного распределения, кроме того получаемые задачи оптимизации функции правдоподобия являются однопараметрическими.

Во второй главе диссертационной работы был сформулирован и доказан принцип максимума функции правдоподобия для случая, когда известны только граничные функции распределения вероятностей случайных величин Х,,...Х„. Его особенность заключается в том, что функция правдоподобия максимизируется не по параметрам некоторого одного распределения, а по множеству распределений, ограниченному верхней и нижней границами.

Новый подход разработан для двух типов представления исходной статистической информации. Первый тип предполагает непрерывность всех случайных величин, а второй тип их дискретность. Это позволяет применять новый подход для самых различных способов регистрации отказов в процессе отладки и тестирования: календарное время между отказами (непрерывные случайные величины), количество запусков программы между отказами, количество отказов за заданные интервалы времени (дискретные случайные величины).

Рассмотрим дискретный случай и проанализируем программное обеспечение на этапе его тестирования, предполагая, что тесты формируются случайным образом равномерно на множестве их значений.

Будем считать, что один запуск программы и её выполнение является минимальной единицей дискретного времени функционирования ППО. Любой процесс функционирования ППО может быть разделён на последовательность запусков. После каждого запуска программа либо успешно выполняется, либо отказывает. Пусть X, - количество подряд идущих успешных выполнений программы между (¡-1)-м и /-м отказами, т.е. X, - случайная дискретная величина, принимающая значение к, если программа отказала в течение к-го выполнения после (к-1) успешных запусков и выполнений. Тогда XS,...X„ образуют последовательность дискретных времён между отказами ППО, а значит распределение случайной величины А' определяется как р,(к) = Р(Х! = к), а функция распределения X будет иметь вид

к

г, (к) = Г{X, < к) = р, (гп).

».«I

Предполагается, что X, может быть описана большим числом распределений, и эти распределения принадлежат множеству R Множество R определяется граничными нижним (к) и верхним F.Ik) распределениями, такими что

F,(k) = min FAk). ~F,(k) - max FAk).

~ K, R,

Здесь минимум и максимум берутся по множеству R, всех возможных распределений вероятностей Р](к), удовлетворяющих условию £,(/:)< F,{k) < F,(к) для всех к = 1.2.....

Предполагается, что в результате п этапов отладки программы были получены

статистические данные К = (к,.....к„) - число успешных запусков и выполнений

программы между отказами.

Тогда функция правдоподобия имеет вид:

ЦК\в) = ?{Х,=к......Х.=к,),

где в = {0^...вп)~ вектор параметров модели.

Предлагается максимум функции правдоподобия искать следующим образом

шах ЦК\&) = тах тах ЦК\в), в к

где Я =К,х...х11п - декартово произведение множеств

Таким образом, задача представления принципа максимума функции правдоподобия сводится к решению задачи оптимизации, где целевая функция равна

Р {*,=*,,...,*„=*„},

с ограничениями

¿-ЁрИН

Д»!*! И41=1

£(*,I«!)* ....., /=/...«,

ш,* I т„=1

где I,, ^(т) - индикаторная функция, принимающая значение 7, если т <к, и 0 в

других случаях. Здесь переменные оптимизации это всевозможные «-мерные функции распределения {р(М)}из множества Я .

Решение задачи или поиск максимума функции правдоподобия по множеству всевозможных распределений тах/,(ЛГ|0) зависит от условия независимости

случайных величин Х1,...Ха. Рассмотрим два случая.

Случай 1. Нет информации о независимости времён до отказов, т.е. о независимости системы случайных величин Х,,...ХН.

Случай 2. Времена между отказами являются независимыми, т.е. XХп -независимые случайные величины.

Эти два случая были рассмотрены, так как, если информация о случайных пяпяметпя* о^аничен?- только нн^о^мзцмем о каждом параметре отдельно, тс модель неизвестного взаимодействия является предпочтительной. Вместе с тем независимость как идеализированная модель тоже имеет место и даёт более точные результаты.

Утверждение 1. Если нет информации о независимости дискретных случайных величин А',....,АГ(,, то справедливо равенство

тах /.(А' 101 = тя* Рг'А' =к......У =к }= т!п )-Р (к -!)].

Н ' ' К 11 г " "' 1-1 .«Л ' 11 >

Утверждение 2. Если случайные величины А',.....А'„ являются дискретными и

независимыми, то справедливо равенство

тах ЦК 19) = тахРг{А, = к,.....А'„ = к,,} = (7,(к,)-Е_,(к, -1)}.

Таким образом, максимум функции правдоподобия по множеству всевозможных распределений выражается через граничные функции распределения вероятностей, а значит, значения параметров 9 следует выбирать так, чтобы

Здесь ® - оператор, определяемый предположением о независимости случайных величин

Соответствующие результаты были получены и для системы непрерывных случайных величин, т.е. для случая, когда статистические данные Т = (г,,.../„), полученные в процессе отладки, представляют собой календарные времена между отказами.

Утверждение 3. Если нет информации о независимости непрерывных случайных величин Х,,...,Х„, то справедливо равенство

Утверждение 4. Если случайные переменные Х^...,Хп являются непрерывными и независимыми, то справедливо равенство

Все эти утверждения были строго доказаны во второй главе диссертационной работы. Кроме того, в этой же главе было показано, что построенные интервальные модели надёжности обобщают стандартные модели надёжности ППО, базирующиеся на использовании метода максимума функции правдоподобия, и нечёткие модели.

Первые являются частным случаем интервальных моделей при условии, что времена между отказами ППО представляют собой систему независимых случайных величин и ?,(*) = £,(к) = Р1{к), /=1,...,п.

Нечеткая модель может называться интервальной, если выполняются два условия: нет информации о независимости случайных времен между отказами ППО, и граничные распределения вероятностей имеют специальный вид:

Полученные во 2-й главе теоретические результаты являются инструментарием для построения интервальных моделей нового типа. Конкретные модели надёжности ППО разработаны в следующей главе и определяются способом задания граничных функций распределения вероятностей.

I» третьей главе для прогноза надёжности ППО в период эксплуатации были построены интервальные модели дискретного и непрерывного времени, комбинирующие байесовский подход и принцип максимума функции правдоподобия. Для анализа непрерывных исходных статистических данных (календарное время между отказами) создана интервальная байесовская модель гамма-экспоненциальпого распределения. Для анализа дискретных исходных

шах ЦК 19) = шах <§) (к,) - £, (к, -1)}.

шах£(Г |0) = гшп {/""((О-^, (?,)].

К л I '

где цдх)- функция распределения возможностей и о, -а^ирцД/с).

статистических данных (количество запусков программы между отказами) построена интервальная байесовская модель на основе отрицательного биномиального распределения, кроме того для анализа дискретных исходных

РТЯТНГТИийПГПУ TTaUUI.1V Ги-ЛПии^/^ТПГ* ЛТ^ПОЛП ->'1 юпаинир ГТППТ1Г.ТГ Т Г> ТЛО\ < Г>Т IТI^

- . — .---... ... . .--. ИЧ.^ХЛЧ',^...

предложен еще один класс интервальных байесовских дискретных моделей. Эти модели позволили модифицировать известные модели надежности ППО, построенные на основе неоднородных процессов Пуассона. Все полученные модели учитывают рост надёжности ППО в процессе отладки и неоднородность исходных данных, а также могут настраиваться за счёт изменения специально введенного параметра осторожности. При создании этих моделей была использован общий подход, разработанный во второй главе диссертационной работы. 1. Бета-геометрическая модель надёжности ППО.

Предполагается, что Х1,...Хп - дискретные случайные величины, число успешных запусков программы между отказами в процессе отладки, имеющие геометрическое распределение

и

где р, - параметр распределения или вероятность неуспешного запуска программы между (¡-1,1-м и ¡-м отказами.

Используя обобщённый байесовский подход и имеющиеся в наличии

статистические данные К = (к.....были найдены граничные функции

распределения случайных величин X,, зависящие только от параметра роста.

Для этого предполагается, что параметр р, сам является случайной величиной с некоторой плотностью вероятности л-(/?,|(а,Д)), здесь а„Ь1 - параметры распределения. Для согласования априорного и апостериорного распределений плотность п должна соответствовать бета распределению. Обозначим её Ве1а(а1,Ъ1), т.е.

я{р,)= Веш(а„Ь,) = р^ (1 - р, ,0 < р, < 1.

Если появилась информация о времени безотказной работы на /-м этапе отладки, то пересчитывая параметры, используя формулу Байеса, получим апостериорную плотность распределения

__/ „ I I \ _ ~ , 1 и , I. л

" \г ,+\> - " \г, I ",/ - """ V >

где (к -1) — фактическое число успешных запусков между (¡-1)~м и /-м отказами.

Таким образом, до проведения эксперимента, распределению случайной величины будет соответствовать параметр />„ с плотностью распределения вероятности к(р„)= Ве1а(а:/2). Значения параметров (а:/3) априорного распределении неизвестны, предлагаемся имеет какого-лиио конкретного распределения рассмотреть весь класс возможных распределений на множестве параметров. Для этого границы параметров (а:р) изменяются вдоль отрезка, концы которого находятся в точках с координатами (д;0). (л:0), .у > 0. Выбор отрезка

а л

ооусловлен тем, что математическое ожидание параметра />„ равно кра=--. А

значит, изменяя параметры {а;/}) данным образом, получим значения £/>0е(0;1). Здесь s - параметр осторожности, определяющий длину отрезка и соответственно границы множества распределений R,.

Пересчитывая параметры распределения р, по мере поступления статистической информации, получим на г'-м этапе тестирования

V '-1

где Д - параметр, характеризующий рост надёжности ППО в процессе исправления ошибок. В данном случае в качестве функции роста взята функция if/(i) = (i-1)/?,. В общем случае функция у(г) может иметь и другой вид.

Модифицированная функция распределения случайной величины X, имеет вид F(/cb, r (a + i + P + D.) Г (fl + D.+k) Л ' Г(Д + £>) Г(a + i + p + D,+k)'

где К, - суммарное число успешных запусков до /-го отказа, а

D =К,+{1-Щ.

Зафиксировав параметр роста Д, были найдены минимальное F_,(k | (3,) и максимальное значения функции F,(k).

В диссертационной работе было доказано, что минимальное значение функции распределения F,(k) достигается при («;Д) = (0;л), а максимальное при (a;/?) = (s;0). Таким образом,

v " Bela(s + D„k) ,v "" Beta(D„k)

Параметр Д вычисляется с использованием принципа максимума функции правдоподобия

Beta(s + i + Dl,k,-\) Bela(s + / + D„k,)'\ Beta(s^D„kl-1) Bela(D„k,) j Используя численные метопы, было получено оптимальное чнячрнир Д ^ ня основании которого были найдены функции распределения F»±\{k), £„+.(£), а значит и вероятность безотказной работы ППО после п-то отказа, которая определяется как интервал

: тахГТ

л ..г

P„U, I J. л -1- 1 + V + „R И p..!;. I .. . ;; .

--------------""V Р/^-"""*"'"

mk)=—!—,-щк)=

. ¡А

_ .-О !■

Й1Чп1к 4-ий 1г\ ' В<.1п{«4.К' .Д-«й {Л

--------ГГ--/ -----• "»*!

Имея функции распределения вероятностей времени безотказной работы ППО легко вычислить его любые характеристики, в частности нижнее Е Л',,., и верхнее

Е1 'л,,., значения математического ожидания времени безотказной работы ППО в процессе эксплуатации.

2. Гамма-экспоненциальная модель надёжности ППО.

Предполагается, что ХК,...,Х, - непрерывные случайные величины, времена между отказами программы в процессе отладки, имеющие экспоненциальное распределение

Р{Х, = 1-е4',

где Л, - параметр распределения или интенсивность отказов.

Используя методику, разработанную во второй главе, и имеющиеся в наличии статистические данные Г = (/,,...,<„), были найдены граничные функции распределения случайных величин X, и оптимальный параметр роста.

Для этого параметр Л1 был рассмотрен как случайная величина, имеющая плотность распределения

ж (Я,) = Сатти (а^Ь,) = ¿»"'Я,"1'1 схр( -Дл, )Д > 0.

Полученные граничные функции распределения вероятностей случайных величин X, имеют вид:

,|(,Н_Г 'Н'-Ы+Т, Г.д(>)=1.Г(/-М+т

где т, = ~ суммарное время до (г-1)-го отказа.

Используя принцип максимума функции правдоподобия, был найден оптимальный параметр роста Д , а значит и вероятность безотказной работы ППО в процессе эксплуатации:

т = ( + Г" ^ = ( д+(н-1)р, + г„,

- (/+г)М+(/7-1)р,; (4+/+гм1+(и-1) р,

3. Интервальные модели надёжности ППО основанные на неоднородных процессах Пуассона.

В моделях, основанных на неоднородных процессах Пуассона, предполагается, что весь промежуток отладки разделен на г интервалов (0,/,], (/,,/,],..., {/,.„/,). Значение числа отказов в интервале (/,_,./,] фиксируется и равно к, (/ = 1 ,...,г). Обозначим К = (*,,....Л,). Рассмотрим систему дискретных случайных величин

X,.....Л'., где X. - число отказов в интервале (/.,./ ] и распределение случайной

величины Х1 имеет вид

I*

где т(1) - среднее значение числа отказов до момента времени I, #я(/) = ].Я( где Я(/) - интенсивность отказов. Модели, основанные на неоднородных процессах Пуассона, различаются функцией среднего значения числа отказов: т(/) = а/Л (модель Дуэйна), пЦ1) = а(\-(\-Ь)') (модель Ямада-Охба-Осаки), т{1) = и{\~ехр(-Ы)) (модель Джоэл-Окомото), т(1) = «1п(1 + А0 (модель Муса-Окомото). Основная часть возможных функций среднего значения числа отказов ш(/) представляется как

т(1:с/.Ь) = а ■ т(1.Ь).

С другой стороны, параметр Я в распределении Пуассона и его аргумент г можно заменить параметром а и дискретным временем т(/„г>)-г(/м,6) соответственно. Фактически, заменяя X на а, получаем процесс Пуассона с масштабированным Бременем тестирования ППО, т.е. каждый интервал времени [/,.„(,] заменяется интервалом [г(/,_,,6),т(1,,6>].

Для нахождения граничных функций распределения случайных величин Х„...,ХГ был применён обобщённый байесовский подход. Полученные функции имеют следующий вид:

т(1г,Ь) + ТМ,Ь)

Т,(1.,Ь)

—>-->----,к + \,Кг

где _/ = 1,...,г, 1(яЛ,г) - регуляризованная неполная бета-функция,

г

Т1(1,Ь) = т(1,Ь)-т(1,_„Ь), г(/г,6) = 2][г(/„й)-г((,_|,6)]. Оптимальное значение параметра

м

роста Ь находится, используя полученный в главе 2 метод максимума функции правдоподобия.

В четвёртой главе был разработан программный комплекс, предназначенный для расчёта надёжности программного обеспечения, а также для сравнения работы моделей в каждом конкретном случае. Комплекс позволяет оценить, какую модель предпочтительней использовать в данной ситуации. С помощью созданного комплекса был выполнен сравнительный анализ разработанных интервальных байесовских моделей надёжности программного обеспечения дискретного и непрерывного времени с известными моделями: моделью Джелински-Моранда и моделью Литтлвуда-Веррала. Анализ продемонстрировал высокую эффективность новых моделей. Также был проведён сравнительный анализ полученных модифицированных интервальных моделей надёжности ППО, построенных на базе неоднородных процессов Пуассона, с их классическими аналогами - моделями Джоэл-Окомото и Муса-Окомото. Показано на основе используемых характеристик качества моделей, что новые модели более эффективны в случае, когда объём статистической информации мал:

Для сравнения моделей был использован алгоритм, который заключается в следующем:

1. Из множества исходных данных извлекаются первые к статистик, используя которые прогнозируется время безотказной работы ППО на (к+1)-м шаге с помощью известных моделей и новых интервальных моделей.

2. Вычисляется ЕХи, среднее значение времени безотказной работы после к

этапов отладки для стандартных моделей и его границы (£,л,Л'Ь1:£(',Л'1<,)для новых интервальных моделей.

3. Вычисляется точное значение интервала, зависящее от коэффициента пессимизма у: = +{!.

4. Сравниваются полученные средние значения с имеющейся в наличии (к+1)-й статистикой.

5. Эта процедура повторяется для (к+1)-ц, (к+2)-п ... (п-!)-й точки, после чего вычисляются отклонения прогнозируемых данных от реальных данных, а также их средние.

В качестве показателей качества прогнозирования были выбраны величины Я,, R2, , Ri, такие что

уМ^-и у|£?х,-и у|д..х.,-и

-;-Л

"I

Ri=M--

п-к п-к п-к п-к

Данный алгоритм был реализован с помощью моделирующего комплекса. Структура, созданного моделирующего комплекса изображена на рис.3.

Все программные средства реализованы в стандарте операционной системы Windows ХР и совместимых с ней систем и используют язык программирования С++ в интегрированной среде Microsoft Visual С++.

Проанализируем некоторые графики, полученные в результате серии экспериментов, проводимых с помощью новых интервальных моделей, а также с помощью известных стандартных моделей. На графиках отражена зависимость среднего числа запусков до отказа от номера этапа отладки.

График, изображённый тонкой линией с треугольными маркерами на рис. 1 -это график изменения надёжности ППО в процессе отладки, построенный по модели Джелински-Моранда, толстой линией - по интервальной бета-геометрической модели, линия средней толщины соответствует реальным статистическим данным.

Сравнивая графики, видим, что модель Джелински-Моранда демонстрирует меньшее качество прогноза, так как она даёт более завышенные значения показателей качества. Вычисляя средние значения отклонений Rt,R,,R3,Rt, получаем Я, = 8.448. Ä, = 8.605, R, = 8.485, R, = 10.272.

Таким образом, средние значения отклонений и средние величины относительных отклонений меньше для обобщённой байесовской модели надёжности по сравнению с моделью Джелински-Моранда.

Вычислим средние значения отклонений по первым 13 прогнозам, т.е. для случая, когда объём статистической информации мал. Получаем R, =3.280454 ,Я4 =3,498147 И Я, = 0,341167,Я4 = 0.363807.

Отчётливо видно, что значения всех этих показателей меньше для интервальной модели надёжности, кроме того средние значения отклонений и средние величины относительных отклонений, полученные по первым 13 прогнозам меньше, чем эти же показатели, полученные по 23 прогнозам. Это в свою очередь говорит об эффективности использования интервальной модели надёжности в случае малого

кпличег.тня ртятигтииргкОЙ ИН^С^МаЦИИ.

Графики, полученные при сравнении интервальной гамма-экспоненциальной модели с моделью Литтлвуда-Вералла имеют вид, изображённый на рис. 2.

На рис. 2 график, изображённый тонкой линией с треугольными маркерами, соответствует реальным статистическим данным, две жирные линии без маркеров -границы прогнозируемых значений математического ожидания времени до отказа, полученные при использовании интервальной гамма-экспоненциальной модели, линия с круглыми маркерами - прогнозируемые значения математического ожидания времени до отказа, полученные при использовании модели Литтлвуда-Вералла.

Соответствующие численные значения отклонений и относительных отклонений равны R, -1479.982. R1 =1488.098, А\ = 0.356. = 0.358. Анализируя графики

и сравнивая полученные отклонения, убеждаемся в том, что интервальная модель даёт более точный прогноз надёжности ППО на начальном этапе отладки.

Сравнительный анализ моделей, основанных на неоднородных процессах Пуассона и их интервальных модификаций, также показал, что интервальные модели дают более качественный прогноз.

На рис. 4 изображены отклонения прогнозируемых ожидаемых значений числа отказов от реальных данных для модели Мусса-Окомото и для её интервальной модификации. Жирная кривая с круглыми маркерами показывает отклонения, соответствующие интервальной модели. Тонкая кривая с треугольными маркерами - отклонения, соответствующие модели Мусса-Окомото. Анализируя графики отчётливо видно, что на начальном этапе отладки отклонения, полученные при применении интервальной модели, значительно меньше, чем при использовании модели Мусса-Окомото. В дальнейшем, с ростом числа испытаний, величины отклонений моделей фактически совпадают, что подтверждает эффективность использования полученных моделей в случае малого количества статистической информации.

1 6 11 16 21 номер этапа отладки \

Рис. I. Изменение среднего числа запусков до отказа ППО в процессе отладки для различных моделей

1 3 5 7 9

номер этапа отладки

Рис. 2. Изменение среднего значения времени безотказной работы ППО в процессе отладки для различных моделей (первые 11 этапов отладки)

Вспомогательные:

ПРОГРАММЫ

Подсистема, решюэида дискретше модели надехности ПО

О № Л 5

? а 5

к ? Р

С а/ о

№

¡о*

<и ас □ а о £ а

¿8

Подсистема, реа/шяцая непрерывнее

модели надежности ПО

а, о.

X о

0 ч

1

п о о

^ □ X О I

£ °Й

а 5

7> X

Й 3

ш

О I ,

Щ

% о о » 5 с 0)

О о <

а 1 £

* о £ (О

5 о

7) о «* а»

о к

зг о $ X 7> I О X 5 У

о о I о* ^ о. «=

«и

в2

§8

О {О (К

а к

Подсистема, реалвзвцая неоднородные Пзассоновские модели надехности ПО

^ §

* ¥ 04 X

гп

1 8 «?

ш а

с* и} О X

к о о < х а

ЙЛ

Г1

*§

5 о

й. г С* О

0 I

1 §

к о

0 X

1 с?

К 3

Рис.3. Структура моделирующего комплекса

Рис. 4. Отклонения прогнозируемых ожидаемых значений числа ошибок от соответствующих значений числа ошибок, фиксируемых данных для модели Муса-Окомото и её интервальной модификации

ВЫВОДЫ

1. Выполнен детальный анализ математических моделей надёжности ППО, который показал, что существующие модели, основанные на элементах классической теории вероятностей и теории возможностей, не позволяют адекватно отражать различные аспекты проявления ошибок, а также особенности статистических данных об отказах в процессе отладки и тестирования. Поэтому необходимо разрабатывать новые математические модели надежности ППО, обобщающие рассмотренные вероятностные и нечёткие модели.

2. Разработан новый метод создания классов математических моделей надёжности ППО при отсутствии информации о точных законах распределения вероятностей для двух типов представления исходной статистической информации об отказах: календарное время между отказами (непрерывные случайные величины), количество запусков программы между отказами, количество отказов за определенные интервалы времени (дискретные случайные величины). Особенность метода заключается в том, что он максимизирует функцию правдоподобия не по параметрам, а по функциям распределений в рамках заданного множества.

3. Разработаны алгоритмы для вычисления оптимальной функции п.чгппр'к1 'юнимя заданном множестве функций при условиях, когда отказы статистически независимы и когда отсутствуют сведения о независимости.

4. Построены новые интервальные байесовские модели надёжности ППО, комбинирующие байесовский подход и принцип максимума функции правдоподобия для различных типов исходной информации об отказах. Для анализа статистических данных о временах между отказами разработана обобщенная байесовская модель гамма-экспоненциального распределения, которая учитывает рост надежности ППО в результате отладки и может настраиваться за счет изменения параметра осторожности. Для анализа данных о количествах запусков программы между отказами разработана новая модель ППО на основе отрицательного биномиального распределения с аналогичными свойствами. Для анализа данных о количествах отказов за заданные периоды времени предложены

модификации известных моделей надёжности ППО, построенных на основе неоднородных процессов Пуассона.

5. Выполнен сравнительный анализ разработанных интервальных байесовских моделей надёжности прикладного программного обеспечения с известными моделями, моделью Джелински-Моранда и моделью Литтлвуда-Веррала, который показал, что новые модели позволяют получить лучший и более осторожный прогноз в случае ограниченного объема статистических данных. Аналогичные результаты показал сравнительный анализ полученных модифицированных интервальных моделей надёжности ППО, построенных на основе неоднородных процессов Пуассона, с их классическими аналогами: моделями Джоэл-Окомото и Муса-Окомото.

6. На основе разработанных математических моделей создан моделирующий комплекс программ, позволяющий вычислять надёжность ППО, используя различные виды статистических данных, а также оценивающий качество прогноза надежности для различных моделей.

СПИСОК ОСНОВНЫХ ОПУБЛИКОВАННЫХ РАБОТ

1. Уткин Л.В., Затенко С.И. Концепция для разработки нового класса интервальных моделей надёжности программного обеспечения // Известия Санкт-Петербургской лесотехнической академии. Вып. 184, СПб.: СПбГЛТА, 2008.- С. 237-245.

2. Уткин Л.В., Затенко С.И. Интервальная модель надёжности программного обеспечения на основе сочетания байесовского подхода и принципа максимума правдоподобия // Известия Санкт-Петербургской лесотехнической академии. Вып. 185, СПб.: СПбГЛТА, 2008,- С. 274-280.

3. Уткин Л.В., Затенко С.И. Разработка класса обобщённых интервальных дискретных моделей надёжности программного обеспечения на основе множеств распределений вероятностей // Мягкие вычисления и измерения: Тезисы докладов XI международной конференции. Санкт-Петербург, июнь 2008. - С.133-136.

4. Затенко С.И., Уткин Л.В. Обобщенная байесовская модель надежности программного обеспечения на основе бета-геометрического распределения // Известия Санкт-Петербургской лесотехнической академии. Вып. 186, СПб.: СПбГЛТА, 2008.- С. 196-203.

5. Затенко С.И., Уткин Л.В. Новая дискретная байесовская модель надёжности программною обеспечения с использованием интервальных вероятностей // Вестник Московского государственного университета леса. - Лесной вестник. Вып. 65, № 2, 2009. - С. 158-163.

6. Затенко С.И. Интервальная байесовская модель тестирования программного обеспечения .// Управление качеством в современной организации: Сборник статей международной научно-практической конференции. Пенза, февраль 2009. - С. 19-21.

7. Уткин Л.В., Затенко С И, Особенности тестирования программ при их использовании в учебном процессе // Актуальные проблемы развития высшей школы: Труды Санкт-Петербургской государственной Лесотехнической академии. Санкт-Петербург, март 2009. - С.195-198.

8. Уткин Л.В., Затенко С.И. Обобщение неоднородных процессов Пуассона с использованием множеств распределений в моделях роста // Мягкие вычисления и

измерения: Тезисы докладов XII международной конференции. Санкт-Петербург, июнь 2009. - С.152-155.

9. Уткин JI.B., Затенко С.И. Интервальные байесовские модели надежности программ с использованием неоднородных процессов Пуассона // Системный анализ в проектировании и управлении: Труды XIII международной научно-практической конференции. СПб.: Изд-во Политехнического университета, 2009. - С.184-185.

Ю.Уткин Л.В., Затенко С.И. Интервальная модель тестирования программного обеспечения на основе обобщенных процессов Пуассона // Информационные системы и технологии: теория и практика: Сборник научных трудов. Вып. 2, СПб.: СПбГЛТА, 2009.- С. 8-12.

ll.L.V. Utkin, S.I. Zatenko and F.P.A. Coolen. Combining imprecise Bayesian and maximum likelihood estimation for reliability growth models // Proc. of the Sixth Int. Symposium on Imprecise Probabilities: Theories and Applications, IS1PTA'09. Durham, United Kingdom, 2009. - pp. 421-430.

23.09.09 г. Зак. 215-75 РТП ИК «Синтез» Московский пр., 26

Перечень сокращений

Введение

Глава 1.

Состояние и проблемы анализа надёжности программного обеспечения.

1.1. Проблемы анализа надёжности ПО.

1.2. Вероятностные модели надёжности ПО.

1.2.1. Модель Джелински-Моранда.

1.2.2. Модель Шика-Волвертона.

1.2.3. Модель Вейса.

1.2.4. Модели Коркорэна.

1.2.5. Модель Литтлвуда-Веррала.

1.3. Возможностные модели надёжности ПО.

1.3.1. Основные понятия и определения.

1.3.2. Нечёткая модель Цая.

1.3.3. Модель Уткина (обобщение нечёткой модели Цая).

1.4. Вероятностно-возможностные модели ПО.

1.5. Интервальный подход к моделям ПО.

1.6. Основы интервального подхода в надёжности систем.

1.6.1. Понятие интервального среднего.

1.6.2. Теорема продолжения.

1.7. Постановка задач диссертационной работы.

1.8. Выводы.

Глава 2.

Обобщенные интервальные модели надёжности ПО.

2.1. Обобщённые интервальные модели ПО непрерывного времени.

2.1.1. Постановка задачи и исходные данные для ее решения

2.1.1.1. Унифицированное представление вероятностных и нечётких моделей.

2.1.1.2. Построение интервальной модели как задачи линейного программирования.

2.1.2. Отсутствие сведений о независимости или неизвестное взаимодействие.

2.1.3. Строгая независимость.

2.1.4. Надежность ПО при отсутствии сведений о независимости тестирований.

2.1.5. Надёжность ПО при независимости периодов тестирования.

2.1.6. Вид оптимального распределения в моделях надёжности ПО.

2.1.7. Вероятностная модель как частный случай обобщённой интервальной модели.

2.1.8. Нечёткая модель Цая как частный случай обобщённой интервальной модели ПО.

2.2. Дискретные обобщенные интервальные модели надёжности ПО

2.2.1. Постановка задачи и исходные данные для её решения.

2.2.2. Унифицированное представление вероятностных и нечётких моделей.

2.2.3. Построение интервальной модели как задачи линейного программирования.

2.2.4. Надежность ПО при отсутствии сведений о независимости тестирования.

2.2.5. Надёжность ПО при независимости периодов тестирования.

2.2.6. Вид оптимального распределения в моделях надёжности ПО.

2.2.7. Вероятностные и нечёткие модели ПО как частные случаи обобщённой интервальной модели.

2.3. Выводы.

Глава 3.

Разработка новых моделей надёжности ППО на основе сочетания байесовского подхода и принципа максимума функции правдоподобия.

3.1. Основные положения байесовского подхода.

3.2. Обобщённая байесовская модель надёжности ПО на основе априорного гамма распределения (непрерывный случай).

3.2.1. Гамма - экспоненциальное распределение.

3.2.2. Обобщённая гамма-экспоненциальная модель.

3.2.3. Построение обобщённой байесовской модели надёжности ПО.

3.2.4. Алгоритм построения обобщённых байесовских моделей надёжности ПО.

3.3. Обобщённая байесовская модель надёжности ПО на основе априорного бета распределения (дискретный случай).

3.3.1. Бета-биномиальное распределение.

3.3.2. Построение обобщённой дискретной байесовской модели надёжности ПО.

3.4. Интервальные модели надежности, основанные на неоднородных процессах Пуассона.

3.4.1. Вероятностные модели надежности ПО на основе неоднородных процессов Пуассона

3.4.2. Интервальные модели надежности ПО.

3.4.3. Общая схема построения интервальной МНПП.

3.4.4. Частные случаи интервальных МНПП.

3.4.4.1. Интервальная модификация модели Муса-Окомото.

3.4.4.2. Интервальная модификации модели Джоэл-Окомото.

3.4.4.3. Интервальная модификации модели Дуэйна.

3.4.4.4. Интервальная модификации модели Ямада-Охба-Осаки.

3.4.5. Алгоритм построения интервальных МНПП.

3.5. Выводы.

Глава 4.

Практическая реализация моделей и их экспериментальный анализ.

4.1. - Описание методики определения достоверности полученных моделей.

4.2. Сравнение дискретной обобщённой байесовской модели надёжности ПО, на основе априорного бета распределения, с дискретным аналогом модели Джелински-Моранда.

4.3. Сравнение непрерывной обобщённой байесовской модели надёжности ПО, на основе априорного гамма распределения, с моделью Джелински-Моранда и моделью Литтлвуда-Веррала.

4.4. Сравнение модифицированных интервальных моделей, использующих неоднородные пуассоновские процессы с их стандартными аналогами.

4.5. Разработка моделирующего комплекса для оценки надёжности

4.5.1. Требования, предъявляемые к моделирующему комплексу.

4.5.2. Структура моделирующего комплекса.

4.5.3. Основные программные модули для оценки и анализа надёжности ППО.

4.5.3.1. Модуль BGeometric.

4.5.3.2. Модуль JelinskiMoranda

4.5.3.3. Модуль BGammaExp.

4.5.3.4. Модуль 1лИ^оос1Уега11.

4.5.3.5. Модуль ДеПпзкПМогапёа 2.

4.5.3.6. Модуль ВЫе£а1:Вт.

4.5.3.7. Модуль ЫНРР.

4.6. Выводы.

Выводы.

Появление, развитие и распространение сложных информационных систем, одной из основных компонентов которых является прикладное программное обеспечение, требуют создания новых подходов к оценке их надёжности. Надёжность есть свойство системы сохранять свои характеристики в данных условиях эксплуатации. В международном стандарте 18СУ1ЕС 9126 ошибка ПО определена как некорректное действие, процесс или определение данных в компьютерной программе. Таким образом, в ПО есть ошибка, если поведение ПО не соответствует своей спецификации при условии, что она корректна. Отказ ПО представляет собой проявление в процессе эксплуатации или тестирования скрытой ошибки, полученной при разработке ПО и приводящей к получению неприемлемого результата, что приводит к снижению уровня надёжности ПО.

Одним из важнейших вопросов теории и практики надёжности ППО является разработка их математических моделей, методов и алгоритмов расчёта и анализа для прогнозирования эксплуатационной надёжности.

Актуальность темы. Современное ППО обладает рядом особенностей. Оно по большей части является достаточно сложным и крупномасштабным, что с одной стороны повышает шансы наличия ошибок в программном коде, а с другой стороны вследствие слишком сложной структуры кода не позволяет использовать целый класс моделей, основанных на структурных свойствах программ. Другой особенностью является то, что время на реализацию ППО и его тестирование в большинстве случаев ограничено значительной конкуренцией на рынке прикладных программных средств. Это существенно снижает объем статистических данных, связанных с тестированием и отладкой, и делает многие известные математические модели, основанные на статистической обработке данных, неприменимыми. В настоящее время ППО является неотъемлемой частью большинства систем управления, а значит, его ненадёжное функционирование может привести к самым различным последствиям, включая катастрофические. Это накладывает дополнительные требования к обеспечению надежности ППО.

Все эти особенности, а также участие человека на всех стадиях проектирования и тестирования программ, не позволяют использовать известные модели надежности программного обеспечения, основанные на применении только теории вероятностей, что обусловлено, прежде всего, недостатком статистической информации. Недостатком интенсивно развивающихся в последнее время нечётких моделей надёжности является малая информативность полученных результатов моделирования.

Поэтому разработка новых математических моделей анализа надёжности ППО при отсутствии достаточного количества статистической информации по результатам тестирования и отладки, при отсутствии информации о структуре ППО является чрезвычайно важной задачей.

На данный момент наибольшее распространение получили два основных подхода для моделирования надёжности ППО: подход, основанный на нахождении максимума функции правдоподобия и байесовский подход. Однако ни один из них нельзя считать универсальным. При использовании первого необходимо иметь большое количество данных об отказах в процессе отладки и тестирования. Кроме того, этот подход не может быть применим в случае большого количества параметров. Проблема, которая возникает при использовании второго подхода, заключается в том, что произвольный выбор априорного распределения при малом количестве статистической информации в достаточно сильной степени может влиять на результаты прогнозирования надежности ППО. Таким образом, создание новых методов моделирования, лишённых подобных недостатков, является актуальной задачей.

Цель работы состоит в создании классов новых математических моделей надежности ППО, основанных на использовании интервальных показателей надёжности, и ориентированных на определенные наборы ограниченных статистических данных об отказах, полученных в процессе тестирования и отладки.

Для достижения поставленной цели решаются следующие основные задачи:

- разработка методики создания дискретных и непрерывных математических моделей надёжности ППО при отсутствии информации о точных законах распределения вероятностей отказов;

- разработка новых интервальных байесовских моделей надёжности ППО, комбинирующих байесовский подход и принцип максимума функции правдоподобия;

- создание на основе разработанных математических моделей моделирующего комплекса программ, позволяющего вычислять надёжность ППО, используя различные виды статистических данных, а также оценивать качество прогноза моделей.

Объект исследования. Объектом исследования является прикладное программное обеспечение.

Предметом исследования являются модели и методы анализа надёжности ППО.

Методы исследования. В работе использовались методы математического анализа, теории вероятностей и математической статистики, методы теории интервальных средних.

Научная новизна работы заключается в следующем:

1. Разработан общий метод построения интервальных математических моделей надёжности ППО, отличающийся от существующих методов тем, что позволяет строить модели на множестве распределений вероятностей времени безотказной работы ППО в процессе отладки, используя только граничные функции распределения. Метод может быть использован в случаях, когда исходные данные об отказах носят непрерывный (календарное время до отказа) и дискретный характер (число запусков программы до отказа), а также в случае, когда отсутствуют сведения о независимости случайных времен до отказа.

2. Разработаны новые классы математических моделей надёжности ППО, которые сочетают в себе байесовский подход и принцип максимума правдоподобия, что в отличие от существующих моделей позволяет решить проблему выбора априорных распределений вероятностей параметров модели и существенно упростить задачу оптимизации функции правдоподобия.

3. Разработаны новые модификации известных моделей надежности ППО, которые позволяют работать с ограниченной статистической информацией об отказах и принимать осторожные решения о надежности ППО.

4. Создан моделирующий комплекс, предназначенный для расчёта надёжности ППО на основе новых моделей, а также для сравнения работы моделей на каждом конкретном наборе отладочных статистическйх данных. Комплекс позволяет оценить, какую модель предпочтительней использовать в анализируемой ситуации.

Практическая ценность и реализация результатов работы.

Разработанный метод построения интервальных моделей надёжности ППО позволяет существенно расширить класс существующих моделей надежности ППО и является основой для разработки новых математических моделей, которые отличаются типом граничных функций распределения вероятностей.

Созданные на базе этого метода обобщённые байесовские модели надёжности ППО позволяют получать качественный прогноз надёжности даже при малом объёме статистических данных. Эффективность предлагаемых моделей в сравнении с рядом известных моделей была продемонстрирована на реальных отладочных данных, с помощью созданного моделирующего комплекса.

Разработанный моделирующий комплекс позволяет прогнозировать надёжность ППО, используя при этом как новые, так и известные модели, а также сравнивать их на основе ряда показателей качества прогнозируемых оценок, что позволяет существенно сократить время тестирования модулей для получения требуемых оценок надёжности.

Созданный моделирующий комплекс был использован для анализа надёжности программных модулей средства защиты информации "Кобра", разработанного в научном филиале ФГУП НИИ "Вектор" СЦПС "Спектр" в 2009 г., что подтверждается актом об использовании.

Теоретические результаты диссертации, касающиеся вопросов моделирования надёжности ППО, вошли составной частью в программу дисциплин "Надёжность и диагностика систем управления" и "Диагностика и надёжность систем автоматизации" для подготовки магистров по направлению 550200 и специалистов по направлению 22030101 Санкт-Петербургской государственной лесотехнической академии имени С.М. Кирова, что подтверждается актом об использовании.

Достоверность результатов. Достоверность положений, выводов аналитических зависимостей и рекомендаций диссертационной работы базируется на применении методов теории интервальных средних, теории вероятностей, математического анализа. Основные аналитические зависимости и результаты доказаны с помощью строгих математических преобразований. Достоверность моделирования доказана на реальных статистических данных.

Основные положения выносимые на защиту:

1) Новый метод построения классов дискретных и непрерывных моделей надёжности ППО при отсутствии информации о точных законах распределения отказов и при ограниченной статистической информации об отказах.

2) Обобщённые байесовские модели надёжности ППО дискретного и непрерывного времени, модели надёжности ППО, основанные на использовании неоднородных процессов Пуассона, и модификации известных моделей надежности ППО.

3) Моделирующий комплекс, предназначенный для прогнозирования надёжности ППО на основе новых математических моделей, и реализация специальной методики оценки качества моделей.

Апробация работы. Основные научные результаты диссертации докладывались и обсуждались на Всероссийских и Международных конференциях: 11-й, 12-й Международных конференциях по мягким вычислениям и измерениям (Санкт-Петербург, 2008, 2009); 4-й Международной научно-практической конференции "Управление качеством в современной организации" (Пенза, 2009); 13-й Международной научно-практической конференции «Системный анализ в проектировании и управлении» (Санкт-Петербург, 2009); Межвузовской научно-практической конференции молодых учёных и специалистов "Современные проблемы экономики и менеджмента предприятий лесного комплекса", проходившей в Санкт-Петербургской государственной лесотехнической академии имени С.М. Кирова (Санкт-Петербург, 2009); 15-й Международной научно-методологической конференции "Актуальные проблемы развития высшей школы" (Санкт-Петербург, 2009); на Международном симпозиуме "Imprecise Probabilities and Their Applications", Durham, United Kingdom, 2009 г., на ежегодных научно-технических конференциях профессорско-преподавательского состава J1TA имени С.М. Кирова 2007-2009 г.г.

Публикации. По теме диссертации опубликовано 12 работ, четыре из которых опубликованы в рецензируемых журналах ВАК, включая одну работу, опубликованную в журнале ВАК по требуемому направлению.

Структура и объём работы. Диссертация состоит из введения, четырёх глав, выводов, списка литературы. Диссертация изложена на 154

Выводы

1. Выполнен детальный анализ математических моделей надёжности ППО, который показал, что существующие модели, основанные на элементах классической теории вероятностей и теории возможностей, не позволяют адекватно отражать различные аспекты проявления ошибок, а также особенности статистических данных об отказах в процессе отладки и тестирования. Поэтому необходимо разрабатывать новые математические модели надежности ППО, обобщающие рассмотренные вероятностные и нечёткие модели.

2. Разработан новый метод создания классов математических моделей надёжности ППО при отсутствии информации о точных законах распределения вероятностей для двух типов представления исходной статистической информации об отказах: календарное время между отказами (непрерывные случайные величины), количество запусков программы между отказами, количество отказов за определенные интервалы времени (дискретные случайные величины). Особенность метода заключается в том, что он максимизирует функцию правдоподобия не по параметрам, а по функциям распределений в рамках заданного множества.

3. Разработаны алгоритмы для вычисления оптимальной функции распределения на заданном множестве функций при условиях, когда отказы статистически независимы и когда отсутствуют сведения о независимости.

4. Построены новые интервальные байесовские модели надёжности ППО, комбинирующие байесовский подход и принцип максимума функции правдоподобия, для различных типов исходной информации об отказах. Для анализа статистических данных о временах между отказами разработана обобщенная байесовская модель гамма-экспоненциального распределения, которая учитывает рост надежности ППО в результате отладки и может настраиваться за счет изменения параметра осторожности. Для анализа данных о количествах запусков программы между отказами разработана новая модель ППО на основе отрицательного биномиального распределения с аналогичными свойствами. Для анализа данных о количествах отказов за заданные периоды времени предложены модификации известных моделей надёжности ППО, построенных на основе неоднородных процессов Пуассона.

5. Выполнен сравнительный анализ разработанных интервальных байесовских моделей надёжности прикладного программного обеспечения с известными моделями, моделью Джелински-Моранда и моделью Литтлвуда-Веррала, который показал, что новые модели позволяют получить лучший и более осторожный прогноз в случае ограниченного объема статистических данных. Аналогичные результаты показал сравнительный анализ полученных модифицированных интервальных моделей надёжности ППО, построенных на основе неоднородных процессов Пуассона, с их классическими аналогами: моделями Джоэл-Окомото и Муса-Окомото.

6. На основе разработанных математических моделей создан моделирующий комплекс программ, позволяющий вычислять надёжность ППО, используя различные виды статистических данных, а также оценивающий качество прогноза надежности для различных моделей.

1. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных. Справочное издание. М.: Финансы и статистика, 1983. 471 с.

2. Алефельд Г., Херцбергер Ю. Введение в интервальные вычисления. М.: Мир, 1987.360 с.

3. Ашанов С.А. Линейное программирование. М.: Наука, 1981. 340 с.

4. Барзилович Е.Ю., Беляев Ю.К., Каштанов В.А. и др. Вопросы математической теории надёжности / Под ред. Б.В. Гнеденко. М.: Радио и связь, 1983. - 376 с.

5. Барлоу Р., Прошан Ф. Математическая теория надёжности. М.: Сов. радио, 1969.-488 с.

6. Барлоу Р., Прошан Ф. Статистическая теория надёжности и испытания на безотказность. М.: Наука, 1984. - 328 с.

7. Беляев Ю.К. Статистические методы обработки результатов испытаний на надёжность. М.: Знание, 1982. - 100 с.

8. Боровков A.A. Курс теории вероятностей. М.: Наука, 1972. 288 с.

9. Владимирский Э.И. Киясбейли Ш.А., Шишонок H.A. Теория неопределённости в реализации задач надёжности сложных систем // Методы и системы принятия решений, Рига, РПИ, 1986.-С. 17-21.

10. Гуров C.B. Методы и модели анализа надёжности сложных технических систем с переменной структурой и произвольными законами распределений случайных параметров, отказов и восстановлений.

11. Диссертация на соискание учёной степени доктора технических наук. СПб, ЛТА, 1997.-306 с.

12. З.Гуров C.B., Уткин JI.B. Надёжность систем при неполной информации. СПб.: Любавич, 1999. 160 с.

13. Клир Дж. Системология. Автоматизация решения системных задач. М.: Радио и связь, 1990. - 544 с.

14. Колмогоров А.Н. Основные понятия теории вероятностей. М.; Л.: Главная редакция общетехнической литературы и номографии, 1936. 80 с.

15. Колганов С.К., Корников В.В., Попов П.Г., Хованов Н.В. Построение в условиях дефицита информации сводных оценок сложных систем. М.: Радио и связь, 1994. - 80 с.

16. Кофман А. Введение в теорию нечётких множеств. М.: Радио и связь, 1982.-432 с.

17. Кузнецов В.П. Интервальные статистические модели. М.: Радио и связь, 1991.-352 с.

18. Майерс Г. Надёжность программного обеспечения. М.: Мир, 1980.-360 с.

19. Мальцев Г.В., Перегуда Л.И. Показатели безотказности систем с нечётким понятием отказа // Надёжность и контроль качества. 1989. N 11. - С.16-19.

20. Надёжность технических систем: Справочник / Ю.К. Беляев, В.А. Богатырёв, В.В. Болотин и др.; Под ред. И.А. Ушакова. М.: Радио и связь, 1985.-608 с.

21. Павлов И.В. Статистические методы оценки надёжности сложных систем по результатам испытаний. М.: Радио и связь, 1982. - 168 с.

22. Половко A.M. Основы теории надёжности. М.: Наука, 1964. - 448 с.

23. Пытьев Ю.П. Возможность. Элементы теории и практики. М.: Эдиториал УРСС,2000. 192 с.

24. Райкин АЛ. Элементы теории надёжности технических систем. М.: Сов. Радио, 1978.-280 с.

25. Райншке К., Ушаков И.А. Оценка надёжности систем с использованием графов. М.: Радио и связь, 1988. - 208 с.

26. ЗКРотштейн А.П., Штовба С.Д. Нечёткая надёжность алгоритмических процессов. Винница: Континент-ПРИМ, 1997. - 142 с.

27. Рябинин И.А., Черкесов Г.Н. Логико-вероятностные методы исследования надёжности структурно сложных систем. М.: Радио и связь, 1981.- 264 с.

28. Советов Б.Я. Информационная технология. М.: Высшая школа, 1994. -368 с.

29. Справочник по прикладной статистике / Под ред. Э Ллойда, У. Ледермана, Ю.Н. Тюрина. М.: Финансы и статистика, 1989.- 510 с.

30. Судаков P.C. Избыточность и объём испытаний технических систем и их элементов // Испытания технических систем и их элементов. М.: Знание, 1980.-С.З-60.

31. Тейер Т., Липов M., Нельсон Э. Надёжность программного обеспечения. -М.: Мир, 1981.- 323 с.

32. Тулупьев А.Л., Николаенко С.И., Сироткин A.B. Байесовские сети: Логико-вероятностный подход. СПб.: Наука, 2006. 607 с.

33. Уткин Л.В. Анализ риска и принятие решений при неполной информации. СПб.: Наука, 2007. 404 с.

34. Уткин Л.В., Затенко С.И. Концепция для разработки нового класса интервальных моделей надёжности программного обеспечения // Известия Санкт-Петербургской лесотехнической академии. Вып. 184, СПб.: СПбГЛТА, 2008.- С.237-245.

35. Уткин Л.В. Надёжность систем в контексте мер возможности и вероятности // Диагностика, информатика, метрология, экология, безопасность-96: Тезисы докладов МНТК. Санкт-Петербург, июнь 1996. -С.82-83.

36. Уткин Л.В. Интервальные средние в теории надёжности // Мягкие вычисления и измерения SCM'98: Тезисы докладов Международной конференции. Санкт-Петербург, Том 1, июнь 1998. С. 194-196.

37. Уткин Л.В. Вероятностно-возможностный подход к анализу надёжности программного обеспечения // Известия ВУЗов. Приборостроение. 1998. -T.41.-N 6. С.61-66.

38. Уткин Л.В., Затенко С.И. Концепция для разработки нового класса интервальных моделей надёжности программного обеспечения. // Известия Санкт-Петербургской лесотехнической академии. Вып. 184, СПб.: СПбГЛТА, 2008.- С. 237-245.

39. Уткин JI.B., Симанова Н.В., Лапин А.Э. Осторожные байесовские модели анализа риска на основе априорного гамма-распределения и их применение // Труды 10-й Международной конференции по мягким вычислениям и измерениям. СПб.: СПбГЭТУ 2007. С. 216-219.

40. Уткин Л.В., Шубинский И.Б. Нетрадиционные методы оценки надёжности информационных систем. СПб.: Любавич, 2000. 173 с.

41. Ушаков И.А. Вероятностные модели надёжности информационно-вычислительных систем. М.: Радио и связь, 1991. - 132 с.

42. Феллер В. Введение в теорию вероятностей и её приложения. М.: Мир, 1984. Т. 2. 738 с.

43. Ханенко В.Н. Информационные системы. Л.: Машиностроение. Ленинградское отделение, 1988. - 127 с.

44. Хетагуров Я.А. Детерминированная теория надёжности экземпляра вычислительной машины, системы (Вопросы проектирования, производства, эксплуатации). М.: МИФИ, 1997. - 132 с.

45. Хыобер П. Робастность в статистике. М.: Мир, 1984. 304 с.

46. Шокин Ю.А. Интервальный анализ. Новосибирск: Наука, 1981. - 112 с.

47. Шубинский И.Б., Гуров С.В., Уткин Л.В. Распределение работ по этапам в дискретных системах // Известия Санкт-Петербургской лесотехнической академии. Вып. 5 (163), СПб.: ЛТА, 1997. С.161-170.

48. Anscombe F.J., Aumann R.J. A definition of subjective probability // Annals of Mathematical Statistics. 1963. Vol. 34. P. 199-205.

49. Berger J.O. Statistical Decision Theory and Bayesian Analysis. New York: Springer-Verlag, 1985.

50. Bernardo J.M., Smith A.F.M. Bayesian Theory. Chichester: Wiley, 1994.

51. Brocklehurst S., Kanoun K., Laprie J.C., Littlewood B., Metge S., Mellor P, Tanner A., Analyses of Software Failure Data // City University, London and LAAS-CNRS, Toulouse, Tech. Report: PDCS TRNo. 77, 1991.

52. Carnap R. Logical foundations of probability. Chicago: Chicago University Press, 1950. 607 p.

53. Cai K. Y. Wen C.Y., Zhang M.L. A critical review on software reliability modeling // Reliability Engineering and System Safety. 1991. V.32. - P.357-371.

54. Cai K. Y., Wen C. Y., Zhang M.L. A novel approach to software reliability modeling//Microelectronics and Reliability. 1993. -V.33. P. 2265 - 2267.

55. Cai K.Y. Censored software reliability models. Technical report, CSR, City University, London, 1994. 28 p.

56. Cai K.Y. Towards a conceptual framework of software run reliability modeling. Technical report CSR, City University, London, 1994. 28 p.

57. Cutello V., Montero J., Yanez J., Structure functions with fuzzy states //Fuzzy Sets and Systems. 1996. V.83(2). - P. 189-202.

58. Corcoran W.J., Weingarten H., Zehna P. W., Estimating Reliability Corcoran W.J., Weingarten H., Zehna P. W., Estimating Reliability 10, No/4,786 795 (July 1954).

59. Cooman G. The formal analogy between possibility and probability theory // Foundations and Applications of Possibility Theory Proceelings of FAPT'95, Ghent, Belgium, December 1995. International Workshop. - P.71-87.

60. Cooman G. On modeling possibilistic uncertainty in two-state reliability theory //Fuzzy Sets and Systems. 1996. V.83(2). - P.215-238.

61. Cozman F.G. Calculation of posterior bounds given convex sets of prior probability measures and likelihood functions // Journal of Computational and Graphical Statistics. 1999. Vol. 8,N 4. P. 824-838.

62. Cheng C.H. Fuzzy consecutive-k-out-of-n:f system reliability // Microelectronics and Reliability. 1994. V.34(12). - P. 1909-1922.

63. Duane J.T. Learning curve approach to reliability monitoring //IEEE Transactions on Aerospace, AS-2(2):563-566, 1964.

64. Dubois D., Prade H. When upper probabilities are possibility measures // Fuzzy Sets and Systems. 1992. V.49. - P.65-74.

65. Dubois D., Prade H. Fuzzy sets and probability: Misunderstanding, bridges and gaps // Proceedings of Second IEEE Conference on Fuzzy Systems, 1993. -P.1059-1068.

66. Fine T.L. Lower probability models for uncertainty and nondeterministic processes // Journal of Statistical Planning and Inference. 1988. Vol. 20. P. 389411.

67. Gemoets L., Kreinovich V., Melendez H. When to Stop testing software? A fuzzy interval approach // Proceedings of NAFIPS / IFIS / NASA 94, 1994. -P. 182-186.

68. Good I.J. Some history of the hierarchical Bayesian methodology // Bayesian Statistics / Ed. By J.M. Bernardo, M.H. DeGroot, D.V. Lindley, A.F.M. Smith. Valencia: Valencia University Press, 1980. P. 489-519.

69. Goel A.L., Okomoto K. Time dependent error detection rate model for software reliability and other performance measures // IEEE Trans. Reliab., R-28:206-211, 1979.

70. Goldstein M. The prevision of a prevision // J. Amer. Statist. Soc. 1983. Vol. 87. P. 817-819.

71. Gurov S.V., Utkin L.V. A new method to compute reliability of repairable m-out-of-n systems by arbitrary distributions // Microelectronics and Reliability. 1994. V.34(12). - P. 1877-1889.

72. Gurov S.V., Utkin L.V., Habarov S.P. Interval probability assessments for new lifetime distribution classes // Mathematical Methods in Reliability: Proc. of the 2nd Int. Conf. MMR'00, V.l. Bordeaux, France, 2000. - P. 483-486.

73. Hisdal E. Are grades of membership probabilities? // Fuzzy Sets and Systems. 1988. V.25. - P.325-348.

74. Z. Jelinski and P.B. Moranda. Software reliability research. In W. Greiberger, • editor, Statistical Computer Performance Evaluation, pages 464-484. Academic1. Press, New York, 1972.

75. Jelinski Z., Moranda P.B. Software Reliability Research. Academic Press, New York, 1972.- 214p.

76. Jonson N.L., Kotz S., Kemp A.W. Univariate discrete distributions. Wiley, New York, 1992.

77. Kapur P.K., Younes S. Software reliability growth model with error dependency // Microelectronics and Reliability. 1955. V.35(2). - P.273-278.

78. Littlewood B., Verall J. A Bayesian reliability growth model for computer software // Applied Statistics. 1973.-V.22(3). -P.332-346.

79. Lu M., Brocklehurst S. Combination of predictions obtained from different software reliability growth models. Technical report, The Centre for Software Reliability, City University, London, 1991. 36 p.

80. Lu M., Brocklehurst S., Littlewood B. Combination of predictions obtained from different software reliability growth models // J. Comput. Software Engng. 1993.-V.1.-P.303-323.

81. Moranda P.B. Prediction of software reliability during debugging // Proc. Annual Reliability and Maintainability Symposium, 1975. P. 134-142.

82. Musa J.D., Iannino A., Okumoto K. Software reliability: Mesurement, Prediction, Application. McGraw-Hill, 1987. 360 p.

83. Misra P.N. Software reliability analysis // IBM Systems Journal, 22(3): 262270, 1983.

84. Misra K.B., Weber G.G. A new method for fuzzy fault tree analysis // Microelectronics and Reliability. 1989. V.29. - P. 195-216.

85. Montero J., Tejada J., Yanez J. Generalstructure functions // Kybernetes. 1994. V.23(3).- P.10-19.

86. Nahmias S. Fuzzy variable // Fuzzy Sets and Systems. 1978.- V.l. P. 97 - 110. 94.0nisawa T. An application of fuzzy concepts to modeling of reliability analysis

87. Fuzzy Sets and Systems. 1990. V.37. - P.267-286.

88. Pham H., Nordmann L., Zhang X. A general imperfect-software-debugging model with s-shaped fault-detection rate // IEEE Transactions on Reliability, 48(2): 169-175, 1999.

89. Popentiu Fl., Boros D.N. Software reliability growth supermodels // Microelectronics and Reliability. 1996. V.36(4). - P.485-491.

90. Riedel T., Sahoo P.K. Mean Value Theorems and Functional Equations. World Scientific Publishing Company, 1st edition edition, 1999,- 245 p.

91. Schick G.J., Wolverton R.W. An analysis of competingsoftware reliability models // IEEE Trans, on Software Engineering. 1978.-V.SE-4(2).- P. 104-120.

92. Syversveen A.R. Noninformative Bayesian priors. Interpretation and problems with construction and applications: Preprint Statistics 3. Trondheim: Department of Mathematical Sciences, NTNU, 1998.

93. Tanaka H., Fan L.T., Lai F.S., Toguchai K. Fault tree analysis by fuzzy probability // IEEE Trans. Reliab. 1983. V.32. - P.453-457.

94. Utkin L.V. The paradox of monotony of systems by fuzzy probability // Microelectronics and Reliability. 1993. V.33(7)/-P.951 - 955.

95. Utkin L.V. General reliability theory on the basis of upper and lower previsions // Fuzzy Logic and Intelligent Technologies for Nuclear Science and Industry: Proc. Of the 3rd Int. FL1NS Workshop. Antwerp, Belgium, 1998. P.36-43.

96. Utkin L.V. Imprecise reliability analysis by comparative judgments // Mathematical Methods in Reliability: Proc. of the 2nd Int. Conf. MMR'00, V.2. Bordeaux, France, 2000. - P. 1005-1008.

97. Utkin L.V. Knowledge based fuzzy reliability assessment // Microelectronics and Reliability. 1994. V.34(5). - P.863-874.

98. Utkin L.V., Kozine I.O. Different faces of natural extension // Imprecise Probabilities and Their Applications. Proc. of the 2nd Int. Simposium ISIPTA 01/ Ed. by G. de Cooman, T.L. Fine, T. Seidenfeld. Ithaca, usa: Shaker Publishing, 2001. P. 316-323.

99. Utkin L.V., Shubinsky I.B. Imprecise reliability of systems with fuzzy states //Soft Computing and Measurements: Proc. Of the Int. Conf. SCM'00, St.Petersburg, Vol.1, 2000. P. 164-167.

100. Walley P. Statistical Reasoning with Imprecise Probabilities. London: Chapman and Hall, 1991.

101. Walley P. Inferences from multinomial data: Learning about a bag of marbles // Journal of the Royal Statistical Society, Series B. 1996. Vol. 58. P. 3 57.

102. Walley P. A bounded derivative model for prior ignorance about a real-valued parameter // Scandinavian Journal of Statistics. 1997. Vol. 24, N 4. P. 463483.

103. Walley P., Fine T.L. Towards a frequentist theory of upper and lower probability//Annals of Statistics. 1982. Vol. 10, N3. P. 741-761.

104. Weichselberger K. The theory of interval-probability as a unifying concept for uncertainty // International Journal of Approximate Reasoning. 2000. Vol. 24. P. 149-170.

105. Weichselberger K. Elementare Grundbegriffe einer allgemeineren Wahrscheinlichkeitsrechnung. Heidelberg: Physika, 2001. Vol. I Intervallwahrscheinlichkeit als umfassendes Konzept.

106. Wilks S. Mathematical Statistics. New York: Wiley and Sons, 1962.

107. Winkler R.L. The consensus of subjective probability distributions // Management Science. 1968. Vol. 15. P. 61-75.

108. Wolverton P.W.,Schick G.J., Assessment of Software Reliability TRW-SS-73-04? September 1972.

109. Xie M., Hong G.Y. Wohlin C. Software reliability prediction incorporating information from a similar project // The Journal of Systems and Software, 49:43^48, 1999.

110. Yamada S., Ohba M., Osaki S. S-shaped reliability growth modeling for software error detection // IEEE Transaction on Reliability, 32:475-478, 1983.

111. Zaden L.A. Probability measures of fuzzy events // J. Math. Anal. a. Appl. 1968. V.23.-P.421-427.

112. Zellner A. An introduction to Bayesian Inference in econometrics. New York: Wiley, 1971.1<Г?1. УТВЕРЖДАЮ

113. Директор научного филиала ФГУП"НИИ "Вектор" СЦПС «Спектр»-То "'¡"¡^'^-ь.

114. Технических наук профессор А.А. Молдовян 1Щ "Я^ЙГ |Щля 2009 г.1. Чч ■ Я- ^ =1. Акт №0210-08-1об использовании результатов диссертационного исследования Затенко Светланы Ивановны

115. Настоящим Актом подтверждаем, что в Научном филиале ФГУП НИИ «Вектор» СЦПС «Спектр» использовались результаты диссертационного исследования Затенко С.И.

116. Заместитель директора по научной работе старший научный сотрудник кандидат технических наук1. В.И. Емелин5 » февраля 2009 г.1. Копия1. Должность, /^¿^Ц!

117. ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ Государственное образовательное учреждение высшего профессионального образования Санкт-Петербургская государственная ЛЕСОТЕХНИЧЕСКАЯ АКАДЕМИЯ имени С.М. Кирова /1. Ж Ж. ¿90Л* 0*1. На №от

118. УТВЕРЖДАЮ ■ ^Проректор по учебной и1. С. Алексеевр