автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.13, диссертация на тему:Оценка достаточности тестов при тестировании ПО с учетом априорных занинй о структурных свойствах программ и вероятностных метрик тестов

» - 1 9 Л

МОСХОВСлИЙ ОРДЕНА ЛЕНИНА И ОРДЕНА ОКТЛЕРШССЗ ?ЕЕОШ?К АБГ1АЦКСНКЫЙ 31НСТ1ГГУТ ИМЕНИ СЕРГО С?Д£0КИКГДЗЕ

Ка правах рукописи ХАКБЕКЯН Арарат Гургенович

УДН 681.03-192

СЦЕНКА ДОСТАТОЧНОСТИ ГЕСТОВ ПРИ ТЕСТИРОВАНИИ ПО С УЧЕТОМ АПРИОРНЫХ ЗНАНИЙ О СТРУКТУРНЫХ СВОЙСТВАХ ПРОГРАШ И ВЕРОЯТЮСТНКХ ЫЕТРИК ГЕСТОВ

Специальность 05.13.13 - "Вычислительные машины, комплексы,

. системы и сети"

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

1йсква 1591г.

Работа выполнена в Московском ордена Ленина и ордена Октябрьской Революции авиационном институте имени С.Срдаоникид

Научный руководитель: доктор технических наук,

профессор ШУДУ К.А.

Официальные оппоненты: доктор технических наук.профессо

МУСАТОВ В.В. '

кандидат технических наук,'с.н.с ШЕВЧЕНКО A.M.

Ведущее предприятие: Центральный научно-исследовательский институт "ЦЕНТР", г.Москва

Защита диссертации состоится " "__1992 г. на

заседании специализированного Совета Д 053.18.02 в Моско^ком ордена Ленина я ордена Октябрьской Революции авиационном институте имени Серго Орджоникидзе. -. —

Просим Вас принять участие в обсуждении диссертации или прислать свой отзыв, заверенный гербовой печатью.

С диссертацией можно ознакомиться в библиотеке института.

Адрес института: 125871, г.Мэыша, ГПС, Волоколамское шоссе,- д.4, МАИ

Автореферат разослан " ^^"^^тддтг.

Ученый секретарь специализированного Совета к.т.н., доцент

В.В.Горбатов

" : СЕДАЯ ХАРАКТЕРИСТИКА РАБОТЫ

''и-:! .Актуальность проблемы. Производство и внедрение в широких масштабах средств программного обеспечения (ПО) ЭВМ и эффективность использования вычислительной техники в различных и ответственных сферах народного хозяйства в настоящее время зьдвкгаэт повышенные требования к разработке качественных программ. Острота этой проблемы обусловлена тем, что в настоящее гремя расширены возможности создания слоккых при-гладных систем ПО, которке все чаще применяются,для работы в режиме реального зремени, с выдачей управляющей информации объектам, при котором сбои или отказ обходятся очень дорого. Для обеспечения необходимой надежности системы ПО применяются различные методы контроля, тестирования, параллельное решение

задач и др.

Одним из самых эффективных методов повышения качества и надежности ПО является тестирование программ с последующим исправлением ошибки. В настоящее время проводится много исследований по совершенствованию и повышению эффективности методов тестирования. Затраты на тестирование для обнаружения ошибок достигают около половики общих затрат на разработку программ; а вместе с адаптацией, модификацией я сопровождением -70% стоимости ПО. Ваяшейаей характеристикой тестирования является число проводимых гестов, гарантирующее требуемый уровень надежности ПО. Если при этом не учитывать некоторые априорные знания о классе и структурных особенностях программ, об эффективных методах тестирования, а также о вероятностных метриках тестов, вдело необходимых тестов получается значительным. Поэтому разработка методов прогнозирования рационального числа тестов на ранних этапах жизненного цикла позволят, щая" достигнуть заданного уровня наденкостл ПО, представляется актуальной задачей.

Цель работы, состоят в исследовании и разработке методики создания и применения некоторого запаса априорной информации, позволяющей прогнозировать минимальный объем тестирования, гарактиружций заданны?! уровень наденкосги ПО, применяя при этом эффективные критерии исчерпывающего тестирования.

Методы исследований базируются на аппарате теории вероятностей и математической статистики, математических методах

теории надежности, теории градов, методах планирования эксперимента, а такке положений и результатов теории к практики те: нологик программирования.

Научная новизна. В диссертационной работе сделана попытк! более строго определить рациональный объем тестирования программ. Для этого разработаны гетерогенная и гомогенгая вероятностные модели процесса тестирования, учитывающие, в отличие от существующих моделей, такие факторы, как степень покрытия элемента программы (ЗП) тестом, вероятность обнаружения ошбга в элементе охваченного тестом и другие, позволяющие оценить необходимый объем тестирования в зависимости от конкретных условий работы программы, ее структурных характеристик, а такке свойств применяемых тестов.

Разработка' этих моделей позволяет лучше понимать свойсгвг тех ил; иных тестов, что способствует их целенаправленной разработке.

Практическая ценность и реализация работы •. Разработанные вероятностные модели оценки полноты тестирования ПО и методикг оценки надежности ПО в ходе эксплуатации могут быть использова ны при тестировании математического обеспечения вычислительных комплексов и систем, сетей, предназначенных для решения отделъ ных задач, а также слонных комплексов задач в автоматизированных системах управления. Результаты получены также при оценке трудоемкости разработки ПО при планировании работы научных кол лекгиЕов, эаккнаицихся проектированием ПО вычислительных сисге

Апробация работы. Основные положения работы докладывались и обсуждались: „ "

- на Всесоюзной научно-технической конференции "Проблемы повышения качества информации",- M., 1988;

- на межвузовской научно-технической конференции "Методы повышения надежности F3C", Пенза, 1990;

' - на научных семинарах кафедры 304 Московского авиационно; института в период 1988-1991г.г.

Публикации. По теме диссертации опубликовано шесть печатных работ, в которых достаточно полно освещены как теоретические, так и прикладные вопросы исследования.

Структура и объем работы. Диссертация состоит из введения четырех глав, заключения, списка литературы из 114 наименовали!

Работа изложена на 128 страницах основного маш-

нописного текста, включая 14 рисунков и 4 таблицы.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулированы цели и задачи исследования. Дано краткое изложение ее содержания.

• *

В первой главе приводится обзор литературы по методам оценки надежности ПО, методам тестирования программ, известным методам оценки полноты тестирования. Поставлена задача построения модели оценки полноты тестирования по вероятностным критериям.

В настоящее время для обеспечения системного подхода к проблемам создания надежного ПО и оценки полноты тестирования предложено достаточно большое число моделей надежности. Значительную роль в этом сыграли модели надежности и достаточности тестирования ПО, построенные по результатам тестирования программ на основе принципов "черного" и "белого" ящаков.

При первом подходе тестирование проводится по отношению к внешним спецификациям, который иначе называют методом проверки по исходным данным и результатам. При втором подходе исследуется логика программ. Первый подход эффективен с точки зрения обнаружения ошибок, второй метод лучше при их локализации.

Модели на основе "черного ящика" такие как экспоненциальные модели Шумана, Джелинского-Моранди, Миллера, Ямада и др. а также байесовские модели Литтлвуда, Мусы и др. основаны на числе ошибок, выявленных на этапе тестирования и отладки ПО. В этих методах оценивается как количество остающихся ошибок, так и вероятность появления ошибок. Из зсех неизвестных параметров модели надежности ПО самым ванным считается число оставшихся скрытых ошибок в программе и если бы разумная оценка его была бы известна (по крайней мерз в пределах сделанных допущений) , то можно было бы определить момент прекращения тестирования, соответственно прогнозировать объем проводимых тестов.

Весьма перспективными являются модели надежности ПО на основе "белого ящика'', таху.е как модели регрессионного типа, модели прогнозирования надежности ПО, основаккыз на представлении надежности как неоднородной структуры программ, прогнозировании числа оставшихся з программе ошибок на ранних этапях разработки (Холстед, Нельсон и др.), модели оценки достаточности

тестирования ПО (исчерпывающее тестирование Клоппера-Ппрсска, модели Рокка, Зрзкбергара и др.). В отличие от моделей "черного ящика" зтк модели являются структурно зависимым! моделями, т.е. учитывается внутренняя структура программ. Эти модели предназначены для прогнозирования надежности ПО, а также для оценки полноты тестирования ПО к служат для получения исчерпывающей информации о надежности ПО на ранних этапах проектирования программ. Кроме этого такие модели могу; быть использованы для оценки сложности комплексов программ, потребных ресурсов, а также при оценке трудоемкости разработки ПО при планировании и прогнозировании работ научных коллективов, занимающихся разработкой ПО ВС.

К серьезным недостаткам этих моделей относятся отсутствие учета внутренней логики работы программ (модель Холстеда) и эффективности тестирования в зависимости от факторов, учитывающих степень покрытия ЗП тестом, вероятность обнаружения ошибки и др.

В заключение анализа рассмотренных типов моделей надежности ПО следует отметить:

1) модели двух рассмотренных типов могут быть связаны между собой через данные, полученные с помощью прогнозирующей модели, входные данные можно использовать в качестве исходных (априорных) для моделей типа "черного ящика";

2) сфера применения моделей надежности ПО: наиболее распространенной сферой является определение оптимальной продолхситель-ности тестирования ПО (определение объема тестирования), где

в качестве критерия оптимальности выбирается минимальная стоимость тестирования и сопровождения; другая сфера применения моделей надежности НО - оценка надежности программ в процессе тестирования.

Существующие модели в основном имевт вероятностный характер и достоверность прогнозов зависит от точности исходных данных и лежащих в их основе предположений, и как правило,, приходится ограничиваться обобщенными показателями надежности программ без учета структурных особенностей программ для моделей типа "черный ящик" и вероятностных метрик тестов для моделей двух типов. А также отсутствие подробной информации об опыте их использования или рекомендаций по их применению в конкретных условиях существенно ограничивают' их применение для б ■

практического исследования надежности ПО. Это свидетельствует о практической сложности задали оценки надежности ПО.

Во второй главе предлагается метод оценки надежности и достаточности тестирования ПО, проводимого в процессе тестирования и во время эксплуатационного цикла ПО, при этом учитываются априорные знания о структурных данных и классе программ, а также вероятностных метриках тестов. Предлагается метод доверительной оценки надежности тестируемого ПО к методы оценки точности и достоверности предложенных моделей надежности ПО, вызванной погрешностью исходных данных методами Моментов и статистического моделирования.

Согласно предложенному методу разработаны:'

- гетерогенная модель надежности оценки безошибочности тестирования, безотказности ПО в ходе эксплуатационного цикла;

- гомогенная модель надежности оценки безошибочности тестирования, безотказности ПО в ходе эксплуатационного цикла;

. Предлагаемый метод оценки достаточности тестов при тестировании ПО заключается в следующем. Известны .критерии выбора совокупности тестов, покрывающих либо все команды тестируемой программы, либо все вершины, либо все пути, либо вез ветви ее графа (ГП). Наиболее подходящим критерием считается критерий ветвэй. Если считать, что кагдый тест осущесгзляэт полный контроль всех элементов ГП, через которые он проходит, то критерии ветвей обеспечивает полную проверку программы. Фактически это не так - любой тест может не обнаруживать все ошибки, даже тех элементов программы, которые схватываются данным тестом. Это монет быть вызвано тем, что вычислительные операции, произведенные по одному тесту могут оказаться не чувствительными к некоторым переменным, либо тем, что при определении предиката условий указанные ошибки могут ке вызгать неправильные переключения по ходу выполнения программ. Эти события случайные, т.к. зависят от производимой в определенных пределах ограничений комбинации-исходных данных, выбранных при .тестировании програж. Поэтому необходимое количество тестев для определения степени достоверности результатов (безошибочности) тестирования, а таете безотказности ПО в ходе эксплуатационного цикла рекомендуется оценить по вероятностному критерию, дане если сами тесты построены по каким-либо детерминированным критериям.

Для построения такой модели полноты тестирования по веро ятностным критериям допускается:

- тестирование со входными данными, выбранным, из ее .'-чнеральной совокупносг.: распределения входных значений программ,

- априорно известны значения некоторых вероятностных характеристик тестирования, а также структурные особенности про: рамм.

В такой постановке задачи в работе предлагается два подхода : •

1) либо считать тестируемую программу гетерогенной, учитывающей раздельно характеристики каждого элемента,

2) либо - гомогенной , т.е. учитывающая усредненные вероятностные характеристики элементов тестируемой программы.'

Гетерогенная модель более пригодна в случае детерминированных тестов, при котором выбираются тесты, в которых конкрет ной совокупности исходных данных поставлена в соответствие совокупность резульирующих данных для каждого элемента программы, в которых эта совокупность данных должна проверяться, хотя она может быть использована и в случае стохастических тестов, описывающихся распределением случайных величин на входе и соответствующим им распределением на выходе для отдельных элементов программ. Она в любом случае сложна в применении, т.к. требует много исходных данных.

В обоих подходах в работе определяется полнота тестирования, а именно: а) безошибочность программ после этапа тестирования, а также б) безотказность программ б ходе эксплуатации, т.е. получены оценки правдоподобия гипотезы, что в программе остались необнаруженные (скрытые) ошибки,проявляемые в эксплуатационном цикле.

Гетерогенная модель безошибочности тестирования основана на полученной в работе^зависимости

р , = ¿-П п-^и-^Л0^" >

1 Ош / ГСТ -1= ^ * <■ Ч. '

где <|. - вероятность нали.чия ошибки в и -м элементе программы (оП),

(Ц - условная вероятность обнаружения ошибки одним тестом при условии, что она есть,

Л - объем сП команд ил;: вершин на ГП, fow/гсГ зероэтность того, что в программе остается хотя бы одна необнаруженная озибка после тестирования.

Гетерогенная модель безотказности ПО в эксплуатационном цикле основана на полученной в диссерта^цин зависимости

Ра31г*г = < - П и-дал-Ъ) -

где ~ условная вероятность того, что при срабатывании

I. -го ЗП в ходе эксплуатации, содержащаяся в ней ошибка проявляется в виде отказа программы, если она есть,

8с. - условная вероятность того, что исправление £. -го ЭП удачное, при условии, что ошибка имеется,

- число повторных циклов тестирования и исправления

ошибок.

Гомогенная модель безошибочности тестирования ПО основана на следующей полученной в диссертации зависимости

. . • Рош/гом = 1-й, ___

где $ , 1 - усредненные значения , 12 • , I - 1.Я ,

£ - вероятность того, что тест охватывает некоторый произвольный ЭП.

Гомогенная модель безотказности ПО в эксплуатационном цикле основана на следующей полученной в диссертации зависимости:

' При гомогенном подходе предполагается, что вероятностные показатели определяются как статистические оценки для программы з целом, при этом если разрабатываемые програгмы однотипны, то эти параметры определяются для уке разработанных программ, мокно использовать как априорные статистические данные для других однотипных программы.

В работе получена также зависимость доверительной оценки надежности ПО по результатам тестирования при известных показателях гомогенной модели:

КМ

в

где р - уровень значимости.или доверительная оценка надежности ПО, которая представляет условную вероятность того, что -

в программе имеется хотя бы одна ошибка, необнаруженная при услоеии, что она есть,

а л ? - верхние и кизние пределы параметров гомогенной 1 ь. >

модели с^, ¡1 Ч соответственно.

Для оценки надежности модели, вызванной погрешностью исходных данных в работе используются метод моментов и метод статистического моделирования, использованных з форлуле, приведенной выше. Простейшим методом учета погрешности исходных данных является ■. оперирование по наихудшим значениям параметров модели (например, ^ , <[ и др.). Однако маловероятно, что все исходные данные имеют наихудшие (с точки зрения общего результата) погрешности.Поэтому в работе используется вероятностный подход. Для упрощения гомогенной модели" принимаются следующие допущения:

- предполагается, что погрешности параметров модели взаимно независимые случайные величины, которые подчинены какому-либо известному закону распределения с конечными начальными моментами. В частности, используются биноййльный закон распределения, характерный для случая экспериментальной оценки параметров.

В работе для этой цели решается задача, 'связанная с композицией случайных величин. Еыведены формулы начальных момент( -го порядка: а) для произведений двух случайных величин; б) для целочисленной степени случаных величин, в) для суммы двух случайных величин. В частности, для гомогенной модели безошибочности тестирования ПО начальные моменты погрешностей оценки Вш/гом Т.-го порядка определяются по'сле-

дующей форг.!уле

хП 1 * к

где с{0 - начальные моменты X -го порядка для случайной

величины и гМИ -го порядков для , £ соответственно.

В третьей главе, рассмотрены методы и алгоритмы оценки отдельных параметров моделей, рассмотренных в главе 2. Некоторые из них определяются расчетным путем, исходя из 'структуры программ. Для остальных параметров оценки получены на основе экспериментов, с помощью внесения искусственных ошибок. Предлс

жена методика проведения эксперимента и установлена категория возможных программных ошибок.

При оценке параметра вероятности охвата произвольного але-■ мента программы тестом, согласно методу Маккейба получено следующее выражение: У"(&)

Г _J- У Jhi ,

где j {.Cr) - цикломатическое число. Уаккейба, определяющее число линейно-независимых контуров в сильносвязанном графе, ; -NfTi. - число ЭП l-m маршруте (контуре) ГП, П. - число ЗП ( вершин ГП). •

В связи с несостоятельностью исчерпывающего тестирования из-за больших расходов на тестирование введена форма довери-' тельных оценок

При оценке вероятности наличия ошибки в ЗП, применяется регрессионный анализ экспериментальных данных. В качестве факторов в регрессионной модели присутствуют измеряемые показатели, характеризующие структурные свойства программ и факторы, учитывающие квалификацию программиста и др.-

Полученные результаты регрессионной модели в настоящей работе могут^быть применены как априорно-эмпирические данные при оценке

В работе рассматривается также оценка с помощью метода планирования эксперимента, где в качестве факторов, влияющих на наличие ошбок в программах выступают 2 - число элементов (команд) на одного программиста и t0TJl- длительность отладки программы. Тогда CJ, = f ( Z, i отл ) представляет собой функцию отклика- логарифмическую меру числа ошибок на одну команду в программе.

При оценке вероятности обнаружения ошибок в программ вносятся искусственные ошибки. При этом Ч можно оценить по статистическому результату повторного тестирования и отладки

^=Но/Ы > где N - число тестов, охватывающих отдельный ЭП, N о - число случаев обнаружения ошибки по результатам тестирования.

Пусть программа реализует функцию (вектор-функцию), F(Xj), гДе Xj - вектор j -го входного набора. Предполагается, что структурными характеристиками программы является множество путей Lj и подмножество входных наборов данных.

1

Правильное выполнение пути при некотором наборе данных из

дает правильное значение функции , если ветвь Ц

выполнена на наборе входных данныхЭ^ь Grj. •

Пусть ошибка I -го типа в ] -ом ЗП изменяет функцию > регистрируется функция Рц . Пусть ошибка I -го типа в ] -ом ЗП обнаруживается тестом Хт • Тогда оценка получается

V в.р {I Г1)Хт - ¿х, 1«

где вероятность обнаружения заданным тестом ошибки

I -го1^ипа в / -ом элементе,

\/дл.£ ^£1 х-г!- дисперсия случайной величины хт •

Д^о5н ~ минимально допустимое отклонение результатов

теста.

Усредненная оценка будет

Ьтр£3$и ,

где Р-: - вероятность наличия ошбки £ -го типа в ] -ом ЭП.

Оценка вероятности охвата ЭП тестом в эксплуатационном цикле решается в работе с помощью эксперимента путем пробной эксплуатации программы при статистическом моделировании'ис- -ходных данных и при внесении ошибок в. ЭП. Тогда оценка у С. г/пр

Г - — /

где Nпр - число случаев, когда ошибки обнаруживаются (проявляются) в виде отказа программы), N - общее число экспериментов.

Если в процессе корректировки выявленных ошибок новые ошибки не вносятся в программу, то тогда можно считать исправ-, ление удачным. Для того, чтобы убедиться в удачном исправлении сшибок, необходимо после исправления каждой ошибки проводить тестирование программы не только на том наборе входных данных," на котором была выявлена исправленная ошибка, но и на наборах, которые вызывают выполнение других ветвей. Поэтому статистическая оценка вероятности удачного исправления ошибочного ЗП в ходе отладки программы представляет отношение:

еЛ/^Зислр

- -г;- ;

N испр. •

где Г^Эиспр - число удачных исправлений,Ыиспр- общее число проведенных исправлений.

Для оценки В экспериментальный путем используется, как и для других параметров, принцип внесения искусственных ошибок.

В четвертой главе разработаны алгоритмы автоматической оценки достаточности тестов во время процесса тестирования программ с учетом априорных знаний, а также методика оценки надежности сложных програжл в процессе эксплуатации ПО.

Проводится сравнение с известными методами эффективности 5 -предложенной модели тестирования при одинаковых исходных данных. •

На основании машинного эксперимента при разных значениях параметров модели получены графики зависимости вероятности проявления ошибки в эксплуатационном цикле.программ от параметров модели.

Для тестирования программа проверяется при ее выполнении на ВС с некоторыми выборочными' данными из совокупности исходных" данных (тестов, генерируемых по каким-либо критериям). При этом программа либо отказывает (обнаруживается ошибка), либо выполняется успешно. Тестовый прогон проводится по последовательному плану, при этом каждый раз проверяется соответствие достаточности тестирования с заданным уровнем надежности ПО. Тестирование проводится до тех пор, пока не достигается заданный уровень надежности ( 1 /гом) по разрабоатнным гетерогенному или гомогенному методам.

В работе приводится алгоритм автоматической оценки достаточности тестирования при заданном уровне надежности. Для генерирования тестов по критерию ветвей строится граф управления V ТП. При генерации тестов для заданного пути предусматривается вывод всех условий переключения для этого пути.

Пусть предикат переключения для заданного пути определяется условиями

^>0 , иг>0 , . . . Оп.5"0 -

Тогда алгоритм построения теста для заданного пути заключается в следующем. Выбирается некоторый набор случайных исходных данных \>у= ( , ■ • ■ ") . В результате проведения

вычислений, принадлежащих данному пути, может оказаться, что некоторые условия 0[. > 0 не выполняются, допустим и^ у.

ulfc 4 о , = i.t •

Тогда из условий образуется целевая функция, которая минимизируется методом наискорейшего спуска. Результат, является тестом.

Для иллюстрации эффективности тестирования по предложенному во второй главе методу, в работе сравниваются результаты, полученные по предлагаемому методу с известными при одинаковых исходных данных: методами тестирования согласно уравнениям • Клоппера-Пкрсона и по методу, предложенному Рокком.

В первой случае, для экспериментальной оценки надежности аппаратуры применяется следующая модель. Проводится N - тестов, взятых случайным образом из генеральной их совокупности. Если Г\- из Й исправные. В случае, когда все тесты дают положительный результат, то есть а число n=N , из уравнений Кяоппера-Пирсона для необходимого, числа гестов получаем П = (пР > где Р - нижняя доверительная граница вероятности безошибочности программы, Н - число испытаний1 (тес-. tob), ß - заданный доверительный уровень. Пусть Pg„6=0,g/ ß = 0,005 > тогда необходимое число тестов N = 5°° - Для метода Рокка, необходимое число тестов, определяемого выражением м гт Г ft _ - il-Ze , где висе, - нижний доверитель-

I QvcB J г п

ныи уровень надежности-программ, И^ - вероятность того, что

выполняется L -й путь программы, при произвольном выборе исходных данных, Zp - стандартизованная переменная при ß -занчимости, f = о,оо5 , Р3„Б = о,9 , при Р-=о,5, 23° ■

Для предложенного метода N необходимое число тестов определяется согласно выражению для гомогенной модели в главе 2. Тогда для М при 0,3 , р ^ 0,005" , и при наихудшем

случае параметров о,os>i » у=0,5 > 1} = 0,5 > Юоо »0=0,9» 5=0,i » получаем N-ÜO .

При сравнении полученного числа необходимых гестов Н . . при предложенном методе, при одинаковых исходных данных и при расчетных значениях параметров модели, получена высокая эффективность тестирования.

На рис. I приводятся графики зависимости вероятности проЕвленик ошибки в эксплуатационном процессе от параметров модели, которое получены в результате малинного эксперимента

Рис.1. Графики зависимостей вероятности проявления ошибки от параметров гомогенной модели.

при различных значениях параметров.

При рассмотрении технологического процесса создания ПО как процесса создания промышленного изделия возникает необхо-. димость оценивать надежность программ на конечном или отдельных промежуточных этапах жизненного цикла разработки ПО. Исходным материалом осуществления технологических этапов ж/ц ПО является различного роде текстовые документы, например, формализованные спецификации на отдельные модули комплексов программ (КП), тексты программ на исходном языке программирования, тексты, содержащие тестовые данные, и др. С этой целью в работе разработана методика оценки надежности сложных программных систем для этапов: I - тестирования и отладки (оценки достаточности тестирования); 2- эксплуатации и сопровождения (оценка надежности). Используется гомогенная модель а) безошбочности (этап тестирования и отладки) и б) безотказности (этап эксплуатации и сопровождения),

Основные результаты полученные в работе заключаются в следующем:

1. Разработаны гетерогенные и гомогенные вероятностные модели процесса тестирования программ в случаях применения детерминированных или стохастических тестов.

2. Разработан метод доверительной оценки надежности ПО по результатам тестирования ПО, выведены аналитические выражения, определяющие методическую погрешность оценки надежности, вызванную ограниченным объемом тестирования (испытания).

Оценена точность и достоверность модели методом моментов и методом статистического моделирования.

3. Разработан алгоритм автоматической оценки надежности ПО во время процесса тестирования ПО с учетом структурных характеристик программ и тестов.

Основные положения диссертации опубликованы в работах:

1. Ханбекян А.Г. Элементы искусственного интеллекта при планировании тестирования программ БЦВМ. Сб.научн. тр. МАИ "Интеллектуальные системы управления летательными аппаратами". - М., изд. МАИ, 1991.

2. Ханбекян А.Р. Выбор тестов для тестирования, сложных программных и программно-аппаратных систем. В сб.. тезисов докладов республиканской научно-технической конференции "Роль науки и техники в решении народнозохяйственных задач Мзнгызлак-

ского региона". г.Шевченко, 1990.

3. Иыуду К.А., Мисакян М.А.-, Ханбекян А.Г. Многоуровневые решения для построения отказоустойчивых вычислительных систем. Тезисы докладов к зональной конференции "Методы оценки и повышения надежности РЗС".- Пенза, 1990.

4. Иыуду К.А., Ханбекян А.Г., Мисакян М.А. К проблеме достаточности тестов для тестирования сложных программных систем.- М., 1939, 12 с. ДЕЛ.'в ИШОРМПРИБОР 25.07.89, №4б66-Пр89.

5. Иыуду К.А., Ханбекян А »Г., -Мисакян М.А. Оценивание' ка. чества сложных систем программного обеспечения по* информационным критериям. Межвузовский сборник научн. трудов "Проблемы повышения качества информации". - М., 1938.

6. Иыуду К.А., Мисакян М.А., Ханбекян А.Г. Оптимальное расположение контрольных точек и выбор средств сохранения информации.- М., 1939, 10 с. ДЕЛ. в ШЮРШРИБОР 25.07.89,

И' 4657-Пр39.