автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Разработка моделей, методов и специального математичесокго обеспечения для повышения качества сложных комплексов программ в АСУ

ВНЕЖНИЕ.

Глава I. МЕТОДЫ ПОВЫШЕНИЯ КАЧЕСТВА СЛОЖНЫХ КОМПЛЕКСОВ ПРОГРАММ АСУ.

1.1. Основные этапы повышения качества сложных комплексов программ АСУ.

1.2. Обзор моделей и методов повышения качества сложных комплексов программ на этапе системной отладки.

1.3. Постановка задачи исследования.

1.4. Методология планирования и организации системной отладки сложных комплексов программ

Глава 2. МЕТОДЫ ВЫБОРА ОПТИГ'ШЬШ^'-ОТ^АТЕГШ СИСТЕМНОЙ ОТЛАДКИ когшжсовдайжл АСУ

2.1. Общая задача выбора оптимальной стратегии системной отладки комплексов программ АСУ

2.2. Методы и алгоритмы определения основных характеристик тестовых множеств при решении задачи выбора оптимальной стратегии системной отладки.

2.3. Методы выбора оптимальной стратегии системной отладки сложных комплексов программ

2.4. Использование методов выбора оптимальной стратегии системной отладки при планировании отладочных работ в АСУ МТС "Метро"

Глава 3. МОДЕЛИ И МЕТОДЫ ОПТИМИЗАЦИИ ПРОЦЕССОВ ТЕСТИ

РОВАНИЯ НА ЭТАПЕ СИСТЕМОЙ ОТЛАДКИ СЛОЖНЫХ КОМПЛЕКСОВ ПРОГРАММ АСУ.

3.1. Задачи выбора оптимальных тестовых множеств на этапе системной отладки.

3.2. Модели и методы тестирования физической реализуемости комплексов программ АСУ

3.3. Методы и алгоритмы тестирования времени функционирования комплексов программ АСУ

3.4. Оптимизация процессов тестирования на этапе системной отладки в комплексах программ АСУ

МТС "Метро".

Глава 4. АВТОМАТИЗАЦИЯ ПРОЦЕССА ЛОКАЛИЗАЦИИ ОШИБОК В СЛОЖНЫХ КОМПЛЕКСАХ ПРОГРАММ АСУ НА ЭТАПЕ СИСТЕМНОЙ ОТЛАДКИ.

4.1. Методы локализации ошибок в комплексах программ с использованием специальных сетей

Петри

4.2. Определение области локализации ошибок по результатам тестирования.

4.3. Определение мест расположения ошибок в комплексе программ.

4.4. Автоматизированная система локализации ошибок в комплексах программ АСУ.

4.5. Использование методов автоматизации процессов локализации ошибок в АСУ МТС "Метро"

ЗАКЛКНЕНИЕ.

Актуальность темы. Одним из главных направлений ускорения научно-технического прогресса является совершенствование вычислительной техники, экономико-математических методов и программного обеспечения систем управления.

Качество и эффективность функционирования современных автоматизированных систем управления в значительной степени определяется качеством используемого в них программного обеспечения, которое представляет собой большие комплексы программ объемом в десятки тысяч команд. Одним из основных этапов формирования качества сложных комплексов программ АСУ является системная отладка. Трудоемкость существующих методов отладки комплексов программ АСУ составляет около 50% общей трудоемкости разработки и внедрения системы, а длительность - величину порядка одного года [27].

Наиболее перспективными путями уменьшения трудоемкости подготовки и повышения качества комплексов программ АСУ является разработка и использование формализованных моделей и методов планирования и организации процессов отладки, автоматизация генерации тестов и локализации ошибок, разработка автоматизированных систем отладки.

Известные в настоящее время методы оптимизации отладочных работ недостаточно формализованы, не всегда и не в должной мере учитывают специфику создания и функционирования АСУ, реализованы для частных случаев или отдельных этапов отладки. Это не позволяет учесть все необходимые факторы, влияющие на качество комплексов программ АСУ, и приводит к решению общей проблемы совершенствования отладки на основе здравого смысла, интуиции и опыта разработчиков и программистов.

Разработка и использование методологии повышения качества комплексов программ АСУ, формальных методов и моделей планирования и организации системной отладки позволяет существенно сократить стоимость и сроки разработки и внедрения программного обеспечения и повысить качество проектируемых систем управления.

Широкое использование АСУ в различных отраслях народного хозяйства, рост объема и сложности используемого в них программного обеспечения, существенные затраты времени и средств на его отладку, а также значительные потери от необнаруженных в процессе отладки ошибок обусловливают актуальность выполненных и представленных в диссертации научных исследований.

Цель работы. Целью диссертационной работы является разработка методологии планирования и организации системной отладки сложных комплексов программ АСУ, формализованных моделей, методов и алгоритмов проведения отладочных работ, обеспечивающих повышение качества программного обеспечения функциональных задач АСУ.

Научная новизна. На основании проведенных исследований и обобщения существующих методик и опыта отладки сложных комплексов программ в АСУ различного класса и назначения разработана методология планирования и организации системной отладки, основу которой составляет многоэтапный итеративный процесс получения комплекса программ с заданными показателями качества.

В рамках предложенной методологии сформулированы постановки задач, разработаны модели, методы, специальные алгоритмы и программы оптимального планирования и организации процессов системной отладки, обеспечивающие:выбор оптимальной стратегии системной отладки (определение состава и последовательности отлаживаемых структур исследуемого комплекса программ, а также состава и структур "заглушек" и "драйверов") по критериям минимума временных и стоимостных затрат на проведение отладочных работ; выбор множества тестов, позволяющих получить заданные значения показателей качества,по критериям минимума временных и стоимостных затрат на отладку на основе использования специальных таблиц "компоненты-маршруты" и "маршруты-тесты"; организацию оптимизационной последовательности процедур получения заданных значений показателей физической реализуемости и времени функционирования; определение состава областей локализации ошибок по результатам тестирования; проведение целенаправленного поиска ошибок с учетом весов элементов области локализации в формировании ошибочных результатов тестов на основе использования языка сетей Петри.

Предложенные в работе постановки задач оптимизации системной отладки, методы и алгоритмы их решения впервые разработаны и опубликованы автором и позволяют формализовать, оптимизировать и в значительной степени автоматизировать процессы планирования и проведения системной отладки сложных комплексов программ АСУ, а также повысить качество программного обеспечения, передаваемого в эксплуатацию, и снизить затраты и время на проведение работ по его отладке.

Практическая, ценность. Разработанные модели и методы позволяют оптимизировать процесс системной отладки и повысить качество сложных комплексов программ АСУ. Использование предлагаемой методологии планирования и организации системной отладки и совокупности формализованных моделей, методов и алгоритмов обеспечивает существенное снижение (на 20-25%) временных и стоимостных затрат на отладку при нормативных трудозатратах. Методы решения поставленных задач реализованы с использованием стандартного математического обеспечения ЕС ЭВМ, а также специально разработанного на языке Фортран программного обеспечения, что позволяет использовать предлагаемые методы и алгоритмы при разработке и отладке комплексов программ АСУ в различных научно-исследовательских и проектных организациях и вычислительных центрах.

Внедрение. Предложенная методология планирования и организации системной отладки, методы выбора оптимальной стратегии системной отладки, методы выбора оптимальных тестовых множеств и организации процессов тестирования по показателям физической реализуемости и времени функционирования, а также методы автоматизации процессов локализации с использованием сетей Петри применены при разработке и отладке функциональных задач подсистем АСУ БПО "Союзрезинотехника", при создании 1-й очереди АСУ МТС "Метро" и при разработке информационного и программного обеспечения АСУ группы предприятий Молдавского региона, что позволило повысить качество проектных решений, уменьшить количество необнаруженных ошибок, сократить трудоемкость и время проведения системной отладки на 20-25$.

В целом внедрение разработанных методов оптимизации системной отладки позволило получить экономический эффект свыше 90 тыс. рублей в год.

Содержание работы. В первой главе диссертации рассмотрены проблемы повышения качества программного обеспечения АСУ, Определены цели, этапы и методы системной отладки как основного этапа формирования качества сложных комплексов программ АСУ. Приведен обзор известных методов обеспечения качества и эффективности отладочных работ и анализ возможностей их совершенствования. Анализ современных методов повышения качества комплексов программ АСУ позволил определить основные направления их развития, важнейшими из которых являются создание методологии планирования и организации системной отладки, оптимизации и автоматизация отдельных этапов системной отладки.

Отличительными особенностями рассматриваемых в работе комплексов программ АСУ являются:большое разнообразие и количество взаимосвязанных структурированных программных модулей, обеспечивающих выполнение основных функций системы управления; большие объемы перерабатываемой информации; сравнительно несложные процедуры преобразования с большой долей логических процедур преобразования данных; повышенные требования к времени функционирования, защите от несанкционированного доступа, надежности, достоверности исходных данных и т.п.

Основными этапами системной отладки таких комплексов программ являются:анализ текста программы, построение моделей и составление плана отладки; тестирование физической реализуемости; тестирование времени функционирования, функций, связей по управлению и информации; тестирование надежности и защиты; анализ эффективности комплекса программ и т.п.

Системную отладку предлагается рассматривать как итеративный процесс получения программного продукта с заданными показателями качества. Для оценки качества программного обеспечения АСУ на этапе системной отладки предложена система следующих обобщенных показателей: сложность, избыточность, физическая реализуемость, время функционирования, функциональная корректность, согласованность по информации, согласованность по управлению, показатели, характеризующие надежность, эффективность систем защиты и средств восстановления, затраты на проектирование и отладку комплекса программ. Введенная система показателей качества позволяет рассматривать кавдый этап системной отладки как итеративный процесс, каждая итерация которого предусматривает оценку определенной совокупности показателей качества, сравнения этих значений с требованиями спецификаций, выбора действий по установлению причин выявленных несоответствий, их локализации и устранению. Такой подход обеспечивает широкие возможности для разработки и применения методов оптимизации планирования и организации отладочных работ.

Во второй главе на основе использования графовых моделей исследуемого комплекса программ рассматриваются задачи оптимального планирования системной отладки.

Планирование системной отладки предлагается проводить с учетом структуры комплекса программ на основе выбора стратегии проведения отладочных работ, т.е. состава и последовательности отлаживаемых подструктур, обеспечивающих оптимальные временные или стоимостные характеристики отладки.

Задачи выбора оптимальной стратегии системной отладки поставлены и решены с использованием графовой модели комплекса программ, в которой вершинами являются подпрограммы комплекса, дугами - связи по управлению между ними, а также с использованием блок-схем комплекса программ и его частей. Использование этих моделей обеспечивает возможность определения основных структурных характеристик комплекса программ, формализацию и выделение основных инструментов отладки в виде специальных подпрограмм, определяющих общее время и стоимость проведения отладочных работ для заданной стратегии системной отладки.

Поставлена общая задача выбора оптимальной стратегии системной отладки и исследованы методы ее решения. В качестве критерия оптимальности приняты минимум времени, необходимого для проведения отладочных работ, либо минимум общей стоимости их проведения.

Разработаны методы и алгоритмы расчета средних длин и среднего количества маршрутов обработки информации для определения временных и стоимостных характеристик стратегий системной отладки.

Разработан метод выбора оптимальной стратегии системной отладки из множества заданных стратегий. Решение задачи выбора оптимальной стратегии осуществляется с использованием стандартного математического обеспечения. Приведен пример практического использования предложенных моделей, методов и алгоритмов выбора оптимальной стратегии отладочных работ.

В третьей главе исследованы методы и алгоритмы оптимизации тестирования, по результатам которого определяются фактические значения основных показателей качества комплекса программ АСУ, и осуществляется выбор действий по приведению этих значений к требованиям спецификаций.

Рассмотрены модели и методы выбора оптимальных множеств тестов для оценки значений компонент показателей качества и тестов, по результатам которых проводится локализация ошибок. Выбор таких тестовых множеств позволяет получить в процессе системной отладки комплекс программ с заданными показателями качества при минимальных временных или стоимостных затратах на проведение отладочных работ.

Выбор тестов проводится с использованием таблиц "компоненты-маршруты" и "маршруты-тесты", получаемых на основании анализа компонент показателей качества, структурных элементов блок-схем и множеств тестов для проверки структурных элементов. Задачи формулируются как линейные задачи математического программирования и решаются с использованием стандартного пакета прикладных программ.

Рассмотрены особенности показателей физической реализуемости и времени функционирования. Исследован необходимый набор процедур по определению фактических значений этих показателей и приведению их в соответствие с требованиями спецификаций.

Процесс тестирования физической реализуемости комплекса программ предлагается сопровождать решением задач оптимизации объема оперативной памяти, необходимой на размещение информационных элементов исследуемого комплекса программ в процессе его функционирования.

Процесс тестирования времени функционирования сопровождается исследованием возможностей сокращения времени решения задачи комплексом программ. Предлагается алгоритм, позволяющий сократить это время за счет параллельной работы операций ввода-вывода и информационно-независимых от них частей комплекса программ. Определение информационно-независимых от операций ввода-вывода частей комплекса программ предлагается осуществлять с использованием матриц смежности и достижимости вершин блок-схемы исследуемого комплекса программ.

Рассмотрено применение методов оптимизации процессов тестирования при отладке комплексов программ задач АСУ МТС 'Метро".

В четвертой главе исследуются процессы локализации ошибок, модели и методы их формализации и автоматизации с использованием аппарата сетей Петри.

Локализацию ошибок, вызывающих несоответствие значений показателей качества требованиям спецификаций и выявленных в процессе тестирования, предлагается осуществлять с использованием метода обратного хода от ошибочных выходных результатов теста к источникам их формирования. С целью сокращения трудоемкости и стоимости системной отладки предложена двух-шаговая процедура поиска ошибок с использованием метода обратного хода. На первом шаге по результатам тестирования определяется перечень информационных элементов области локализации и их вес в формировании ошибок и создается локализаци-онный тест для определения значений элементов области локализации. На втором этапе с учетом весов элементов области локализации осуществляется целенаправленный поиск места расположения ошибки в комплексе программ путем последовательного анализа значений элементов области локализации, полученных в результате локализационного теста.

Использование специальных сетей Петри для моделирования двух шагов поиска ошибок позволяет формализовать, оптимизировать и в значительной степени автоматизировать процессы определения областей локализации ошибок и мест их расположения в исследуемом комплексе программ.

Специально разработанное математическое и программное обеспечение является основой автоматизированной системы локализации ошибок в сложных комплексах программ АСУ, использование которой при отладке функциональных задач АСУ МТС "Метро", АСУ ШО "Союзрезинотехника" и других АСУ позволило сократить трудоемкость отладки в целом на 20-25% и повысить качество создаваемых комплексов программ.

В приложении к диссертации приводятся доказательства утверждения для определения областей локализации и мест расположения ошибок в комплексе программ, оценка экономической эффективности применения разработанных моделей и методов при проведении отладочных работ в АСУ МТС "Метро" и материалы, подтверждающие внедрение и практическое использование полученных автором результатов.

Апробация работы. Основные результаты диссертационной работы обсуждались и докладывались автором на XKIX и XXX Конференциях молодых ученых Института проблем управления (Москва, 1983,1984), 8-м Всесоюзном совещании 'Управление большими системами" (Алма-Ата, 1983), IX Всесоюзном совещании по проблемам управления (Ереван, 1983), Международной конференции "Диагностическое обеспечение цифровых систем" (ЧССР,Брно, 1983), Координационном совещании Комиссии "Автоматизация проектирования систем управления" секции "Техническая кибернетика" Научного совета АН СССР (Москва, 1984).

Публикации. Результаты проведенных исследований опубликованы в трех научных трудах.

Объем работы. Диссертационная работа состоит из введения, четырех глав, заключения и двух приложений. Работа включает 148 страниц машинописного текста, 21 рисунок, 7 таблиц и список литературы (72 наименования).

ЗАКЛШЕНИЕ

1. Проведен анализ этапов и известных методов повышения качества сложных комплексов программ АСУ. Обоснована необходимость создания методологии планирования и организации системной отладки как основного этапа формирования качества комплексов программ АСУ.

2. Разработана методология планирования и организации системной отладки, определяющая основные методы и этапы отладочных работ. Предложенная методология основана на использовании формализованных моделей, методов и алгоритмов планирования и организации системной отладки в рамках многоэтапного итеративного процесса получения комплекса программ заданного качества. Систематизированы основные показатели качества комплексов программ АСУ на этапе системной отладки.

3. Разработаны модели, методы и алгоритмы планирования системной отладки, позволяющие в отличие от известных методов осуществлять планирование отладочных работ с учетом структуры комплекса программ на основе выбора оптимальной стратегии отладки. Поставлена общая задача выбора стратегии системной отладки, обеспечивающая минимальное время или стоимость на ее проведение, и исследованы возможности ее решения. Разработан метод выбора оптимальной стратегии системной отладки из множества заданных стратегий по критериям минимума времени и стоимости на проведение отладочных работ, основанный на использовании специальных алгоритмов расчета временных и стоимостных характеристик стратегий системной отладки. Разработанные методы планирования системной отладки обеспечивают выбор состава и последовательности отлаживаемых подструктур комплекса программ, а также состава подпрограмм "заглушек"

41 о •« и "драйверов при минимальных временных и стоимостных характеристиках системной отладки.

4. Разработаны модели и методы определения оптимального множества тестов для оценки значений требуемых показателей качества комплекса программ и оптимального множества тестов, по результатам которых проводится локализация ошибок. Выбор оптимальных тестовых множеств в рамках выбранной стратегии системной отладки обеспечивает заданную полноту проверки графовых подструктур комплекса программ при минимальных временных или стоимостных характеристиках на проведение отладочных работ.

5. Рассмотрены особенности показателя физической реализуемости комплекса программ и методы определения необходимого набора процедур по приведению значений компонент этого показателя к требованиям спецификаций. Поставлены и решены задачи перераспределения требуемой памяти комплекса программ, обеспечивающие оптимизацию объема оперативной памяти, необходимой на размещение его информационных элементов. Поставлена и решена задача оптимальной сегментации комплекса программ, обеспечивающая его размещение в заданном объеме оперативной памяти.

6. Рассмотрены особенности показателя времени функционирования комплекса программ и методы определения необходимого набора процедур по приведению его значений в соответствие с требованиями спецификаций. Предложены методы и алгоритмы сокращения времени функционирования комплекса программ за счет организации параллельного выполнения операций ввода-вывода и информационно независимых от них частей комплекса программ, обеспечивающие получение заданных значений показателя времени функционирования.

7. На основе анализа процесса локализации ошибок, характеристик и свойств ошибок в сложных комплексах программ на этапе системной отладки, а также возможностей применения аппарата сетей Петри разработан метод локализации ошибок, определяющий основные шаги процесса локализации и позволяющий в отличие от других методов проводить целенаправленный автоматизированный поиск ошибок в комплексе программ с учетом результатов конкретных тестовых наборов.

8. Разработаны формализованные модели локализации ошибок в сложных комплексах программ с использованием языка специальных сетей Петри, отображающие процесс определения области локализации ошибок по результатам тестирования и процесс целенаправленного поиска места расположения ошибок в комплексе программ с учетом весов элементов области локализации и позволяющие автоматизировать основные операции этих процессов.

9. На основе предложенных моделей, методов и специального математического обеспечения разработана автоматизированная система локализации ошибок в комплексах программ АСУ, позволяющая автоматически проводить основные операции процесса локализации ошибок, и сократить время и трудоемкость системной отладки в целом на 20-30% и повысить качество проектируемых комплексов программ,

10. Разработанная методология системной отладки, модели и методы оптимизации планирования и организации отладочных работ использовались при отладке комплексов программ АСУ МТС "Метро", АСУ ЕЛО "Союзрезинотехника", АСУ группы предприятий Молдавского региона.

1. Безбородов Ю.М. Индивидуальная отладка программ. М.: Наука, 1982, 189 с.

2. Голубева С.М. Методы повышения надежности вычислительных процессов в ЭВМ и качества программного обеспечения, основанные на использовании тестирования и резервирования программ. Дисс. . кандидата технических наук, 1980. 159 с.

3. Василевский А.С. Распределение директивного ресурса времени по отдельным этапам отладки математического обеспечения специализированных цифровых вычислительных систем. -Вопросы судостроения, 1976, №2, с. 11-24.

4. Ван Тассел Д. Стиль, разработка, эффективность, отладка и испытания программ. М.: Мир, 1981. 320 с.

5. Дал У., Дийкстра Э., Хоор К. Структурное программирование. М.: Мир, 1977. 247 с.

6. Ершов А.П. Введение в теоретическое программирование. М.: Наука, 1977. 286 с.

7. Канторович Л .В., Залгаллер В.А. Рациональный раскрой промышленных материалов. Новосибирск: Наука, 1971. 299 с.

8. Капровский ЕЛ., Титов В.Г. 0 современном состоянии вопроса надежности программного обеспечения. В кн.: Информационные процессы в сложных системах. Кишинев: Наука, 1978, с. 88-96.

9. Корбут А.А., Финкелышгейн Ю.Ю. Дискретное программирование М.: Наука, 1969. 368 с.

10. Косяченко С.А., Кульба В.В., Цвиркун А.Д. Вопросы оптимального планирования системной отладки задач, реализуемых в АСУ. В сб. трудов "Вопросы создания и проектирования АСУ". М.: Институт проблем управления, 1975, вып. 6, с. 122-143.

11. Косяченко С.А., Соколова Е.Б. Методы автоматизации отладки программного обеспечения модульных систем обработки данных. Тезисы докладов IX Всесоюзного совещания по проблемам управления. М.: Институт проблем управления, 1983, с. 345.

12. Котов В,Е. Алгебра регулярных сетей Петри. Препринт 98. Новосибирск: ВЦ СО АН СССР, 1978. 38 с.

13. Кульба В.В., Пелихов В.П. Задачи анализа и синтеза систем защиты и контроля при обработке данных в АСУ. Препринт. М.: Институт проблем управления, 1980. 46 с.

14. Кульба В.В. Мамиконов А.Г., Шелков А.Б. Резервирование программных модулей и информационных массивов в АСУ. Автоматика и телемеханика, 1980, № 8, с. I33-I4I.

15. Липаев В.В. Эффективность использования временной избыточности для повышения надежности программ управления. -Автоматика и телемеханика, 1981, Ш, с. 175-184.

16. Липаев В.В. Надежность программного обеспечения АСУ. М.: Энергия, 1981. 239 с.

17. Липаев В.В. Качество программного обеспечения. М.: Финансы и статистика, 1983. 261 с.

18. Липаев В.В., Фидловский Л.А., Филлипович В.В., Шнейдер Б.Н. Отладка систем управляющих алгоритмов ЦВМ реального времени. М.: Советское радио, 1974. 326 с.

19. Липаев В.В. Проектирование математического обеспечения АСУ. М.: Статистика, 1977. 400 с.

20. Майере Г. Надежность программного обеспечения. М.: Мир, 1980. 360 с.

21. Мамиконов А.Г., Кульба В.В., Косяченко С.А. Методы планирования и управления процессами отладки и внедрения комплексов программ АСУ. М.: ИКА ЦНШприборостроения, 1976, J* 3, с. 43-48.

22. Мамиконов А.Г., Косяченко С.А., Кульба В.В., ЕЕвиркун А.Д. Автоматизация процессов отладки и внедрения информационных задач АСУ. В кн.: Автоматизация проектирования систем управления. М.: Статистика,:1978, с. 155-195.

23. Мамиконов А.Г., Ашимов А.А., Кульба В.В., Косяченко С.А., Казиев Г.З. Синтез оптимальных функциональных модулей обработки данных в АСУ. Препринт. М.: Институт проблем управления, 1979. 83 с.

24. Мамиконов А.Г., Косяченко С.А., 1{ульба В.В., Цвиркун

25. А.Д. Отладка и опытная эксплуатация комплексов программ АСУ:. Препринт. М.: Институт проблем управления, 1979.- 80 с.

26. Мамиконов А.Г., Кульба BJB. Методы анализа и синтеза оптимальных модульных систем обработки данных. Автоматика и телемеханика, 1980, Л II, с. I5I-I80.

27. Мамиконов А.Г., Цвиркун А.Д., Кульба В.В. Автоматизация проектирования АСУ. М.: Энергоиздат, 1981. 328 с.

28. Мамиконов А.Г., Кульба В.В., Косяченко С.А., Преображенский А.А., Ходыкин В.Ф. Использование сетей Петри для анализа и синтеза оптимальных модульных систем обработки данных. Препринт. М.: Институт проблем управления, 1983.- 42 с.

29. Мамиконов А.Г., Кульба В.В. и др. Предпроектный анализ структуры информационных потоков и технологии обработкиданных при разработке модульных СОД. Препринт. М.: Институт проблем управления, 1980. 43 с.

30. Модели объектов, методы и алгоритмы диагноза /Под ред. П.П.Пархоменко. Кн. I. М.: Энергия, 1976. 463 с.

31. Пархоменко 1.П., Правшгыциков П.А, Диагностирование программного обеспечения. Автоматика и телемеханика, 1980, J6 I, с. 103-122.

32. Правильщиков П.А, Построение тестов для программ, Автоматика и телемеханика, 1977, JS 5, с. 147-160.

33. Правильщиков П.А., Щепин B.C. Составление структурных программ с одновременной генерацией тестов, Автоматика и телемеханика, 1979, is 8, с. 129-139.

34. Поспелов Д.А. Введение в теорию вычислительных систем. М.: Советское радио, 1972, 280 с.

35. Средства отладки больших систем. /Под ред. Р.Растина. М.: Статистика, 1977. 135 с.

36. Соколова Е.Б. Оптимизация процессов системной отладки сложных комплексов программ АСУ. Материалы УШ Всесоюзного семинара-совещания "Управление большими системами". Алма-Ата; 1983, с. 148-149.

37. Топалов Н.Н. Системы и методы отладки программ. Препринт 81. М.: Институт прикладной математики АН СССР, 1976. -42 с.

38. Трахтенгерц Э.А. Введение в теорию анализа и распараллеливание программ ЭВМ в процессе трансляции. М.: Наука, I98I. 254 с.

39. Чжен Г., Меннинг, Метц Г. Диагностика отказов цифровых вычислительных систем. М.: Мир, 1972. 232 с.

40. Ющенко Е.В., Касаткина Й.В. Современные методы доказательства правильности программ. Кибернетика, 1980, № 6, с. 37-62.

41. Bifeevskis J., Borsov J., Larins A., Miller E.I?. SMOTL

42. A System to Construct Samples for Data Prosessing Rrpgram Debugging. Infotech State of the Art Report. Software Testing, v.II, Invited Papers, 1979» PP« 13-29.

43. Brown P.J. Programming and Documenting Software Projects. Computing Surveys, 1974, v.6, №4,pp. 213-221.

44. Boyer R.S.,Elpas В., Levitt Select a Formal System for Testing and Debugging Programs. In proc. 1975 Int. Conf. on Reliable Software, Apr., 1975, pp. 234-245.

45. Darringer J.A. The Use of Symbolic execution in Program Testing. Infortech State of the Art Report. Software Testing, v. II. Invited Paper, 1979» pp. 35-43.

46. Clark L.A. Automatic Test Data Selection Techniques. Infortech State of the Art Report. Software Testing, v. II, Invited Papers, 1979» PP* 43-65.

47. DeMillo R.A., Sayward F.G., Lipton R.J. Program Mutations a New Approach to Program Testing. Infortech State of the Art Report. Software Testing, v. II, Invited Papers, 1979» pp. 107-120.

48. Durun J. W., Wiorkowski J.J. Quantifying Software Validity by Sampling. IEEE Transaction on Reliability,I98O,1. R-29, №2, pp. I4I-I44.

49. Girard G.I., Rault J-C. A Programming Iechniques for Software Reliability. IEEE Symp. 011 Software Reliability, N.Y., 1975, PP. 73-80.

50. Devis D.,Julian M. The Fifty Percent Rule Reviseted. BIT, I960, v.20, №3, PP. 279-288.

51. Hetzel W.C. Principles of Computer Program Testing. In Program Test Methods, Prantice Hall, Inc. Englewood Cliffs, 1973, PP. 17-28.

52. Hecht H. Fault-Tolerant Software. IEEE Transaction on Reliability, 1979, R-26,N°3, pp. 227-232.

53. Howaen W.E. Empirical Studies of Software Validation. Microelectronic and Reliability, 1979, №1-2, pp. 39-49.

54. Operation. The Eigt Annual Int. Conf. on Faults Tolerance Computing, 1978, pp. 3-9.

55. Miller E.F., Bardens J.A., Benson J;P., Melton B.A., Urban H.J., Wisehart W.R. Structurally Based Automatic Program Iesting. IFEE Electron and Aerospace System Cong., 1974, pp. 134-1^8.

56. Lory A. Clark, Hessell J., Richardson D.J. A Closer Look to Domain Testing. IEEE Transaction on Software Engineering, v. SE-&, №4, 1982, pp. 380-390.

57. McCabe T.J. Complexity measure. IEEE Transaction on Software Engineering, v. SE-2, H°4, 1976, pp.308-320.

58. Rault J-C., Bouissou B. Quantative Measures for Software Reliability: a review. Infortech State of the Art Report. Software Testing, v. II, Invited Papers, 1979» pp. £13-230.

59. Panzl D.J. Test-Procedure: a New Approach to Software Varification. 2nd Int. Conf. on Software Engineering, San Francisco, Calif., 13-15 Oct., 1975» K.Y., 1976.

60. Peterson J.L. Petry Nets. Computing Surveys, v. 9, №3, 1977, PP. 223-253.

61. Ramamoorthy C.V., Meeker R.E., Turner J. Desigim. and Construction of an Automated Software Evaluation System. In. Proc. 1973 IEEE Symp. on Computer Software Reliability, N.Y., 1973» PP. 28-37.

62. Rault J-C. Extension of Hardware Fait Detection Modelsto the Verification of Software. In Program Test Methods, Prantice Hall, Inc. Englewood Cliffs, N.Y., 1973, pp. 255-263.

63. Schncidewina N.F. Analisis of Error Processes in Computer Software. In Proc. Int. Conf. on Reliable Software, Los Angeles, Apr., pp. 337-346.

64. Sucert A.N. A Multy Project Comparison of Software Models. AIAA Conf. on Computers in Aerospace, Nov., 1977» pp. 415-421.

65. Kuo-Cuung Tai. Program Complexity and Test Criteria. IEEE Transaction on Software Engineering, v. SE-6, №6, 1980, pp. 551-538.

66. Wall J.K., Ferguson P.A. Progmatic Software Reliability prediction.Proceedings 1977 Annual Reliability and Maintainability Symp., 1977, PP. 4-75-488.

67. Krause K.W., Smith R.W. Optimal Software Test Planning Through Automated Network Analysis. IEEE Symp. on Computer Software, 1975» PP* 18-22.