автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Формирование мультиверсионных программных средств информационно-управляющих систем

На правах рукописи

АНИКОНОВ Анатолий Валерьевич

Формирование мультиверсионных программных средств информационно-

управляющих систем

05 13 01 — Системный анализ, управление и обработка информации

Автореферат

диссертации на соискание ученой степени кандидата технических наук

1 з МАР 2008

Красноярск — 2008

003165453

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования "Сибирский федеральный университет" г Красноярск

Научный руководитель

кандидат технических наук, доцент Царев Роман Юрьевич

Официальные оппоненты доктор технических наук,

профессор Сугак Евгений Викторович

кандидат технический наук,

доцент Моргунов Евгений Павлович

Ведущая организация

НИИ Автоматики и электромеханики, г Томск

Защита состоится 21 марта 2008 г В 14 00 на заседании диссертационного совета Д 212 249 02 при Сибирском государственном аэрокосмическом университете имени академика М.Ф Решетнева по адресу. 660014, г Красноярск, пр им газ "Красноярский рабочий", 31

С диссертацией можно ознакомиться в библиотеке Сибирского государственного аэрокосмического университета

Автореферат разослан 20 февраля 2008 года

Ученый секретарь Диссертационного совета

А А Ступина

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы

Современный уровень развития систем управления и обработки информации привел к интеграции программного обеспечения в состав информационно-управляющих систем, в которых функции обработки данных и выдачи соответствующих управляющих воздействий обеспечиваются программными средствами Объясняется это тем, что процесс управления может вовлекать сложные расчеты данных большого объема, выполнение которых только на аппаратной базе нецелесообразно

Область применения информационно-управляющих систем (ИУС) определяет требования по надежности к данным системам Существует ряд областей, где отказ системы утгравчения может привести к значигечьным финансовым и материальным убыткам, а также нанести урон здоровью и жизни людей Поскольку, обработка информации выполняется посредством программного обеспечения, то от его надежности непосредственно зависит надежность всей системы управления и обработки данных

Одной из наиболее перспективных и уже положительно зарекомендовавших себя методологий обеспечения высокой надежности и отказоустойчивости программного обеспечения (ПО) является мультиверсионное проектирование Данная методология основывается на принципе программной избыточности, введение которой позволяет существенно повысить уровень надежности программной составляющей информационно-управляющих систем

Большое количество модулей программного обеспечения сложной информационно-управляющей системы, их дополнительные избыточные версии, а также ограничения реального мира такие, например, как стоимость, ставят перед проектировщиком задачу принятия решений по выбору оптимального состава мультиверсионного программного обеспечения с учетом, как правило, ряда критериев

На данный момент в большинстве методологий, посвященных проблеме мультиверсионного программного обеспечения, принимается, что надежность того или иного модуля известна заранее, и задачей таких методов является выбор состава ПО из нескольких альтернатив по заданным параметрам

Однако практика показывает, что в реальной ситуации предсказать надежность будущего ПО невозможно Для того чтобы получить объективную оценку надежности программного модуля, нужно его протестировать, после того как он будет разработан С другой стороны, выполнить полный цикл разработки всех рассматриваемых мультиверсий, и точно оценить надежность каждой - значит потратить огромное количество средств и полностью отказаться от задачи мультиверсионного выбора, так как если все мультиверсии уже разработаны и ютовы к эксплуатации, то становится нецелесообразным выбирать из них какое-то определенное подмножество

Поэтому, возникает научная проблема - разработать модели и методы принятия решений по выбору версий программных модулей, учитывающие оценку надежности элементов, начиная с самых ранних этапов их жизненного цикла (ЖЦ), и определяющую целесообразность продолжения разработки отдельных модулей в

соответствии с требованиями по надежности системы и с ограниченным набором ресурсов Создание компьютерной системы поддержки принятия решений на основе разработанных методов позволит найти оптимальный вариант формирования мультиверсионного программного обеспечения с минимальными затратами на оценку их надежности

Целью диссертационной работы является разработка новой технологии проектирования мультиверсиошшх информационно-управляющих систем, учитывающей оценки математического ожидания надежности и дисперсии надежности мультиверсий на всех итерациях жизненного цикла системы Для достижения поставленной цели решались следующие задачи анализ и формализация задач оценки надежности компонентов ПО ИУС; формализация постановок задач формирования состава мультиверсий ПО ИУС;

разработка метода формирования оптимального состава ПО ИУС, учитывающего оценки дисперсии и квангильные оценки надежности, разработка метода принятия решений о продолжении или прекращении жизненного цикла мультиверсий,

реализация разработанных алгоритмов и программного обеспечения в рамках системы поддержки принятия решений при формировании высокопадежных информационно-управляющих систем

Методы псследовання. При выполнении работы использовались методы анализа данных, методы оптимизации, теории вероятностей и многоатрибутивные методы принятия решений

Научная новюна работы:

• Предложен новый метод получения квантильных оценок надежности ПО ИУС для различных вариантов системы на каждой итерации ее жизненного цикла

• Предложена итеративная процедура принятия решений о продолжении жизненного цикла мультиверсии, основанная на оценке вероятности принятия варианта ПО, содержащего данную мультиверсию

• Разработана комплексная система принятия решений, предназначенная для формирования высоконадежных мультиверсионных программных средств ипформационно-упраачяющих систем

Значение для теории. Данный подход к формированию отказоустойчивых ИУС и предложенные методы оценки качества ПО имеют существенное значения для развития методов и алгоритмов оценки эффективности, качества и надежности сложных систем

Практическая ценность. Разработанная в диссертации система анализа надежности, принятия решений о сокращении рассматриваемого множества мультиверсий и выбора оптимального состава мультиверсий предоставляет

разработчикам инструментарий, обеспечивающий качественный состав мультиверсионной программной системы при множестве альтернатив мультиверсий с учетом индивидуальных особенностей проекта ИУС и его ограничений

Достоверность полученпых результатов подтверждается корректным использованием методологии мультиверсионного проектирования и теоретических методов многоатрибутивного принятия решений при обосновании полученных результатов, выводов, рекомендаций и успешной апробацией и демонстрацией возможностей разработанной системы поддержки многоатрибутивного принятия решений на модельных примерах

Реализация результатов работы.

Диссертационная работа выпочнялась по проектам межотраслевых программ Минобразования России и Минатома России по направлению «Научно-инновационное сотрудничество» (проект УН-12), а также в рамках тематического плана НИР НИИ СУВПТ (2004-2007 гг ), финансируемых из средств федерального бюджета

Материалы диссертационной работы введены в учебные курсы и используются при чтении лекций для студентов кафедры ЮНЕСКО Сибирского федерального университета по дисциплинам «Многоатрибутивное принятие решений при формировании мультиверсионных программных средств» и «Методы принятия решений в сложных системах»

На основе математических методов и алгоритмов был разработан комплекс программ, предназначенных для поддержки многоатрибутивного принятия решений при проектировании мультиверсионного программного обеспечения информационно-управляющих систем Программные системы прошли экспертизу и зарегистрированы в Отраслевом фонде алгоритмов и программ (ОФАП), что делает их доступными широкому кругу специалистов по системному анализу и проектировщиков программного обеспечения систем управления и обработки информации Перечень зарегистрированных программных разработок приведен в конце автореферата

Апробация работы. Основные положения и результаты работы прошли всестороннюю апробацию па международных и всероссийских конференциях, научных семинарах и научно-практических конференциях В том числе

на Международной паучно-пракгической конференции «Решетневские чтения», г Красноярск, 2005 г,

на Всероссийской научно-технической конференции «Инновационное развитие регионов Сибири» г. Красноярск, 2006 г ,

на Международной научно-технической конференции «Новые информационные технологии в университетском образовании» г Кемерово, 2006 г;

на Международной научно-технической конференции «Информационные технологии и математическое моделирование», г Анжеро-Судженск, 2006 г ,

на Международной научно-технической конференции «Информационные технологии в науке, образовании и производстве», г Орел, 2006 г;

на Всероссийской научно-технической конференции «Молодежь и наука», г Красноярск, 2006 г,

на Всероссийской научно-технической конференции «Недра Кузбасса», г Кемерово, 2006 г,

Публикации. По материалам диссертации опубликовано 15 печатных работ, из них 1 статья в журнале по Перечню ВАК РФ, 1 монография, 8 статей в межвузовских сборниках, 6 работ опубликованы в материалах всероссийских и международных конференций Полный список публикации представлен в конце автореферата

Общая характеристика работы. Диссертация содержит основной текст на 127 с , 16 иллюстраций, приложения на 13 с , список использованной литературы из 122 наименований

СОДЕРЖАНИЕ РАБОТЫ

Во введении дана общая характеристика проблемы, обоснована актуальность выбранной темы, определены цель и задачи исследования Сформулированы основные положения, выносимые на защиту, научная новизна и практическая значимость полученных результатов

В первом разделе рассмотрены основные проблемы оценки надежности программного обеспечения, предложен метод для оценки квантилей надежности рассматриваемого ПО, основываясь на оценке надежности, ее дисперсии и на предположении о логпормалъном распределении надежности системы

Оценка надежности программных компонентов является критическим моментом при планировании мультиверсионного состава ПО Очевидно, что чем более точную оценку мы получим на ранних этапах жизненпого цикла ПО, тем меньше затрат нам понадобится для формирования конечной системы, и качество полученной системы будет наибольшим Большинство рассмотренных методов выбора оптимального по качеству состава ПО учитывают только оценку надежности элементов /?(t), что не является правильным, так как кроме этого очень важную роль играет разброс данной оценки надежности Например, надежность R(t) = 95% с разбросом 5%, менее предпочтительна чем надежность R(t) = 94 5% с разбросом 0 1%, так как в первом случае компонент более стохастичеп и неопределенности в его поведении больше Большая часть дизайнеров программных систем и конечных пользователей являются не расположенными к риску, и они предпочтут систему с более низкой надежностью, с условием, что разброс оценки надежности такой системы будет так же низок

Основная проблема оценки надежности ПО заключается в том, что на ранних этапах своего существования мы имеем очень мало данных о работе его компонентов для формирования точной оценки Это представляет сложность, так как эволюционная природа развития программных систем включает в себя проблему оценки надежности множества конфигураций с различными типами

подсистем, компонентов и т д Поэтому, необходимо учитывать дисперсию оценки надежности элементов на всех итерациях, и так же определить нижнюю границу надежности для всей системы с заданной вероятностью В данной главе представлен метод нахождения квантилей надежности, исходя из предположения о ее логаормальном распределении Оценка паходится на основе отчетов тестирования о количестве прошедших успешных/неуспешных испытаний компонентов каждой мультиверсии В настоящее время жизненный цикл всех программных систем является итеративным Например, Rational Objectory Process, и многочисленные производные от него типы на каждой итерации проходят четыре этапа- анализ требований, проектирование, кодирование, тестирование Тем самым, первую оценку можно получить уже после первой итерации разработки системы

Найдем оценку надежности мультиверсии Считаем, что на каждой итерации для каждой i — ой мультиверсии в момент времени к тестированию подвергается Nt модулей мультиверсии Случайная величина успех/неудача для отдельного модуля при тестировании будет распределена по закону Бернулли с параметром rt(t0) Оценку надежности мультиверсии и оценку дисперсии можно найти из биномиального закона распределения

r,(t 0)=**

где /[ - количество отказов модулей при тестировании в течение времени (t0)

rorft (t0)} = rt(to) (1~rt(to))

Ni

Зная оценку дисперсии отдельных мультиверсий, мы можем найти такую же оценку для всей системы в целом, используя формулы вычисления дисперсии для ряда последвательных и параллельных компонентов системы

m. т

Var{Ruoa,(t0)} = [>Со)> + Varm0)}] - J~] r£(t0)2 , (1)

i=i 1=1

т т

Far{/Jnap(£0)} = ]~J[{1 " П (i0)}2 + Kar{r£(t0)}] - J~]{1 - r;(t0)}2

Имея оценки математического ожидания и дисперсии дня любого подмножества мультиверсий системы, перейдем к нахождению параметров логнормалыюго распределения потенциальных вариантов

Для логнормалыюго распределения с параметрами (р., сг2)

Е{£(£0)} = ехр (/< + У2 > (2)

1Ааг{Л(Г0)} = Е{Й(Г0)}2 {ехр (а2) - 1}

Оценки Каг{Л(Г0)} известны, отсюда параметры //, <т2 выражаются следующим образом

(I = 1п[Е{/?М] - ^<х2

Находим нижнюю границу для параметра с заданной вероятностью

Л1_я(го) = ехр02-гв-ст), (4)

где 2а — стандартный квантиль нормальногго распределения (0,1)

Таким образом, имея оценки надежности всех возможных вариантов и квантили логнормалыюго распределения надежности, можно определить, с какой вероятностью то или иное решение будет удовлетворять имеющимся условиям и ограничениям надежности Исходя из этого, на каждой итерации отбрасываются варианты, вероятность которых ниже определенного порога Р1 Данный параметр можно подбирать, исходя из уникальных особенностей системы и планируемых средств на оценку надежности Влияние этого параметра на результирующую надежность всей системы и стоимость оценки надежности показано в разделе 4

Во втором разделе рассмотрены основные проблемы надежностного формирования программного обеспечения и характерные особенности программного обеспечения отказоустойчивых систем управления

Приведена единая методика создания высоконадежных ИУС Описаны трудности, возникающие при создании ПО отказоустойчивых систем управления, и ошибки, снижающие качество ПО

Предлагается метод определения оптимальной программной избыточности, как средства повышения надежности программного обеспечения Программная избыточность, реализуемая на основе концепции мультиверсионного программирования, обеспечивает создание отказоустойчивого ПО, способного к самовосстановлению

Мультиверсионность исполнения программных модулей предполагает независимую генерацию ряда функционально эквивалентных программ (мультиверсий) в соответствии с идентичными исходными спецификациями Для набора этих версий программ предоставляются средства конкурентного исполнения, в ходе которого в назначенных точках контроля программами генерируются вектора сравнения Составляющие векторов сравнения и контрольные точки предварительно определены еще на этапе исходных спецификаций

Благодаря применению мультиверсионного программирования, достигается улучшение надежности программ, при этом программной системе позволительно допускать ошибки, сгенерированные еще во время проектирования и разработки ПО Однако улучшение характеристик надежности ПО с использованием избыточности требует дополнительных ресурсов, что очевидно Поэтому на этом этапе перед проектировщиком возникает вопрос, каким образом,

вводя избыточность структуры программного обеспечения, максимизировать надежность при существующих ограничениях на затраты при его создании

Одним из главных преимуществ мультиверсионного ПО является независимость отказа избыточных версий модулей, т.к модули разрабатываются полностью независимыми программистами (группами) с использованием различных инструментальных средств, и, как правило, в различных средах

Возможность установить степень избыточности гарантоспособных программных компонент, оценив риск и неопределенность в исходной информации, позволяет эффективно организовать решение сложных функциональных задач системы (другими словами, критичных по отказоусточивости задач)

Показано, что чем большее число единичных мультиверсий задействовано в создании мультиверсионного программного обеспечения, тем выше вероятность того, что за определенное время сложная задача, представленная программой (программным модулем), будет решена в системе с неабсолютно надежным ПО, в которой N доступных мультиверсий составляют программную избыточность

Одним из подходов решения проблемы выбора является следующая итерационная процедура Поочередно производится отсев по каждому из критериев Для этого, рассматривая каждый критерий, для каждого из п модулей упорядочим все типы мультиверсий по возрастанию, согласно значениям рассматриваемого критерия Сумма первых значений упорядоченных типов мультиверсий, представляет необходимый минимум ресурсов для формирования мультиверсионной системы Очевидно, что эта сумма должна быть меньше ограничения на текущий критерий, как необходимое условие существования допустимых решений Следующим шагом является определения «допуска» для каждого модуля, он вычисляется по формуле

А др = д;-а5р, (5)

где др - сумма элементов первого столбца

Все мультиверсии _/-го модуля, превосходящие значение «допуска», отбрасываются и в дальнейшем уже не рассматриваются Рассмотрев все критерии, выполняем следующую итерацию Процедура заканчивается, когда отсева мультиверсий больше не происходит Может, однако, случиться и так, что все мультиверсии будут отброшены, в этом случае необходимо выполнить один или оба из следующих пунктов

1 Расширить наложенные на систему ограничения,

2 Использовать менее ресурсоемкие мультиверсии в модулях

Завершающий этап предлагаемого метода - поиск наилучшего решения Прошедшие допуск мультиверсии подставляются последовательно для каждой подсистемы, с учетом ограничений архитектуры и ресурсов Множество вариантов, прошедших ограничения, считаются потенциальными решениями для системы

Третий раздел посвящен взаимодействию методов квантильных оценок надежности ИУС и процедур мультиверсионного формирования программной составляющей проектов ИУС

Пусть у нас есть имеется множество альтернатив мультиверсий для каждой из нескольких подсистем Каждая мультиверсия разрабатывается итеративно, на каждой итерации мы тратим определенную стоимость С1 на продолжение ее разработки и получаем новую оценку надежности г( Этапы решения задачи следующие-

1 Определить оптимальное решение по мультиверсиокному составу системы, исходя из имеющихся на данный момент сведений о надежности программных компонентов

2 Определить какие из мультиверсий, не входящих в базовое решение, будут продолжены разрабатываться для получения более точной оценки надежности и возможной замены базового варианта системы вариантом, который окажется более надежным на последующих итерациях

Такое решение нужно принимать, тк. на начальных итерациях оценки качества не точны, и необходимо вкладывать средства в оценку надежности компонентов Решение принимается, исходя из параметра р$- вероятности того, что общая надежность варианта, в который входит данная мультиверсия, выше надежности базового варианта Тем самым мы оставляем для дальнейшего рассмотрения и разработки только те варианты системы, у которых есть существенная вероятность заменить базовое решение в процессе разработки на последующих итерациях

В процессе выполнения задачи должны учитываться все изначально заданные ограничения, мы должны вкладывать средства в оценку надежности "дополнительных" мультиверсий таким образом, чтобы затраты не превысили бюджет и система в конечном итоге могла быть построена из максимально надежных элементов

Итеративная процедура принятия решения о продолжении либо прекращении жизненного цикла может быть описана следующим образом:

1 Па каждой итерации жизненного цикла находим матрицу всех возможных вариантов, удовлетворяющих имеющимся ограничениям, и сортируем строки по убыванию

2 Находим вероятность того, что надежность произвольного варианта будет превышать надежность наилучшего на текущей итерации

Р{К(Ь0Т > ЖСо)0} = я, (6)

где а - порядок квантиля стандартно: о (0,1) нормального распределения га

_ ц-ш (дд0)°) 2а ~~ а ■ \')

3 Сравниваем полученную вероятность с заданным предельным значением Р1 и выясняем дополнительную стоимость решения

4 Если вероятность превышает заданный порог, дополнительная стоимость удовлетворяет ограничениям, и выполняется условие для оставшейся

стоимости решения, тогда продолжаем разработку дополнительных мультиверсий, входящих в данный вариант

Четвертый раздел посвящен программной реализации разработанных моделей и алгоритмов, а также решению практических задач формирования № версионного ПО

Разработана программная система, в полной мере реализующая все вышеуказанные идеи и методы Для определения правильности работы программы было выполнено множество симуляций для различных систем с разными параметрами и архитектурой

Программа состоит из четырех основных частей.

1 Модуль симуляции

2 Модуль оценки надежности мультиверсий

3 Модуль определения оптимального состава мультиверсий системы, находящий базовое решение на каждой итерации, удовлетворяющее всем ограничениям и имеющее максимум надежности

4 Модуль выбора дополнительных мультиверсий, не вошедших в базовое решение, позволяющий максимизировать результирующую надежность системы, вкладывая средства в оценку надежности отдельных мультиверсий ПО

Каждая подпрограмма выполняет следующие основные действия Симуляция

1 Строится произвольная система, содержащая любое количество подсистем, мультиверсий в подсистемах и модулей в мультиверсиях Задается количество итераций для разработки мультиверсий (1), на каждой из которых будет возможно произвести оценку ее надежности

2 Для каждой мультиверсии разыгрывается надежность ^ и дисперсия надежности 7аг{г(}, которые в дальнейшем считаются реальными параметрами

Оценка надежности мучыпиверсий

1 Производим оценку надежности каждой мультиверсии г( по формулам Каплана-Мейера или формулам биномиальною распределения, либо получаем эту оценку из внешних источников

2 Повторяем процедуру на каждой итерации

Определение оптимального состава мультиверсий

1 На основе найденных оценок, на каждой итерации находим множество вариантов решений системы, удовлетворяющих всем ограничениям, и вычисляем оценки надежности и дисперсии надежности всех вариантов

2 Исходя из предположения о логнормальном распределении, вычисляем (1 — а) квантиль надежности

Выбор допочнительнык мультиверсий и принятие решения о прекращении разработки

1 Сортируем все решения по убыванию надежности

2 Находим вероятность того, что произвольные варианты системы будут превышать базовый вариант по надежности

3 Прекращаем жизненный цикл входящих в решение мультиверсии, если для нее не существует варианта, вероятность принятия которого превышает заданный параметр Р1 Или принимаем решение о продолжении их разработки в другом случае

Таким образом, на каждой итерации будут отбрасываться самые неудачные решения, и оставляться наиболее подходящие, вариант оптимального решения с каждой итерацией будет меняться, исходя из полученных оценок

Приведём некоторые примеры работы программной системы при выборе оптимального решения и дополнительных мультиверсий для различных входных данных

Таблица 1 - Пример работы системы для различных конфигураций

Количество мультиверсий Ограничение стоимости Затраты на оценку Начальная надежность Конечная надёжность Итераций

15 17,000 1000 0 54 0 59 7

21 25,000 1000 0 82 0 93 8

22 25,000 1000 0 78 0 92 8

18 20,000 1000 0 72 0 78 9

8 12,000 1000 0 70 0 72 14

Как видно, чем больше мультиверсий мы имеем на начальном этапе, и чем больше у системы возможностей выбора, тем более существенным получается конечное приращение надежности

Результаты зависимости приращения надежности системы от затраченных на оценку надежности средств приведены ниже На графике показана система с ограничением на стоимость, равным 20000, и с максимальной стоимостью оценки надежности - 1000 (5%) от стоимости всей системы График представляет среднюю зависимость для 300 различных испытаний, в каждом го которых проводился полный набор итераций = 0 3, мультиверсий - 14

Рис. 1 - Графическое представление зависимости приращения надежности от

вложенных средств.

Чем больше параметр Рг, тем значение производной функции гораздо больше на начальных итерациях, но общая выгода на последней итерации меньше. Это происходит потому, что при большом Р; система оставляет только наиболее надежные решения, из-за чего вначале при меньших затратах можно получить более существенное приращение надежности, но т.к. во втором случае отсеивается больше решений, то есть вероятность упустить решение, которое, в итоге, окажет ся более надежным, но на начальной итерации таким не является из-за погрешности в оценке. Тем самым, исходя из имеющихся ресурсов, можно подстраивать данный параметр для достижения наибольшей выгоды при имеющихся условиях решения задачи.

В заключении диссертации приведены основные результаты, полученные в ходе выполнения работы, и сформулированы основные выводы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. На основе проведеппого анализа формализованы задачи оценки надежности компонентов ПО ИУС и задача формирования состава мультиверсий ПО ИУС. Полученные постановки задач позволяют реализовать методы квантилъной оценки надежности ПО и обеспечить поддержку принятия решений при выборе состава мультиверсий ПО ИУС.

2. Разработан метод, позволяющий учесть разброс оценки и квантили оценки надежности при формировании состава мультиверсий ПО ИУС. Учет дисперсии надёжности и её квантилей позволяет применять методы повышения надежности ИУС, начиная с самых ранних итераций её жизненного цикла.

3. Разработан комбинированный метод принятия решений о продолжении либо прекращении жизненного цикла мультиверсий, основанный на оценке

вероятности принятия варианта ПО, содержащего данную мультиверсию Показано, что вложение средств в оценку надежности мультиверсий является эффективным шагом, дающим возможность пересматривать решения, принятые на предыдущих итерациях, при получении новой информации о надежности мультиверсий ПО ИУС

4 Выполнена программная реализация разработанных алгоритмов в рамках системы поддержки принятия решений для формирования высоконадежных ИУС Применение данной системы при оценке надежности и формировании состава ПО ИУС различной архитектуры позволяет сделать вывод о том, что разработанные методы являются эффективными и обеспечивают существенное приращение надежности системы при минимальных затратах на ее оценку

Основные результаты диссертационной работы опубликованы в

следующих работах:

1 Аниконов, А В Итеративный метод многоатрибутивного формирования оптимального состава информационно-управляющих систем / ИВ Ковалев, А В Аниконов, МЮ Слободан, РЮ Царев // Системы управления и информационные технологии, 2006, № 2(24), С 90-95

2. Аниконов, А В Программно-аппаратное обеспечение отказо- и катастрофоустойчивых систем управления и обработки информации. Монография / А В Аниконов, МЮ Слободан, РЮ Царев M Макс-пресс, 2006 244 с

3 Аниконов, А. В Многокритериальный выбор проекта информационной системы с учетом взаимозависимости ресурсов / А В Аниконов // Материалы IX Междунар науч конф «Решетневские чтения» Сиб гос аэрокосмич ун-т Красноярск, 2005 С 230-231

4 Аниконов, А. В Проблема выбора проекта информационной системы из множества конкурирующих предложений / А В Аниконов // Инновационное развитие регионов Сибири Материалы Всероссийской научно-практической конференции Ч 2 Красноярск ИПЦКГТУ,2006 С 178

5 Аникопов, А В Оценка надежности программного обеспечения информационно-телекоммуникационных систем / Р. Ю Царев, Т И Семенько, А В Аниконов // Новые информационные технологии в университетском образовании материалы XI Междунар пауч -методической конф Кемерово ИНТ, 2006 С 306-308

6 Аниконов, А В Применение графов при оценке надежности программных систем с избыточностью / А В Аниконов, Т И. Семенько, Р Ю Царев // Недра Кузбасса Инновации труды V Всероссийской научн -практической конф Кемерово ИНТ, 2006 С 96-97

7 Аниконов, А. В. Система многокритериального анализа решений / А В Аниконов // Материалы Всероссийской научно-практической конференции «Молодежь и наука» Красноярск, 2006 С 15

8 Аниконов, А В Система многоатрибутивного выбора проектов ИС / А В Аниконов // Материалы междунар науч конф «Информационные технологии в науке, образовании и производстве» Орел, 2006, С 17-19

9 Аниконов, А В Система выбора проектов информационной системы с учетом взаимозависимости ресурсов / Аниконов А В , Ковалев И В , Царев M Ю, Царев Р Ю // Инновации в науке и образовании, 2005, №8(9), С 13

10 Аниконов, А В Оценка надежности аппаратно-программного комплекса отказоустойчивых систем управления / А В Аниконов, В Г Третьяков // Вестник университетского комплекса Сб научн трудов Вып 6 (20) Красноярск ВСФ РГУИТП, НИИ СУВПТ, 2006 С 91-95

11 Аниконов, А В Мультиверсионное программное обеспечение информационно-управляющих систем / А В Аниконов, В А Морозов, Р Ю Царев // Успехи современпого естествознания, 2006 Вып 7 С 19-21

12 Аниконов, А В Система многокритериального принятия решений при выборе проектов информационной системы / Царев Р Ю, Завьялова О И , Аниконов А В // Инновации в науке и образовании, 2006, №2(13), С 4

13 Аниконов, А В Система формирования и анализа на графах сложных информационных систем с избыточной структурой / Ковалев ИВ , Царев Р Ю , Семенько Т И , Аниконов А В // Инновации в науке и образовании, 2006, №1(12), С 16

14 Аниконов, А В Выбор и определение оптимального по критерию надежности состава мультиверсионных ИС / Аниконов А В // Вестник университетского комплекса Сб научн трудов Вып 8 (22) Красноярск ВСФ РГУИТП, НИИ СУВПТ, 2006

Осповпые алг оритмы и методы решения рассматриваемых в диссертации

задач были выполнены в виде программ и зарегистрированы в ОФАП.

15 Аниконов АВ, Ковалев ИВ, Царев МЮ, Царев РЮ Система выбора проектов информационной системы с учетом взаимозависимости ресурсов (Программная система «ISP-Select vl 0») M ВНТИЦ, 2005 №50200501513

16 Царев РЮ, Завьялова ОИ, Аниконов А.В Система многокритериального принятия решений при выборе проектов информационной системы (Программная система «DisignSyS ver 10») M ВНТИЦ, 2006 №50200600127

17 Ковалев И В, Царев M Ю, Семенько Т И, Аниконов А. В Система формирования и анализа на графах сложных информационных систем с избыточной структурой (Программная система «GMSystem ver 10») M * ВНТИЦ, 2006 №50200600100

Аниконов Анатолий Валерьевич Формирование мультиверсионных программных средств информационно-управляющих систем

Автореферат

Подписано в печать А % 03. 2008г. Формат 60x84/16 Бумага писчая Уч издл.1 Тираж 100 эю Заказ Ха тТ Отпечатано на ризографе СибГАУ 660014, г Красноярск, пр им газ "Красноярский рабочий"", 31

ВВЕДЕНИЕ.

1 АНАЛИЗ НАДЕЖНОСТИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

ИНФОРМАЦИОННО-УПРАВЛЯЮЩИХ СИСТЕМ.

1.1 Основные проблемы, возникающие при анализе надежности программного обеспечения.

1.2 Методы и средства обеспечения надежности ИУС.

1.3 Представление надежности как логнормально распределенной случайной величины.

2 ФОРМИРОВАНИЕ СОСТАВА МУЛЬТИВЕРСИЙ ИНФОРМАЦИОННО

УПРАВЛЯЮЩИХ СИСТЕМ.

2.1 Формирование состава модулей программного обеспечения.

2.2 Метод многоатрибутивного выбора оптимальной избыточности мультиверсионного ПО.

2.3 Мультиверсионное программирование гарантоспособных программных компонент ПО.:.

2.3 Проблема выбора состава мультиверсий программного обеспечения для информационно-управляющих систем.

2.3.1 Модель осуществимости функциональных задач на мультиверсионной программной архитектуре.

2.3.2 Оптимизационные задачи формирования мультиверсионного ПО для ИУС

3 КОМБИНИРОВАННЫЙ МЕТОД ПРИНЯТИЯ РЕШЕНИЙ О ПРОДОЛЖЕНИИ ИЛИ ПРЕКРАЩЕНИИ ЖИЗНЕННОГО ЦИКЛА ЭЛЕМЕНТОВ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ И ФОРМИРОВАНИЯ

СОСТАВА МУЛЬТИВЕРСИЙ.

3.1 Жизненный цикл программ и основные составляющие стоимости разработки программного обеспечения. Методология RUP.

3.2 Метод принятия решений о прекращении разработки жизненного цикла ПО, основанный на оценке вероятности принятия архитектуры, содержащей данную мультиверсию.

4 ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СИСТЕМЫ АНАЛИЗА НАДЕЖНОСТИ

КОМПОНЕНТОВ И ФОРМИРОВАНИЯ СОСТАВА МУЛЬТИВЕРСИЙ.

4.1 Системы поддержки принятия решений.

4.1.1 Поддержка принятия решений.

4.1.2 Методология поддержки принятия решений.

4.1.3 Обобщенная схема поддержки принятия решений.

4.1.4 Анализ альтернатив.

4.1.5 Программные средства принятия решений.

4.1.6 Специальные системы поддержки принятия решений.

4.2 Описание системы.

4.2.1 Концептуальная схема.

4.2.2 Состав программ.

4.2.3 Логическая структура программы.

4.2.4 Описание функционирования системы.

4.2.5 Описание применения системы.

4.2.6 Руководство системного программиста.

4.2.7 Руководство программиста.

4.2.8 Руководство оператора.

4.3 Примеры решения задач и анализ результатов.

4.3.1 Метод формирования наилучшего варианта мультиверсий Результаты.

1.3.2 Анализ работы программы для разных порогов вероятности PI.

Современный уровень развития систем управления и обработки информации привел к интеграции программного обеспечения в состав информационно-управляющих систем, в которых функции обработки данных и выдачи соответствующих управляющих воздействий обеспечиваются программными средствами. Объясняется это тем, что процесс управления может вовлекать сложные расчеты данных большого объема, выполнение которых только на аппаратной базе нецелесообразно.

Область применения информационно-управляющих систем определяет требования по надежности к данным системам. Существует ряд областей, где отказ системы управления может привести к значительным финансовым и материальным убыткам, а также нанести урон здоровью и жизни людей. Поскольку обработка информации выполняется посредством программного обеспечения,- то* от его надежности непосредственно зависит надежность всей системы управления и обработки данных.

Одной из наиболее перспективных и уже положительно зарекомендовавших себя методологий обеспечения высокой надежности и отказоустойчивости программного обеспечения является мультиверсионное проектирование. Данная методология основывается на принципе программной избыточности, введение которой позволяет существенно повысить уровень надежности программной составляющей информационно-управляющих систем.

Большое количество модулей программного обеспечения сложной информационно-управляющей системы, их дополнительные избыточные версии, а также ограничения реального мира, такие, например, как стоимость, ставят перед проектировщиком задачу принятия решений по выбору оптимального состава мультиверсионного программного обеспечения с учетом, как правило, ряда критериев.

На данный момент во множестве методологий, посвященных проблеме мультиверсионного программного обеспечения, принимается, что надежность того или иного модуля известна заранее, и задачей таких методов является выбор состава ПО из нескольких альтернатив по заданным параметрам.

Однако практика показывает, что в реальной ситуации предсказать надежность будущего ПО невозможно. Для того чтобы получить объективную оценку надежности программного модуля, нужно его протестировать, после того как он будет разработан. С другой стороны, выполнить полный цикл разработки всех рассматриваемых мультиверсий, и точно оценить надежность каждой - значит потратить огромное количество средств и полностью отказаться от задачи мультиверсионного выбора, так как если все мультиверсии уже разработаны и готовы к эксплуатации, то незачем выбирать из них какое-то определенное подмножество.

Поэтому, возникает научная проблема - разработать модели и методы принятия решений по выбору версий программных модулей, учитывающие оценку надежности элементов, начиная с самых ранних этапов их жизненного цикла (ЖЦ), и определяющую целесообразность продолжения разработки отдельных модулей в соответствии с требованиями по надежности системы и с ограниченным набором ресурсов. Создание компьютерной системы поддержки принятия решений на основе разработанных методов позволит найти оптимальный вариант формирования мультиверсионного программного обеспечения с минимальными затратами на оценку их надежности.

Целью диссертационной работы является разработка новой технологии проектирования мультиверсионных информационно-управляющих систем, учитывающей оценки математического ожидания надежности и дисперсии надежности мультиверсий на всех итерациях жизненного цикла системы

Для достижения поставленной цели решались следующие задачи: анализ и формализация задач оценки надежности компонентов ПО ИУС; формализация постановок задач формирования состава мультиверсий ПО ИУС; разработка метода формирования оптимального состава ПО ИУС, учитывающего оценки дисперсии и квантильные оценки надежности; разработка метода принятия решений о продолжении или прекращении жизненного цикла мультиверсий; реализация разработанных алгоритмов и программного обеспечения в рамках системы поддержки принятия решений при формировании высоконадежных информационно-управляющих систем.

Методы исследования. При выполнении работы использовались методы анализа данных, методы оптимизации, теории вероятностей и много атрибутивные методы принятия решений.

Научная новизна работы:

• Предложен новый метод получения квантильных оценок надежности ПО ИУС для различных вариантов системы на каждой итерации её жизненного цикла.

• Предложена итеративная процедура принятия решений о продолжении жизненного цикла мультиверсии, основанная на оценке вероятности принятия варианта ПО, содержащего данную мультиверсию.

• Разработана комплексная система принятия решений, предназначенная для формирования высоконадежных мультиверсионных программных средств информационно-управляющих систем.

• Значение для теории. Данный подход к формированию отказоустойчивых ИУС и предложенные методы оценки качества ПО имеют существенное значения для развития методов и алгоритмов оценки эффективности, качества и надежности сложных систем.

• Практическая ценность. Разработанная в диссертации система анализа надежности, принятия решений о сокращении рассматриваемого множества мультиверсий и выбора оптимального состава мультиверсий предоставляет разработчикам инструментарий, обеспечивающий качественный состав мультиверсионной программной системы при множестве альтернатив мультиверсий с учетом индивидуальных особенностей проекта ИУС и его ограничений.

Достоверность полученных результатов подтверждается корректным использованием методологии мультиверсионного проектирования и теоретических методов многоатрибутивного принятия решений при обосновании полученных результатов, выводов, рекомендаций и успешной апробацией и демонстрацией возможностей разработанной системы поддержки многоатрибутивного принятия решений на модельных примерах.

Реализация результатов работы.

Диссертационная работа выполнялась по проектам межотраслевых программ Минобразования России и Минатома России по направлению «Научно-инновационное сотрудничество» (проект VII-12), а также в1 рамках тематического плана НИР НИИ СУВПТ (2004-2007 гг.), финансируемых из средств федерального бюджета.

Материалы диссертационной работы введены в учебные курсы и используются при чтении лекций для студентов кафедры ЮНЕСКО Сибирского федерального университета по дисциплинам «Многоатрибутивное принятие решений при формировании мультиверсионных программных средств» и «Методы принятия решений в сложных системах».

На основе математических методов и алгоритмов был разработан комплекс программ, предназначенных для поддержки многоатрибутивного принятия решений при проектировании мультиверсионного программного обеспечения информационно-управляющих систем. Программные системы прошли экспертизу и зарегистрированы в Отраслевом фонде алгоритмов и программ (ОФАП), что делает их доступными широкому кругу специалистов по системному анализу и проектировщиков программного обеспечения систем управления и обработки информации. Перечень зарегистрированных программных разработок приведен в конце автореферата.

На защиту выносятся:

Метод нахождения оценок надежности как случайных логнормально распределенных величин, и квантильных оценок логнормального распределения произвольных вариантов системы на каждой итерации.

Итеративная процедура принятия решений о продолжении жизненного цикла мультиверсии, основанная на оценке вероятности принятия варианта* ПО, содержащего данную мультиверсию.

Система принятия решений, решающая задачи формирования высоконадежных мультиверсионных программных средств информационных систем.

Апробация работы. Основные положения и результаты работы прошли всестороннюю апробацию на международных и всероссийских конференциях, научных семинарах и научно-практических конференциях. В том числе: на Международной научно-практической конференции «Решетневские чтения», г. Красноярск, 2005 г.; на Всероссийской научно-технической конференции «Инновационное развитие регионов Сибири» г. Красноярск, 2006 г.; на Международной научно-технической конференции «Новые информационные технологии в университетском образовании» г. Кемерово, 2006 г.; на Международной научно-технической конференции «Информационные технологии и математическое моделирование», г. Анжеро-Судженск, 2006 г.; - на Международной научно-технической конференции «Информационные технологии в науке, образовании и производстве», г. Орел, 2006 г.; на Всероссийской научно-технической конференции «Молодежь и наука», г. Красноярск, 2006 г.; на Всероссийской научно-технической конференции «Информационные Недра Кузбасса», г. Кемерово, 2006 г.;

Публикации. По материалам диссертации опубликовано 15 печатных работ, из них: 1 статья в журнале по Перечню ВАК РФ, 1 монография, 8 статей в межвузовских сборниках, 6 работ опубликованы в материалах всероссийских и международных конференций. Полный список публикаций представлен в конце автореферата.

Выводы

1. В настоящее время для поддержки принятия решений используют различные методы и подходы, которые в совокупности дополняют друг друга. Принятие решений включает выбор последовательности действий и ее реализацию.

2. Создана система поддержки принятия решений при мультиверсионном формировании программного обеспечения для информационно-управляющих систем, в основу которой положены математические методы надежностного мультиверсионного программирования.

3. Проведены исследования влияния порогового параметра для вероятности произвольного варианта быть более надежным, чем базовый, которые показали, что данный параметр может быть произвольно настраиваемым, исходя из реальной ситуации и реальных задач и целей.

4. Выполнена программная реализация разработанных алгоритмов в рамках системы поддержки принятия решений для формирования высоконадежных ИУС. Применение данной системы при оценке надежности и формировании состава ПО ИУС различной архитектуры позволяет сделать вывод о том, что 1 разработанные методы являются эффективными и обеспечивают существенное • приращение надежности системы при минимальных затратах на её оценку.

ЗАКЛЮЧЕНИЕ

На основе общих тенденций развития технологий проектирования высоконадежного программного обеспечениями с использованием оптимизационных методов были предложены способы решения задачи формировния состава мультиверсионных программных средств информационно-управляющих систем. Решение этой проблемы базируется на следующих основных результатах.

1. На- основе проведенного анализа формализованы задачи оценки надежности компонентов ПО ИУС и задача формирования состава мультиверсий ПО ИУС. Полученные постановки- задач позволяют реализовать методы квантильной оценки надежности ПО и обеспечить поддержку принятия решений при выборе состава мультиверсий'ПО ИУС.

2. Разработан метод, позволяющий учесть разброс оценки и квантили оценки надежности при формировании состава мультиверсий ПО ИУС. Учет дисперсии-надёжности-и её квантилей позволяет применять методы повышения,надежности ИУС, начиная с самых ранних итераций её жизненного цикла.

3. Разработан комбинированный метод принятия решений, о- продолжении либо прекращении жизненного цикла мультиверсий, основанный на оценке вероятности принятия варианта ПО, содержащего данную мультиверсию. Показано, что вложение средств, в оценку надежности мультиверсий является эффективным шагом, дающим возможность пересматривать.решения, принятые на предыдущих итерациях, при получении новой информации о надежности мультиверсий ПО ИУС.

4. Выполнена программная реализация разработанных алгоритмов' в рамках системы поддержки- принятия, решений для формирования высоконадежных ИУС. Применение данной' системы при оценке надежности и формировании состава ПО ИУС различной архитектуры позволяет сделать вывод о том, что разработанные методы являются эффективными и обеспечивают существенное приращение надежности системы при минимальных затратах на её оценку.

Результаты выполнения реальных проектов подтвердили эффективность и универсальность разработанной системы поддержки многоатрибутивного выбора при мультиверсионном формировании программного обеспечения для отказоустойчивых систем управления.

1. Богатырев, В.А. Отказоустойчивые многомашинные вычислительные системы динамического распределения запросов при дублировании функциональных ресурсов : Учебник для студентов вузов Текст. / В.А. Богатырев-Приборостроение, 1996. № 4.

2. Боэм, Б. Характеристики качества программного обеспечения Текст. / Б. Боэм, Дж. Браун, X. Каспар, М. Липов, Г. Мак-Леод, М. Мерит. М.: Мир, 1981. - 208 с.

3. Боэм, Б.У. Инженерное проектирование программного обеспечения Текст. : Пер. с англ. / Б.У. Боэм. -М.: Радио и связь, 1985. 512 с.

4. Буч, Г. Объектно-ориентированный анализ и проектирование с примерами на С++ Текст. / Г. Буч. М.: БИНОМ, 1998. - 560 с.

5. Вахромеев К. Защита данных от катастроф Текст. / К. Вахромеев // Открытые системы. -2000. -№3.-С. 8-14.

6. Галатенко В.А. Информационная безопасность Текст. / В.А. Галатенко // Открытые системы. 1995. - №4. - С.3-10.

7. Герасимов, Ю. Улётный интерфейс Электронный ресурс. — Режим доступа : http://www.usability.ru/toader/articles /fly off ui.htm. Загл. с экрана.

8. Гласс Р. Руководство по надежному программированию Текст. : Пер: с англ. / Р. Гласс. М.: Финансы и статистика, 1982. - 256 с.

9. Дилон, Б. Инженерные методы обеспечения надежности систем Текст. / Б. Дилон, И. Сингх. -М.: Мир, 1984. 318 с.

10. Дубова, H.A. Управление распределённой средой корпорации Текст. / H.A. Дубова // Открытые системы. 1999. - № 11-12. - С. 53-57.

11. Елагин, В. Кластеры против катастроф Текст. / В. Елагин // Открытые системы. -2002.-№6.-С. 29-36.

12. Задорожный, В. Надёжная система из ненадёжных элементов Текст. / В. Задорожный, И. Малиновская // Открытые системы. 2000. - № 12. - С. 15-18.

13. Иванов, П. Управление информационными системами: базовые концепции и тенденции развития Текст. / П. Иванов // Открытые системы. 1999. - № 4. - С. 37-42.

14. Климов A.A. Проектное управление Текст. / A.A. Климов // Экономист. 1998. -С. 32-35.

15. Ковалев В.В. Методы оценки инвестиционных проектов Текст. / В.В. Ковалев. -М.: Финансы и статистика, 2000. — 218 с.

16. Ковалев, И.В: Мультиверсионный метод повышения программной- надежности информационно-телекоммуникационных технологий в корпоративных структурах Текст. / И.В.Ковалев, Р.В. Юнусов // Телекоммуникации и информатизация образования. — 2003. №2. - С. 50-55.

17. Ковалев И.В., Царев Р.Ю., Слободин М;Ю., Усольцев A.A. Программная система- -> «MultiForm vi.0» (Система многоатрибутивного формирования мультиверсионных программных средств). М.: ВНТИЦ, 2004. - № 50200400275.

18. Ковалев И.В., Царев Р.Ю., Золотарев К.В., Слободин М.Ю. Программная система «Cluster Analyzer vl.0» (Система поддержки принятия решений при проектировании кластерной инфраструктуры). М.: ВНТИЦ, 2004. - № 50200400611.

19. Князькин, Ю.М. Построение на встроенной ЦВМ интерпретатора алгоритмов логического управления сложным объектом Текст. / Ю.М Князькин, В.В. Хартов. — Проблемы управления движением и навигацией. 1987. - № 22.

20. Ковалев, И.В. Автоматизация создания программных средств систем управления Текст. / В кн.: Микроэлектронные устройства: проектирование и технология. — Красноярск. КПИ, 1990. С. 79-85.

21. Ковалев^ И.В. Многоатрибутивная модель формирования гарантоспособного набора проектов, мультиверсионных программных систем. Текст. / И.В. Ковалев, Р.Ю. Царев // Вестник НИИ СУВПТ. Красноярск: НИИ СУВПТ, 2001. - Вып.7. -С. 129-137.

22. Ковалев, И.В. Оптимальное проектирование мультиверсионных систем управления Текст. / И.В. Ковалев, A.A. Попов, A.C. Привалов // Доклады НТК с международным участием «Информационные технологии в инновационных проектах» . Ижевск: ИжГТУ, 2000. - С. 24-29.

23. Ковалев, И.В. Параллельные процессы в информационно-управляющих системах. Формирование и оптимизация Текст. / И.В. Ковалев, Р.Ю. Царев, Ю.Г. Шиповалов // Под ред. д.т.н., проф. A.B. Медведева. Красноярск: НИИ СУВПТ, 2001.-143 с.

24. Ковалев, И.В. Система мультиверсионного формирования программного обеспечения управления космическими аппаратами Текст. // Диссертация насоискание ученой степени доктора технических наук. Красноярск: КГТУ, 1997. -228 с.

25. Ковалев, И.В. Эффективность программно-алгоритмической реализации технологических режимов Текст. // Информационные процессы в промышленности: Сборник научных трудов. Кемерово: Кузбасский политехнический институт, 1989: — С. 47-52.

26. Коганов A.B., Романюк С.Г. Экономический подход к понятию надежности программы Текст. / A.B. Коганов // Открытые системы. — 1995. №3. - С. 3-11

27. Кочетов, Ю.А. Задачи оптимального выбора состава систем технических, средств при -многоэтапном процессе выполнения работ Текст. / Ю.А. Кочетов // Препринт N 12. Новосибирск, Ин-т математики СО АН СССР, 1987.- - 47 с.

28. Ларичев, О.И. Человеко-машинные процедуры принятия-решений Текст. / О.И. Ларичев//АиТ.-1971.-Вып. 12.-С. 130-142.

29. Лебедев, В.А. Параллельные процессы обработки информации в управляющих системах: Монография / В.А. Лебедев, H.H. Трохов, Р.Ю. Царев. Красноярск: НИИ СУВПТ, 2001. - 137 с.

30. Липаев В.В. Надёжность программных средств Текст. / В.В. Липаев // СИНТЕГ. -М., 1998.-232 с.

31. Липаев, В:В. О проблемах оценивания качества программных средств Текст. / В.В. Липаев // Информационные технологии. 2002. - С. 19-23.

32. Липаев, В.В. Проектирование математического обеспечения АСУ Текст. / В.В. Липаев. М.: Советское радио, 1977. - 400 с.

33. Липаев, В.В. Технология проектирования комплексов программ АСУ Текст. / В.В. Липаев, Л.А. Серебровский. М.: Радио и связь, 1983. - 264 с.

34. Липаев, В.В. Тестирование программ Текст. / В.В. Липаев. — М.: Радио и связь, 1986.-234 с.

35. Майерс, Г. Надежность программного обеспечения Текст. : Пер. с англ./ Под ред. В.Ш.Кауфмана. М.: Мир, 1980. - 360 с.

36. Мамиконов, А.Г. Типизация разработки модульных систем обработки данных Текст. / А.Г. Мамиконов, В.В. Кульба, С.А. Косяченко. М.: Наука, 1989. - 165 с.

37. Мамиконов, А.Г. Синтез оптимальных модульных систем обработки данных Текст. / А.Г. Мамиконов, В.В. Кульба. М.: Наука, 1986.

38. Мамиконов, А.Г. Проектирование АСУ Текст. / А.Г. Мамиконов. М.: Высш. шк., 1987.-304 с.

39. Месорович, М. Теория иерархических многоуровневых систем Текст. / М. Месорович, Д. Мако, А. Такахара. М.:,Мир. 1973. - С.344.

40. Михалевич, B.C. Вычислительные методы исследования и проектирования сложных систем Текст. / B.C. Михалевич, В.Л. Волкович. Наука, 1982. - 286 с.

41. Многокритериальные задачи принятия решений Текст. / М.: Машиностроение, 1978.

42. Орлов, С.А. Технологии разработки программного обеспечения: разработка сложных программных средств Текст. / С.А. Орлов. СПб.: Питер, 2002. - 464 с.

43. Орловский, С.А. Проблемы принятия решений при нечеткой исходной информации Текст. / С.А. Орловский. М.: Наука, 1981. - 208 с.

44. Подиновский, В. В. Парето-оптимальные решения многокритериальных задач Текст. / В. В. Подиновский, В. Д. Ногин. М.: Наука, 1982.

45. Подиновский, В.В. Об относительной важности критериев в многокритериальных задачах принятия решений: Многокритериальные задачи принятия решений Текст. / В.В. Подиновский. М.: Машиностроение, 1978. - С. 48-82.

46. Попов, A.A. Бинарная модель отказоустойчивой системы программного обеспечения: Доклады НТК с международным участием «Информационные технологии в инновационных проектах» Текст. / A.A. Попов, A.C. Привалов. -Ижевск: ИжГТУ, 2000. С. 77-83.

47. Принятие решения в задаче выбора предпочтительного варианта технического решения на этапе конструирования по векторному критерию: Методика Текст. / Горький. Горьковский филиал ВНИИНМАЩ, 1980.

48. Раздобаров, А.Б. Контроль состояния электронных систем- управления^ при: техническом обслуживании электровозов BJI80p Текст. / А.Б. Раздобаров, Н.Г. Шабалин. Труды ВЗИИТ, 1983. - № 11. - С. 144-149.

49. Раинкшкс, К. Оценка надежности систем с использованием графов Текст. / К. Раинкшкс, И.А. Ушаков. -М.: Радио и связь, 1988.

50. Саркисян, A.A. Повышение качества программ на основе автоматизированных методов Текст. / A.A. Саркисян. -М.: Радио и связь, 1991. 160 с.

51. Системный анализ: Проектирование, оптимизация и приложения Текст. // В 2 т., под общ. Ред. Антамошкина А.Н. Красноярск: CAA, 1996. - 206 с.

52. Толковый словарь по вычислительным системам / Под ред. В. Иллигуорта и др. Текст. : Пер с англ. М.: Машиностроение, 1991. - 560 с.

53. Фишберн, П. С. Теория полезности для- принятия решений Текст. / П.С. Фишберн. -М.: Наука, 1978.

54. Царев, Р.Ю. Многоцелевой выбор проекта информационной системы с эффективным распределением взаимосвязанных ресурсов Текст. / Р.Ю. Царев //

55. Решетневские чтения. Тез. докл. IV Всерос. Научн.-практ. конф. студентов, аспирантов молодых специалистов 10-12 ноября 2000г. Красноярск: CAA, 2000.-С. 273.

56. Чжу, У.У. Копирование и размещение программных модулей в системе распределенной обработки в реальном времени Текст. / У.У. Чжу, Ц.К. Лян. -ТИИЭР, 1997. Т. 75. - N 5. - С. 23-44.

57. Юдин, Д.Б. Математические методы оптимизации, устройств* и алгоритмов АСУ Текст. / Д.Б. Юдин, А.П. Горяшко, A.C. Немировский. М.: Радио и связь, 1982. -288 с.

58. Юнусов, Р.В. Анализ надежности аппаратно-программного информационно-управляющего комплекса Текст. / Р.В. Юнусов // Вестник НИИ СУВПТ: Сб. научн. трудов / Под общей ред. профессора Н.В. Василенко. Красноярск: НИИ СУВПТ, 2003. - Выпуск 11. - С. 103-106.

59. Юнусов, Р.В. Оценка надежности программного обеспечения клиент-сервер на примере комплексной системы управления предприятием «Галактика» Текст. / Р.В. Юнусов // Вестник НИИСУВПТ. Красноярск: НИИСУВПТ.-200Г.-Вып.7. С.107-112.

60. Юнусов, Р.В. Оценка надежности и гарантоспособная модель архитектуры программного обеспечения Текст. / Р.В. Юнусов // Вестник НИИСУВПТ. -Красноярск: НИИСУВПТ, 2001. Вып.8. - С.194-208.

61. Antamoshkin, A. System Analysis, Design and Optimization Text./ A. Antamoshkin, H.P. Schwefel, and others. Ofset Press, Krasnoyarsk, 1993. - 312 p.

62. Ashrafi, N. Optimization^ Models for Selection of Programs, Considering Cost & Reliability Text. / N. Ashrafi, O. Berman;IEEE Transaction, on reliability. Vol. 41, No 2, June 1992. -P.281-287.

63. Avizienis, A. The N-Version approach to fault-tolerant software Text. / A. Avizienis // IEEE Trans, on Software Engineering. Vol. SE11. - № 12. - December; 1985. - P. 1491-1501. ^

64. Berman, O. Choosing an Optimal Set of Libraries Text.- / O. Berman, M. Cutler // IEEE Transaction on reliability.- Vol. 45. No 2, June 1996. - P.303-307.

65. Bogomolov, S. Fault Tolerance Software Library Support of Real-Time Embedded Systems Text. / S. Bogomolov, A. Bondarenko, A. Fyodarov // Third European Dependable Computing Conference, EDCC-3. Prague, Czech Republic, September 15-17,2001.

66. Cherif, A. Improving the Efficiency of Replication for Highly Reliable Systems Text. / A. Cherif, M. Toyoshima, T. Katayama // FastAbstract ISSRE. 2003.

67. Choi, J.G. Reliability Estimation of nuclear digital I&C systems using Software Functional Block Diagram and control flow Text. / J.G. Choi, H.G.Kang // FastAbstract. 2000.

68. David, Ph. Development of a fault tolerant computer system for the Hermes Space Shuttle Text. / Ph. David, C. Guidal // IEEE Trans. 2003. - P. 641-648.

69. David W. Coit. System reliability confidence intervals for complex systems Text. / W. David // IEEE Trans, on reliability. 1997. - P. 487 - 492.

70. David W. Distribution Selection Электронный ресурс. / С JSteele Uncertainty Management. — Режим доступа : http://www.cjsteele.com/Distribution-Selection.pdf. Загл. с экрана.

71. Hamlet, D. Foundational Theory of Software Component Reliability Text. / D. Hamlet, D. Mason, D. Wiot // FastAbstract ISSRE. 2000.

72. Hecht, H. Fault tolerant software Text. / H. Hecht // IEEE Trans. Reliability. Vol. R-28.- 1979.-P. 227-232.

73. Hui-Qun, Z. A New Method for Estimating the Reliability of Software System Based on Components Text. / Z. Hui-Qun, S. Jing, G. Yuan; FastAbstract ISSRE and Chillarege Corp.-2001.

74. Hudak, J. Evaluation & comparition of fault-tolerant software techniques Text. / J. Hudak, B.-H. Suh, D. Sieweorek, Z. Segall.

75. Karunanithi, N. Prediction of Software Reliability Using Connectionist Text. / N. Karunanithi, D.Whitley, Y.K.Malaiya // IEEE transactions on reliability. Models July 1992.-Vol. 18.-No. 7.

76. Kaszycki, G. Using Process Metrics to Enhance Software Fault Prediction Models Text. / G. Kaszycki // FastAbstract ISSRE. 1999.

77. Keene, S. Progressive Software Reliability Modeling Text. / S. Keene // FastAbstract ISSRE. 1999.

78. Knight, C.J. An experimental evaluation of the assumption* of independence in Multiversion programming Text. / C.J. Knight, N.G. Levenson. IEEE Trans. Software Engineering. - Vol. SE-12, 1986. - P. 96-109.

79. Kovalev, I. Optimization Reliability Model for Telecommunications Software Systems Text. / I. Kovalev , A. Privalov, Ju. Shipovalov. In: Modelling, Measurement and Control. - AMSE Periodicals, Vol.4-5, 2000. - P. 47-52.

80. Kovalev, Is.V. Fault-tolerant software architecture creation model based on reliability evaluation Text. / F.V. Kovalev, R'.V.Younoussov; Advanced in Modeling-& Analysis, vol. 48, № 3-4. Journal of AMSE Periodicals,2002. P.31-43. - .

81. Levendel, Y. Reliability analysis of large software systems: Defect data modeling Text. / Y. Levendel // IEEE Trans. Software Engineering, 1990. Vol. 16. - P. 141152.

82. Liestman, A. Fault-Tolerant Scheduling Problem Text. / A. Liestman, R.-H. Campbell. IEEE Trans, on Software Engineering, 1986. - Vol. SE-12. - P. 10891095.

83. Lyu, M.R. Handbook of Software Reliability Engineering Text. / MIR. Lyu. IEEE Computer Society Press and McGraw-Hill Book Company, 1996. - 819 p.

84. Lyu, M.R. Software Fault Tolerance Text. / Michael R. Lyu. John Wiley & Sons Ltd, 1996.

85. McFarlan, F.W. Portfolio approach to information systems Text. / Harvard Business Rev. 59.-P. 142-150.

86. Muralidhar, K. Using the analytic hierarchy process for information system project selection Text. / K. Muralidhar, R. Santhanam, R. Wilson. Information Mgmt 18, 1990.-P. 87-95.

87. Rosenberg, L. Software Metrics and Reliability Text. / L. Rosenberg, T. Hammer, J. Shaw // Software reliability engineering presented at the 9-th International Symposium, "Best Paper" Award. November, 1998.

88. Zahedi, F. Software reliability allocation based on structure, utility, price, and cost was / F. Zahedi, N. Ashrafi // IEEE Trans, on Software Engineering. April 1991. - Vol. 17, No. 4.-P. 345-356.

89. Блок схема работы алгоритма принятия решений о прекращении или продолжении1. ЖЦ мультиверсии1. НачалоI

90. Найти матрицу решений удовлетвори ющих

91. Отсортировать матрицу * I по убыванию 1 | надежности Iк1. ПОСПСЯИЯР итерация?

92. Сравнить надежности | произвольного М-| решения с базовым !1. Р1К(Ю)>Я(иОГ'

93. Х&атаетресурсовна назр^бшку иссхмв из и}

94. Оставляем дополнительные мультиверсии1. Миг I ▲

95. Удэл.пъданное ре-ьсмксьи машл-Ы1. Пройдены всерешения V \ *решениеI1. Конецразработки ЖЦ ПО.

96. Рисунок Б.1 Начальный экран1. Е-System

97. Работа программной системы по выбору оптималього подмножества мультверсий1. Show Graph I1. Read Ft от fie j1.1J1. Vil

98. System, Cost Per Iteration 169.000000 ter«bon IleliabiftyEstimate 0.791359 Variance Rekabiky Estrrwste - 0.003019 Quarvtile 0.95 10.725786 3 System Reliability > 95pc is 0.000000