автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Система многоатрибутивного формирования мультиверсионных программных средств отказоустойчивых систем управления

ВВЕДЕНИЕ.

1. МУЛЬТИВЕРСИОННОЕ ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ДЛЯ ОТКАЗОУСТОЙЧИВЫХ СИСТЕМ УПРАВЛЕНИЯ.

1.1 Надежностное формирование состава модулей ПО.

1.2. Мультиверсонное программирование гарантоспособных программных компонент ПО.

1.3. Проблема выбора состава модулей при мультиверсионном программировании ПО для отказоустойчивых систем управления.

1.3.1. Модель осуществимости функциональных задач на мультиверсионной программной архитектуре.

1.3.2 Оптимизационные задачи надежностного формирования мультиверсионного ПО для отказоустойчивых систем управления.

2. ОПРЕДЕЛЕНИЕ ГЛУБИНЫ МУЛЬТИВЕРСИОННОСТИ ПРОГРАММНЫХ КОМПОНЕНТ.

2.1. Метод многоатрибутивного выбора оптимальной избыточности мультиверсионного ПО.

2.2. Метод модельного прототипа для определения объема вводимой программной избыточности.

2.2.1. Метод модельного прототипа.

2.2.2. Ожидаемый доход при полной информации.

2.2.3. Максимизации чистой стоимости при разработке прототипа.

2.2.4. Формализация процедуры определения матожидания дохода от полной информации.

2.2.5. Формализация процедуры определения матожидания дохода от неполной информации.

2.2.6. Особенности применения метода.

3. МАБМ-АЛГОРИТМЫ ВЫБОРА ОПТИМАЛЬНОЙ ИЗБЫТОЧНОСТИ МУЛЬТИВЕРСИОННОГО ПО.

3.1. Fuzzy-метод решения задачи многоцелевой оптимизации.

3.1.1. Метод последовательного целевого принятия решений MODM-задачи.

3.1.2. Алгоритм нахождения недоминируемого решения MODM-задачи.

3.2. MADM-метод учета неопределенности и субъективности оценок при выборе недоминируемого решения.

3.2.1. Метод выбора недоминируемого решения из ряда недоминируемых альтернатив

3.2.2. Алгоритм выбора недоминируемого решения, основанный на субъективных предпочтениях JI ПР.

3.3 Метод упорядоченного предпочтения через сходство с идеальным решением.

3.3.1. Алгоритм работы метода упорядоченного предпочтения через сходство с идеальным решением.

3.3.2. Метод упорядоченного предпочтения через сходство с идеальным решением для MODM-задач.:.

3.3.3. Алгоритм работы метода упорядоченного предпочтения через сходство с идеальным решением для MODM-задач.

4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СИСТЕМЫ МАБМ-ВЫБОРА И ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ.

4.1. Системы поддержки принятия решений.

4.1.1. Поддержка принятия решений.

4.1.2. Методология поддержки принятия решений.

4.1.3. Обобщенная схема поддержки принятия решений.

4.1.4. Анализ альтернатив.

4.1.5. Программные средства принятия решений.

4.1.6. Специальные системы поддержки принятия решений.

4.2. Описание системы.

4.2.1. Концептуальная схема.

4.2.2. Состав программ.

4.2.3. Логическая структура системы.

4.2.4. Описание функционирования системы.

4.2.5. Описание применения системы.

4.2.6. Руководство системного программиста.

4.2.7. Руководство программиста.

4.2.8. Руководство оператора.

4.3. Примеры решения задач и анализ результатов.

4.3.1. Метод упорядоченного предпочтения через сходство с идеальным решением. Результаты.

4.3.2. Анализ работы метод упорядоченного предпочтения через сходство с идеальным решением.

4.3.3. Результаты работы алгоритма fuzzy-метода.

4.3.4. Исследование работы алгоритма fuzzy - метода.

4.3.5. Исследование влияния мощности множества недоминируемых решений на результат работы MADM-метода учета неопределенности и субъективности оценок.

4.3.6 Многоатрибутивный выбор оптимального состава мультиверсионного информационно-управляющего блока системы управления мобильного измерительного комплекса диагностики и мониторинга ядерных объектов и сооружений на Горно-химическом комбинате.

Проектирование отказоустойчивых систем управления предъявляет высокие требования по надежности как к техническим, так и программным средствам. Существует ряд критичных областей науки и промышленности, где невыполнение этого требования и, как следствие, сбой работы системы управления могут повлечь за собой значительные экономические потери в рамках как предприятия, так и целого региона. Такими областями являются банковская система, космические исследования, подводные и подземные исследования, атомная промышленность, химическое производство, прогнозирование и т.д. Поэтому одной из основных задач разработчиков программного обеспечения (ПО) становится создание таких алгоритмов или методов разработки ПО, которые обеспечивали бы устойчивость системы к программным и аппаратным сбоям. В свою очередь, исследования надежности функционирования систем управления показали, что качество их работы напрямую зависит от надежности и безотказности программного обеспечения.

Одним из подходов к созданию отказоустойчивых систем управления является методология избыточности. Мультиверсионное отказоустойчивое программирование позволяет добиться оптимальной программной избыточности, призванной предупредить случайные сбои. Причем работа системы управления застрахована также и от сбоев, вызванных ошибками, сгенерированными еще во время проектирования и разработки программного обеспечения. Очевидно, что чем больше глубина мультиверсионности, т. е. чем больше число мультиверсий, обеспечивающих исполнение программных модулей, тем выше вероятность корректного функционирования мультиверсионного программного обеспечения.

В настоящее время только подход мультиверсионного отказоустойчивого программирования является возможной альтернативой методам тестирования и доказательства правильности программ, обеспечивая высокий уровень надежности исполнения критичных по сбоям и ошибкам программных компонент. Именно данная методология обеспечивает гарантию того, что ошибки одной из версий не приведут к нарушению процесса работы систем управления, для которых характерны жесткие требования по надежности.

На этапе создания ПО отказоустойчивых систем управления, а также при его развитии и модификации основное внимание направлено на разработку спецификаций, что позволяет привлекать к разработке мультиверсионных компонент непосредственно специалистов по управлению. Использование систем поддержки принятия решений при мультиверсионном программировании позволяет уделять основное внимание качеству требований на этапе формирования надежного программного обеспечения.

Однако улучшение характеристик надежности ПО с использованием избыточности требует дополнительных ресурсов. Поэтому основной вопрос, встающий перед исследователем на этом этапе, заключается в том, каким образом, используя избыточность в структуре ПО, максимизировать надежность и сохранить стоимостной фактор "под контролем".

Вследствие этого перед проектировщиком возникает проблема выбора компонент ПО из множества альтернатив, которая, как правило, оказывается многоатрибутивной, так как, наряду с повышением надежности работы системы, необходимо решать ряд других задач, таких, как снижение денежных затрат на разработку, внедрение и модификация системы, уменьшение времени реализации процесса управления и т. п.

Данная область включает в себя методы принятия решений при многих критериях, ориентирующиеся на задачи с дискретным пространством решений. К настоящему времени разработано большое число методологий многоатрибутивной поддержки принятия решений, учитывающих различные уровни информации о предпочтениях эксперта. Эффективность работы этих методов подтверждается многолетним опытом их применения в различных областях, где встает задача выбора одной альтернативы из ряда предложенных.

Использование различных методов определения глубины мультиверсионности и многоатрибутивного принятия решений при выборе программных компонент позволяет многосторонне взглянуть на проблему формирования программного обеспечения и из полученной многовариантности решений спроектировать программную систему, отвечающую требованиям и желаниям проектировщика.

Можно констатировать, что в настоящее время для поддержки принятия решений используют различные методы и подходы, которые в совокупности дополняют друг друга. Принятие решений включает выбор последовательности действий и ее реализацию. Поддержка принятия решений основана на получении многовариантных решений с использованием разных методов. Следует отметить, что до настоящего времени при создании мультиверсионного программного обеспечения применялись методы однокритериального принятия решений.

Уверенность в успешности решения поставленной задачи основывается на исследовании результатов таких отечественных и зарубежных ученых, как Ковалев И.В., Растригин J1.A., Мамиконов А.Г., Липаев В.В., Движение А.А, Боэм Б.У., Гросспитч К.Е, Михалевич B.C., Тихонов А.Н. и др.

Работа в области формирования программного обеспечения отказоустойчивых систем управления требует определенных затрат, однако практическая значимость решения этой задачи для нужд науки и промышленности не оставляет сомнений в ее экономической целесообразности, своевременности и актуальности.

Целью диссертационной работы является разработка системы многоатрибутивного формирования мультиверсионных программных средств отказоустойчивых систем управления.

Для достижения поставленной цели решались следующие задачи:

- анализ и формализация задач многоарибутивного выбора при мультиверсионном формировании программных средств отказоустойчивых систем управления;

- разработка концептуальной модели системы компьютерной поддержки принятия решений;

- разработка алгоритмического и программного обеспечения процедур определения объема вводимой программной избыточности;

- разработка алгоритмов методов многоатрибутивного принятия решений при формировании мультиверсионных программных средств;

- реализация разработанных алгоритмов и программного обеспечения в рамках системы многоатрибутивного формирования мультиверсионных программных средств отказоустойчивых систем управления.

Методы исследования. При выполнении работы использовались методы системного анализа, методы оптимизации, теории вероятностей, теории нечетких множеств и многоатрибутивные методы принятия решений. Научная новизна работы:

- применение многоатрибутивных методов выбора компонент мультиверсионных программных средств отказоустойчивых систем управления;

- разработана структура системы формирования мультиверсионных программных средств отказоустойчивых систем управления;

- построена модель определения объема вводимой программной избыточности и многоатрибутивного принятия решений по составу мультиверсий, исходя из этого объема;

- предложен алгоритм метода многоатрибутивного выбора оптимальной избыточности мультиверсионного программного обеспечения;

- предложен модифицированный алгоритм метода упорядоченного предпочтения через сходство с идеальным решением;

- реализован комплекс алгоритмов многоатрибутивного выбора при формировании мультиверсионных программных средств, обеспечивающий многовариантность решений.

Значение для теории. Результаты, полученные при выполнении диссертационной работы, создают теоретическую основу для разработки многоатрибутивных методов и алгоритмов, направленных на эффективное формирование мультиверсионных программных средств.

Практическая ценность. Разработанная в диссертации система многоатрибутивного формирования мультиверсионных программных средств позволяет создавать отказоустойчивые системы управления, применяемые в различных областях науки и производства (атомная промышленность, космические исследования, химическое производство и т. д.).

• При формировании отказоустойчивых систем управления на основе предложенной системы повышается их надежность.

• Применение предложенной системы значительно сокращает сроки разработки мультиверсионных программных средств.

• Надежностное проектирование мультиверсионных программных средств позволяет решать новые задачи по качественной оценке и быстрому восстановлению системы ПО при введении оптимальной избыточности программных компонент.

Достоверность полученных результатов подтверждается корректным использованием методологии мультиверсионного проектирования и теоретических методов многоатрибутивного принятия решений при обосновании полученных результатов, выводов, рекомендаций и успешной апробацией и демонстрацией возможностей разработанной системы поддержки принятия решений при многоатрибутивном формировании мультиверсионных программных средств отказоустойчивых систем управления.

Реализация результатов работы. Диссертационная работа выполнялась по проектам межотраслевых программ Минобразования России и Минатома России по направлению «Научно-инновационное сотрудничество» (проект VII-12), а также в рамках тематического плана НИР НИИ СУВПТ (2000-2002 гг.), финансируемых из средств федерального бюджета.

При использовании системы многоатрибутивного формирования мультиверсионных программных средств отказоустойчивых систем управления был реализован информационно-управляющий блок мобильного измерительного комплекса диагностики и мониторинга ядерных объектов и сооружений на Горно-химическом комбинате (г. Железногорск).

Материалы диссертационной работы введены в учебные курсы и используются при чтении лекций студентам кафедры информатики Красноярского государственного технического университета по дисциплине «Разработка программного обеспечения для информационно-управляющих систем».

На защиту выносятся: 1. Метод формирования мультиверсионного ПО отказоустойчивых систем управления на основе определения глубины мультиверсионности и выбора состава мультиверсий.

2. Комплекс алгоритмов методов многоатрибутивного принятия решений, учитывающих глубину мультиверсионности при формировании состава мультиверсий высоконадежного, отказоустойчивого программного обеспечения.

3. Модифицированный алгоритм упорядоченного предпочтения через сходство с идеальным решением, решающий многоатрибутивные оптимизационные задачи выбора состава мультиверсий при любой мощности множества альтернатив.

4. Система поддержки принятия многоатрибутивных решений, эффективно решающая задачи формирования мультиверсионных программных средств отказоустойчивых систем управления.

Апробация работы. Основные положения и результаты работы прошли всестороннюю апробацию на всероссийских конференциях, научных семинарах и научно-практических конференциях. В том числе:

- на Всероссийских научно-практических конференциях «Решетневские чтения», Красноярск, 2000-2001 гг.;

- на Всероссийской научно-технической конференции «Перспективные материалы, технологии, конструкции, экономика», Красноярск, 2001г.;

- на Всероссийской научно-технической конференции «Научно-инновационное сотрудничество». Научная сессия МИФИ-2002, Москва, 2002 г;

- на Всероссийской конференции «Математические модели природы и общества», Красноярск, 2002 г.

Диссертационная работа в целом обсуждалась на научных семинарах кафедры информатики Красноярского государственного технического университета (1999-2002 гг.), кафедры микроволновых технологий Тулузского государственного политехнического института, Франция (2001-2002 гг.), кафедры системотехники Сибирского государственного технологического университета (2003 г.).

Основные результаты исследований были отмечены Комитетом по науке и высшему образованию администрации Красноярского края (конкурс по оказанию поддержки преподавателям, студентам и аспирантам вузов для участия в международных программах обмена и научных мероприятиях, 20012002 гг.) Стажировка проходила в Тулузском государственном политехническом институте, Франция.

Публикации. По материалам диссертации опубликовано 11 печатных работ, из них: 2 монографии; 2 статьи в сборниках; 7 работ, опубликованные в материалах всероссийских конференций.

Выводы

1. В настоящее время для поддержки принятия решений используют различные методы и подходы, которые в совокупности дополняют друг друга. Принятие решений включает выбор последовательности действий и ее реализацию. Поддержка принятия решений основана на получении многовариантных решений с использованием разных методов.

2. Разработанная система поддержки многоатрибутивного выбора при мультиверсионном формировании программного обеспечения для отказоустойчивых систем управления соответствует принципам построения диалоговой системы формирования отказоустойчивой системы управления.

3. Создана система системы поддержки многоатрибутивного выбора при мультиверсионном формировании программного обеспечения для отказоустойчивых систем управления, в основу которой положены математические методы надежностного мультиверсионного программирования.

4. Проведены исследования влияния мощности множества недоминируемых решений на результат работы метода учета неопределенности и субъективности оценок при решении задачи многоатрибутивного принятия решения.

5. Средствами разработанной системы поддержки многоатрибутивного выбора при мультиверсионном формировании программного обеспечения для отказоустойчивых систем управления решена задача формирования информационно-управляющего блока системы управления мобильного измерительного комплекса диагностики и мониторинга ядерных объектов и сооружений на Горно-химическом комбинате.

На основе общих тенденций развития технологий проектирования высоконадежного программного обеспечения и с использованием оптимизационных методов были предложены способы решения задачи многоатрибутивного выбора состава мультиверсионных программных средств отказоустойчивых систем управления. Решение этой проблемы базируется на следующих основных результатах.

1. Проведен анализ и формализация задач многоарибутивного выбора при мультиверсионном формировании программного обеспечения отказоустойчивых систем управления.

2. Предложена концептуальная модель системы поддержки принятия решений.

3. Разработано алгоритмическое и программное обеспечение процедур определения объема вводимой программной избыточности.

4. Разработаны алгоритмы, реализующие математические методы многоатрибутивного принятия решений при формировании мультиверсионного программного обеспечения.

5. Выполнена программная реализация разработанных алгоритмов в виде системы многоатрибутивного формирования мультиверсионных программных средств отказоустойчивых систем управления.

Результаты выполнения реальных проектов подтвердили эффективность и универсальность разработанной системы поддержки многоатрибутивного выбора при мультиверсионном формировании программного обеспечения для отказоустойчивых систем управления.

1. Алимханов, A.M. Компьютерная поддержка мультивереионных методов формирования программного обеспечения в интегрированных корпоративных системах / Вестник НИИ СУВПТ. № 8. - Красноярск: НИИСУВПТ, 2003. - С. 116-119.

2. Алимханов, A.M. Методы управления развитием корпоративных информационных технологий / Вестник НИИ СУВПТ. № 8. -Красноярск: НИИСУВПТ, 2003. - С. 111-115.

3. Алимханов, A.M. Современные стратегии оптимального развития информационных технологий в интегрированных корпоративных структурах / Вестник НИИ СУВПТ «Адаптивные системы моделирования и управления». 4.2. - Красноярск: НИИ СУВПТ, 2000. - С. 12-15.

4. Антамошкин, А.Н. Определение оптимальной структуры мультиверсионного программного обеспечения при ограничениях по времени и стоимости / А.Н. Антамошкин, И.В. Ковалев; Вестник САА. -№ 1. 2000. - С. 111-124.

5. Беляева, М.Н. Обеспечение надежности микропроцессорных систем управления автоматизированным технологическим оборудованием путем актуализации связей между аппаратными и программными средствами:

6. Автореферат диссертации на соискание ученой степени кандидата технических наук / Рыбинск: РГТА, 1998. 16 с.

7. Боэм, Б. Характеристики качества программного обеспечения / Б. Боэм, Дж. Браун, X. Каспар, М. Липов, Г. Мак-Леод, М. Мерит. М.: Мир, 1981. - 208 с.

8. Боэм, Б.У. Инженерное проектирование программного обеспечения / Пер. с англ. М.: Радио и связь, 1985. -512 с.

9. Вальков, В.М. Автоматизация управления производством изделий электроники / М.: Радио и связь, 1982. 222 с.

10. Вальков, В.М. Автоматизированные системы управления технологическими процессами / В.М. Вальков, В.Е. Вершин. 3-е изд., перераб. и доп. - Л.: Политехника, 1991. - 269 с.

11. Вальков, В.М. Микроэлектронные управляющие вычислительные комплексы: системное проектирование и конструирование / Л.: Машиностроение, 1990. 224 с.

12. Вахрамеев К. Защита данных от катастроф / «Открытые системы» . № 3. -2000.-С. 8-16.

13. Воеводин, В.В. Математические модели и методы в параллельных процессах / М.: Наука, 1986. 328 с.

14. Волик, Б.Г. Методы анализа и синтеза структур управляющих систем / Под ред. Б.Г.Волика. М.: Энергоатомиздат, 1988. - 296 с.

15. Вопросы анализа и процедуры принятия решений / М.: Мир, 1976.

16. Гантер, Р. Методы управления проектированием программного обеспечения / Под ред. Е.К.Масловского. М.: Мир, 1981. - 392 с.

17. Гафт, М. Г. Принятие решений при многих критериях / М.: Знание, 1979.

18. Головкин, Б.А. Расчет характеристик и планирование параллельных вычислительных процессов / М.: Радио и связь, 1983. 272 с.

19. Горбатов, В.А. САПР систем логического управления / В.А. Горбатов, А.В. Крылов, Н.В. Федоров. -М.: Энергоатомиздат, 1988. 230 с.

20. Губанов, В.А. Введение в системный анализ / Под ред. Л. А. Петросяна. -Л.: ЛГУ, 1988.-232 с.

21. Гудман, С. Введение в разработку и анализ алгоритмов / С. Гудман, С. Хидетниеми. Пер. с англ. - М.: Мир, 1981. - 366 с.

22. Давыденко, О.В. . Оценка надежности программного обеспечения бортового комплекса управления / О.В. Давыденко, И.В. Ковалев. -Вестник КГТУ: Сб.научн.трудов; под ред. Б.П.Соустина. Вып.5. -Красноярск, 1996.-С. 119-121.

23. Давыдов, И.Н. Технология надежностного программирования задач автоматизации управления в технических системах / И.Н. Давыдов, А.С. Привалов, А.А Ступина; Красноярск: НИИ СУВПТ, 2000. 207 с.

24. Дубова, Н. На пути к управлению ИТ-услугами / «Открытые системы» . -№ 7-8. 2000. - С. 49-57.

25. Дубова, Н. Управление надежным хранением / «Открытые системы» . № 6.-2002.-С. 37-43.

26. Клейнрок, JI. Теория массового обслуживания / М.: Машиностроение, 1979.

27. Князькин, Ю.М. Построение на встроенной ЦВМ интерпретатора алгоритмов логического управления сложным объектом / Ю.М Князькин, В.В. Хартов. Проблемы управления движением и навигацией, № 22, 1987.

28. Ковалев, И.В. Автоматизация создания программных средств систем управления / В кн.: Микроэлектронные устройства: проектирование и технология. Красноярск. КПИ, 1990. - С. 79-85.

29. Ковалев И.В. Многоатрибутивная модель формирования гарантоспособного набора проектов мультиверсионных программных систем / И.В. Ковалев, Р.Ю. Царев; Вестник НИИ СУВПТ. Вып.7. -Красноярск: НИИ СУВПТ, 2001. - С. 129-137.

30. Ковалев, И.В. Оптимальное проектирование мультиверсионных систем управления / И.В. Ковалев, А.А. Попов, А.С. Привалов. Доклады НТК с международным участием «Информационные технологии в инновационных проектах» . - Ижевск: ИжГТУ, 2000. - С. 24-29.

31. Ковалев, И.В. Параллельные процессы в информационно-управляющих системах. Формирование и оптимизация: Монография/ И.В. Ковалев, Р.Ю. Царев, Ю.Г. Шиповалов. Под ред. д.т.н., проф. А.В. Медведева. -Красноярск: НИИ СУВПТ, 2001.-143 с.

32. Ковалев, И.В. Система мультиверсионного формирования программного обеспечения управления космическими аппаратами: Диссертация на соискание ученой степени доктора технических наук / Красноярск: КГТУ, 1997.-228 с.

33. Ковалев, И.В. Эффективность программно-алгоритмической реализации технологических режимов: Информационные процессы в промышленности: Сборник научных трудов / Кемерово: Кузбасский политехнический институт, 1989. С. 47-52.

34. Кочетов, Ю.А. Задачи оптимального выбора состава систем технических средств при многоэтапном процессе выполнения работ / Препринт N 12. -Новосибирск, Ин-т математики СО АН СССР, 1987. -47 с.

35. Ларичев, О.И. Человеко-машинные процедуры принятия решений / АиТ, 1971.-Вып. 12.-С. 130-142.

36. Лебедев, В.А. Параллельные процессы обработки информации в управляющих системах: Монография / В.А. Лебедев, Н.Н. Трохов, Р.Ю. Царев. Красноярск: НИИ СУВПТ, 2001. - 137 с.

37. Липаев, В.В. О проблемах оценивания качества программных средств / Информационные технологии. № 4. - 2002. - С. 19-23.

38. Липаев, В.В. Проектирование математического обеспечения АСУ / М.: Советское радио, 1977. 400 с.

39. Липаев, В.В. Технология проектирования комплексов программ АСУ / В.В. Липаев, Л.А. Серебровский. -М.: Радио и связь, 1983. 264 с.

40. Липаев, В.В. Тестирование программ / М.: Радио и связь, 1986. 234 с.

41. Майерс, Г. Надежность программного обеспечения: Пер. с англ./ Под ред. В.Ш.Кауфмана. М.: Мир, 1980. - 360 с.

42. Мамиконов, А.Г. Типизация разработки модульных систем обработки данных / А.Г. Мамиконов, В.В. Кульба, С.А. Косяченко. М.: Наука, 1989. -165 с.

43. Мамиконов, А.Г. Синтез оптимальных модульных систем обработки данных / А.Г. Мамиконов, В.В. Кульба. М.: Наука, 1986.

44. Мамиконов, А.Г. Проектирование АСУ / М.: Высш. шк., 1987. 304 с.

45. Месорович, М. Теория иерархических многоуровневых систем / М. Месорович, Д. Мако, А. Такахара. М.: Мир. 1973. - С. 344.

46. Михалевич, B.C. Вычислительные методы исследования и проектирования сложных систем / B.C. Михалевич, B.JI. Волкович. -Наука, 1982.-286 с.

47. Многокритериальные задачи принятия решений / М.: Машиностроение, 1978.5 8. Орлов, С. А. Технологии разработки программного обеспечения: разработка сложных программных средств / СПб.: Питер, 2002. 464 с.

48. Орловский, С.А. Проблемы принятия решений при нечеткой исходной информации / М.: Наука, 1981. 208 с.

49. Подиновский, В. В. Парето-оптимальные решения многокритериальных задач / В. В. Подиновский, В. Д. Ногин. -М.: Наука, 1982.

50. Подиновский, В.В. Об относительной важности критериев в многокритериальных задачах принятия решений: Многокритериальные задачи принятия решений / М.: Машиностроение, 1978. С. 48-82.

51. Попов, А.А. Бинарная модель отказоустойчивой системы программного обеспечения: Доклады НТК с международным участием «Информационные технологии в инновационных проектах» / А.А. Попов, А.С. Привалов. Ижевск: ИжГТУ, 2000. - С. 77-83.

52. Принятие решения в задаче выбора предпочтительного варианта технического решения на этапе конструирования по векторному критерию: Методика / Горький: Горьковский филиал ВНИИНМАШ, 1980.

53. Раздобаров, А.Б. Контроль состояния электронных систем управления при техническом обслуживании электровозов ВЛ80р / А.Б. Раздобаров, Н.Г. Шабалин. Труды ВЗИИТ, 1983. - № 11. - С. 144-149.

54. Раинкшкс, К. Оценка надежности систем с использованием графов / К. Раинкшкс, И.А. Ушаков. М.: Радио и связь, 1988.

55. Саркисян, А.А. Повышение качества программ на основе автоматизированных методов / М.: Радио и связь, 1991. 160 с.

56. Системный анализ: Проектирование, оптимизация и приложения / В 2 т., под общ. Ред. Антамошкина А.Н. Красноярск: САА, 1996. - 206 с.

57. Толковый словарь по вычислительным системам / Под ред. В. Иллигуорта и др.: Пер с англ. М.: Машиностроение, 1991. - 560 с.

58. Фишберн, П. С. Теория полезности для принятия решений / М.: Наука, 1978.

59. Фокс, Дж. Программное обеспечение и его разработка / Пер. с англ. Под ред. Д.Б.Подшивалова. - М.: Мир, 1985. - 268 с.

60. Хетагуров, Я. А. Проектирование информационно-вычислительных комплексов / Я.А. Хетагуров, Ю.Г. Древе. М.: Высш. шк., 1987. - 280 с.

61. Хорошевский, В.Г. Инженерный анализ функционирования вычислительных машин и систем / М.: Радио и связь, 1987.-256с.

62. Царев, Р.Ю. Многокритериальное принятие решений при создании отказоустойчивого программного обеспечения / Вестник НИИ СУВПТ. -Вып.2. Красноярск: НИИ СУВПТ, 1999. - С. 190-194.

63. Царев, Р.Ю. Преобразование атрибутов при многоатрибутивном принятии решения / Решетневские чтения. Тез. докл. V Всерос. Научн.-практ. конф. студентов, аспирантов молодых специалистов 12-15 ноября 2001г. -Красноярск: САА, 2001. С. 119-120.

64. Черняк, JI. Архитектура систем по Захману / «Открытые системы» . № 12.-2001.-С. 28-29.

65. Чжу, У.У. Копирование и размещение программных модулей в системе распределенной обработки в реальном времени / У.У. Чжу, Ц.К. Лян. -ТИИЭР, 1987. Т. 75, N 5. - С. 23-44.

66. Юдин, Д.Б. Математические методы оптимизации устройств и алгоритмов АСУ / Д.Б. Юдин, А.П. Горяшко, А.С. Немировский. М.: Радио и связь, 1982.-288 с.

67. Antamoshkina, О. Modeling, Optimization and Computer-Realization of Control Cyclograms / O. Antamoshkina, I. Kovalev. Krasnoyarsk: SAA. 1996.-74 p.

68. Antamoshkin, A. System Analysis, Design and Optimization / A. Antamoshkin, H.P. Schwefel, and others. Ofset Press, Krasnoyarsk, 1993. - 312 p.

69. Avizienis, A. The N-Version approach to fault-tolerant software / IEEE Trans, on Software Engineering. Vol. SE11, № 12, December, 1985. - P. 1491-1501.

70. Bhatnagar, S.K. Network analysis techniques / Wiley Eastern Limited, New Delhi, 1986.-456 p.

71. Boehm, B.W. Software Risk Management / IEEE CS Press Tutorial, 1989.

72. Cesar, G. Interactive Fuzzy Programming with Preference Criteria in Multiobjective Decision-Making / Cesar G. Tapia and Bruce A. Mutagh. -School of Mechanical & Manufacturing Engineering, University of New South Wales, Australia.

73. Clasen, U. Eine Moeglichkeit der numerischen Behandlung von zeitlich-stochastischen Netzplaenen / In: "Operations Research Proceedings", Springer Verlag Berlin-Heidelberg, 1994. P. 46-51.

74. David, Ph. Development of a fault tolerant computer system for the Hermes Space Shuttle / Ph. David, C. Guidal. IEEE Trans., 1993. - P. 641-648.

75. Dunham, J.R. Eds. Production of reliable flight crucial software: Validation method research for fault-tolerant avionics and control systems sub-working-group meeting / J.R. Dunham, C.J. Knight NASA Conf. Pub. 2222, NASA, 1985.

76. Fishburn, P. C. Decision and value theory / New York: Wiley, 1964.

77. Hecht, H. Fault tolerant software / IEEE Trans. Reliability, Vol. R-28, 1979. -P. 227-232.

78. Highsmith, J.A. Adaptive Software Development: A Collaborative Approach to Managing Complex Systems / Dorset House Publishing, 2000. 392 p.

79. Hwang, C.-L. A new approach for multiple objective decision making / C.-L. Hwang, Y.-J. Lai, T.-Y Liu.

80. Grosspietsch, K.-E. Deriving the Optimal Structure of N-Version Software under Resource and Cost/Timing Constraints / K.-E. Grosspietsch, I. Kovalev; In: Ferenc Vajda (Ed.): Proceedings of the 26th Euromicro Conference

81. Maastricht, The Netherlands, September 5-7, 2000) . Volume II. - IEEE Computer Society, 2000. - P. 200-207.

82. Iannino, A. Criteria for software reliability comparison / ACM Sigsoft Software Engineering Notes, Vol. 8, 1983. P. 227-232.

83. Johnson, D.M. The systems engineer and the software crisis / ACM SIGSOFT: Software Engineering Notes, Vol. 21, no. 2, March 1996. P. 64-73.

84. Knight, C.J. An experimental evaluation of the assumption of independence in Multiversion programming / C.J. Knight, N.G. Levenson. IEEE Trans. Software Engineering, Vol. SE-12, 1986. - P. 96-109.

85. Kovalev, I. Computer-Aided Modelling of Production Cycles Optimal Sequence in: Letunovsky V.V.(Editor-in-chief): Problems of products quality assurance in machine-building: Proceedings of Int. Conf. KSTU / Krasnoyarsk, 1994. P. 43-48.

86. Kovalev, I. Optimal Time Cyclograms of Spacecrafts Control Systems / I. Kovalev, O. Davydenko In: "Advances in Modeling and Analysis, C", Vol.48, № 2-3, 1996, AMSE PRESS. P. 19-23.

87. Kovalev, I. Optimization Reliability Model for Telecommunications Software Systems / I. Kovalev , A. Privalov, Ju. Shipovalov. In: Modelling, Measurement and Control. - AMSE Periodicals, Vol.4-5, 2000. -P. 47-52.

88. Kovalev, I. Software engineering of spacecraft control technological cycles / In: "Modelling, Measurement and Control, B". Vol.56, №3. -AMSE PRESS, 1994.-P. 45-49.

89. Kovalev, I. System of Multi-Version Development of Spacecrafts Control Software / Pro Universitate Verlag. Sinzheim, 2001. 77 p.

90. Levendel, Y. Reliability analysis of large software systems: Defect data modeling / IEEE Trans. Software Engineering, 1990. Vol. 16. - P. 141152.

91. Oral, M. Modelling the process of multi attribute choice / M. Oral, O. Kettani. Res. Soc. 40, 1989. - P. 281-291.

92. McFarlan, F.W. Portfolio approach to information systems / Harvard Business Rev. 59. P. 142-150.

93. McKeen, J.D. Selecting MIS project by steering committee / J.D. McKeen, T. Guimares. Commun. ACM 28, 1985. - P. 1344-1352.

94. Muralidhar, K. Using the analytic hierarchy process for information system project selection / K. Muralidhar, R. Santhanam, R. Wilson. Information Mgmt 18, 1990.-P. 87-95.

95. Santhanam, R. A zero-one goal programming approach for information system project selection / OMEGA 17, 1989. P. 583-593.

96. Schniederjans, M.J. A multi-objective constrained resource information system project selection problem / M.J. Schniederjans, R Santhanam. Eur. Res. 70, 1993.-P. 244-253.

97. Silayeva ,T. K.-E. An Innovative Method for Program Reliability Evaluation / T. Silayeva, K.-E. Grosspietsch. Euromicro '95. Como (Italy), September 1995.

98. Silayeva, T Eine Methode zur Zuverlaessigkeits-abschaetzung fuer Software / T. Silayeva, K.-E. Grosspietsch. In: Workshop des DGLR-Fachausschusses Software Ingineering am 17. Mai 1995 in Neubiberg. UniBW Munich, 1995. - P. 51-59.r

99. Sommerville, I. Software Engineering /6 ed. Addison-Wesley, 2001. -713 p.

100. Tapia, C.G. Interactive fuzzy programming with preference criteria in multiobjective decision-making / C.G. Tapia, B.A. Murtagh. Computers Ops. Res., 1991.-Vol 18, No. 3. - P. 307-316.

101. Whitehouse, G. E. Applied operations research: a survey, Wiley, Inc. / G. E. Whitehouse, B. L. Wechsler. New York, 1976. - 424 p.

102. Zahedi, F. Software reliability allocation based on structure, utility, price, and cost / F. Zahedi, N. Ashrafi. IEEE Trans, on Software Engineering, April 1991. - Vol. 17, No. 4. - Pp. 345-356.

103. Zeleny, M. Multiple Criteria Decision Making / McGraw-Hill, New York, 1982.-358 p.

104. Блок-схема работы алгоритма TOPSISD