автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.15, диссертация на тему:Методика и средства обеспечения отказоустойчивости бортовых вычислительных систем реального времени

На правах рукописи УДК 681.323

Ле Куанг Минь

МЕТОДИКА И СРЕДСТВА ОБЕСПЕЧЕНИЯ ОТКАЗОУСТОЙЧИВОСТИ БОРТОВЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ РЕАЛЬНОГО ВРЕМЕНИ

Специальность 05 13 15-Вычислительные машины и системы

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва-2008

003172461

Работа выполнена в Московском государственном техническом университете им НЭ Баумана

Научный руководитель: кандидат технических наук, доцент

Романовский Александр Сергеевич

Официальные оппоненты:

доктор технических наук, профессор Шубинский Игорь Борисович,

кандидат технических наук, доцент Медведев Николай Викторович

Ведущая организация: ФГУП НИИ «Аргон»

Защита состоится 26 июня 2008 года на заседании диссертационного совета Д 21214110 в Московском государственном техническом университете им НЭ Баумана по адресу 105005, г Москва, 2-я Бауманская ул, д 5

Отзыв на автореферат, заверенный печатью организации, просим присылать по адресу 105005, г Москва, 2-я Бауманская ул , д 5

С диссертацией можно ознакомиться в библиотеке МГТУ им Н.Э.Баумана

Автореферат диссертации разослан «ÜL» мая 2008 г.

Ученый секретарь диссертационного совета к т н, доцент

ОБЩАЯ ХАРАКТЕРИТИКА РАБОТЫ

Актуальность проблемы. В настоящее время, вычислительная техника находит все более широкое применение в различных сферах человеческой деятельности Особую актуальность приобретает использование вычислительных систем для управления ответственными объектами, работающими в режиме реального времени К таким системам в первую очередь следует отнести системы управления атомными электростанциями, бортовые вычислительные системы, системы спутниковой связи и другие Подобные системы должны обладать свойствами отказоустойчивости и живучести за все время их активного функционирования, поскольку их отказы могут быть весьма дорогостоящими и иметь опасные последствия

С появлением вычислительных машин начались исследования в области повышения надежности их работы В классических работах на эту тему намечены пути повышения надежности, заключающиеся в основном во введении различных форм избыточности (аппаратурной, функциональной, временной и др ) Эти исследования и полученные результаты базировались в основном на математических методах (теории вероятностей и математической статистики, теории случайных процессов, теории графов, исследовании операций и др) В области космической физики были сформулированы представления и получены исходные экспериментальные данные о характеристиках радиационных поясов Земли, космических лучей и т д В области радиационной стойкости были разработаны методические подходы к заданию требований по радиационной стойкости интегральных микросхем, проведены исследования дозовых и временных эффектов в комплектующих элементах и аппаратуре в условиях воздействия ионизирующих излучений (ИИ) Однако, существующие методы обеспечения надежности не всегда достигали требуемых показателей надежности бортовых вычислительных систем Кроме того, указанные методы не позволяли в необходимой мере учитывать влияние специфических воздействий внешней среды космического пространства, прежде всего, низкоинтенсивных ионизирующих излучений на надежность бортовых вычислительных систем

С возникшей в последнее время потребностью увеличения сроков активного существования космических аппаратов эта проблема приобрела особую актуальность и значимость и стимулировала проведение подобных

исследований во многих странах Так, в современных условиях конкурентоспособность и рентабельность проектов предоставления услуг космической связи определяют необходимость создания космических аппаратов со сроком активного существования 12 и более лет Опыт, накопленный предприятиями космической отрасли, показал, что прогресс в создании космических аппаратов с такими сроками активного существования невозможен без изменения традиционного подхода к обеспечению отказоустойчивости бортовых вычислительных систем.

Указанные соображения определили важность и актуальность решаемой в диссертации научно-технической задачи - разработки методики и средств обеспечения отказоустойчивости бортовых вычислительных систем реального времени

Цель диссертационной работы состоит в разработке методики и средств обеспечения отказоустойчивости бортовых вычислительных систем реального времени, позволяющих повысить надежности систем в условиях воздействия низкоинтенсивных ионизирующих излучений за счет использования резервирования, активной защиты от отказов и режима принудительного переключения резервных комплектов

Для достижения поставленной цели решаются следующие задачи

1 Сравнительный анализ существующих концепций обеспечения отказоустойчивого функционирования и принципов построения современных отказоустойчивых вычислительных систем

2 Разработка методики обеспечения отказоустойчивости бортовых вычислительных систем с целью предотвращения сбоев или отказов, вызванных воздействием низкоинтенсивных ионизирующих излучений на элементы системы с традиционной схемой резервирования

3 Организация активной защиты от отказов в бортовых вычислительных системах реального времени с целью обеспечения отказоустойчивости системы в условиях воздействия низкоинтенсивных ионизирующих излучений

4 Оценка эффективности применения активной защиты от отказов в иерархических бортовых вычислительных системах.

Методы исследования, использованные в процессе выполнения диссертационной работы имитационное моделирование, теория вероятностей, комбинаторный анализ, теория графов, теория случайных

процессов (марковские и полумарковские процессы), теория надежности технических систем

Научная новизна диссертационной работы заключается в следующем

- разработана методика построения отказоустойчивых вычислительных систем, использующая резервирование в нагруженном режиме и режим принудительного переключения резервных элементов, позволяющая обеспечить заданный уровень надежности системы в условиях воздействия ионизирующих излучений,

- разработана методика построения отказоустойчивых вычислительных систем, использующая механизм активной защиты от отказов и режим принудительного переключения резервных элементов, позволяющая повысить надежность бортовых вычислительных систем за счет предотвращения сбоев и отказов элементов системы, вызванных воздействием ионизирующих излучений,

- получены аналитические выражения для оценки вероятности безотказной работы системы активной защиты от отказов в общем случае для любого числа основных и дополнительных вычислительных модулей, позволяющие обосновано выбирать структуру системы, исходя из заданного значения вероятности безотказной работы

Практическая ценность полученных в работе результатов состоит в том, что разработанные методики и средства организации активной защиты от отказов и принудительного переключения резервных комплектов в бортовых вычислительных системах могут быть использованы при разработке отказоустойчивых вычислительных систем, при проектировании вычислительных систем космического базирования, предназначенных для длительного использования в условиях воздействия низкоинтенсивных ионизирующих излучений

Внедрение результатов работы Полученные в диссертации результаты использованы в НИИ информатики и систем управления МГТУ им НЭ Баумана при выполнении работы по созданию отказоустойчивой цифровой вычислительной системы для бортового Фурье-спектрометра, предназначенного для длительного использования в составе научной аппаратуры космического аппарата Метеор-ЗМ

Исходя из заданных требований к надежности всего прибора, путем моделирования с использованием разработанных в диссертации методов и

алгоритмов были выработаны рекомендации по построению отказоустойчивой цифровой вычислительной системы бортового Фурье-спектрометра

Апробация работы и публикации. Тема и содержание диссертации отражены в 5 научных работах, из них по списку ВАК - 1 работа

Основные положения и результаты работы заслушивались и обсуждались на научно-технических семинарах и заседаниях секции кафедры «Компьютерные системы и сети» МГТУ им Н Э Баумана, на научно-технической конференции в МГТУ им Н Э Баумана (Москва, 2005 г), 14-й всероссийской межвузовской научно-технической конференции студентов и аспирантов (Москва, 2007г)

Объем и структура диссертации.

Диссертация включает введение, четыре главы, выводы, список литературы из 103 наименований Основная часть диссертационной работы изложена на 134 страницах и содержит 44 рисунки и 20 таблиц

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертационной работы, формулируется цель и основные задачи, перечисляются методы исследований, раскрывается новизна и практическая ценность работы, описывается структура и содержание диссертации

В первой главе проведен обзор и анализ литературных данных по теме диссертации Были проанализированы существующие концепции обеспечения отказоустойчивости вычислительных систем

Рассмотрена проблема обеспечения отказоустойчивости бортовых вычислительных систем в условиях воздействия низкоинтенсивных ИИ Проведен анализ результатов исследований, проведенных в МИФИ, РНЦ «Курчатовский институт» и др

Было отмечено, что предельная накопленная доза интегральных микросхем в выключенном состоянии от 3 до 10 раз выше их предельной накопленной дозы в рабочем состоянии В результате чего была обоснована необходимость разработки методики обеспечения отказоустойчивости бортовых вычислительных систем на основе совместного использования известных методов резервирования и режима принудительного переключения резервных комплектов

Рассмотрены теоретические основы концепции активной защиты от отказов (АЗ) модульных вычислительных систем АЗ предназначена для достижения требуемых уровней отказоустойчивости управляющих вычислительных систем реального времени в условиях незначительного резерва времени, ограниченной эффективности средств обнаружения неисправностей вычислителей системы, а также при условии, что объем резервного оборудования не должен превышать объем основного оборудования Было отмечено, что в концепции АЗ хорошо использованы все известные подходы для обеспечения отказоустойчивости системы динамическая реконфигурация, постоянный резерв, непостоянный резерв Однако применение АЗ в бортовых вычислительных системах практически не исследовано в условиях воздействия ИИ Кроме того, в известных работах по АЗ отсутствуют исследования по совместному применению АЗ и режима принудительного переключения резервных комплектов Показана целесообразность проведения таких исследований и разработки методики построения отказоустойчивых вычислительных систем (ОУВС), использующей механизм АЗ и режим принудительного переключения резервных комплектов с целью предотвращения сбоев или отказов элементов систем, вызванных воздействием ИИ

На основе анализа процедур обработки неисправности был построен граф состояний ОУВС Граф отображает стратегию поведения ОУВС в случае возникновения сбоя или отказа Была разработана математическая модель оценки надежности бортовых вычислительных систем на основе марковского процесса, которая может быть использована в дальнейших расчетах

На основе результатов анализа сформулирована цель работы и определены задачи, которые необходимо решить для достижения поставленной цели

Во второй главе рассмотрены традиционные схемы резервирования в условиях воздействия низкоинтенсивных ИИ, приведен анализ и оценка эффективности различных методов резервирования

Установлено, что вероятность безотказной работы Ят(0 одного элемента в условиях воздействия низкоинтенсивных ИИ определяется выражением

= (2-е1К'р*), (1)

где, Л - интенсивность отказа элемента,

Кр - коэффициент радиационного повреждения интегральных микросхем данного элемента, \рад''],

Щ) = Р I - доза, накопленная за время эксплуатации (ТСлс) при постоянной интенсивности, равной произведению мощности излучения Р[рад/ч] на время облучения / [ч]

Рассмотрены традиционные схемы резервирования с ненагруженным, нагруженным и сеансовым режимами Для случая, когда в системе работает один основной элемент с одним резервным элементом, в условиях воздействия низкоинтенсивных ИИ были получены аналитические выражения для оценки ВБР системы в рассмотренных режимах

Было получено выражение для ВБР системы дублирования в ненагруженном режиме

иЛ')«^' Я (7 ка)" г!~1 (7 каУ Я о, ¿„)2 гЧЛ /+1), (2)

где ка - коэффициент аппроксимации а г] = Кр Р

Выражения для ВБР системы дублирования в нагруженном и сеансовом режимах записываются в виде

^.«,(0 = 1-0-^' (2-е(К'Р,?))\ (3)

Кетс,ии(!) = ег (2-е( > ' ), (4)

Анализ результатов, полученных по формулам (2-4), показывают, что ВБР системы дублирования в нагруженном режиме уменьшается на 3% в условиях воздействия ИИ при ТСдс = 7лет Для систем дублирования с нагруженным и ненагруженным режимами значения ВБР быстро уменьшаются при заданных значениях коэффициентов КрпР

Рассмотрена задача анализа и оценки эффективности резервирования, с использованием понятия значимости элемента в системе В результате проведенного в работе исследования выявлена возможность проектирования системы с большей надежностью путем введения аппаратурного резервирования отдельных элементов, имеющих наибольшее значение значимости

Рассмотрены два подхода к выбору числа резервных элементов 1) Определение требуемого количества резервных элементов, обеспечивающих максимальные значения показателей надежности системы при величине затрат, не превышающей заданную

2) Определение требуемого количества резервных элементов, обеспечивающих заданное значение показателя надежности системы при минимальных затратах

На основе метода неопределенных множителей Лаграпжа в работе были решены поставленные задачи оптимизации, в результате чего даны рекомендации по достижению не только заданной надежности, но и к достижению этой надежности при минимальных затратах

Исследована зависимость коэффициента улучшения надежности систем нагруженного режима от числа резервных элементов систем Показано, что увеличение числа резервных элементов более 3 приводит к незначительному увеличению надежности системы

Рассмотрена система с тройным резервированием в нагруженном режиме в условиях воздействия низкоинтенсивных ИИ Было получено выражение для ВБР системы в условиях воздействия ИИ

Л/яг(0 = 1-(1-е-я' (5)

С введением режима принудительного переключения резервных комплектов (РПП) в рассмотренную систему получено выражение для ВБР системы

Я(0РПП-\-(\-е-" (2-е 3 ))3 (6)

На основе полученных выражений для системы с тройным резервированием в нагруженном режиме были построены графики зависимости ВБР от времени (рис 1) Графики показывают, что ВБР системы без РПП быстро снижается, а ВБР системы с введением РЕП приближается к случаю без воздействия ИИ Показано, что в данном случае при ТСлс = 7лет надежность системы повышается на 5,3%, благодаря введению РПП

время

Рис 1. Зависимость ВБР системы с тройным резервированием от времени для А=10~6(час~]), Кр =1,4 КГ1 О**)4), Р = 4 Ю-2 (рад/час)

В работе даны рекомендации, позволяющие обосновано выбирать интервал переключения основных и резервных комплектов

В работе также были получены аналитические выражения для оценки ВБР системы //-кратного резервирования в нагруженном режиме с учетом РПП в условиях воздействия низкоинтенсивных ИИ

По результатам второй главы сформулирована методика построения ОУВС, использующая резервирование в нагруженном режиме и режим принудительного переключения резервных элементов, позволяющая эффективно выбирать не только структурное резервирование, но и число резервных элементов в нагруженном режиме и обеспечить заданный уровень надежности системы в условиях воздействия низкоинтенсивных ИИ за весь срок активного существования

Третья глава посвящена организации активной защиты от отказов в бортовых вычислительных системах реального времени

В работе были рассмотрены 2 способа построения системы АЗ

• с фиксированными контролирующими модулями, когда избыточные вычислительные модули (ВМ) последовательно подключаются в качестве контролирующих к основным ВМ,

• с переназначаемыми модулями, когда предусматривается автоматическое перераспределение функций контроля между основными и ---

избыточными ВМ

На основе системы, состоящей из т основных и к избыточных модулей (рис 2), для т-Ъ, к=2 была организована система активной защиты от отказов по постоянным тактам Для способа формирования пар ВМ с фиксацией контролирующих модулей, было показано, что цикл контроля АЗ завершается за два такта, однако при этом один основной модуль и оба избыточные модули контролируются в обоих тактах Через три такта АЗ все основные ВМ контролируются в двух тактах Следовательно, при наличии двух и более модулей в защитной среде формируются два и более цикла АЗ, каждый из которых может обеспечивать более высокий уровень защиты

Рис. 2. Обобщенная структура системы АЗ

Для системы АЗ с т=3, к=2 в предположениях, что все ВМ являются однородными, было получено аналитическое выражение для ВБР системы

= + 5 е*х,{\-еи) аиз+10 е"зя'(1-^')2 «2^, (7)

где а/4з - вероятность правильного обнаружения отказа одноуровневой АЗ при его возникновении, а.2лз - вероятность правильного обнаружения отказа двухуровневой АЗ

Установлено, что переназначение ВМ необходимо для сокращения цикла АЗ в условиях, когда количество основных ВМ существенно больше числа избыточных модулей За определенными модулями защитной среды на время такта АЗ закрепляются функции основных модулей и наоборот В результате этого устраняется недостаток, свойственный системе АЗ с фиксацией контролирующих модулей, когда модули вычислительной среды контролируются значительно реже, чем модуль защитной среды

Получено выражение для ВБР системы АЗ с переназначаемыми модулями в условиях воздействия ИИ

(2-е(К'Р,)1)5 + 5 е-4" (2-е'К'Р°2)4 (1-<г" (2-е(к'Ы)) а1АЗ +10 е""' (2-г{к'Р,)1)ъ (1-е(2-е{К>Р'Ь? ^

С целью предотвращения отказов элементов систем, вызванных воздействием ИИ, был введен РПП в систему АЗ с фиксацией контролирующих модулей

Показано, что длительности интервала отключения контролирующих модулей должны быть кратны циклу контроля

В результате введения РПП в систему АЗ с переназначаемыми модулями было получено выражение для ВБР системы

КР е ' ! КГ Р' 1 К, ? > .

кр р' 1 КР р' г

+ 10<ГЗЛ'(2-е<~) )5(1 -ем(2-е 3 1 ))*а1дз

На основании выражений (7), (8) и (9) для рассматриваемых значений параметров ИИ были получены графики зависимости ВБР системы от времени, приведенные на рис 3 Графики показывают, что применение РПП в системе АЗ повышает надежность системы в условиях воздействия ИИ, особенно при долгосрочных применениях

Из графиков следует, что при ТСдс = 7лет ВБР системы АЗ с введением РПП выше ВБР системы АЗ без РПП на 6,2%

Для системы АЗ с фиксированными контролирующими модулями получено выражение для ВБР в виде:

+ 5 • • (2 - Н2 - е^ ? ■ (1 - е-1'' (2 - ))-а1А,+ (10) + 10- ,•*» ■ (2 - еК')3 • (1 - (2 - е1*'))г ■ агм.

6x10 время

Рис. 3. Зависимость ВБР системы АЗ от времени

для Л = 10'"{час1), Кр =1,4-10"4(ра<)~!), Р = 4-Ю'1 {рад/час)

Анализ выражений (9), (10) показывает, что организация РПП для системы АЗ с фиксированными контролирующими модулями менее эффективна по сравнению с организацией РПП для системы АЗ с переназначаемыми модулями. Это объясняется тем, что в системе АЗ с фиксированными контролирующими модулями был введен РПП только в контролирующих модулях, поэтому в условиях воздействия ИИ основные вычислительные модули снижают свою надежность.

В работе была проведена оценка эффективности АЗ в . иерархических вычислительных ' \ системах (ИВС). Была иссле- ; (© дована ИВС со структурой 1-2-2 (рис. 4), рассмотрены 3 варианты ; введения аппаратурного резер- ;_______

О о

а) б) в)

Рис. 4. Конфигурации ИВС

вирования для повышения надежности системы без восстановления:

1) вариант с применением традиционного аппаратурного резервирования;

2) вариант с введением дополнительных ветвей в структуру системы для организации активной защиты от отказов,

3) комбинированный вариант

Были получены аналитические выражения для оценки ВБР ИВС с различными конфигурациями В результате проведенного анализа показано, что в ИВС наиболее рациональным подходом является использование традиционного резервирования (дублирование, троирование) на уровне модулей управления (верхний уровень иерархии) совместно с активной защитой на уровне модулей обработки данных (нижний уровень иерархии)

Четвертая глава посвящена моделированию и оценке показателей надежности и отказоустойчивости вычислительных систем

Были разработаны модели, описывающие надежностные характеристики различных систем с учетом влияния принудительного переключения, степени полноты контроля и восстановления у ДОЯ различных типов систем

Для модели системы, работающей в ненагруженном режиме, с использованием методов комбинаторного анализа в работе были получены выражения для математического ожидания и плотности вероятностей времени пребывания системы, состоящей из N процессорных модулей (ПМ), в работоспособном состоянии

ад^-а-г)!^-1!^-, (п)

/=1 1=1 Л 7=1 Л

/(О = У\ е + (12)

(*-!)' («-О' '

Для модели системы, работающей в нагруженном режиме без аппаратной деградации и с аппаратной деградацией были получены выражения в виде дифференциальных уравнений состояний марковской модели системы с N ПМ

На основе полученных моделей разработан комплекс алгоритмов и программ анализа надежности и оптимального выбора параметров процедур восстановления, предназначенный для использования разработчиками ОУВС на этапах технического и рабочего проектирования

Результаты моделирования позволили сделать следующие выводы

1 При увеличении коэффициента полноты контроля вероятность безотказной работы системы в ненагруженном режиме увеличивается более интенсивно при долгосрочных применениях, а надежность системы без аппаратной деградации увеличивается более интенсивно в краткосрочных применениях

2 При больших и средних значениях Я система в ненагруженном режиме работы имеет преимущество перед другими системами в долгосрочных применениях, а система, работающая в режиме без аппаратной деградации, имеет преимущество в краткосрочных применениях

3 При малых значениях Я система без аппаратурной деградации имеет наибольшую вероятность безотказной работы в течение достаточно продолжительного времени

Для эффективного применения механизма АЗ и РПП, в работе была разработана методика построения ОУВС, использующая механизм АЗ и РПП, состоящая из 3 этапов, позволяющая обоснованно выбирать структуру системы активной защиты от отказов, обеспечивающую требуемую надежность

На втором этапе разработанной методики были получены аналитические выражения для оценки ВБР систем в общем случае, для системы с т основными и к дополнительными модулями

МО ^-'^а-^'У ам, (13)

1=0

где Сп - число I сочетаний из п,

0!м- вероятность правильного обнаружения отказа АЗ при его возникновении на ;-м уровне

В условиях воздействия ИИ, ВБР системы АЗ определяется выражением

е™' (2(1-ея'(2-Л"}')У «.з (14)

1=0

Для системы АЗ с РПП выражение для ВБР системы определяется согласно выражению

(2-е^?Гк- О-*1' (2-е^)У (15)

1=0

На основе предложенной методики построения ОУВС с АЗ и РПП была разработана программа, позволяющая исследовать влияние параметров системы на надежность ее работы На рис 5 приведены графики зависимости ВБР различных систем от времени

Полученные графики показывают, что в случае без использования РПП надежность системы АЗ быстро снижается, а при применении РПП надежность системы АЗ сохраняется и приближается к случаю без воздействия ИИ

Бренд время время

Рис. 5 Зависимость ВБР системы АЗ от времени для Л = 1 (Г7 (час) , Кр =1,4 КГЧ/таГ1), Р = 4 1(Г2 (рад / час)

В таблице приведены значения ВБР различных систем АЗ с т основными и к дополнительными модулями для рассматриваемых значений параметров систем и параметров ИИ при Тсас~ 7лет

Таблица

ВБР системы АЗ в условиях воздействия ИИ

т = 2, т = 3, т = 4, т = 5, т = 3, т = 4, т = 5, т = 6,

к = 2 к = 2 к = 2 к = 2 к = 3 к = 3 к = 3 к = 3

ВБР без РПП 0,950 0,933 0,914 0,891 0,940 0,931 0,921 0,909

ВБР с РПП 0,993 0,991 0,989 0,987 0,989 0,987 0,986 0,984

улучшение, % 4,5% 6,2% 8,2% 10,8% 5,2% 6,0% 7,1% 8,3%

Приведенные в таблице значения ВБР показывают, что введение РПП в систему АЗ повышает надежность системы на 5%-10%, особенно при увеличении числа основных вычислительных модулей

Анализ результатов моделирования показал, что надежность, рассчитанная с использованием разработанных в диссертации моделей,

совпадает с экспериментально полученными данными Это свидетельствует об адекватности моделей рассматриваемых систем и о достоверности результатов, которые могут быть получены с использованием разработанных в диссертации моделей и программ

На основе проведенного анализа расчета надежности невосстанавливаемых систем, была разработана методика расчета надежности, состоящая из следующих основных этапов

1 Построение структурно-логической схемы (СЛС), однозначно отображающей все элементы структурной схемы и связи между ними

2 Построение графа связности (ГС) и получение матрицы смежности (МС) системы из СЛС

3 Нахождение всех путей успешного функционирования системы в виде элементарных конъюнкций, представляющих собой функцию работоспособности (ФРС) системы, с помощью ГС и МС

4 Преобразование ФРС к ортогональной или ортогонально-бесповторной форме, от которой переходят к вероятностной функции

5 Расчет показателей надежности системы с помощью ее вероятностной функции работоспособности

Было показано, что для полносвязанного графа количество путей между двумя вершинами пропорционально (и-2)', где п - размер графа Показано, что одной из наиболее трудоемких операций при выполнении этой методики является этап поиска всех путей успешного функционирования

Для поиска всех путей успешного функционирования системы в существующих алгоритмах теории надежности используется ряд операций умножения матрицы смежности на вектор столбец, обладающих достаточно большой вычислительной сложностью Целью третьего этапа данной методики расчета является нахождение всех путей от одной вершины графа к другой На основе метода поиска в глубину с возвращением был разработан оригинальный алгоритм поиска всех путей успешного функционирования, обладающий приемлемой для инженерных расчетов вычислительной эффективностью, позволяющий сократить время решения задачи поиска за счет использования рекурсии

В результате анализа метода преобразования ФРС к ортогональной или ортогонально-бесповторной форме был выбран метод ортогонализации по формуле Порецкого, обладающий инвариантностью к размерам конъюнкции и удобством в реализации

Полученные в диссертации результаты использованы при выполнении работы по созданию отказоустойчивой цифровой вычислительной системы для бортового Фурье-спектрометра ИКФС-2 Исходя из заданных требований к надежности всего прибора, путем моделирования с использованием разработанных в диссертации методов и алгоритмов были выработаны рекомендации по построению отказоустойчивой цифровой вычислительной системы бортового Фурье-спектрометра ИКФС-2, предназначенной для длительного использования в составе научной аппаратуры космического аппарата Метеор-ЗМ

Основные результаты диссертационной работы

1 Разработана методика построения отказоустойчивых вычислительных систем, использующая резервирование в нагруженном режиме и режим принудительного переключения резервных элементов, позволяющая эффективно выбирать не только структурное резервирование, но и число резервных элементов в нагруженном режиме и обеспечить заданный уровень надежности системы в условиях воздействия ионизирующих излучений за весь срок активного существования Показано, что при долгосрочных применениях использование режима принудительного переключения резервных элементов в системе с тройным резервированием повышает надежность не менее, чем на 5%

2 Разработана методика построения отказоустойчивых вычислительных систем, использующая механизм активной защиты от отказов и режим принудительного переключения резервных комплектов Получены аналитические выражения для оценки вероятности безотказной работы системы активной защиты от отказов в общем случае для любого числа основных и дополнительных вычислительных модулей, позволяющие обоснованно выбирать структуру системы активной защиты от отказов, обеспечивающую требуемую надежность Показано, что при совместном использовании активной защиты от отказов и режима принудительного переключения резервных комплектов надежность систем при долгосрочных применениях повышается не менее чем на 5-7%

3 Получены оценки эффективности применения активной защиты от отказов в иерархических бортовых вычислительных системах Показано, что в иерархических бортовых вычислительных системах наиболее рациональным подходом является использование традиционного

резервирования на уровне модулей управления совместно с активной защитой на уровне модулей обработки данных

4 Разработаны модели надежности отказоустойчивых вычислительных систем с учетом полноты контроля и восстановления для различных режимов функционирования отказоустойчивых вычислительных систем, позволяющие исследовать влияние различных параметров системы на ее надежность

5 Разработана методика расчета надежности невосстанавливаемых систем, использующая оригинальный алгоритм решения задачи поиска всех путей успешного функционирования на основе метода поиска в глубину с возвращением. Предложенный алгоритм позволяет сократить время решения задачи за счет использования рекурсии

Работы по теме диссертации

1 Ле Куанг Минь, Романовский А С Оценка эффективности применения методов активной защиты от отказов в иерархических вычислительных системах // Вестник МГТУ Сер Приборостроение - 2007 -№4 - С 62-69

2 Ле Куанг Минь, Смирнов А С Разработка программы поиска всех путей успешного функционирования системы для расчета показателей надежности структурно-сложных систем // Материалы межвузовской научно-технической конференции - СПб, 2003 - Ч V - С 95-97

3 Ле Куанг Минь, Романовский А С Алгоритмы поиска всех путей успешного функционирования для расчета показателей надежности структурно-сложных систем // Информатика и системы управления в XXI веке Сборник трудов - М МГТУ, 2007-№ 5 - С 180-184

4 Ле Куанг Минь Анализ эффективности применения методов повышения отказоустойчивости ИВС реального времени // Микроэлектроники и информатики - 2007 Тез докл Всероссийской конференции -М,2007 - С253

5 Ле Куанг Минь Анализ методов обеспечения отказоустойчивости и живучести вычислительных систем // Естественные науки и технологии-2007-№5-С 236-238

Подписано к печати 22 05 08 Заказ № 306 Объем 1,0 печ л Тираж 100 экз Типография МГТУ им Н Э Баумана 105005, Москва, 2-я Бауманская ул, д 5 263-62-01

ВВЕДЕНИЕ

ГЛАВА 1. АНАЛИЗ МЕТОДОВ ОБЕСПЕЧЕНИЯ ОТКАЗОУСТОЙЧИВОСТИ БОРТОВЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

1.1. Анализ методов, обеспечения отказоустойчивости и живучести вычислительных систем

1.2. Воздействие ионизирующих излучений на элементы бортовых вычислительных систем

1.3. Применение метода активной защиты от отказов в задаче обеспечения отказоустойчивости вычислительных систем

1.4. Математическая модель оценки надежности вычислительных систем

1.5. Формальная постановка задач исследования

1.6. Выводы

ГЛАВА 2. ИССЛЕДОВАНИЕ ВЛИЯНИЯ ИОНИЗИРУЮЩИХ ИЗЛУЧЕНИЙ НА НАДЕЖНОСТЬ БОРТОВЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

2.1. Оценка вероятности безотказной работы системы в условиях воздействия ионизирующих излучений

2.2.Влияние ионизирующих излучений на надежность традиционных схем резервирования

2.2.1. Резервирование в ненагруженном режиме

2.2.2. Резервирование в нагруженном режиме

2.2.3. Резервирование в сеансовом режиме 47 2.3,Организация режима принудительного переключения в системах резервирования в нагруженном режиме

2.4. Анализ и оценка эффективности резервирования

2.5. Оптимальное резервирование в отказоустойчивых вычислительных системах

2.6. Методика построения ОУВС, использующая резервирование и режим принудительного переключения резервных элементов

2.7. Выводы

ГЛАВА 3. ПРИМЕНЕНИЕ АКТИВНОЙ ЗАЩИТЫ ОТ ОТКАЗОВ В БОРТОВЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ РЕАЛЬНОГО ВРЕМЕНИ

3.1. Организация активной защиты от отказов в бортовых вычислительных системах

3.2. Организация режима принудительного переключения в системах активной защиты от отказов

3.3. Оценка эффективности активной защиты от отказов в иерархических вычислительных системах

3.4. Выводы

ГЛАВА 4. МОДЕЛИРОВАНИЕ И ОЦЕНКА ПОКАЗАТЕЛЕЙ НА-ДЕЖНОСТЕЙ И ОТКАЗОУСТОЙЧИВОСТИ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

4.1. Разработка модели надежности и методики построения ОУВС

4.1.1. Выбор количества структурных параметров системы каноническим методом

4.1.2. Модель системы в ненагруженном режиме работы с учетом полноты контроля и восстановления

4.1.3. Модель системы в нагруженном режиме без аппаратной деградации с учетом полноты контроля и восстановления

4.1.4. Модель системы в ненагруженном режиме без аппаратной деградации с учетом полноты контроля и восстановления

4.1.5. Методика построения ОУВС, использующая механизм активной защиты и режим принудительного переключения резервных моду- 102 лей

4.2. Исследование показателей надежности и отказоустойчивости на модели ОУВС

4.3. Разработка алгоритма расчета надежности систем

4.4. Оценка показателей надежности ОУВС бортового Фурье-спектрометра

4.5. Выводы

ВЫВОДЫ

Актуальность темы диссертационной работы обусловлена тем, что в настоящее время, с каждым годом увеличивается количество спутников, запу щенных с разными целями: для прогноза погоды, для исследования природных ресурсов Земли, для решения коммуникационных и военных задач, и т.д. Системы спутниковой связи и телевизионного вещания являются основным средством увеличения объема и качества получаемой и передаваемой информации, в интересах всех отраслей экономики. Обычно такие бортовые системы должны обладать свойствами отказоустойчивости и живучести во время их функционирования, поскольку их отказы могут быть весьма дорогостоящими и иметь опасные последствия.

С первого дня появления вычислительных машин начались исследования повышения надежности их работы. В классических работах на эту тему показан путь к повышению надежности, заключающийся в резервировании. В период до конца 60-х годов прошлого столетия основная направленность исследований состояла в повышении безотказности спутниковых систем в течение достаточно ограниченных сроков активного существования (САС), не выше 3-5 лет, достигаемой в первую очередь за счет введения различных форм избыточности (аппаратной, функциональной, временной и др.). Эти исследования и полученные результаты базировались в основном на математических методах (методы теории вероятностей и математической статистики, случайных процессов, теории графов, исследования операций и др.), разработанных и развитых российскими учеными К. А. Иыуду [1-8], И.А. Ушаковым [9-12], И.Б. Шубинским [13,14], И.А. Рябининым [15-19] и др., так и зарубежные Р. Лонгботтом [20], Ж.С. Лаприе [21,22], А. Авижиенис [22-24] и др. [25-37]. В области космофизи-ки к тому времени усилиями ученых Вернова С.Н., Кузнецова В.Д и др. [38], были сформулированы представления и получены исходные экспериментальные данные о характеристиках радиационных поясов Земли, космических лучей и т.д. В области радиационной стойкости были разработаны методические подходы к заданию требований по радиационной стойкости интегральных микросхем (ИМС), начаты исследования дозовых и временных эффектов в комплектующих элементах и'аппаратуре в условиях водействия ионизирующих излучений (ИИ) (в первую очередь, высокоинтенсивных воздействий искусственных источников) - ученными Агаханяным Т.М., Першенковым B.C., Поповым В.Д. [38-44].

С возникшей сегодня потребностью увеличения сроков активного существования космического аппарата (КА) эта проблема приобрела особую актуальность и значимость и стимулировала проведение исследований и разработку адекватной поставленным в работе цели и задачам. Так в современных же условиях конкурентоспособность и рентабельность проектов предоставления'услуг космической связи определяют необходимость создания КА с С АС 12 и более лет. Существующие методы не полностью обеспечивали требуемые характеристики надежности бортовых вычислительных систем. Однако, указанные методы не позволяли в необходимой мере учитывать влияние на стойкость ИМС бортовых систем в условиях специфических воздействий внешней среды космического пространства, прежде всего к дозовым эффектам при воздействий низкоинтенсивных ионизирующих излучений космического пространства, так как в центре внимания указанных исследований были вопросы стойкости электронных систем к высокоинтенсивным ионизирующим полям искусственного происхождения; Опыт, накопленный предприятиями космической отрасли показал, что прогресс в создании КА с такими САС невозможен без изменения традиционного подхода резервирования в области обеспечения отказоустойчивости их электронных систем.

Именно все это и определило важность и актуальность решаемой в диссертации научно-технической задачи - разработки методики обеспечения отказоустойчивости бортовых вычислительных систем реального времени.

Цель диссертационной работы состоит в разработке методики и средств обеспечения отказоустойчивости бортовых вычислительных систем реального времени, позволяющих повысить надежности систем в условиях низкоинтенсивных ионизирующих излучений (ИИ), использующих резервирование, активную защиту от отказов и режим принудительного переключения.

Для достижения поставленной цели представляется целесообразным решение следующих задач:

1. Сравнительного анализа существующих концепций обеспечения отказоустойчивого функционирования и принципов построения современных отказоустойчивых вычислительных систем.

2. Разработки методики обеспечения отказоустойчивости бортовых вычислительных систем с целью предотвращения .сбоя или отказа от воздействия низкоинтенсивных ионизирующих излучений на элементы системы с традиционной схемой резервирования.

3. Организации активной защиты от отказов в бортовых вычислительных системах реального времени для обеспечения отказоустойчивости системы от воздействия низкоинтенсивных ионизирующих излучений на элементы системы.

4. Оценки эффективности применения активной защиты от отказов в иерархических бортовых вычислительных системах.

Методы исследования, использованные в процессе выполнения диссертационной работы: имитационное моделирование, применение аппарата теории вероятностей, комбинаторного анализа, теории графов, теории случайных процессов (марковские и полумарковские процессы), теории надежности технических систем.

Научная новизна диссертационной работы заключается в следующем:

- разработана методика построения отказоустойчивых вычислительных систем (ОУВС), использующая резервирование в нагруженном режиме и режим принудительного переключения резервных элементов, позволяющая обеспечить заданный уровень надежности системы в условиях воздействия ионизирующих излучений;

- разработана методика построения отказоустойчивых вычислительных систем, использующая активной защиты от отказов и режим принудительного переключения резервных элементов, позволяющая повысить надежность бортовых вычислительных систем за счет предотвращения сбоев и отказов элементов системы, вызванных воздействием ионизирующих излучений;

- получены аналитические выражения для вероятности безотказной работы системы (ВБР) активной защиты от отказов в общем случае для любого числа основных и дополнительных вычислительных модулей, позволяющие обосновано выбирать структуру системы исходя из заданного значения вероятности безотказной работы.

Практическая ценность: Ценность полученных в работе результатов состоит в том, что разработанная методика и средства организации активной защиты от отказов и принудительного переключения резервных комплектов в бортовых вычислительных системах могут быть приняты при разработке отказоустойчивых вычислительных систем, при проектировании и построении бортовых вычислительных систем для космического аппарата в условиях водейст-вия низкоинтенсивных ионизирующих излучений.

Внедрение результатов работы: Полученные в диссертации результаты использованы в НИИ1 информатики и систем управления МГТУ им. Н.Э. Баумана при выполнении работы по созданию отказоустойчивой цифровой вычислительной системы для бортового Фурье-спектрометра, предназначенного для длительного использования в составе научной аппаратуры космического аппарата Метеор-ЗМ.

Исходя из заданных требований надежности ко всему прибору, путем моделирования с использованием разработанных в диссертации методов и алгоритмов были выработаны рекомендации по построению отказоустойчивой цифровой вычислительной системы для бортового Фурье-спектрометра.

Апробация работы и публикации. Тема и содержание диссертации отражены в 5 научных работах, из них по списку ВАК - 1 работа.

Основные положения и результаты работы заслушивались и обсуждались на научно-технических семинарах и заседаниях секции кафедры «Компьютерные системы и сети» МГТУ им. Н.Э. Баумана, на научно-технической конференции в МГТУ им. Н.Э. Баумана (Москва, 2005 г), на 14-й всероссийской межвузовской научно-технической конференции студентов и аспирантов (Москва, 2007г)

Объем и структура диссертации.

Диссертация включает введение, четыре главы, заключение, список литературы из 103 наименований. Основная часть диссертационной работы изложена на 134 страницах и содержит 44 рисунки и 20 таблиц.

Основные результаты, полученные и представленные в настоящей диссертационной работе, состоят в следующем: : : 1. Проведен анализ: и классификация методов и средств по решению проблемы обеспечения отказоустойчивости вычислительных систем реального времени. .

2. Разработана методика построениям отказоустойчивых вычислительных систем, использующая резервирование' в нагруженном- режиме и режим принудительного переключения резервных элементов,, позволяющая^эффектив-но выбирать не только структурное резервирование, но и число, резервных элементов в нагруженном режиме и обеспечить заданный уровень- надежности системы в:условиях воздействия;ионизирующих излучений-за весы срок активного^ существования: Показано; что при использовании режимашринудитель-ного переключения;резервных элементов вхистеме с тройным резервированием повышает надежность на 5% при;долгосрочных применениях.

3. Разработана методика построения: отказоустойчивых вычислительных систем; использующая механизм активной защиты от; отказов и режим принудительного переключения резервных комплектов: Получены аналитические выражения для вероятности' безотказной работы системы активной защиты от отказов в общем случае для любого числа основных-и дополнительных вычислительных модулей; позволяющие обоснованно выбирать структуру системы активной защиты от отказов, обеспечивающую требуемую надежность. Показано, что при совместном ^применении активной защиты, от отказов и режима принудительного переключения резервных комплектов надежность систем повышает более чемна 5-10% при долгосрочных применениях.

4. Получены оценки эффективности применения активной* защиты от отказов в иерархических бортовых вычислительных системах. Показано, что в иерархических бортовых вычислительных системах наиболее рациональным подходом является использование традиционного резервирования на уровне модулей управления совместно с активной защитой на уровне модулей обработки данных.

5. Разработаны модели надежности отказоустойчивых вычислительных систем с учетом полноты контроля и восстановления для различных режимов функционирования отказоустойчивых вычислительных систем, позволяющие исследовать влияние различных параметров системы на ее надежность.

6. Разработана методика расчета надежности невосстанавливаемых систем, использующая оригинальный алгоритм решения задачи поиска всех путей успешного функционирования на основе метода поиска в глубину с возвращением. Предложенный алгоритм позволяет сократить время решения задачи за счет использования рекурсии.

1. Иыуду К. А., Кривощенков С. JL Математические модели отказоустойчивых вычислительных систем. М: МАИ, 1989. -142 с.

2. Иыуду К. А. Теория надежности и живучести бортовых вычислительных машин. М.: МАИ, 1978. - 52 с.

3. Иыуду К. А., Силаева Т. А. Обеспечение надежного функционирования ЭВМ и систем. М.: МАИ, 1993. - 46 с.

4. Иыуду К. А. Задачи и упражнения по основам эксплуатации ЭВМ. М.: МАИ, 1996.-31 с.

5. Иыуду К. А. Аналитическое моделирование надежности отказоустойчивости вычислительных систем // Приборы и системы управления. 1998. №.11.-С.40-42.

6. Иыуду К. А. Надежность, контроль и диагностика вычислительных машин и систем. М.: Высшая школа, 1989. - 215 с.

7. Иыуду К.А. Надежность контроль и диагностика машин и систем: учеб. пособие .- М Высшая школа, 1985., -216с.

8. Иыуду К. А., Садчиков П. И, Шаповалов Ю. В. Вычислительные устройства и системы. М.: Высшая школа, 1988. - 237 с.

9. Ушаков И.А. Вероятностные модели надежности информационно -вычислительных систем. -М.: Радио и связь, 1991. 132 с.

10. Ушаков И.А. Методы расчета эффективности систем на этапе проектирования. -М.: Сов. радио, 1973. 103 с.

11. Ушаков И.А. Методы решения простейших задач оптимального резервирования при наличии ограничений. -М.: Сов. радио, 1969. 175 с.

12. Ушаков И.А., Литвак Е.И. Оценка параметров сетей со сложной структурой. -М.: ВЦАН СССР, 1986. 65 с.

13. Шубинский И.Б. Методы и модели оценки живучести сложных систем. -М: Знание. 1987.,-116 с.

14. Шубинский И.Б., Николаев В.И., Колганов С.К., Заяц A.M. Активная защита от отказов управляющих модульных систем. СПб.: Наука, 1993. - 283 с.

15. Рябинин И.А. Надежность и безопасность структурно-сложных систем. СПб.: Политехника, 2000. - 248 с.

16. Рябинин И.А. Логика и вероятность как инструменты исследования проблем надежности и безопасности сложных системю. СПб.: Политехника, 2001.-30 с.

17. Рябинин И.А. Надежность, живучесть и безопасности корабельных электроэнергетических систем: Учебник. СПб., 1997. - 431с.

18. Рябинин И.А. Черкесов Г.Н. Логико-вероятностные методы исследования надежности структурно-сложных систем: Учебник. М.: Радио и Связь, 1981.-264с.

19. Рябинин И.А. Аналитические логико-вероятностные методы расчетасудовых электроэнергетических систем // Судостроение, (Л.) -1969., Вып. 33.1 .

20. Лонгботтом Р. Надежность вычислительных систем: Пер. с англ. под ред. П. Л. Пархоменко. -М.: Энергоатомиздат, 1985. -288 с.

21. Laprie J.C. Dependability of software-based critical systems // LAAS Toulouse Paper. -1999. -№ 99369. 27 p.

22. Avizienis A., Laprie J.C., Randell B. Fundamental concepts of dependability // LAAS Toulouse Paper. -2001. -№ 01145. -19 p.

23. Avizienis A. The N-version approach to fault-tolerant software // IEEE Trans. On SE. -1985. Vol. SE-11, No.12. -P. 1491-1501.

24. Авиженис А. Отказоустойчивость свойство, обеспечивающее постоянную работоспособность цифровых систем // ТИИЭР-1978-№. 10. С. 5-25.

25. Software product assurance for autonomy on-board spacecraft P. Blan-quart, M. Hernek, С Honvault et al. // LAAS Toulouse Paper. -2003. -№ 03022. -6p.

26. Okumoto K. A statistical method for software quality control // IEEE Trans, on software engineering. 1985. -Vol.ll,No.12. - P. 1424-1437.

27. Randell В. System: structure for software fault tolerance // IEEE TSE. -1975.-Vol. SE-1.-P.220-232. '

28. Dependable systems of systems: State of the art survey / J, Arlat, J.C. Fa-bre, V. Issanry et aL // LAAS Toulouse Paper. -2000: № 00353. 97 p.

29. State of the art / J. Arlat, К. Kanoun,H. Madeira, et al. // LAAS Toulouse Paper. -2001. -№ 01605. 61p.

30. Ricky Ж Я The SURE Approach to Reliability Analysis.// IEEE Trans, on reliability. 1992.- Vol:41, no.2.-P. 210-218.,

31. White A. L, Palumbo D: L. State Reduction for Semi-Markov Reliability Model// Proceedings Annual Reliability and Maintainability Symposium: London, 1990. - P. 280-285.

32. Spitzer C. R. DigitabAvionics Systems, principles and practice; NewYork: McGraw-Hill, Inc., second edition, 1993. -277 p.

33. Goal A. L. Software reliability models: assumptions, limitations and applicability // IEEE Trans, on SE. -1985. -Vol. SEll,No.l2. -P. 1411-1423.

34. Scott R. K., Gault J; W., Mcallister D. F. Fault-tolerant software reliability modeling // IEEE Trans. On SE. -1987. -Vol. SE-13. No. 5. -P. 582-592.

35. Тейер Т., Липов M., Нельсон Э. Надежность программного обеспечения. М.:Мир, 1981.-323 с.

36. Hoffman R. The top 10 myths of reliability management. 9 Process Plant Reliability Conference and Exhibition, Houston (Texas), 2000. Published at http://www.reliability-magazine.com/

37. Seong Cheol Lee. Enhanced algorithms for reliability calculation of complex system. // Journal of the Korea Society for Industrial and Applied Mathematics Vol3.No2, 1999:

38. Гобчанский О.П., Попов В.Д. Повышение радиационной стойкости индустриальных средств автоматики в составе бортовой аппаратуры. СТА 4/2001,С. 36-40.

39. Поливанов А.П., Попов В.Д. Системные методы увеличения времени функционирования СБИС запоминающих устройств и бортовой аппаратуры космических аппаратов.

40. Автоматизация проектирования радиоэлектронных средств. / Под ред. О.В. Алексеева. -М.: Высшая школа, 2000. 479 с.

41. Левин В.В. Структура бортового накопителя данных с повышенной радиационной стойкостью. М.: ИКИ РАН, 2002. -98с.

42. Козлов Б.А., Ушаков И.А. Краткий справочник по расчету надежности радиоэлектронной аппаратуры. М: Советское радио, 1966. - 432с.

43. Додонов А.Г., Кузнецов М.Г., Горбачик Е.С. Введение в теорию систем. -Киев: Науко вадумка, 1990, -184с.

44. Коваленко А.Б., Гула В.В. Отказоустойчивые микропроцессорные системы -Киев : Техника, 1986, -150с.

45. Хорошевский В.Г. Инженерный анализ функционирования машин и систем. М.: Радио и Связь, 1987. -256с.

46. GilleV Nluller; Michel Banatre, Nadine Peyrouze, Bruno Rochat. Lessons from FTM: An Experiment in- the Design & Implementation of Low-Cost Fault-Tolerant System // IEEE Transaction on Reliability. -1996. Vol. 45, №. 2, -P. 332340.

47. Tadashi Takano, Takahiro Yamada, Kohshiro Shutoh, Nobuyasu Kaneka-wa. In-Orbit Experiment on the Fault-Tolerant Space Computer Aboard the Satellite Hitten // IEEE Transaction on Reliability. -1996. Vol. 45. No. 4. -P. 624-631.

48. Tay Wing N. Fault-Tolerant Computing // Adv. Comput. -1987. Vol. 26. -P. 201-279.

49. Sang Bang Choi, Arun K. Somani Design and Performance Analysis of Load-Distributing Fault-Tolerant Network // IEEE Transaction on Computers. 1996. Vol. 45-P. 44-50.

50. Каган Б.М. Электронные вычислительные системы и машины: Учеб. пособие для вузов, 2-е изд, перераб. доп. -М.: Энергоавтомиздат., 1985. -55с.

51. Согомонян Е.С., Слабоков Е.В. Самопроверяемые устройства и отказоустойчивые системы. -М.: Радио и Связь, 1989. -208с.

52. Куприянов М.С. Отказоустойчивые микропроцессорные системы управления -Л: О-во «Знание» РСФСР, ЛО, ЛДНТП, 1990. -20с.

53. Куприянов М.С., Чернигов Л.М., Савкина И.В. Проектирование систем управления транспортными роботизированными комплексами ГПС Л.: О-во «Знание» РСФСР, ЛО, ЛДНТП, 1986. -32с.

54. Алексенко А. Г., Бжезинский А. С, Куприянов М. С. Управление восстановлением работоспособности резервированных микропроцессорных систем. // Микроэлектроника. -1986. Том 15, вып. 3. -С. 205-208.

55. Жиратков В.И. Введение в теорию отказоустойчивых вычислительных систем. — Новосибирск: НГТУ, 2001. 70с.

56. Juh-Charn Liu and Kang G. Shin. Efficient Implementation Techniques for Gracefully Degradable Multiprocessor Systems. // IEEE Trans, on Сотр. 1995. Vol. 44, №. 4, -P. 503-517.

57. R. K. Lyer, S. E. Burner and E. J. MeClusky. A Statistical Failure/ Load Relationship. Results of Multicomputer Study. // IEEE Trans, on Сотр. -1982. Vol. 31,-P. 697-706.

58. M. D. Derk, L. S. Debrunner Reconfiguration for Fault Tolerance Using Graph Grammars // ACM Transaction on Computer Systems. -1998. Vol 16. №.1, -P. 41-54.

59. McLean F.B. A Framework for Understanding Radiation-Induced Interface States in Si02 MOS Structures // IEEE Trans. Nucl. Sci. 1980. Vol. 27, № 6. -P. 1651-1657.

60. Brown D.B., Saks N.S. Time-Dependence of Radiation-Induced Interface Trap Formation in Metal-Oside-Semiconductor Devises as a Function-of Oxide Thickness and Applied Field // J. Appl. Phys. -1991". Vol. 70, № 7. -P. 3734-3747.

61. Schwank J.R., Fleetwood D.M., Winokur P.S. et al. The Role of Hydrogen in Radiation-Induced Defect Formation in Polysilicon Gate MOS Devices// IEEE Trans. Nucl. Sci.-1987. Vol. 34, N6.-P. 1152-1158.

62. Rashkeev S.N., Fleetwood,D.M., Schrimpf R.D:, Pantelides S.T. Defect Generation by Hydrogen at the Si-Si02 Interface // Phys. Rev. Lett. -2001. Vol. 87, № 16.-P.1-4.

63. Rashkeev S.N., Fleetwood D.M., Schrimpf R.D., Pantelides S.T. Proton-Induced Defect Generation at the Si-Si02 Interface // IEEE Trans. Nucl. Sci. -2001. Vol. 48, № 6. -P. 2086-2092.

64. Fleetwood D.M., Shaneyfelt M.R., Schwank J.R. Simple Method to Estimate Oxide-Trap, Interface-Trap and Border-Trap Charge Densities in Metal-Oxide-Semiconductor Transistors //Appl. Phys. Lett. -1994. Vol. 64, № 15. -P. 1965-1967.

65. Schwank J.R., Dawes W.R. Jr. Irradiated Silicon Gate MOS Device Bias Annealing // IEEE Trans. Nucl. Sci. -1983. Vol. 30, № 6. -P. 4100-4104.

66. Никифоров А.Ю., Телец B.A., Чумаков А.И. Радиационные эффекты в КМОП ИС. М.: Радио и связь, 1994. - 164 с.

67. Александровская Л.Н., Афанасьев А.П., Лисов А.А. Современные методы обеспечения безотказности сложных технических систем: Учебник. М.: Логос, 2003. - 208 с.

68. Курочкин Ю.А., Смирнов А.С., Степанов В.А. Надежность и диагностирование цифровых устройств и систем. -СПб. 1993. 317с.

69. Monsef Y. Modelisation et simulation des systemes complexes. Paris: TEC DOC, 1996.-277 p.

70. Альянса, И. H. Моделирование вычислительных систем. Ленинград: Машиностроение, 1988. - 223с.

71. Артамонов Г.Т., Брехов О.М. Оценка производительности ВС анали-тико-статистическими моделями. М.: Энергоатомиздат, 1993. - 301с.

72. Платанов С. В., Романовский*А. С, Чухоров С. Ю. Применения компьютерных технологий // Вестник МВТУ. Приборостроение.-1999. №2. С.70-77.

73. Фритч В. Применение микропроцессоров в системах управления. М.: Мир, 1984.- 463 с.

74. Погребинский С. Б., Стрельников В. П. Проектирование и надежность многопроцессорных ЭВМ. М.: Радио и связь, 1988. - 165 с.

75. Липаев В. В. Надежность программных средств. М.: Синтег, 1998.232 с.

76. Липаев В. В. надежность программного обеспечения АСУ. М.: Энер-го-издат, 1981.-239 с.

77. Программный комплекс «Диана» (http://www.cs.ru)

78. Программный комплекс Risk Spectrum вероятностного анализа, надежности и безопасности систем, (http://www.riskspectrum.com)

79. Викторова B.C., Степанянц А.С. Анализ программного обеспечения моделирования надежности и безопасности систем // Надежность -2006. №4 (19)-С. 46-56.

80. Диллон Б. Сингх Ч. Инженерные методы обеспечения надежности систем. / Перевод с английского Е. Г. Коваленко; Под ред. Е. К. Масловского. -М.: Мир, 1984.-318 с.

81. Черкесов Г.Н. Основные вопросы теории и практики надежности. М: Советское радио, 1979г., 168с.

82. Dijlcstra E.W. A note on two problems in connection with graphs. // Nume-rische Mathematik. -1959. V. 1, -P. 269.

83. Ford L.R. Network flow theory. // Rand Corporation Report, -1946. -P-923.

84. Moore E. F. The shortest path through a maze. // Proc. Int. Symp. on the Theory of Switching. -1957. Part II, -P. 285.

85. Bellman R.' On a routing problem // Quart, of Applied Mathematics. -1958. .№>16, -P. 87.

86. Floyd R. W. Algorithm 97- Shortest path // Comm. of ACM, -Л962. № 5, -P. 345.

87. Yen J. Y. (1971), On the efficiencies of algorithms for detecting negative loops in networks // Santa Clara Business Review. -1995. -P. 52.

88. Вержбицкий B.M. Основы численных методов М.:Высшая школа. -2002.- 840с.

89. ГОСТ 27,002-73. Надежность в технике. Термины и определения. -М.: ГОС комитет СССР по стандартам, 1983. - 34с.

90. Капур К., Ламберсон Л. Надежность и проектирование систем. / Перевод с английского Е.Г. Коваленко. -М.: Мир, 1980, -604с.

91. Федоров В.К., Сергеев Н.П., Кондрашин А.А. Контроль и испытания в проектировании и производстве радиоэлектронных средств. М.: Техносфера, 2005. - 504с.

92. Конструкторско-технологическое проектирование электронной аппаратуры: Учебник для вузов / К.И. Билибин, А.И. Власов, Л.В. Журавлева и др.; Под общ ред. В.А. Шахнова М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. - 528 с.

93. Jle Куанг Минь, Романовский А.С. Оценка эффективности применения методов активной защиты от отказов в иерархических вычислительных системах // Вестник МГТУ. Сер. Приборостроение. 2007. - №4. - С. 62-69.

94. Ле Куанг Минь, Смирнов А.С. Разработка программы поиска всех путей успешного функционирования системы для расчета показателей надежности структурно-сложной систем // Материалы межвузовскй научно-технической конференции. СПб.: 2003. - 4.V - С. 95-97.

95. Ле Куанг Минь, Романовский А.С. Алгоритмы поиска всех путей успешного функционирования для расчёта показателей надёжности структурно-сложных систем // Информатика и системы управления в XXI веке: Сборник трудов МГТУ -2007.- № 5 С. 180-184.

96. Ле Куанг Минь. Анализ эффективности применения методов повышения отказоустойчивости ИВС реального времени // Микроэлектроники и информатики 2007: Тез. докл. Всероссийская конференция. - М., 2007. -С.253.

97. Ле Куанг Минь. Анализ методов обеспечения отказоустойчивости и живучести вычислительных систем // Естественные науки и технологии. — 2007.- №3 С. 236-238.f