автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.12, диссертация на тему:Методы и алгоритмы автоматизированного проектирования диагностических процессов в специализированных магистрально-модульных системах с активной защитой от отказов

ВВЕДЕНИЕ

1. МОДЕЛИ И МЕТОДЫ ОРГАНИЗАЦИИ ОТКАЗОУСТОЙЧИВОЙ РАБОТЫ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ.

1.1. Отказоустойчивые системы.

1.1.1. Структуры отказоустойчивых систем.

1.1.2. Реализация взаимных тестов вычислительных модулей.

1.1.3. Организация отказоустойчивости систем с дублированием.

1.2. Поиск отказов в отказоустойчивых системах.

1.2.1. Активная защита от отказов.

1.2.2. Поиск одиночных отказов в системах со структурно-временной избыточностью.

1.3. Графовые модели отказоустойчивых систем.

1.4. Описание результатов диагностирования

1.4.1. Синдром системы.

1.4.2. Диагностические модели.

1.5. Методы дешифрации синдрома системы.

1.5.1. Табличный метод.

1. 5,2. Аналитический метод.

Выводы по главе 1.

2. ПЛАНИРОВАНИЕ ОТКАЗОУСТОЙЧИВЫХ ВЫЧИСЛЕНИЙ В МНОГОПРОЦЕССОРНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ.

2.1. Уменьшение трудоемкости диагностических операщш.

2.2. Минимизация времени диагностирования.

2.2.1. Использование парных элементарных проверок модулей.

2.2.2. Использование коллективных диагностических проверок.

2.3. Минимизация времени решения.

2.3.1. Парные элементарные проверки.

2.3.2. Коллективные проверки.

2.4. Динамическое планирование загрузки вычислительных модулей

2.5. Планирование загрузки устройств при произвольной трудоемкости фрагментов задачи.

2.5.1. Минимизация времени диагностирования.

2.5.2. Минимизация времени выполнения алгоритма.

Выводы по главе 2.-.

3. МЕТОДЫ ОПРЕДЕЛЕНИЯ ТЕХНИЧЕСКОГО СОСТОЯНИЯ ОТКАЗОУСТОЙЧИВЫХ СИСТЕМ.

3.1. Формирование таблицы неисправностей для отказоустойчивых систем с автоматической реконфигурацией.

3.1.1. Структура универсальной таблицы неисправностей.

3.1.2. Оценка объема требуемой памяти.

3.2. Сокращение таблицы неисправностей за счет временной избыточности.

3.2.1. Реализация метода.

3.2.2. Оценка необходимых вычислительных ресурсов.

3.3. Аналитический метод дешифрации синдрома.

3.3.1. Дешифрация синдрома в реальном времени.

3.3.2. Оценка необходимых машинных ресурсов.

3.4. Алгоритмы ускоренной дешифрации синдрома.

3.4.1. Методы для несимметричных моделей.

3.4.2. Методы для симметричных моделей.

3.5. Определение технического состояния системы при использовании коллективных проверок.

Выводы по главе 3.

4 ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ.

4Л. Экспериментальная оценка диагностических моделей отказоустойчивых систем.

4 Л Л. Цель эксперимента.

4Л .2. Организация эксперимента.

4Л .3. Полученные результаты.

4.2. Инструментальные средства экспериментальной оценки диагностических моделей.

4.3. Моделирование работы отказоустойчивой вычислительной системы.

4.3Л. Необходимость моделирования работы вычислительных систем

4.3.2. Структура системы моделирования.

4.3.3. Результаты имитационного моделирования.

Выводы по главе

Актуальность темы. Одним из проявлений научно-технического прогресса является широкое использование средств вычислительной техники. В частности, вычислительные системы используются в качестве комплексов управления технологическими процессами [80], бортовых систем самолетов [108] и т.д. Отказ или неправильная работа подобной системы управления может повлечь за собой серьезные экономические потери, экологические катастрофы и даже человеческие жертвы. Поэтому для решения важных и ответственных задач используются специализированные отказоустойчивые системы.

Одним из вариантов построения таких систем являются магистрально-модульные системы параллельной обработки данных [43]. Они содержат множество вычислительных модулей, соединенных между собой информационными магистралями.

В процессе работы по тем или иным причинам часть модулей (блоков) может отказывать. Эти модули исключаются из вычислительного процесса, а их функции передаются исправным модулям. Такой процесс называется реконфигурацией системы [37].

Работу отказоустойчивых вычислительных систем можно разделить на следующие этапы.

1. Формирование модели процесса решения прикладной задачи.

2. Формирование модели диагностических процессов, протекающих в вычислительной системе.

3. Декомпозиция прикладной задачи на фрагменты и планирование загрузки вычислительных модулей этими фрагментами.

4. Решение прикладной задачи и проведение диагностических проверок вычислительных модулей, определенных моделью диагностических процессов, протекающих в вычислительной системе. Результаты проверок накапливаются и образуют текущий синдром системы.

5. Определение технического состояния вычислительной системы путем дешифрации текущего синдрома системы.

6. Исключение из вычислительного процесса неисправных вычислительных модулей (если таковые выявлены в результате определения технического состояния) и передача их функции исправным модулям.

В специализированных вычислительных системах формирование моделей процесса решения прикладной задачи и диагностических процессов может быть произведено во время проектирования.

В известных методах предлагались формальные методы для решения этих проблем, но каждой в отдельности без учета структуры конкретной системы. Однако совместное рассмотрение задач планирования прикладных и диагностических вычислений позволяет предложить эффективные методы организации работы специализированных отказоустойчивых систем. На основе таких методов могут быть получены проектные процедуры для решения соответствующих задач автоматизированного проектирования.

Кроме того, во время проектирования задается метод определения технического состояния системы, который будет использоваться в создаваемой системе. Отметим, что при этом могут приниматься различные модели отказов. Поэтому актуальна задача разработки формальных методов определения состояния модулей системы, которые могут быть использованы в качестве типовых проектных решений.

В специализированных вычислительных системах алгоритмы решения прикладных задач могут быть заданы жестко. Для автоматизации проектирования таких систем необходимы методы планирования загрузки исполнительных устройств, учитывающие специфику используемого способа обеспечения отказоустойчивости.

Цель работы и задачи исследования. Целью диссертационной работы является разработка методов и алгоритмов автоматизированного проектирования диагностических процессов в специализированных отказоустойчивых многопроцессорных системах с магистрально-модульной организацией для заданных алгоритмов решения прикладных задач.

Задачи исследований формулируются следующим образом:

- выполнить анализ известных методов организации параллельных отказоустойчивых вычислений;

-разработать алгоритмы автоматизированного планирования загрузки вычислительных модулей фрагментами решаемой задачи с учетом специфики применяемого метода обеспечения отказоустойчивости;

- разработать процедуры определения технического состояния многопроцессорной системы на основе результатов взаимных тестов вычислительных модулей;

- разработать программные средства анализа и выбора диагностических моделей системного уровня для применения в отказоустойчивых магистражь-но-модульных системах;

-разработать средства имитационного моделирования машстрально-модульных вычислительных систем, позволяющие производить оценку качества диагностических процессов путем анализа используемых алгоритмов планирования загрузки вычислительных модулей фрагментами задачи и алгоритмов определения технического состояния системы.

Методы исследований. При решении поставленных задач в работе использовались элементы аппарата теории множеств, теории графов, теории расписаний, теории параллельных вычислений, имитационного моделирования, а также технологии объектно-ориентированного программирования.

Научная новизна работы. Автором получены следующие новые научные результаты, которые выносятся на защиту.

1. Метод проведения взаимных тестов вычислительными модулями, названный методом коллективных проверок, который позволяет обеспечить полную загрузку свободных вычислительных ресурсов для проведения диагностических процедур.

2. Алгоритмы автоматизированного планирования загрузки вычислительных модулей отказоустойчивых магистрально-модульных систем фрагментами задачи, обеспечивающие одновременное решение прикладной задачи и выполнение диагностических процедур. Варианты реализации этих алгоритмов для статического планирования позволяют получить диаграммы загрузки процессоров системы с экстремальными характеристиками. При этом возможна реализация как парных, так и коллективных диагностических проверок. Для динамического планирования предлагается алгоритм, ориентированный на проведение взаимных тестов модулей методом коллективных проверок.

3. Аналитический метод дешифрации синдрома системы, ориентированный на работу в режиме реального времени и позволяющий, в отличии от известных методов, в которых используются конкретные диагностические модели, определять состояние системы в рамках одной из девяти диагностических моделей по выбору пользователя.

4. Методы ускоренной дешифрации синдрома системы для ряда диагностических моделей, обеспечивающие сокращение трудоемкости за счет учета частных свойств конкретной модели.

5. Табличный метод дешифрации синдрома системы, позволяющий использовать одну универсальную таблицу потенциальных синдромов для всех диагностических графов, возможных в процессе реконфигурации вычислительной системы. Варианты реализации метода обеспечивают сокращение размера таблицы за счет избыточных временных ресурсов или уменьшение времени дешифрации синдрома системы при увеличении объема памяти, необходимого для хранения таблицы.

Практическая ценность работы. Использование полученных в диссертации моделей, методов и алгоритмов организации диагностических процессов совместно с известными методами планирования параллельных вычислений обеспечивает создание математического обеспечения процедур автоматизированного проектирования отказоустойчивых вычислений в специализированных многопроцессорных вычислительных системах с магистрально-модудьной организацией.

Применение метода коллективных проверок, основанного на параллельной загрузке всех свободных вычислительных модулей системы копиями одного фрагмента задачи и сравнении полученных результатов независимого решения, позволяет сократить необходимые для проведения диагностических процедур вычислительные ресурсы по сравнению с методом парных элементарных проверок.

Для табличного метода дешифрации синдрома [28] обеспечивается сокращение необходимого объема памяти за счет хранения таблиц потенциальных синдромов в виде одной универсальной таблицы неисправностей для множества диагностических графов, используемых при реконфигурации многопроцессорной системы.

Разработан пакет прикладных программ анализа и выбора диагностических моделей модульных систем. Пакет предназначен для автоматизированного формирования таблицы потенциальных синдромов и определения характеристик графовой диагностической модели вычислительной системы. Проведен вычислительный эксперимент, на основе которого выполнен сравнительный анализ известных диагностических моделей системного уровня диагностирования.

Разработан программный комплекс для исследования, синтеза и оптимизации диагностических графовых моделей модульных систем. Этот комплекс позволяет синтезировать диагностические графы с определенными характеристиками и производить оптимизацию графовой модели по критерию минимума количества связей (на основе решения задачи покрытия).

Разработана программа имитационного моделирования диагностических процессов в отказоустойчивых магистрально-модульных системах параллельной обработки данных, которая позволяет исследовать эффективность процессов функционирования систем различных конфигураций, использующих заданные алгоритмы организации отказоустойчивых вычислений, на этапе системного проектирования.

Реализация и внедрение. Полученные в диссертационной работе результаты применялись в разработках производственных предприятий, а также используется в учебном процессе.

При проектировании многопроцессорной вычислительной системы управления технологическим оборудованием, предназначенным для работы в условиях агрессивной внешней среды в рамках проекта «Участок колеровоч-ный» (ЗАО «Композит» п. Лесной Шкловского района Рязанской области) были использованы аналитический метод дешифрации синдрома, метод проведения коллективных диагностических проверок и метод динамического планирования загрузки вычислительных модулей без предварительного формирования диагностического графа.

В работах ТОО «Эко Информ Системы» (г. Шатура, Московской области) при разработке математического и программного обеспечения управляющего комплекса установки по очистке промышленных стоков использовались методы статического планирования загрузки вычислительных модулей (тема «Комплексная автоматизация установки по очистке промышленных стоков Дмитровоградской текстильной фабрики»).

Методы планирования вычислительных процессов и методы дешифрации синдрома системы использовались в учебном процессе Рязанской государственной радиотехнической академии студентами специальностей 220300 «Системы автоматизированного проектирования» и 220500 «Конструирование и технология электронно-вычислительных средств» в рамках курсов «Микропроцессорные устройства и системы», «Лингвистическое обеспечение САПР» и «Оптимизация в САПР».

Кроме того, методы дешифрации синдрома системы использовались при выполнении дипломных проектов по специальности 220300 «Системы автоматизированного проектирования».

Использование научных результатов диссертационной работы подтверждено соответствующими актами.

Апробация работы. Основные положения диссертации обсуждены на 2-й Международной научно-технической конференции "Актуальные проблемы анализа и обеспечения надежности и качества приборов, устройств и систем" (г. Пенза, 1998), Московской международной телекоммуникационной конференции "Молодежь и наука" в научной сессии МИФИ (г. Москва, 1999), Всероссийской научно-практической конференции "Современные информационные технологии в образовании" (г. Рязань, 1998), Всероссийской научно-технической конференции студентов, молодых ученых и специалистов "Новые информационные технологии в радиоэлектронике" (г. Рязань, 1998), Всероссийской научно-технической конференции студентов, молодых ученых и специалистов "Новые информационные технологии в научных исследованиях и в образовании" (г. Рязань, 1999), Международной конференции "Проблемы передачи и обработки информации в сетях и системах телекоммуникаций" (г. Рязань, 2000), конференциях профессорско-преподавательского состава Рязанской государственной радиотехнической академии (г. Рязань, 1998, 1999).

12

Публикации по теме диссертации. По теме диссертационной работы опубликовано 18 печатных работ, включая 1 статью в центральной печати, 6 статей в межвузовских сборниках научных трудов и 11 тезисов докладов научно-технических конференций. Разработаны и зарегистрированы в РосАПО и РОСПАТЕНТ две программы и один программный комплекс.

Объем и структура диссертации. Диссертационная работа состоит из введения, четырех разделов, заключения и списка литературы, изложенных на 158 стр., а также приложений на 13 стр.

Выводы по главе 4

1. Проведен количественный сравнительный анализ известных диагностических моделей на основе полученных экспериментальных данных. В результате показано преимущество симметричных диагностических моделей для организации отказоустойчивой работы магистрально-модульных вычислительных систем, поскольку при использовании моделей этого класса для достижения равных диагностических характеристик с несимметричными моделями требуется значительно меньшее число элементарных проверок.

2. Разработаны программные средства, позволяющие формировать диагностические графы, используемые в табличном методе дешифрации синд-рорма системы (разделы 3.1 и 3.2). На основе решения задачи покрытия эти средства производят оптимизацию графовой модели по критерию минимума связей при сохранении меры диагностируемости системы.

3. Обоснована необходимость проведения анализа отказоустойчивых вычислительных систем методом имитационного моделирования. Предложена структура моделирующей системы. На основе этой структуры были разработаны программные средства и проведено моделирование ряда систем с различными характеристиками. В результате определено рациональное соотношение количества вычислительных модулей в системе и среднего значения функции плотности загрузки с точки зрения минимизации времени латентно-сти неисправности. С помощью этих ропрограммных средств была показана работоспособность и корректность предложенных методов статического и динамического планирования работы специализированных вычислительных систем параллельной обработки данных, методов дешифрации синдрома системы.

142

ЗАКЛЮЧЕНИЕ

Основные научные результаты диссертации формулируются следующим образом.

1. Предложен метод проведения взаимных тестов вычислительными модулями, названный методом коллективных проверок, который позволяет обеспечить полное использование свободных вычислительных ресурсов для проведения диагностических процедур.

2. Разработан метод динамического планирования работы вычислительной системы при проведении взаимных тестов модулей методом коллективных проверок, обеспечивающий как решение прикладной задачи, так и обеспечение заданной меры отказоустойчивости.

3. Разработаны методы статического планирования работы вычислительной системы, обеспечивающие оптимизацию плана решения прикладной задачи по критериям минимума времени решения прикладной задачи и минимума времени определения технического состояния системы. Предложены варианты реализации этих методов для парных и коллективных диагностических проверок при одинаковой и различной трудоемкостях решения отдельных фрагментов задачи.

4. Разработан табличный метод дешифрации синдрома системы, позволяющий использовать одну универсальную таблицу потенциальных синдромов для всех используемых в течении жизненного цикла вычислительной системы диагностических графов определенного вида. Предложены модификации метода, позволяющие минимизировать размер таблицы потенциальных синдромов за счет временной избыточности или время работы за счет увеличения объема памяти, необходимого для хранения таблицы.

5. Предложен аналитический метод дешифрации результатов диагностирования, основанный на решении логических уравнений, которые учитывают результаты проведения элементарных проверок. Метод отличается от подобных возможностью настройки на работу в рамках одной из девяти известных диагностических моделей и ориентирован на применение итерационного подхода, позволяющего существенно сократить требуемые вычислительные ресурсы и производить дешифрацию синдрома по мере поступления диагностических данных в режиме реального времени.

6. Для ряда диагностических моделей разработаны алгоритмы ускоренной дешифрации синдрома системы, обеспечивающие сокращение трудоемкости процесса определения технического состояния системы за счет учета частных свойств используемых моделей.

7. Выполнен сравнительный качественный и количественный анализ диагностических моделей системного уровня. В результате для магистрально-модульных вычислительных систем обоснован выбор симметричных моделей, применение которых позволяет существенно сократить общее количество проводимых в системе элементарных проверок по сравнению с наиболее известными моделями РМС[126] и BGM[115].

8. Разработаны и зарегистрированы в РОСПАТЕНТ программные средства, позволяющие проводить анализ и оптимизацию (на основе решения задачи покрытия) графовых моделей отказоустойчивых систем.

9. Разработаны и зарегистрированы в РОСПАТЕНТ инструментальные программные средства, позволяющие проводить имитационное моделирование диагностических процессов в вычислительных системах рассматриваемого класса.

На основе предложенных в диссертационной работе методов статического планирования вычислительного процесса могут быть реализованы проектные процедуры синтеза диаграмм загрузки вычислительных модулей для специализированных отказоустойчивых вычислительных систем реального времени. Методы определения технического состояния вычислительных модулей могут быть использованы в качестве типовых проектных решений для проце

144 дур дешифрации синдрома системы. Разработанный программный комплекс для исследования, синтеза и оптимизации диагностических графовых моделей модульных систем позволяет формировать таблицы потенциальных синдромов для систем, использующих табличный метод дешифрации синдрома. Все это позволит автоматизировать процесс проектирования отказоустойчивых вычислительных систем на системном уровне.

Результаты диссертационной работы внедрены в разработках промышленных предприятий Рязанской и Московской областей, а также использовались в учебном процессе Рязанской государственной радиотехнической академии. Основные положения диссертации опубликованы в работах автора [12-29].

1. Авиженис А. Отказоустойчивость свойство, обеспечивающее постоянную работоспособность цифровых систем // ТИИЭР. 1978. Т. 66. № 10. С.5-25.

2. Аксенова Г.П. Восстановление в дублированных устройствах методом инвертирования данных // Автоматика и телемеханика. 1987. № 10. С. 144-153.

3. Балакин В.Н., Барашенков В.В., Усачев Ю.Е. Проектирование системы самодиагностирования управляющей микропроцессорной системы // УСиМ. 1984. №2. С. 39-43.

4. Барни К. Старая компьютерная архитектура фирмы Tandem на новых рынках // Электроника 1986. № 8. С. 74-77.

5. Барский А.Б. Параллельные процессы в вычислительных системах. Планирование и организация. М.: Радио и связь, 1990. 256 с.

6. Баумс А.К. О планировании задач и времени реакции распределенных систем реального времени // Автоматика и вычислительная техника. 1998. №3. С. 50-59.

7. Берников Д.В. Способ тестирования операционных устройств микропроцессоров //Известия вузов Приборостроение. 1994. № 11-12. С. 32-35.

8. Богданов Ю.Ю. О двух диагностических моделях распределенных цифровых систем // Автоматика и телемеханика. 1986. № 8. С. 127-132.

9. Богуславский Л.Б., Ляхов А.И. Моделирование многосерверных локальных сетей // Автоматика и телемеханика. 1998. № 8. С. 109-123.

10. Буймов А.Г. Использование преобразований Уолша-Адамара для диагностирования вычислительных систем // Автоматика и вычислительная техника. 1998. № 3. С. 38-42.

11. Буслов А.В., Скворцов С.В. Метод обнаружения неисправных модулей в отказоустойчивых системах Н Новые информационные технологии в радиоэлектронике: Тез. докл. Всероссийской научно-технической конференции. Рязань, май 1998. Рязань: РГРТА, 1998. С. 41-43.

12. Буслов А.В., Скворцов С.В. Программные средства экспериментальной оценки диагностических моделей отказоустойчивых систем // Новые информационные технологии: Межвуз. сб. научных трудов. Рязань: РГРТА,1998. С. 23-31.

13. Буслов А.В., Скворцов С.В. Аналитический метод дешифрации результатов диагностирования многопроцессорных систем // Вычислительные машины, комплексы и сети: Межвуз. сб. научных трудов. Рязань: РГРТА, 1999. С. 64-69.

14. Буслов А.В., Скворцов С.В. Методы ускоренной дешифрации синдрома для систем реального времени // Научная сессия МИФИ-2000. Сборник научных трудов. В 13 томах. Т. 2. М.: МИФИ, 2000. С. 188-189.

15. Буслов А.В., Скворцов С.В. Статическое планирование загрузки модулей в специализированных отказоустойчивых системах // Научная сессия МИФИ-2000. Сборник научных трудов. В 13 томах. Т. 2. М.: МИФИ, 2000. С. 190-191.

16. Буслов А.В., Скворцов С.В. Дешифрация результатов самодиагностирования многопроцессорных систем в режиме реального времени // Вестник Рязанской государственной радиотехнической академии. 1999. Вып. 6. С. 34-37.

17. Буслов А.В., Скворцов С.В. Методы дешифрации синдрома для отказоустойчивых систем // Новые информационные технологии: Межвуз. сб. научных трудов. Рязань: РГРТА, 2000. С. 6-14.

18. Буслов А.В., Скворцов С.В. Организация диагностических процессов в отказоустойчивых многопроцессорных системах // Новые информационные технологии: Межвуз. сб. научных трудов. Рязань: РГРТА, 2000. С. 1418.

19. Буслов А.В. Формирование таблицы неисправностей для отказоустойчивых систем с автореконфигурацией // Новые информационные технологии: Межвуз. сб. научных трудов. Рязань: РГРТА, 2000. С. 18-22.

20. Свидетельство об официальной регистрации программы для ЭВМ № 980507, Россия. Программа анализа и выбора диагностических моделей модульных систем / Буслов А.В., Скворцов С.В. Зарегистрировано в РосАПО 20.08.1998, заявка № 980376.

21. Ведешенков В.А., Нестеров A.M. О двух методах дешифрации результатов диагностирования цифровых систем // Электронное моделирование. 1981. №2. С. 53-58.

22. Ведешенков В.А. Об организации самодиагностируемых цифровых систем // Автоматика и телемеханика. 1983. № 7. С. 133-144.

23. Ведешенков В.А., Котельников В.Ю. О диагностировании неисправных модулей в цифровых системах при использовании неполных тестов // Автоматика и телемеханика. 1985. № 8. С. 122 132.

24. Власкина В.В., Лобков С.Н., Сердюченко П.Я. и др. Методика оптимального распределения заданий в отказоустойчивой многопроцессорной вычислительной системе // Автоматика и вычислительная техника. 1998. № 1. С. 30-41.

25. Галушкин А.Н., Грачев Л.В., Толстых М.М. и др. Оценка алгоритмов реконфигурации структуры вычислительных систем с M1MD архитектурой // Кибернетика. 1990. № 2. С. 35-41.

26. Генинсон Б.А., Панкова Л.А., Трахтенгерц Э.А. Отказоустойчивые методы обеспечения взаимной согласованности в распределенных вычислительных системах // Автоматика и телемеханика. 1989. № 5. С. 3-18.

27. Гершанов В.И., Скворцов С.В., Телков И.А. Методы повышения отказоустойчивости вычислительных систем, основанных на принципе ассоциативной селекции потоков данных // Вопросы радиоэлектроники. Сер. электрон. вычислит, техн. 1992. Вып. 7. С. 50-58.

28. Гессель М, Дмитриев А.В., Сапожников В.В. и др. Самотестируемая структура для функционального обнаружения отказов в комбинационных системах И Автоматика и телемеханика. 1989. № 5. С. 162-174.

29. Гобземис А. Классификация объектов распределенных систем по степени работоспособности // Автоматика и вычислительная техника. 1998. № 3. С. 60-65.

30. Голдберг Дж., Уэнсли Дж. X., Лэмпорт Л. и др. SIFT: Проектирование и анализ отказоустойчивой вычислительной системы для управления полетом летательного аппарата//ТИИЭР. 1978. Т. 10. С. 166-186.

31. Головкин Б. А. Вычислительные системы с большим числом процессоров. М: Радио и связь, 1995. 320 с.

32. Головкин Б.А. Исследование некоторых расписаний работы мультипроцессорных вычислительных систем // Труды МФТИ. Сер Радиотехника и электроника. 1975. № 10. С. 65-74.

33. Головкин Б.А. Сравнение методов планирования параллельных вычислений в многопроцессорных системах // Известия РАН. Техническая кибернетика. 1982. №3. С. 150-162.

34. Головкин Б.А., Егисапетов Э.Г., Макеев В.Г. Программное обеспечение отказоустойчивости вычислительных систем на базе ЭВМ М-10 // Электронное моделирование. 1987. Т. 9. № 3. С. 58-62.

35. Горелов О.И., Плотников Е.В. Представление открытых вычислительных сетей моделью самодиагностируемой системы с распределенным диагностическим ядром // Автоматика и вычислительная техника. 1983. № 4. С. 64-70.

36. Горелов О.И., Плотников Е.В. Анализ степени диагностируемости открытых вычислительных сетей // Автоматика и вычислительная техника. 1983. №6. С. 61-66.

37. Горелов О.И., Плотников Е.В. Об одном методе анализа вычислительных сетей // Автоматика и вычислительная техника. 1986. № 1. С. 30-35.

38. Горелов О.И. Поиск дефектов в сложных технических системах методами анализа диагностических графов. Вычисление дефектных компонент // Автоматика и телемеханика. 1987. № 10. С. 153-165.

39. Горелов О.И. Поиск устойчивых и перемежающихся дефектов в сложных технических системах, проверяемых неполными тестами // Автоматика и телемеханика. 1991. № 7. С. 136-148.

40. Гостилова С.В., Никитин А.И. Глобальное состояние распределенной базы данных и глобальная контрольная точка // УС и М. 1991. № 8. С. 68-76.

41. Гуляев В.А., Додонов А.Г., Пелехов С.П. Организация живучих вычислительных структур. Киев: Наук, думка, 1982. 138 с.

42. Димитриев Ю.К. Диагностирование вычислительных систем с несимметричными оценками//Автоматика и телемеханика. 1995. № 12. С. 106-112.

43. Димитриев Ю.К. Об одной модели самодиагностируемых систем // Электронное моделирование. 1991. № 1. С. 107-108.

44. Игнатущенко В.В., Подшивалова И.Ю. Динамическое управление надежным выполнением параллельных вычислительных процессов для систем реального времени//Автоматика и телемеханика. 1999. № 6. С. 142-157.

45. Иыуду К.А., Кривощсков С.А. Математические модели отказоустойчивых вычислительных систем. М.: Изд-во МАИ, 1989. 144 с.

46. Каравай М.Ф., Уваров С.И. О минимальной избыточности в реконфигу-рируемых однородных многопроцессорных вычислительных системах // Автоматика и телемеханика. 1988. № 2. С. 149-159.

47. Каравай М.Ф. Инвариантно-групповой подход к исследованию к-отказоустойчивых структур // Автоматика и телемеханика. 2000. № 1. С. 144-156.

48. Кардаш Д.И., Кудрявцев А.В., Фрид А.И. Об одном методе тестового диагностирования сложных систем // Информационные технологии. 1998. № 3. С. 30-36.

49. Коваленко А.И., Гула В.В. Отказоустойчивые многопроцессорные системы. Киев: Техника 1986. 326 с.

50. Колосков В.А., Титов В. С. Метод самоорганизации отказоустойчивой мультимикроконтроллерной сети // Автоматика и телемеханика. 1998. №3. С. 173-183.

51. Корбут А.А., Финкелыитейн Ю.Ю. Дискретное программирование / Под ред. Юдина Д.Б. М.: Наука, 1969. 368с.

52. Корячко В.П., Скворцов С.В., Телков И.А. Архитектуры многопроцессорных систем и параллельные вычисления: Учебное пособие М.: Высшая школа, 1999. 235 с.

53. Корячко В.П., Скворцов С.В., Шувиков В.И. Характеризация диагностических графов для симметричной модели дешифрации синдрома // Информационные технологии 1999. № 6. С. 18-22.

54. Корячко В.П., Скворцов СВ., Шувиков В.И. Синтез оптимальных диагностических графов для симметричной модели дешифрации синдрома // Информационные технологии 1999. № 12. С. 32-37.

55. Крамаренко М.Б. Анализ самодиагностирования отказов вычислительной системыЮлектронное моделирование, 1987. № 6. С. 61-64.

56. Крамаренко М.Б. Модели диагностирования отказов параллельной вычислительной системы // Электронное моделирование. 1989. № 3. С. 60-65.

57. Левин В.И. Анализ загрузки вычислительных систем // Автоматика и вычислительная техника. 1983. № 6. С. 67-73.

58. Левин В.И. К планированию работы вычислительных систем. Математический аппарат // Автоматика и вычислительная техника. 1982. № 5. С. 52-58.

59. Леонтьев В.К., Морено О. О нулях булевых полиномов // Журнал вычислительной математики и математической физики. 1998. Т. 38. № 9. С. 1608-1615.

60. Лобанов А.В. Обнаружение и идентификация неисправностей в распределенных управляющих вычислительных системах с программно-управляемой сбое- и отказоустойчивостью // Автоматика и телемеханика. 1998. № 1.С. 55-164.

61. Лобанов А.В. Взаимное информационное согласование с идентификацией неисправностей на основе глобального синдрома // Автоматика и телемеханика. 1996. № 5. С. 150-159.

62. Лобанов А.В. Взаимное информационное согласование с идентификацией неисправностей в распределенных вычислительных системах // Автоматика и телемеханика. 1992. № 4. С. 137-146.

63. Лобанов А.В. Обнаружение и идентификация «враждебных» неисправностей путем одновременного сочетания функционального и тестового дааг-ностирования в многомашинных вычислительных системах // Автоматика и телемеханика. 1999. № 1. С. 159-165.

64. Мамедли Э.М., Самедов Р.Я., Соболев Н.А. Метод локализации «дружественных» и «враждебных» неисправностей // Автоматика и телемеханика. 1992. № 5. С. 126-138.

65. Мамедли Э.М., Соболев Н.А. Механизмы операционных систем, обеспечивающие отказоустойчивость в управляющих многомашинных вычислительных системах // Автоматика и телемеханика. 1995. № 8. С. 3-63.

66. Мамзелев И.А., Николаенко Н.Н., Русаков М.Ю. Отказоустойчивые вычислительные системы // Зарубежная радиоэлектроника. 1983. № П. С. 3-28.

67. Микеладзе М.А. Развитие основных моделей самодиагностирования сложных технических систем // Автоматика и телемеханика. 1995. № 5. С. 3-18.

68. Новиков Н.Н., Козлов В.Н., Емелин Н.М., Астапенко Ю.В. Применение булевых матриц в решении задач контроля технического состояния дискретных устройств и систем // НКК. 1998. № 3. С. 33-40.

69. Пархоменко П.П. Гиперкубовая архитектура многопроцессорных вычислительных систем с реберным расположением процессорных элементов // Известия РАН Техническая кибернетика. 1994. № 2. С. 170-182.

70. Пархоменко П.П. Определение технического состояния многопроцессорных вычислительных систем путем анализа графа синдромов // Автоматика и телемеханика. 1999. № 5. С. 126-135.

71. Пархоменко П.П. Размещение копий ресурсов вычислительных систем на графах общего вида // Автоматика и телемеханика. 1999. № 6. С. 158-167.

72. Пархоменко П.П., Согомонян Е. С. Основы технической диагностики. М.: Энергия, 1981. 320 с.

73. Основы технической диагностики. В 2-х книгах. Кн. 1. Модели объектов, методы и алгоритмы диагноза / Под ред. П.П. Пархоменко М.: Энергия, 1976.

74. Платанов С.В., Романовский А.С., Чухров С.Ю. Метода обеспечения отказоустойчивости вычислительных систем, ориентированные на решение задач цифровой обработки сигналов // Вестник МГТУ. 1999. № 2. С. 70-77.

75. Принципы обеспечения отказоустойчивости многопроцессорых вычислительных систем: Сб. трудов. М.: Ин-т проблем управления, 1987. 82 с.

76. Прицкер, Алан Введение в имитационное моделирование и язык СДАМ К. М.: Мир, 1987. 644 с.

77. Радойчевски В.Д., Шалаев А.Я. Параллельная диагностируемое^ модульных систем при централизованной дешифрации синдрома // Электронное моделирование. 1992. № 1. С. 57-63.

78. Радойчевски В.Д., Шалаев А.Я. О последовательной диагностируемости при централизованной дешифрации синдрома // Электронное моделирование. 1992. № 4. С. 90-93.

79. Росляков Д.И., Терехов И. А. Новые технологические решения в построении отказоустойчивых систем // Информационные технологии. 1998. № 1. С. 30-36.

80. Росляков Д.И., Терехов И.А. Отказоустойчивая технология фирмы Sequoia // Успехи современной радиоэлектроники. 1998. № 1. С. 69-79.

81. Савельев А .Я., Овчинников А.Г., Конструирование ЭВМ и систем // учебник для техн. вузов по специальности «электрон.выч.машины». М.: Высшая школа, 1984. 248 с.

82. Савельев А.Я. Прикладная теория цифровых автоматов. М.: Высшая школа, 1987. 226 с.

83. Сами М., Стефанелли Р. Перестраиваемые архитектуры матричных процессорных СБИС // ТИИЭР. 1986. № 5. Т. 74. С. 107-118.

84. Скворцов С.В. Организация отказоустойчивых вычислений в магистраль-но-модульных многопроцессорных системах // Вестник Рязанской государственной радиотехнической академии 1996. Вып. 1. С. 27-32.

85. Скворцов С.В., Скворцов И.В. Выбор диагностических моделей для организации активной отказоустойчивости многопроцессорных систем // Новые информационные технологии: Межвуз. сб. / Рязан. гос. радиотехн. акад. Рязань, 1997. С. 55-61.

86. Согомонян Е.С., Шагаев И.В. Аппаратурное и программное обеспечение отказоустойчивости вычислительных систем // Автоматика и телемеханика. 1988. № 2. С. 3-39.

87. Томфельд Ю.Л. Структурные задачи организации ремонтных взаимодействий компонент цифрового устройства // Автоматика и телемеханика. 1999. №6. С. 130-141.

88. Трусов С.С. Об Эффективности простых диспетчеров // Изв. АН СССР. Техническая кибернетика. 1973. № 4. С. 150-160.

89. Федоров И.И. Модель самодиагностирования для распределенных отказоустойчивых систем с деградацией структуры // Автоматика и телемеханика. 1990. № 1. С. 136-144.

90. Флинн М. Сверхбыстродействующие вычислительные системы // ТИИЭР. 1966. № 12. С. 311-320.

91. Хендри. Полностью аппаратное резервирование без участия программ // Электроника. 1983. № 2. С. 39-43.

92. Чеботарев П.Ю., Шамис Е.В. Матричная теорема о лесах и измерение связей в малых социальных группах // Автоматика и телемеханика. 1997. №9. С. 125-137.

93. Чеботарев П.Ю., Шамис Е.В. О показателях близости вершин графов // Автоматика и телемеханика. 1998. № 10. С. 113-133.

94. Хопкинс АЛ., Смит Т.Б., Л ал а Дж.Х. FTMP высоконадежный устойчивый к отказам мультипроцессор для управления самолетом ТИИЭР. 1978. Т. 66. № 10. С. 142-165.

95. Шестакова Т.В. Центры управления сетью. Организация управления и контроля в современных сетях ЭВМ // Зарубежная радиоэлектроника. 1984. №3. С. 19-44.

96. Шнитман В. Отказоустойчивые компьютеры компании Stratus // Открытые системы. № 1. 1998. С. 12-22.

97. Шубинский И.Б. Об одном подходе к обеспечению надежности модульных систем обработки информации // Надежность и контроль качества. 1984. №9. С. 10-15.

98. Шубинский И.Б. Активная защита от отказов вычислительных систем в условиях соизмеримых длительностей решения задач и пауз между ними // Кибернетика и системный анализ. 1991. № 4. С. 42-47.

99. Arge J.R. A Message-Based Fault Diagnosis Procedure // Computer Communication Review. 1986. V. 16. № 3. P. 328-337.

100. Avizienis A.Arhitecture of fault-tolerant computing systems// Fault tolerant computing simposium (FTCS)5.Paris, 1975.P3-15.

101. Barsi F., Grandoni F., Maestrini P. A Theory of Diagnosability of Digital Systems // IEEE Trans. Comput. 1976. V. C-25. N 6. P. 585-593.

102. Chwa K.Y., HakimiS.L. On Fault Identification in Diagnosable Systems Systems // IEEE Trans. Comput. 1981. V. C-30. N 6. P. 414-422.

103. Computer and job-shop scheduling theory/Ed. by E.G.Coffman/. Jon Wily & Suns. - 1976.

104. Gonzalez M.J. Deterministic processor scheduling.-Computing Surveys, 1977,vol. 9,№> 3.p. 173-204.

105. Hanchek F., Dutt S. Methodologies for tolerating cell and interconnect faults in FPGAs// IEEE Trans. Comput. 1988.V. 47. No. 1. P. 15-33.

106. Harmat L. A New Model for Self-Testing and Self-Diagnosing Multi-microprocessor Systems // Proc. Int. Symp. on Fault-Tolerant Computing (FTCS-11), 1981. P. 170-172.

107. Holt C.S., Smith J.E. Diagnosis of Systems with Asymmetric Invalidation // Trans. Comput. 1981. V. C-30. N9. P. 679-690.

108. Kavianpour A., Friedman A.D. Different Diagnostic Models for Multiprocessor Systems // Information Processing 80: Proc. IFIP Congr. Tokyo-Melburn, 1980. P. 157-162.

109. Khanna S., Fuchs W.K. A graph partitioning approach to sequential diagnosis // IEEE Trans. Comput. 1997.V. 46.No. l.P. 39-47.

110. Maeng J., Malek M.A. A Comparison Connection Assignment for Self-Diagnosis of Multiprocessor System 11 Proc. Int.Symp. on Fault-Tolerant Computing (FTCS-11), 1981. P. 173-175.158

111. J.Von Neumann,"Probabilistic logics and the synthesis of reliable organisms from unreliable components", Automata Studies,№ 34 , P. 43-49. Princeton, NJ: Princeton University Press.

112. Preparata F.P., Metze G., Chien R.T. On the Connection Assignment Problem of Diagnosable Systems // IEEE Trans. Electron. Comput. 1967. V. EC-16. N 6. P. 848-854.

113. Russel J.D.,Kime C.R. On the diagnosability of Digital Systems.-Digest of FTC/3 Palo-Alto, June 1973,p. 139-144.

114. Siewiorec D.P. Architecture of Fault-Tolerant Computers // Computer. 1984. V. 17. N8. P. 9-18.

115. Tryon J.G. "Quadded logic" in Redundancy Techniques for Computing Systems? Wilcox and Mann, Eds: Washington, DC: Spartan Books, P. 205-228, 1962.