автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Алгоритмы голосования в резервированных системах обработки информации на основе нечеткой логики и нейронных сетей

На правах рукописи

□□3447844

ГЕРОН Сергей Валентинович

АЛГОРИТМЫ ГОЛОСОВАНИЯ В РЕЗЕРВИРОВАННЫХ СИСТЕМАХ ОБРАБОТКИ ИНФОРМАЦИИ НА ОСНОВЕ НЕЧЕТКОЙ ЛОГИКИ И НЕЙРОННЫХ СЕТЕЙ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (промышленность)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

п 2 ОПТ ЯК®

Уфа 2008

003447844

Работа выполнена на кафедре вычислительной техники и защиты информации Уфимского государственного авиационного технического университета

Научный руководитель д-р техн наук, проф

Фрид Аркадий Исаакович

Официальные оппоненты д-р техн наук, проф

Крымский Виктор Григорьевич

канд техн наук

Распопов Евгений Викторович Ведущая организация ОАО НИИ «Солитон», г. Уфа

Защита состоится 31 октября 2008 г. в 14 часов на заседании диссертационного совета Д-212 288.03 при Уфимском государственном авиационном техническом университете по адресу 450000, г Уфа, ул К Маркса, 12

С диссертацией можно ознакомиться в библиотеке университета

Автореферат разослан 30 сентября 2008 г

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Для удовлетворения высоким требованиям, предъявляемым к надежности аппаратуры и программного обеспечения в современных информационных системах, часто используется метод многократного резервирования

Примерами резервированных систем обработки информации, рассматриваемых в данной работе, являются

1 Системы с параллельным и независимым выполнением одной и той же задачи несколькими вычислителями, отличающимися друг от друга вплоть до наборов системной логики и фирмы изготовителя

2 Системы, спроектированные разными группами инженеров с использованием различных языков и технологий программирования и работающие на основе параллельного выполнения нескольких функционально идентичных программных модулей, разработанных по одной спецификации

3 Системы, использующие несколько различных физических каналов при передаче информации в сетях связи специального назначения

4 Системы, в которых измерение некоторой физической величины осуществляется с использованием нескольких датчиков, основанных на различных принципах

В перечисленных примерах в заданных контрольных точках необходимо принимать решение о выборе одного результата из нескольких, полученных функционально идентичными, но максимально отличными в остальном резервными модулями Для решения данной проблемы хорошо зарекомендовали себя алгоритмы голосования, значительный вклад в развитие которых внесли такие отечественные и зарубежные ученые как Ю И Журавлев, П Р Лорцзак, М А Воукидр

Наибольшее внимание в мировой науке было уделено алгоритмам голосования, выбирающим между результатами, принадлежащими целочисленному множеству малой мощности Вместе с тем, в современной практике все чаще возникает необходимость выбора между ответами, принадлежащими множеству вещественных чисел Вследствие большой мощности таких множеств задача голосования приобретает неопределенность и становится трудноформализуе-мой Одним из решений этой задачи является алгоритм голосования с использованием нечеткой логики, предложенный Д Ф Макалистером, который впоследствии был развит в работах В А Морозова

Однако, существующие алгоритмы голосования не в состоянии обеспечить высокую достоверность результатов на всем пространстве параметров распределения ответов, что объясняется недостаточной изученностью и проработкой поставленной проблемы При решении трудноформализуемых задач нашли широкое применение методы искусственного интеллекта, в частности нечеткая логика и нейронные сети Поэтому представляется целесообразным изучение возможности применения нечеткой логики и нейронпых сетей для

решения задачи голосования в системах, результаты функционирования которых принадлежат множеству вещественных чисел

Алгоритм голосования определяет результат работы всей резервированной системы в целом, поэтому ошибка на этапе голосования может привести к значительным материальным, финансовым и людским потерям Таким образом, задача исследования и разработки алгоритмов голосования с целью повышения достоверности результатов работы резервированных систем, является актуальной

В данной работе предложено дальнейшее развитие алгоритмов голосования на основе нечеткой логики и проведены исследования по разработке новых алгоритмов голосования па основе нейрошшх сетей

Объект диссертационного исследования - блок принятия решений (голосования) в резервированных системах обработки информации

Предмет диссертационного исследования - алгоритмы голосования на основе нечеткой логики и нейронных сетей

Целью диссертационной работы является повышение достоверности алгоритмов голосования в резервированных системах обработки информации, результаты работы которых принадлежат множеству вещественных чисел.

Для достижения поставленной цели в диссертационной работе сформулированы следующие задачи

1 Разработать программное обеспечение, позволяющее проводить численные эксперименты и анализировать достоверность алгоритмов голосования при наличии ошибочных результатов от резервных модулей

2 Разработать алгоритм голосования на основе нечеткой логики

3 Разработать алгоритм голосования на основе нейронных сетей, предложить методику подготовки исходных данных для повышения достоверности голосования

4 Исследовать достоверность предложенных алгоритмов голосования методом численного моделирования и разработать методику голосования на основе алгоритмических композиций.

Методы исследования основаны на использовании методов системного анализа, теории вероятностей и математической статистики, теории нечетких множеств, нейроинформатики, теории планирования эксперимента, имитационного моделирования, теории информационных систем и обработки данных

Научная новизна результатов, полученных в диссертационной работе, заключается в следующем

1 Разработан алгоритм голосования на основе нечеткой логики, отличающийся введением блока вычисления суммарной меры подобия, что позволяет отказаться от необходимости выбора порога дефаззификации X и допуска е, субъективно влияющих на эффективность голосования и используемых традиционно в алгоритмах на основе нечеткой логики

2 Предложен алгоритм голосования на основе многослойного персептро-на, отличающийся методикой подготовки результатов работы модулей для осуществления голосования с предварительным ранжированием по их взаим-

ному расположению на декартовой оси координат и последующим вычислением разностей координат между ними, что позволяет повысить достоверность голосования в резервированных системах обработки информации

3 Разработана методика голосования на основе алгоритмической композиции в соответствии с областью компетенции каждого из рассмотренных алгоритмов, позволяющая повысить достоверность голосования на всем пространстве параметров распределения ответов резервных модулей

Практическая ценность диссертационной работы состоит в следующем

1 Разработаны алгоритмы на основе нечеткой логики и нейронных сетей, позволяющие повысить достоверность результатов голосования на 1-2%, что приводит к уменьшению количества отказов в условиях моделируемого примера на 30-40%

2 Разработана методика голосования на основе алгоритмической композиции алгоритмов голосования в соответствии с их областью компетенции, позволяющая повысить достоверность выбора ответов на всем пространстве их параметров распределения на 1-2%, что приводит к уменьшению количества отказов в условиях моделируемого примера на 30-40%

Результаты диссертационной работы нашли практическое применение в ОАО НИИ «Солитон» при разработке аппаратуры каналообразования и коммутации с адаптивным конфигурированием и высокой помехообрывоустойчиво-стъю для сетей связи специального назначения

Основные научные положения, выносимые на защиту:

1 Алгоритм голосования на основе нечеткой логики для использования в резервированных системах обработки информации, результаты которых принадлежат множеству вещественных чисел

2 Алгоритм голосования на основе многослойного персептрона, отличающийся методикой подготовки результатов работы модулей для осуществления голосования с предварительным ранжированием по их взаимному расположению на декартовой оси координат и последующим вычислением разностей координат между ними

3 Результаты анализа разработанных алгоритмов на основе численного моделирования и методика голосования на основе алгоритмической композиции известных алгоритмов голосования

Апробация работы. Основные положения и результаты работы докладывались и обсуждались на 10-й Международной научно-технической конференции «Радиоэлектроника, электротехника и энергетика» (Москва, 2004), 2-й Всероссийской научно-технической конференции «Искусственный интеллект в XXI веке» (Пенза, 2004), Международной научной конференции «XXXII Гага-ринские чтения» (Москва, 2006), 14-м Всероссийском семинаре «Нейроинфор-матика и ее приложения» (Красноярск, 2006), семинарах молодых ученых и аспирантов УГАТУ (Уфа, 2007-2008), VII - IX Международных семинарах по компьютерным наукам и информационным технологиям (CSIT) (Уфа, 2005, 2007, Карлсруэ, 2006), Всероссийских научно-технических конференциях «Нейроинформатика» (Москва, 2006-2007).

Публикации. Основные материалы диссертационной работы опубликованы в 16 работах, включая 3 статьи в рецензируемых журналах из списка ВАК, 12 публикаций в журналах, материалах Всероссийских и Международных конференций и в 1 свидетельстве о регистрации программы для ЭВМ в Роспатенте.

Структура и объем работы. Диссертация состоит из введения, четырех глав основного текста, заключения, списка использованной литературы из 115 наименований, содержит 66 рисунков и 9 таблиц Общий объем диссертации составляет 142 страницы

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении к диссертации обосновывается актуальность темы, формулируется цель работы и задачи исследования, обсуждается новизна и практическая ценность выносимых на защиту результатов

В первой главе проводится анализ существующих алгоритмов голосования, выявляются их достоинства и недостатки Обосновывается необходимость применения нечеткой логики и нейронных сетей в алгоритмах голосования.

Извесгным способом введения избыточности является использование нескольких функционально идентичных, но отличных в остальном и независимых резервных модулей (рис 1)

Рисунок 1 - Модель резервированной системы обработки информации

Особенностью таких систем является то, что они позволяют маскировать неисправности в отдельных резервных модулях за счет того, что каждый из них функционально эквивалентен остальным, но отличается от них своей конструкцией, устройством и принципами работы Поэтому предполагается, что ошибки, проявившиеся в одном модуле, будут отсутствовать в остальных

Рассматриваются особенности резервированных систем обработки информации, ответы которых принадлежат множеству вещественных чисел При-

водится анализ эффективности наиболее распространенных алгоритмов голосования, используемых в таких системах вычисление среднего, выбор медианы, выбор 2-из-А^, вычисление взвешенного среднего с использованием различных алгоритмов определения веса каждого ответа, дискретные и нечеткие алгоритмы голосования на основе разбиения множества ответов на подмножества эквивалентных элементов

источник входных данных

генератор У ,{

о,

генератор

15/

' \ генератор

с2

У1

Ж

Ж

алгоритм голосования

Ук

Рисунок 2 - Структура программой модели функционирования резервированной системы

С целью проведения численных экспериментов для сравнительного анализа существующих алгоритмов голосования разработана программная модель функционирования резервированной системы, позволяющая исследовать поведение алгоритмов голосования в условиях одного или нескольких ошибочных ответов при различных параметрах распределения последних (рис 2) Результат работы каждого модуля представляется в виде истинного результата у, генерируемого генераторами С,(г = 1,ЛГ), и аддитивного шума Б, В качестве истинного результата моделируется функция 1+5ш(/)), где I - время, к - масштабный коэффициент Аддитивный шум представляет собой последовательность случайных чисел с нормальным или равномерным законом распределения Задавая величину среднеквадратичного отклонения (СКОкорр), получаем результат уп такой что у-е <у,< у+с, где е - величина допуска, в рамках которого работа модуля считается корректной Задавая величину среднеквадратичного отклонения (СКО„еКорр), получаем результату,, такой, что у, <у-е или<уи при этом работа г-го модуля считается некорректной (вследствие сбоя, отказа или действия помехи) Полученные ответы подаются на вход алгоритма голосования Если результат голосования находится в интервале [у-е, у+е], то голосование признается успешным, иначе считается, что произошел отказ системы Описанная методика реализована в виде разработанного алгоритма и программного обеспечения

Пример функций плотности распределения вероятностей ответов представлен на рис. 3. Моделирование повторяется 1000000 раз для каждого известного алгоритма голосования, таким образом собирается статистика достоверности голосования при заданных параметрах распределения ответов СКОк[>р и СКОнехор, которые выражаются в единицах относительно е. Достоверность голосования определяется как процентное отношение количества успешных голосований к общему количеству повторений.

-е +е

-V ' У г

область некорректных ре- область корректных область некорректных зультатоэ результатов результатов

Рисунок 3 - Пример функций плотности распределения корректных и некорректных ответов при различных СКОкор и СКО„см)р

Как видно из рис. 3, при изменении СКОкор и СКОнекор изменяется характер расположения на декартовой оси корректных и некорректных ответов, что позволяет исследовать работу алгоритмов голосования в различных условиях эксплуатации при всевозможных помехах и отказах в резервных модулях.

97 96 95 94 93 92

Рисунок 4

§ 97 i 96

О о

о 95 о

* 34

й 93

X

i" 92 ш о

Й 91

о

1:1 90

,1 0,25 0,4 0,55 0,7 0,85 1 0 0,15 0,3 0,45 0,6 0,75 0,9

СКОкор(е:) Порог дефаззификации x

а б

- Изменение достоверности существующего алгоритма голосования на основе нечеткой логики при: а - постоянных X и е в зависимости от СКОкор;

Проведен анализ достоверности существующих алгоритмов голосования на основе нечеткой логики и выявлен их основной недостаток необходимость выбора порога дефаззификации X и допуска е, используемого в качестве основания функций принадлежности, что не позволяет обеспечить одинаково высокую эффективность на всем диапазоне изменения ответов Например, на рис 4 продемонстрировано изменение достоверности алгоритма голосования при

а) увеличении СКОкор и постоянных Я и е,

б) различных X и постоянных СКОкор и с

Видно, что каждому значению СКОкдр соответствует свое оптимальное значение X, обеспечивающее максимальную достоверность алгоритма голосования, поэтому предлагается разработать алгоритм, позволяющий отказаться от выбора порога дефаззификации X и допуска е

Вторая глава посвящена разработке нового алгоритма голосования на основе нечеткой логики, позволяющего отказаться от необходимости выбора порога дефаззификации Я и допуска е, используемого в качестве основания функций принадлежности

Один из наиболее известных алгоритмов голосования на основе нечеткой логики был предложен Д Ф Макалистером Однако он обладает существенным недостатком - наличием двух параметров, которые необходимо задавать эксперту допуском е и порогом дефаззификации X Автором разработан алгоритм голосования, не требующий предварительного задания величины допуска е и порога дефаззификации X

Пусть на входе алгоритма голосования имеются ответы х/ хн от N резервных модулей

1 Каждому модулю /= 1 N для учета предыстории голосования ставится в соответствие коэффициент доверия Кр изначально равный 1

2 Для каждой пары ответов рассчитывается мера подобия (г, ] = 1 N,1 Ф ]) следующим образом каждому ответу задается функция принадлежности, формируемая равнобедренным треугольником высотой, равной 1, и основанием равным разности между максимальным и минимальным значением элементов (хтах - хш„) (рис 5) Мера подобия двух ответов определяется как площадь, образованная пересечением соответствующих им функций принадлежности.

\ \х>~х] ' ^

V

' -''max -"•mm ^

. 1 ' -"-max ~ -*-тш ~ ®

3 Каждому элементу ставится в соответствие суммарная мера подобия Sum,, определяемая как сумма произведений коэффициента доверия остальных элементов Kj (/=7 N, на соответствующую меру подобия с ними Sy

Sum

4 В качестве результата голосования выбирается ответ х,рц т1, которому

соответствует максимальная суммарная мера

5 Для каждого резервного модуля коэффициент доверия Кр увеличивается на меру подобия его ответа с результатом голосования- К; = К1+ , где

п - мера подобия между у-м ответом и результатом голосования Периодически необходимо проводить нормализацию коэффициентов доверия для предотвращения их неограниченного роста

Рисунок 5 - Пример функций принадлежности ответов резервных модулей при хтах= х,чхтт=х,

Проведенный сравнительный анализ показал значительное уменьшение количества немаскированных отказов в резервированной системе при применении разработанного алгоритма голосования на основе нечеткой логики в сравнении с известными алгоритмами голосования на основе нечеткой логики (рис 6)

-существующий нечеткий алгоритм -разработанный нечеткий алгоритм

-существующий нечеткий алгоритм -разработанный нечеткий алгоритм

0,1 0,25 0,4 0,55 0,7 0,85 СКОшр(Е) а

1 97 ■•

1 96 ■о

8 95

I 94 л

Й 93 о

о. 92 4-щ

0 91

1 9°

0,15 0,3 0,45 0,6 0,75 Порог дефаззификации А б

Рисунок б — Сравнение изменения достоверности алгоритмов голосования на основе нечеткой логики при а - постоянных Лиев зависимости от СКОшр, б - постоянных СКО™ и е в зависимости от X

Третья глава посвящена разработке нового алгоритма голосования на основе нейронных сетей Основную сложность составляет выбор структуры нейронной сети, обучающей выборки и методики предварительной подготовки ответов перед входом в нейронную сеть

Путем экспериментального подбора структуры сети прямого распространения для реализации голосования на примере системы из 5 резервных модулей был выбран многослойный персептрон со следующими характеристиками

1 Входных сигналов А'-1=4

2 Нулевой слой содержит 4 псевдонейрона т е заменен на матрицу весовых коэффициентов

3 Первый(скрытый) слой состоит из 30 нейронов с тангенциальной ак-тивационной функцией Пример выбора количества нейронов в скрытом слое приведен на рис 7

4 Выходной слой состоит из N=-5 нейронов с сигмоидальной активаци-онной функцией

25 нейронов в скрытом слое

--5 нейронов в скрытом слое

----50 нейронов в скрытом слое -99 нейронов в скрытом слое

Ь

о

а

Рисунок 7 - Достоверность алгоритма голосования на основе нейронной сети при изменении количества нейронов в скрытом слое

Обучение осуществляется методом обратного распространения с помощью выборки, состоящей не менее чем из 1000 примеров, характеризующих работу системы при отказах в резервных модулях Результатом голосования считается ответ того резервного модуля, соответствующий выходной нейрон которого генерирует максимальный уровень сигнала

Выбор количества входных сигналов па 1 меньше общего количества резервных модулей обусловлен необходимостью предварительной обработки ответов перед входом в нейронную сеть Разработанная методика подготовки ответов состоит из следующих этапов

1 Ответы резервных модулей ранжируются по возрастанию х] <х2 < х3 < х4 < х5г где х, - ответ /-го резервного модуля

2 Для каждой пары соседних по рангу ответов определяется разность между ними Е, =| - х21, Ег =| хг - х, |, Е} =| х2 - х41, Д, =| х4-х}\

3 Вектор разностей 1/-Е,

4 На вход нейронной сети подаются не сами ответы, а нормализованный вектор разностей между ответами /; 14

Применение данной методики позволяет значительно повысить достоверность голосования (рис 8)

98 т

-без разработанной методики

-с применением разработанной методики

3 4 5 6 скси^г)

Рисунок 8 - Достоверность алгоритма голосования на основе нейронной сети с и без применения разработанной методики подготовки ответов

Следует отметить, что структура нейронной сети прямого распространения, т е число нейронов, выбрана на примере системы из 5 резервных модулей При другом количестве модулей должна быть использована другая структура сети, т е число нейронов сети пропорционально количеству резервных модулей

В четвертой главе исследуется достоверность предложенных алгоритмов голосования методом численного моделирования, предлагается методика голосования на основе алгоритмических композиций

Анализ алгоритмов голосования показал, что каждому значению параметров распределения ответов соответствует свой алгоритм, обеспечивающий наибольшую достоверность результатов голосования Например, на рис 9 показано сравнение алгоритмов голосования при постоянном СКОкор = О.Зг и различных СКОнекор

Видно, что достоверность голосования каждого алгоритма изменяется при изменении параметров распределения ответов резервных модулей Так при СКОНеТОр = нейросетевое голосование повышает достоверность голосования на 0 8% относительно вычисления взвешенного среднего значения, однако при СКО„скор = Юг уже вычисление взвешенного среднего значения обеспечивает на 0 5% большую достоверность относительно нейросетевого голосования Аналогично, нечеткое голосование обеспечивает повышение достоверности на 1 3% и

О 6% в сравнении с вычислением взвешенного среднего значения при СКОи(жор = 1е и СКОцекср = 10е. соответственно Это, в соответствии с рис 9, означает уменьшение количества отказов на [(100-96 5) - (100-97 8)]* 100% / (100-96 5) = 37% для СКО„екор = 1£ и 37 5% для СКОнекор = Юе

99

§ 98,5

2 98 л

Ь

§ 97,5

97 -■

96,5

93

1

^ . -

/ <

г / У. ** К" ^ ---■ ---

/ /

- - - - - - - -

— - нечеткое голосование

— -вычисление взвешенного

среднего значения

----нейросетевое

голосование -выбор медианы

1

5

СКО„

8

10

6

-'нвкор(^)

Рисунок 9 - Сравнение ашоритмов голосования при постоянном СКОкор;

от СКО„С110В

0 Зе в зависимости

Таким образом, ни один из существующих алгоритмов голосования не является универсальным на всем пространстве параметров распределения ответов Данное утверждение подтверждается на рис 10, в котором показано сравнение алгоритмов голосования при отличающимся от предыдущего СКОкор = е

к 97

к

I 96

О

о

| 95

Л

Б 94 о

X

& 93

о о

§ 92

91

п. .г г. .т. ГГ »1 1

и*« 'А ' —

I . .»* » 1 » « —

Г

{ {

—1— 71.-1.-1-, ; ;

1 1 1

— • - нечеткое голосование

нейросетевое голосование

-выбор медианы

--вычисление взвешенного

среднего значения

1 2 3 4 5 6 7 8 9 10 11 12 13 14

СКО„етор(£)

Рисунок 10 - Сравнение алгоритмов голосования при постоянном СКОк( в зависимости от СКО„СКоо

Видно, что в отличие от предыдущего сравнения нейросетевое голосование повышает достоверность голосования уже на 1 5% и 1 2% относительно вычисления взвешенного среднего значения при СКОнекор равном 1е и 10е соответственно Аналогично, нечеткое голосование обеспечивает повышение достоверности на 2% в сравнении с вычислением взвешенного среднего значения при СКОнекор = Зе При этом алгоритм выбора медианы является наиболее достоверным из представленных при СКОняюр < 5е

Аналогично, результаты исследований показали, что для системы, состоящей из 3 резервных модулей, пространство параметров распределения ответов делится на две части При СКО„екор < СКОкор самым достоверным является алгоритм вычисления арифметического среднего значения, во всех остальных случаях наибольшую эффективность демонстрирует разработанный алгоритм голосования на основе нечеткой логики Предложенный алгоритм голосования на основе нейронной сети показал хорошие результаты, незначительно уступая алгоритму голосования на основе нечеткой логики

Рисунок 11 - Области наибольшей достоверности алгоритмов голосования в системе из 5 резервных модулей

На рис 11 проиллюстрировано пространство параметров распределения ответов для системы из 5 резервных модулей Если голосование используется при малой абсолютной величине помех, сравнимых по амплитуде с допуском е, то целесообразно применение алгоритма вычисления арифметического среднего значения При увеличении амплитуды ошибок в ответах наиболее эффективен алгоритм выбор медианы При еще большем увеличении ошибок предпочтение следует отдать алгоритмам на основе нечеткой логики или нейронной се-

ти, а также вычислению взвешенного арифметического среднего значения или 2-из-Л' алгоритмам голосования

Одним из широко применяемых методов при наличии нескольких алгоритмов, показывающих различную эффективность на различных участках некоторого пространства параметров, является алгоритмическая композиция

Предложенная методика выбора алгоритмов голосования заключается в следующем

1 Предварительно формируется массив исходных данных - ответов резервных модулей

2 Данные массива анализируются и выявляются параметры распределения ответов - СКОкор и СКОиекор

3 В соответствии с полученными значениями СКОкпр и СКОнекор по рис 11 выбирается алгоритм голосования, который обеспечит максимальную достоверность результатов

Разработанные алгоритмы голосования внедрены в ОАО НИИ «Солитон» при построении аппаратуры каналообразования и коммутации с адаптивным конфигурированием и высокой помехообрывоустойчивостью ведомственной распределенной сети связи (ВРСС) Основой обеспечения отказоустойчивости ВРСС является наличие разветвленной структуры каналов передачи данных, обеспечивающих более одного маршрута прохождения информации от источника к получателю В ходе эксплуатации ВРСС возникает задача определения наиболее качественного и надежного маршрута передачи информации от источника к получателю

Одним из парамегров, характеризующих качество каналов и линий связи, является остаточное усиление/затухание сигнала, отражающее важную информацию об изменениях качества каналов и линий связи, обусловленную внешними факторами, изменяющими диэлектрическую проницаемость и амплитудно-частотные характеристики кабелей передачи данных, такими как, температура окружающей среды, нагрузка на прилегающих линиях электропередач, влажность и т д Для получения информации о том или ином параметре к источнику подключается генератор, а к получателю - анализатор сигнала Сетевой администратор измеряет остаточное усиление/затухание сигнала и устанавливает качество канала, которое тем выше, чем больше остаточное усиление/затухание соответствует номиналу Недостатком данного метода является то, что определение остаточного усиления/затухания возможно только вручную В данной работе предложен автоматический способ, заключающийся в том, что есть возможность постоянного подключения анализатора к каналам связи у получателя Таким образом, информация о сигналах, прошедших разными маршрутами от ис гочника к получателю, доступна для анализа в реальном масштабе времени Данная проблема формализована как задача голосования в резервированной системе обработки информации

Предполагаемая система выбора наилучшего канала работает следующим образом Информация об уровне сигнала в каждом из резервных каналов подается на вход алгоритма голосования На основании этих данных алгоритм голо-

сования принимает решение о наиболее вероятном уровне сигнала в точке отправления Наилучшим считается тот из резервных каналов (маршрутов передачи сигнала), уровень сигнала в котором наиболее близок к уровню сигнала на выходе алгоритма голосования

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В работе поставлена и решена актуальная задача повышения достоверности алгоритмов голосования в резервированных системах обработки информации на основе нечеткой логики и нейронных сетей В ходе проведенных исследований получены следующие результаты

1 Разработано программное обеспечение, позволяющее проводить численные эксперименты и сравнивать достоверность алгоритмов голосования при наличии ошибочных ответов от резервных модулей Проведен анализ существующих алгоритмов голосования, в ходе которого выявлены их достоинства и недостатки Показано, что достоверность существующих алгоритмов голосования на основе нечеткой логики очень чувствительна к правильному установлению порога дефаззификации Я и допуска е, поэтому предложено разработать алгоритм независящий от данных параметров

2 Разработан алгоритм голосования, основанный на нечеткой логике, отличающийся использованием предыстории голосования и отсутствием проблемы выбора порога дефаззификации X и допуска е, это позволяет исключить влияние субъективного фактора на выбор порога дефаззификации и допуска и в отдельных случаях повысить достоверность голосования в резервированных системах обработки информации на 1-2%, что приводит к уменьшению количества отказов в условиях моделируемого примера на 30-40%

3 Предложен алгоритм голосования, основанный на нейронных сетях, заключающийся в подготовке результатов работы модулей и использовании их в качестве входных данных многослойного персептрона, обученного выбору наиболее близкого к истинному ответа при различных параметрах распределения входных данных Разработана методика подготовки результатов работы модулей для голосования, заключающаяся в их ранжировании в соотвегствии с расположением на декартовой оси координат и последующим вычислением разностей координат между ними, которые используются в качестве входных данных многослойного персептрона Это позволяет повысить достоверность алгоритма голосования в резервированных системах обработки информации на 1-2%, что приводит к уменьшению количества отказов в условиях моделируемого примера на 30-40%

4 Исследована достоверность предложенных алгоритмов методом численного моделирования и разработана методика голосования на основе алгоритмических композиций, заключающаяся в определении статистических характеристик ответов резервных модулей, выборе конкретного алгоритма голосования, основанного на полученных в работе результатах анализа достоверности голосования в зависимости от параметров распределения исходных данных,

позволяющая корректно выбирать наиболее подходящий алгоритм в зависимости от сферы применения Разработанные в диссертации рекомендации нашли практическое применение в ОАО НИИ «Солитон» при построении аппаратуры каналообразования и коммутации с адаптивным конфигурированием и высокой помехообрывоустойчивостью.

ПУБЛИКАЦИИ ПО МАТЕРИАЛАМ ДИССЕРТАЦИИ

В рецензируемых э/сурналах из списка ВАК

1 Способ голосования в iV-кратно резервированной вычислительной системе / С В Герон, А И Фрид // Информационные технологии 2007 №4 С 2-6

2 Нейротгое голосование в ¿V-кратно резервированной вычислительной системе / С В Герон, А И Фрид // Нейрокомпьютеры разработка, применение 2007 №7 С 30-34

3 Голосование в N-кратно резервированных системах / С В Герон, А И Фрид // Вестник УГАТУ серия «Управление, вычислительная техника и информатика» 2007 Т9 №2(20) С 42-49

В других изданиях

4 Оценка нечеткого выбора при JV-кратном программировании / С В Герон, А И Фрид И Радиоэлектроника, электротехника и энергетика матер 10-йМеждунар науч-техн конф студентов и аспирантов М МЭИ, 2004 Т 1 С 360-361

5 Нечеткий выбор при А7-кратном программировании / С В Герон, А И Фрид // Искусственный интеллект в ХХЗ веке сб ст II Всерос науч -техн конф Пенза, 2004 С. 70-72

6 Оценка возможности применения нечеткой логики и нейронных сетей в задаче выбора при JV-модульном проектировании / С В Герон, А И Фрид // Компьютерные науки и информационные технологии, CSIT'2005 сб науч тр 7-й Междунар конф. Уфа, 2005 Т 2 С 191-196 (На англ яз)

7 Применение нейронных сетей к голосованию в iV-кратно резервированных системах / С В Герон, А И Фрид // Нейроинформатика-2006 сб. науч. тр 8-й Всерос науч -техн конф М МИФИ, 2006 Ч 1 С 73-80

8 Программа моделирования vV-кратно резервированной системы / С В Герон, А И Фрид Свид об офиц per программы для ЭВМ №2006610855 М Роспатент, 2006 Зарег 28 02 2006

9 Использование нейронных сетей в качестве мажоритарного элемента / С В Герон, А И Фрид // Гагаринские чтения науч тр 32-й Междунар молодежи науч конф М МАТИ, 2006 Т 4 С 11-13.

10 Нейронный голосователь в системах с избыточностью / С В Герон, А И Фрид // Компьютерные науки и информационные технологии, CSIT'2006

сб науч тр 8-й Междунар конф Карлсруэ, Германия, 2006 TIC 97-102 (На англ яз )

11 Нейросетевое голосование в Л'-кратно резервированных системах / С В Герои, А И Фрид // Нейроинформатика и ее приложения матер. 14-го Всерос сем Красноярск, 2006 С 29-30

12 Сравнительный анализ нейронных и классических методов голосования в N-кратно резервированных системах / С В Герон, А И Фрид // Нейро-информатика-2007 • сб науч тр 9-й Всерос науч -техн конф М МИФИ,

2007 Ч 1 С 114-122

13 Анализ области применения методов голосования на основе нечеткой логики и нейронных сетей в Лг-кратно резервированных системах / С. В Герон, А И Фрид // Интеллектуальные системы обработки информации и управления

сб ст 2-ой Per. зимн шк -сем аспирантов и молодых ученых Уфа Технология, 2007 Т2 С 98-103.

14 Нейронные сети в задаче повышения точности определения искомой величины при многократных экспериментах / С В Герон, А И Фрид У/ Компьютерные науки и информационные технологии, CSIT'2007 сб науч тр 9-й Междунар конф Красноусольск,2007 Т2 С 49-51 (Наангл яз)

15 Динамическая реконфигурация сети ведомственного оператора связи для повышения надежности передачи данных на базе нечеткого голосователя / С В Герон, А И. Фрид // Информатика, управление и компьютерные науки сб ст 3-й Всерос зимн шк -сем аспирантов и молодых ученых Уфа Диалог,

2008 Т 1 С 280-287

16 Нейросетевые алгоритмы обработки информации для динамической реконфигурации сети связи / С В Герон, А И Фрид // Техника и технология

2008 №2 С 29-33.

Диссертант

С В Герон

ГЕРОН Сергей Валентинович

АЛГОРИТМЫ ГОЛОСОВАНИЯ В РЕЗЕРВИРОВАННЫХ СИСТЕМАХ ОБРАБОТКИ ИНФОРМАЦИИ НА ОСНОВЕ НЕЧЕТКОЙ ЛОГИКИ И НЕЙРОННЫХ СЕТЕЙ

Специальность 05 13 01 - Системный анализ, управление и обработка информации (промышленность)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Подписано к печати 23 09 08 Формат 60x84 1/16 Бумага офсетная Печать плоская Гарнитура Times New Roman Cyr Усл. печ л 1,0 Уел кр-отг 1,0 Уч-изд. л 0,9 Тираж 100 экз Заказ № 404.

ГОУ ВПО Уфимский государственный авиационный технический университет Центр оперативной полиграфии 450000, Уфа-центр, ул К Маркса, 12

Оглавление.

Введение.

1. Анализ существующих алгоритмов голосования в задаче обеспечения отказоустойчивости сложных систем обработки информации.

1.1. Принципы обеспечения отказоустойчивости сложных систем обработки информации.

1.2. Существующие алгоритмы голосования в отказоустойчивых резервированных системах обработки информации.

1.3. Критерий эффективности. Анализ существующих алгоритмов голосования.

1.4. Цель работы и постановка задачи исследования.

Выводы.

2. Разработка алгоритмов голосования в отказоустойчивых резервированных системах обработки информации на основе нечеткой логики.

2.1. Разработка алгоритма голосования на основе нечеткой логики.

2.2. Анализ эффективности разработанного алгоритма голосования на основе нечеткой логики.

2.3. Сравнение алгоритма голосования на основе нечеткой логики по суммарной мере равенства с алгоритмом вычисления взвешенного среднего значения.

Выводы.

3. Разработка алгоритмов голосования в отказоустойчивых резервированных системах обработки информации на основе нейронных сетей.

3.1. Применения нейронных сетей в задачах голосования в резервированных системах обработки информации.

3.2. Выбор структуры нейронной сети.

3.3. Сравнение алгоритма голосования на основе нейронной сети с алгоритмом вычисления взвешенного среднего значения. ельный анализ эффективности алгоритмов голосования в (анных системах обработки информации и рекомендации по мнительный анализ существующих лучших алгоритмов голосовани тмом голосования на основе нейронной сети.

Актуальность работы. Для удовлетворения высоким требованиям, предъявляемым к надежности аппаратуры и программного обеспечения в современных информационных системах, часто используется метод многократного резервирования.

Примерами резервированных систем обработки информации, рассматриваемых в данной работе, являются:

1. Системы с параллельным и независимым выполнением одной и той же задачи несколькими вычислителями, отличающимися друг от друга вплоть до наборов системной логики и фирмы изготовителя.

2. Системы, спроектированные разными группами инженеров с использованием различных языков и технологий программирования и работающие на основе параллельного выполнения нескольких функционально идентичных программных модулей, разработанных по одной спецификации.

3. Системы, использующие несколько различных физических каналов при передаче информации в сетях связи специального назначения.

4. Системы, в которых измерение некоторой физической величины осуществляется с использованием нескольких датчиков, основанных на различных принципах.

В перечисленных примерах в заданных контрольных точках необходимо принимать решение о выборе одного результата из нескольких, полученных функционально идентичными, но максимально отличными в остальном резервными модулями. Для решения данной проблемы хорошо зарекомендовали себя алгоритмы голосования, значительный вклад в развитие которых внесли такие отечественные и зарубежные ученые как Ю. И. Журавлев, П. Р. Лорцзак, М. А. Воук и др.

Наибольшее внимание в мировой науке было уделено алгоритмам голосования, выбирающим между результатами, принадлежащими целочисленному множеству малой мощности. Вместе с тем, в современной практике все чаще возникает необходимость выбора между ответами, принадлежащими множеству вещественных чисел. Вследствие большой мощности таких множеств задача голосования приобретает неопределенность и становится трудноформализуемой. Одним из решений этой задачи является алгоритм голосования с использованием нечеткой логики, предложенный Д.Ф.Макалистером, который впоследствии был развит в работах В.А.Морозова.

Однако, существующие алгоритмы голосования не в состоянии обеспечить высокую достоверность результатов на всем пространстве параметров распределения ответов, что объясняется недостаточной изученностью и проработкой поставленной проблемы. При решении трудноформализуемых задач нашли широкое применение методы искусственного интеллекта, в частности нечеткая логика и нейронные сети. Поэтому представляется целесообразным изучение возможности применения нечеткой логики и нейронных сетей для решения задачи голосования в системах, результаты функционирования которых принадлежат множеству вещественных чисел.

Алгоритм голосования определяет результат работы всей резервированной системы в целом, поэтому ошибка на этапе голосования может привести к значительным материальным, финансовым и людским потерям. Таким образом, задача исследования и разработки алгоритмов голосования с целью повышения достоверности результатов работы резервированных систем, является актуальной.

В данной работе предложено дальнейшее развитие алгоритмов голосования на основе нечеткой логики и проведены исследования по разработке новых алгоритмов голосования на основе нейронных сетей.

Объект диссертационного исследования — блок принятия решений (голосования) в резервированных системах обработки информации.

Предмет диссертационного исследования — алгоритмы голосования на основе нечеткой логики и нейронных сетей.

Целью диссертационной работы является повышение достоверности алгоритмов голосования в резервированных системах обработки информации, результаты работы которых принадлежат множеству вещественных чисел.

Для достижения поставленной цели в диссертационной работе сформулированы следующие задачи:

1. Разработать программное обеспечение, позволяющее проводить численные эксперименты и анализировать достоверность алгоритмов голосования при наличии ошибочных результатов от резервных модулей.

2. Разработать алгоритм голосования на основе нечеткой логики.

3. Разработать алгоритм голосования на основе нейронных сетей, предложить методику подготовки исходных данных для повышения достоверности голосования.

4. Исследовать достоверность предложенных алгоритмов голосования методом численного моделирования и разработать методику голосования на основе алгоритмических композиций.

Методы исследования основаны на использовании методов системного анализа, теории вероятностей и математической статистики, теории нечетких множеств, нейроинформатиьси, теории планирования эксперимента, имитационного моделирования, теории информационных систем и обработки данных.

Научная новизна результатов, полученных в диссертационной работе, заключается в следующем:

1. Разработан алгоритм голосования на основе нечеткой логики, отличающийся введением блока вычисления суммарной меры подобия, что позволяет отказаться от необходимости выбора порога дефаззификации X и допуска е, субъективно влияющих на эффективность голосования и используемых традиционно в алгоритмах на основе нечеткой логики.

2. Предложен алгоритм голосования на основе многослойного персептрона, отличающийся методикой подготовки ответов резервных модулей по результатам анализа евклидового расстояния между ними и ранжирования в соответствии со взаимным расположением на декартовой оси координат, что позволяет повысить достоверность голосования в резервированных системах обработки информации

3. Разработана методика голосования на основе алгоритмической композиции в соответствии с областью компетенции каждого из рассмотренных алгоритмов, позволяющая повысить достоверность голосования на всем пространстве параметров распределения ответов резервных модулей.

Практическая ценность диссертационной работы состоит в следующем:

1. Разработаны алгоритмы на основе нечеткой логики и нейронных сетей, позволяющие повысить достоверность результатов голосования на 1-2%, что приводит к уменьшению количества отказов в условиях моделируемого примера на 30-40%.

2. Разработана методика голосования на основе алгоритмической композиции алгоритмов голосования в соответствии с их областью компетенции, позволяющая повысить достоверность выбора ответов на всем пространстве их параметров распределения на 1-2%, что приводит к уменьшению количества отказов в условиях моделируемого примера на 3040%.

Результаты диссертационной работы нашли практическое применение в ОАО НИИ «Солитон» при разработке аппаратуры каналообразования и коммутации с адаптивным конфигурированием и высокой помехообрывоустойчивостью для сетей связи специального назначения.

Основные научные положения, выносимые на защиту:

1. Алгоритм голосования на основе нечеткой логики для использования в резервированных системах обработки информации, результаты которых принадлежат множеству вещественных чисел.

2. Алгоритм голосования на основе многослойного персептрона и методики подготовки ответов резервных модулей по результатам анализа евклидового расстояния между ними и ранжирования в соответствии со взаимным расположением на декартовой оси координат.

3. Результаты анализа разработанных алгоритмов на основе численного моделирования и методика голосования на основе алгоритмической композиции известных алгоритмов голосования.

Апробация работы. Основные положения и результаты работы докладывались и обсуждались на: 10-й Международной научно-технической конференции «Радиоэлектроника, электротехника и энергетика» (Москва, 2004); 2-й Всероссийской научно-технической конференции «Искусственный интеллект в XXI веке» (Пенза, 2004); Международной научной конференции «XXXII Гагаринские чтения» (Москва, 2006); 14-м Всероссийском семинаре «Нейроинформатика и ее приложения» (Красноярск, 2006); семинарах молодых ученых и аспирантов УГАТУ (Уфа, 2007-2008); VII — IX Международных семинарах по компьютерным наукам и информационным технологиям (CSIT) (Уфа, 2005, 2007; Карлсруэ, 2006); Всероссийских научно-технических конференциях «Нейроинформатика» (Москва, 2006-2007).

Публикации. Основные материалы диссертационной работы опубликованы в 16 работах, включая 3 статьи в рецензируемых журналах из списка ВАК, 12 публикаций в журналах, материалах Всероссийских и Международных конференций и в 1 свидетельстве о регистрации программы для ЭВМ в Роспатенте.

Структура и объем работы. Диссертация состоит из введения, четырех глав основного текста, заключения, списка использованной литературы из 115 наименований, содержит 66 рисунков и 9 таблиц. Общий объем диссертации составляет 142 страницы.

Выводы

1. Предложена методика выбора алгоритмов голосования в резервированных системах. На основе сравнительного анализа существующих методов голосования и разработанных алгоритмов голосования на основе нечеткой логики и нейронных сетей показано, что:

- Для 3-кратно резервированной системы передачи и обработки информации, если устройство голосования используется при малых уровнях помех, целесообразно применение алгоритма вычисления среднего значения, во всех остальных случаях наиболее эффективен алгоритм голосования на основе нечеткой логики по суммарной мере равенства.

- Для 5-кратно резервированной системы передачи и обработки информации, если устройство голосования используется при малых уровнях помех, целесообразно применение алгоритма «вычисление среднего значения», если принимать решение в условиях параметрических отказов, то наиболее эффективен алгоритм «выбор медианы», если обеспечивать отказоустойчивость при возникновении отказов (обрыв, короткое замыкание или физическое устранение одного или более вычислителей), то предпочтение следует отдать нечеткому, нейросетевому, «вычисление взвешенного среднего значения» или «2-из-М> алгоритмам голосования.

2. Нейронные сети могут быть использова ны для обработки результатов экспериментов. Если количество экспериментов ограничено, а величина случайных отклонений при измерениях сопоставима с диапазоном изменения искомой величины, то нейронная сеть увеличивает точность вычислений на 0,12% по сравнению алгоритмом вычисления среднего значения.

3. Использование алгоритмов голосования на основе нечеткой логики и нейронных сетей при голосовании по уровню остаточного усиления сигнала позволяет понизить вероятность принятия неправильного решения на 18% в 5-кратно резервированной системе при СКОнекор = 10е и СКОкор = е.

4. Разработано программное обеспечение для реализации алгоритма голосования на основе нечеткой логики по суммарной мере равенства для блока коммутации унифицированной аппаратуры каналообразования и коммутации с адаптивным конфигурированием и высокой помехообрывоустойчивостью «Клубок».

Заключение

В работе поставлена и решена актуальная задача повышения достоверности алгоритмов голосования в резервированных системах обработки информации на основе нечеткой логики и нейронных сетей. В ходе проведенных исследований получены следующие результаты:

1. Разработано программное обеспечение, позволяющее проводить численные эксперименты и сравнивать достоверность алгоритмов голосования при наличии ошибочных ответов от резервных модулей. Проведен анализ существующих алгоритмов голосования, в ходе которого выявлены их достоинства и недостатки. Показано, что достоверность существующих алгоритмов голосования на основе нечеткой логики очень чувствительна к правильному установлению порога дефаззификации Я и допуска е, поэтому предложено разработать алгоритм независящий от данных параметров.

2. Разработан алгоритм голосования, основанный на нечеткой логике, отличающийся использованием предыстории голосования и отсутствием проблемы выбора порога дефаззификации 1 и допуска s, это позволяет исключить влияние субъективного фактора на выбор порога дефаззификации и допуска и в отдельных случаях повысить достоверность голосования в резервированных системах обработки информации на 1-2%, что приводит к уменьшению количества отказов в условиях моделируемого примера на 3040%.

3. Предложен алгоритм голосования, основанный на нейронных сетях, заключающийся в подготовке результатов работы модулей и использовании их в качестве входных данных многослойного персептрона, обученного выбору наиболее близкого к истинному ответа при различных параметрах распределения входных данных. Разработана методика подготовки результатов работы модулей для голосования, заключающаяся в их ранжировании в соответствии с расположением на декартовой оси координат и последующим вычислением разностей координат между ними, которые используются в качестве входных данных многослойного персептрона. Это позволяет повысить достоверность алгоритма голосования в резервированных системах обработки информации на 1-2%, что приводит к уменьшению количества отказов в условиях моделируемого примера на 30-40%.

4. Исследована достоверность предложенных алгоритмов методом численного моделирования и разработана методика голосования на основе алгоритмических композиций, заключающаяся в определении статистических характеристик ответов резервных модулей, выборе конкретного алгоритма голосования, основанного на полученных в работе результатах анализа достоверности голосования в зависимости от параметров распределения исходных данных, позволяющая корректно выбирать наиболее подходящий алгоритм в зависимости от сферы применения. Разработанные в диссертации рекомендации нашли практическое применение в ОАО НИИ «Солитон» при построении аппаратуры каналообразования и коммутации с адаптивным конфигурированием и высокой помехообрывоустойчивостью.

1. А. Е. Коваленко, Гула В. В. Отказоустойчивые микропроцессорные системы.- К.: Техника, 1986.- 150 е.: ил.

2. В. А. Гуляев, Додонов А. Г., Пелехов С. П. Организация живучих вычислительных структур.- Киев: Наук. Думка, 1982,- 140 с.

3. А. В. Яковлев Надежность информационных систем. Лекционный материал. ВГУМИ: Муром, 2004. - 63 с.

4. Timothy С. К. Chou, "Beyond Fault Tolerance", IEEE Computer, April 1997, pp. 47 49.

5. Charles B. Weinstock and David P. Gluch, A Perspective on the State of Research in Fault-Tolerant Systems, Software Engineering Institute, Special Report CMU/SEI-97-SR-008, June 1997.

6. Michael R. Lyu, editor, Software Fault Tolerance, John Wiley & Sons, 1995.

7. A. Avizienis and L. Chen. "On the implementation of iV-version programming for software fault tolerance during execution." In Proc. IEEE COMPSAC 77, pages 149-155, November 1977.

8. Peter Bishop, Software Fault Tolerance by Design Diversity, in R. Lyu, editor, Software Fault Tolerance, John Wiley & Sons, 1995.

9. B. Randell, "System structure for software faulttolerance", IEEE Trans. Soft. Eng., Vol. SE-1, pp 220-232, 1975.

10. Azadmanesh, M.H, and A.W. Krings, "Exploiting a New Family of Convergent Voting Algorithms", Report Series UNO-CS-TR-96-1, Dept. of Computer Science, University of Nebraska at Omaha, January 1996.

11. K.S.Trivedi, Probability and statistics with reliability, queueing and computer science applications, Prentice-Hall, New Jersey, 1982.

12. D.F. MCAllister, C.E.Sun, M.A.Vouk, Reliability of voting in fault tolerant software systems for small output spaces, IEEE Trans.Rel., Vol39(5), pp524534, 1990.

13. Algirdas Avizienis, A Design Paradigm for Fault Tolerant Systems, Proceedings of the AIAA/IEEE Digital Avionics Systems Conference (DASC), Washington, D.C., 1987.

14. A. Avizienis "The Methodology of JV-Version Programming", Software Fault Tolerance, M. R. Lyu (ed.), Wiley, Chichester, 1995, pp. 23-46.

15. Algirdas Avizienis, Toward Systematic Design of Fault-Tolerant Systems, Computer, April 1997, pp. 51 58.

16. W. Torres-Pomales "Software Fault Tolerance: A Tutorial", NASA/TM-2000-210616, October 2000, pp. 66.

17. J. C. Knight, et al, A Large Scale Experiment in N-Version Programming, Digest of Papers FTCS-15: The 15th Annual International Conference on Fault Tolerant Computing, June 1985, pp. 135 139.

18. J. C. Knight and N. G. Leveson, "An Experimental Evaluation of the Assumption of Independence in Multi-Version Programming", IEEE Transactions on software Engineering, SE-12 (1), pp.96-109, 1986b.

19. D. E. Eckhardt, A. K. Caglayan, J. C. Knight, "An Experimental Evaluation of Software Redundancy as a Strategy For Improving Reliability", IEEE Transactions on software Engineering, VOL. 17, NO. 7, JULY 1991.

20. D.E. Eckhardt and L.D. Lee, "A theoretical basis for the analysis of redundant software subject to coincident errors," NASA Technical Memorandum 86369, NASA Langley Research Center, Hampton, Virginia, January 1985.

21. J.P.J. Kelly, "Specification of Fault-Tolerant Multi-Version Software: Experimental Studies of a Design Diversity Approach," Ph.D. dissertation, University of California, Los Angeles, 1982.

22. J.P.J. Kelly and A. Avizienis, "A specification-oriented multi-version software experiment", Digest of Papers FTCS-13: Thirteenth International Conference on Fault Tolerant Computing, Milan, Italy, pp. 120-125, June 1983.

23. A. Avizienis, М. R. Lyu, and W. Schuetz. In search of effective diversity: a six-language study of fault-tolerant flight control software. In Digest of 18th FTCS, pages 15-22, Tokyo, Japan, June 1988.

24. J.R. Taylor, in "Letter from the editor", ACM Software Engineering Notes, vol. 6, no. 1, pp. 1-2, January 1981.

25. F. Saglietti, Strategies for the Achievement and Assessment of Software Fault-Tolerance, IF AC 1990 World Congress, Automatic Control. Vol. IV, IF AC Symposia Series, Number 4, 1991, pp. 303 308.

26. J.Kelly, D.Eckhardt., A.Caglayan, J.Knight, D.McAIlister, M.Voluk, A large scale second generation experiment in multi version software: description and early results, Proc. FTCS 18, pp. 9-14, 1988.

27. M.A.Vouk, A.Caglayan, D.E.Eckhardt, J.Kelly, J.Knight, D.McAIlister, L.Walker, Analysis of faults detected in a large scale multiversion software development experiment, Proc. Dasc 90, pp. 378-385, 1990.

28. M.A.Vouk, D.F.McAllister, D.E.Eckhardt, K.Kim, An empirical evaluation of consensus voting and consensus recovery block reliability in the presence of failure correlation, Journal of Computer Software Engineering, 1(4), pp. 364388, 1993.

29. Половко A.M., Гуров C.B. "Основы теории надежности", 2-е изд., перераб. и доп.-СПб.: БХВ-Петербург, 2006.-704 е.: ил.

30. Черкесов Г.Н. "Надежность аппаратно-программных комплексов", учебное пособие. СПб.: Питер, 2005. - 479.

31. Надежность и эффективность в технике: Справочник: В Ют. / Ред. совет: B.C. Авдуевский (пред.) и др. М.: Машиностроение, 1986. Т.1: Методология. Организация. Терминология / Под ред. А.И. Рембезы. - 224 с.

32. Проников А.С. Надежность машин. М.: Машиностроение, 1978.- 592 с.

33. Голинкевич Т.А. Прикладная теория надежности. М.: Высшая школа, 1977.- 159 с.

34. F. Belli and P. Jedrzejowicz, "Fault-Tolerant Programs and Their Reliability", IEEE Trans. Rel., Vol. 29(2), pp 184-192, 1990.

35. R.K. Scott, J.W. Gault and D.F. McAllister, "Fault-Tolerant Software Reliability Modeling", IEEE Trans. Software Eng., Vol SE-13, 582-592, 1987.

36. Judith Gersting, et al, A Comparison of Voting Algorithms for N-Version Programming, Proceedings of the 24th Annual Hawaii International Conference on System Sciences, Volume II, January 1991, pp. 253 262.

37. Y. W. Leung, "Maximum Likelihood Voting for Fault Tolerant Software with Finite Output Space", IEEE Trans. Rel, Vol. 44(3) pp 419-427, 1995.

38. K. Kim, M. A. Vouk, and D. F. McAllister, "An Empirical Evaluation of Maximum Likelihood Voting in Failure Correlation Conditions", Proc. ISSRE 96, pp 330-339, 1996.

39. K. Kim, M. A. Vouk, and D. F. McAllister, "A Practical Implementation of Maximum Likelihood Voting", TR-97-10, February 4, 1997.

40. J. E. Potter and M. C. Suman, "Extension of the Midvalue Selection Technique for Redundancy Management of Inertial Sensors", Journal of Guidance, Control, and Dynamics, Vol. 9, No.l, January-Februrary 1986.

41. R. B. Broen (1975). "New Voters for Redundant Systems", ASME Journal of Dynamic Systems, Measurement and Control, March, pp. 41-45.

42. G. Latif-Shabgahi, A. J .Hirst, S. Bennett "A novel Family of Weighted Average Voters for Fault-Tolerant Computer Control Systems", Proc. of ECC03: European Control Conference, 1-4 Sept, Cambridge, UK.

43. G. Latif-Shabgahi, "A novel algorithm for weighted average voting used in fault tolerant computing systems", Microprocessors and Microsystems 28 (2004)357-361.

44. Z.Tong, R.Kain, Vote assignments in weighted voting mechanisms, IEEE Transactions on Сотр. Vol.40, pp664-667, 1991.

45. Azadmanesh, M.H, and A.W. Krings, "Asynchronous Behavior of Egoestic Voting Algorithms," to appear in: Proc. 5th World Multi-Conference on

46. Systemics, Cybernetics and Informatics, SCI 2001, July 22-25, 2001, Orlando, Florida USA.

47. F.B.Schneider, Understanding Protocols for Byzantine Clock Synchronization, Departm. Of Compu. Science, Cornell University, August 1987.

48. Кутдусов Ф.Х., Рублев T.A., "Адаптивный мажоритарный элемент в системах автоматического управления", Электронный научный журнал «ИССЛЕДОВАНО В РОССИИ», с. 1248-1252. http://zhurnal.ape.relarn.ru/articles/2005/121.pdf.

49. K. Kim, M. A. Vouk, D. F. McAllister "Fault-tolerant software voters based on fuzzy equivalence relations", Proc. IEEE Aerospace Conference, March 1998, Vol. 4, pp 5-19.

50. M. Manic, D. Frincke "Towards the fault-tolerant software: fuzzy extension of crisp equivalence voters" , IECON'Ol 27 Annual Conference of the IEEE Industrial Electronics Society, Denver, Colorado, nov 29 to Dec 2, pp.84-89, 2001.

51. J. Bezdeck and D. Harris, "Fuzzy Partitions and Relations; An Axiomatic Basis for Clustering", Fuzzy Sets and Systems 1978; 1; 111-127.

52. S. C. Althoen and R. J. Bumcrot, "Introduction to Discrete Mathematics", PWS-KEnT publishingcompany, 1988.

53. S.S. Brilliant, J.C. Knight, and N.G. Leveson, "The Consistent Comparison ' Problem in N-Version Software", IEEE Trans. Soft. Eng., Vol. SE-15(11), pp 1481-1484,1989.

54. T. J. Ross, Fuzzy Logic with Engineering Applications, McGraw Hill, 1995.

55. P. R Lorczak,. A. K. Caglayan, D. E. Eckhardt, "A Theoretical Investigation of Generalized Voters for Redundant Systems", Proc. 19th FTCS, Chicago, Illinois, June 1989, pp. 444-451.

56. Zadeh,L.A., "Fuzzy sets", Information and Control, vol.8, pp.338-353, 1965.

57. G. J. Klir and B. Yuan, Fuzzy Sets and Fuzzy Logic: Theory and Applications, Prentice Hall, 1995.

58. Zadeh,A.L., "Appendix", Proc. of the U.S.-Japan Seminar on Fuzzy Sets and Their Application, Berkeley, Ca., pp.27-39, July 1974.

59. Chang,C.L., "Interpretation and Execution of Fuzzy Programs", Proc. of the U.S.-Japan Seminar on Fuzzy Sets and Their Application, Berkeley, Ca., pp. 191-218, July 1975.

60. Smith,K.C., "Multiple-Valued Logic: A Tutorial and Appreciation", IEEE Computer, pp. 17-27, April 1988.

61. Zadeh,A.L., "Fuzzy Logic", IEEE Computer, vol.21, no.4, pp.83-93, April 1988.

62. Yager,R.R., "An Introduction to Fuzzy Set Theory", Int.Conf. on F.L. & Neural Netw., Iizuka, Japan, pp. 1-17, 1990.

63. Yager, R.R. Filev, D.P. Essentials of Fuzzy Modeling and Control, John Wiley & Sons, Inc., 1994.

64. Nakamura,K., "Preference Relation on a Set of Fuzzy Utilities as a Basis for Decision Making", Fuzzy Sets and Systems, vol.20, pp. 147-162, 1986.

65. Delgado,M., Verdegay,M.,A., "A Procedure for Ranking Fuzzy Numbers Using Fuzzy Relations", Fuzzy Sets and Systems, vol.26, pp.49-62, 1988.

66. Zahariev, S. On Orlovsky's Definition of Nondomination, Fuzzy Sets and Systems, vol.42, pp.229- 235, 1991.

67. Lee,K.M., Cho,C.H., Kwang,H.L., "Ranking Fuzzy Values with Satisfaction Function", Fuzzy Sets and Systems, vol.64, pp.295-309, 1994.

68. H. M. Hsu and С. T. Chen, "Aggregation of fuzzy opinions under group decision making", Fuzzy Sets and Systems 79 (1996) pp. 279-285.

69. Milutinovic S., Manic M., Stankovic M.S., Influence of choosing operators on preference of fuzzy numbers, proceedings, FUBEST '96, Sofia, Oct. 9-11 1996, (1996).

70. R. Zwick, E. Carlstein and D.V. Budescu, "Measures of Similarity Among Fuzzy Concepts: A Comparative Analysis", International Journal of Approximate Reasoning, 1987, pp. 221-242.

71. L. A. Zadeh, "Fuzzy Sets", In: Fuzzy Sets and Applications: Selected Papers by L.A. Zadeh, eds.R.R. Yager, S. Ovchinnikov, R.M. Tong, H.T.nguyen, Wiley Interscience, 1987.

72. S. Tamura, S. Higuchi, and K. Tanaka, "Pattern Classification Based on Fuzzy Relations", IEEE Transactions on Systems, Man, and Cybernetics, Vol(l), no.l, Jan, 1971.

73. T. J. Ross, "Fuzzy Logic with Engineering Applications", McGraw Hill, 1995.

74. Г. Корн, Т. Корн /'Справочник по математике для научных работников и инженеров", М., 1968 г., 720 стр.

75. С. В. Герон, А. И. Фрид "Оценка нечеткого выбора при N-кратном программировании", тез. докл. десятой междунар. науч.-техн. конф. студ. и аспир.: Радиоэлектроника, электротехника и энергетика.- В 3-х т. М.: МЭИ, 2004. Т. 1.-488 с. с.360-361.

76. С. В. Герон, А. И. Фрид "Нечеткий выбор при N-кратном программировании", сбор. стат. П-й всерос. науч.-техн. конф.: Искусственный интеллект в XXI веке.-Пенза,2004. с.70-72.

77. Ф. Уоссермен Нейрокомпьютерная техника: теория и практика. — М.: Мир, 1992, 127с.

78. Valium В. Rao "С++ Neural Networks and Fuzzy Logic", M&T Books, IDG Books Worldwide, Inc.

79. Ben Krose, Patrick van der Smagt, "An introduction to neural networks", The University of Amsterdam, Eighth edition November 1996.

80. Миркес, E.M., Нейроинформатика: Учеб. пособие для студентов / Е.М. Миркес. Красноярск: ИПЦ КГТУ, 2002, 347 с. Рис. 58, табл. 59, библиогр. 379 наименований.

81. Осовский С., Нейронные сети для обработки информации. / Пер. с польского И. Д. Рудинского. М.: Финансы и статистика, 2002. - 344 е.: ил.

82. Назаров А. В., Лоскутов А. И., "Нейросетевые алгоритмы прогнозирования и оптимизации систем", СПб.: Наука и Техника, 2003.384 е.: ил.

83. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Сибирская издательская фирма РАН, 1996. — 276 с.

84. И. Заенцев, "Нейронные сети: основные модели", Учебное пособие, Воронеж, 1999.

85. Соколов Е.Н., Вайткявичус Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. М.: Наука, 1989. 238 с.

86. Rumelhart D. Е., HintonG. Е., Williams R. J. 1986. Learning internal reprentations by error propagation. In Parallel distributed processing, vol. 1, pp. 318-62. Cambridge, MA: MIT Press.

87. Parker D. B. 1982. Learning logic. Invention Report S81-64, File 1, Office of Technology Licensing, Stanford University, Stanford, CA.

88. Werbos P. J. 1974. Beyond regression: new tools for prediction and analysis in the behavioral sciences. Masters thesis, Harward University.

89. Г. К. Вороновский, К. В. Махотило, С. Н. Петрашев, С. А. Сергеев, "Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности",- X.: ОСНОВА, 1997.- 112с.

90. В. В. Круглов, М. И. Дли, Р. Ю. Голунов, "Нечеткая логика и искусственные нейронные сети", Физматлит, 2001. 224 с.

91. А. Н. Горбань, В. JI. Дунин-Барковский, А. Н. Кирдин, "Нейроинформатика", Новосибирск: Наука. Сибирское предприятие РАН, 1998. 296с.

92. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных. Докл. АН СССР, 1956. Т. 108, по. 2. С. 179-182.

93. Арнольд В.И. О функциях трех переменных. Докл. АН СССР, 1957. Т. 114, по. 4. С. 679-681.

94. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного. Докл. АН СССР, 1957. Т. 114, по. 5. С. 953-956.

95. Parker D. В. 1987. Second order back propagation: Implementing an optimal 0(n) approximation to newton's method as an artificial newral network. Manuscript submitted for publication.

96. Stornetta W. S., HubermanB. A. 1987. An improwed three-layer, backpropagation algorithm. In Proceedings of the IEEE First International Conference on newral networks, eds. M. Caudill and C. Butler. San Diego, CA: SOS Printing.

97. Wasserman P. D. 1988a. Combined backpropagation/Cauchy machine. Proceedings of the International newral network Society, new York: Pergamon Press.

98. Wasserman P. D. 1988b. Experiments in translating Chinese characters using backpropagation. Proceedings of the Thirty-Third IEEE Computer Society1.ternational Conference. Washington, D. C.: Computer Society Press of the IEEE.

99. С. В. Герон, А. И. Фрид "Применение нейронных сетей к голосованию в N-кратно резервированных системах ", сборник науч. трудов VIII всерос. науч.-техн. конф. «Нейроинформатика-2006». В 3-х частях. Ч.1.М.:МИФИ,2006.-236с. с.73-80.

100. S. V. Geron, A. I. Frid "Neural Voter in Redundant Systems", Proceedings of the Workshop on Computer Science and Information Technologies (CSIT'2006), Karlsruhe, Germany, September 28-29, 2006.Volume 1. p.97-102.

101. С. В. Герон, А. И. Фрид "Использование нейронных сетей в качестве мажоритарного элемента ", XXXII Гагаринские чтения. Научные труды Международной молодежной научной конференции в 8 томах. Москва, 48 апреля 2006 г. М.: МАТИ, 2006. Т.4, 154 с. с. 11-13.

102. С. В. Герон, А. И. Фрид " Сравнительный анализ нейронных и классических методов голосования в N-кратно резервированных системах ", сборник науч. трудов IX всерос. науч.-техн. конф. «Нейроинформатика-2007». В 3-х частях. Ч.1.М.:МИФИ, 2007, с.114-122.

103. С. В. Герон, А. И. Фрид Голосование в TV-кратно резервированных системах // Вестник Уфимского государственного авиационного технического университета. Уфа:УГАТУ, 2007. — Т.9. - №2(20). — С. 42-49.

104. Румшинский JI.3. Математическая обработка результатов эксперимента. Справочное руководство. М.: Наука, 1971. - 192 с.

105. Кассандрова О.Н., Лебедев В.В. Обработка результатов наблюдений. -М.: Наука, 1970. 104 с.

106. Сухов А.Н. Математическая обработка результатов измерений. Учебное пособие. М.: МИСИ, 1982. - 89 с.

107. Фадеев М. А. Элементарная обработка результатов эксперимента: Учебное пособие. Нижний Новгород: Изд-во Нижегородского госуниверситета, 2002. - 108 с.

108. Герон С. В., Фрид А. И. Способ голосования в TV-кратно резервированной вычислительной системе // Информационные технологии. Новые технологии, 2007. - №4. - С. 2-6 .

109. Руководство по технологиям объединенных сетей, 4-е издание. : Пер. с англ. М.: Издательский дом "Вильяме", 2005. — 1040 е.: ил. - Парал. тит. англ.

110. Teare D. Designing Cisco Networks. Cisco Press, 1999.

111. Computer Technology Research Corporation. The IBM Token Ring Network. New York: Prentice Hall, 1990.

112. IEEE. "IEEE Standard for Local Area Networks: Token ring Physical Layer Specifications". June 1989.

113. Clark, Kennedy, and Kevin Hamilton. CCIE Professional Development: Cisco LAN Switching. Indianapolis: Cisco Press, 1999.

114. Ginsburg D. ATM: Solutions for Enterprise Internetworking. Boston: Addison-Wesley Publishing Co, 1996.