автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.15, диссертация на тему:Модели, методы и задачи прикладной теории надежности нейрокомпьютерных систем

004610345

Потапов Илья Викторович

МОДЕЛИ, МЕТОДЫ И ЗАДАЧИ ПРИКЛАДНОЙ ТЕОРИИ НАДЕЖНОСТИ НЕЙРОКОМПЬЮТЕРНЫХ СИСТЕМ

Специальности: 05.13.15 - Вычислительные машины, комплексы и компьютерные сети 05.13.17 - Теоретические основы информатики

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук

1 4 0Г

004610345

Потапов Илья Викторович

V

МОДЕЛИ, МЕТОДЫ И ЗАДАЧИ ПРИКЛАДНОЙ ТЕОРИИ НАДЕЖНОСТИ НЕЙРОКОМПЬЮТЕРНЫХ СИСТЕМ

Специальности: 05.13.15 - Вычислительные машины, комплексы и

компьютерные сети 05.13.17 - Теоретические основы информатики

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Омский государственный технический университет»

Официальные оппоненты: доктор технических наук, профессор Павский Валерий Алексеевич,

доктор физико-математических наук, профессор

Колоколов Александр Александрович,

доктор технических наук, профессор Губарев Василий Васильевич.

Ведущая организация: Государственное образовательное учреждение высшего профессионального образования «Национальный исследовательский Томский политехнический университет», г. Томск.

Защита состоится 18 ноября 2010 г. в 15 час. 00 мин. на заседании Диссертационного совета Д 219.005.02 при ГОУ ВПО «Сибирский государственный университет телекоммуникаций и информатики» по адресу: 630102, г. Новосибирск, ул. Кирова, 86.

С диссертацией можно ознакомиться в библиотеке ГОУ ВПО «Сибирский государственный университет телекоммуникаций и информатики».

Автореферат разослан « ¿А »_ Св 2010 г.

Ученый секретарь

Диссертационного совета Д 219.005.02

Кандидат технических наук

И.И. Резван

Общая характеристика работы

Актуальность темы. Теория искусственных нейронных сетей (ИНС) и нейрокомпьютерных систем (НКС), благодаря фундаментальным работам зарубежных исследователей У. Мак-Каллока, У. Питгса, Ф. Розенблатта, Б. Уидроу, Т. Кохонена, Д. Хопфилда, С. Гроссберга, а также советских и российских ученых И.Б. Гутчина, A.C. Кузичева, Н.В. Позина, С.О. Мкртчяна, Н.М. Амосова, А.И. Галушкина, А.Н. Горбаня, Е.М. Миркеса, A.B. Каляева, Э.Д. Аведьяна, Н.И. Червякова и др., получила широкое развитие. При этом основные направления исследований были связаны с разработкой моделей искусственных нейронов (ИН), изучением структуры и свойств различных моделей нейронных сетей, их обучением (настройкой) для решения поставленных задач и проектированием нейрокомпьютерных систем на их основе. В настоящее время нейросе-тевая тематика стала междисциплинарной и породила новые научные направления, такие как нейроинформатика, нейроматематика и др. Нейронные сети и нейрокомпьютеры находят применение для решения задач во многих областях научно-исследовательской деятельности.

Стремительное развитие нейрокомпьютерных технологий приводит к появлению научных проблем и задач, системному решению которых ранее уделялось недостаточно внимания. Одной из таких проблем является отсутствие комплексного подхода в анализе и разработке базовых принципов организации отказоустойчивых нейровычислительных структур, а также построении математических моделей, разработке методов, постановке и решении задач обеспечения и повышения надежности функционирования ИНС и НКС. Необходимость исследования надежности нейронных сетей и нейрокомпьютерных систем отмечают ведущие специалисты в области нейроинформатики и нейрокомпьютеров, полагая, что решение данной проблемы окажет существенное влияние на создание высоконадежных ИНС и нейрокомпьютерных систем на основе принципиально новых технологий, включая нанотехнологии, что существенно повысит эффективность их использования.

Повышение надежности функционирования нейронных сетей и нейрокомпьютеров - актуальная задача, имеющая большое хозяйственное значение, поскольку надежность является одним из самых важных свойств современной техники вследствие того, что от нее зависят такие показатели, как качество, эффективность, безопасность, готовность, живучесть систем. Изучение отечественных и зарубежных открытых источников информации показало, что интерес к данной проблеме возрастает и носит многоплановый характер. При этом основное внимание в области изучения и повышения надежности ИНС сосредоточено, как правило, на решении частных проблем и проводимые исследования зачастую имеют прикладной характер. Таким образом, особой важностью и актуальностью характеризуются системные теоретические и прикладные исследования в данной области знаний.

Целью работы является обобщение известных и разработка новых математических моделей, методов и решений задач обеспечения и повышения надежности функционирования ИНС и НКС, совокупность которых отражает сис-

темный подход в исследовании надежности искусственных нейронных сетей и нейрокомпьютерных систем.

Основные задачи, поставленные и решенные в данной диссертационной работе, следующие.

1. Исследование информационной избыточности сообщений в структуре нейронов и нейронных сетей и методов введения информационного резервирования для обеспечения надежности функционирования ИНС. Разработка моделей отказоустойчивых многофункциональных нейромодулей с использованием методов информационно-структурного резервирования.

2. Исследование функциональной (логической) избыточности ИНС как фактора обеспечения отказоустойчивости в работе НКС. Развитие метода синтеза адаптивных к отказам оптимизированных функционально избыточных нейронных сетей на основе дифференцированного подхода, позволяющего эффективно использовать имеющуюся избыточность ИНС для адаптации к отказам.

3. Построение моделей и исследование методов обеспечения и повышения готовности нейрокомпьютерных систем с учетом различных условий их функционирования и особенностей технической реализации.

4. Разработка и развитие моделей функционирования структурно избыточных нейронных сетей НКС и методов решения задач оптимизации показателей надежности избыточных структурно однородных «нестареющих» и «стареющих» ИНС нейрокомпьютерных систем с замещением отказавших нейронных блоков резервными.

5. Постановка и решение методами теоретико-игрового моделирования задач оптимизации показателей надежности избыточных структурно-однородных «стареющих» ИНС нейрокомпьютерных систем с динамическим замещением отказавших нейронных блоков резервными в конфликтных ситуациях, в т.ч. задачи противоборства двух НКС.

6. Теоретическое обоснование, разработка и исследование моделей введения в процесс функционирования нейрокомпьютерных систем временной избыточности (временного резервирования) как фактора повышения надежности выполнения задания с учетом различных условий работы НКС и особенностей технической реализации.

7. Обобщение и систематизация теоретических положений, моделей, методов и решений задач исследования, обеспечения и повышения надежности ИНС и НКС.

Для решения поставленных задач используются математический аппарат теории надежности, теории марковских процессов, прикладной теории информации, теории игр, вычислительной математики и компьютерное моделирование.

Научная новизна диссертационной работы заключается в следующем.

1. Исследованы информационная избыточность в структуре волокон ИН и межнейронных соединений ИНС и методы информационного резервирования. Разработаны модели отказоустойчивых многофункциональных нейромодулей с информационно-структурным резервированием.

2. Разработан метод синтеза оптимизированных функционально избыточных ИНС с дифференцированным способом адаптации к отказам, позволяющий эффективно использовать имеющуюся избыточность ИНС в целях повышения отказоустойчивости.

3. Разработаны модели и даны решения задач исследования и повышения готовности нейрокомпьютерных систем с учетом различных условий их функционирования и особенностей технической реализации.

4. Построены базовые модели, поставлены и решены задачи оптимизации показателей надежности структурно однородных «нестареющих» и «стареющих» ИНС нейрокомпьютерных систем с замещением отказавших нейронных блоков резервными. Решения задач доведены до алгоритмов, реализуемых на современных ПЭВМ.

5. Построены вероятностные модели, развивающие и дополняющие базовые модели функционирования структурно однородных «нестареющих» и «стареющих» ИНС, с учетом отказов системы контроля и адаптации, временных затрат на процедуры дообучения (переобучения), ограниченного замещения в рамках общего резерва.

6. Поставлены и решены задачи оптимизации динамического резервирования структурно однородных «стареющих» ИНС нейрокомпьютерных систем. Методами теоретико-игрового моделирования решены задачи оптимизации резервирования «стареющих» ИНС в конфликтных ситуациях. Поставлена и решена задача исследования противоборства двух НКС.

7. Поставлены и решены задачи исследования и повышения эффективности применения методов временного резервирования процесса функционирования НКС с учетом различных условий работы и особенностей их технической реализации.

Теоретическая ценность диссертации:

1. Рассмотрены и обобщены методы введения и эффективного использования в целях повышения надежности НКС различных видов избыточности ИНС - информационной, функциональной, структурной и временной.

2. Разработаны вероятностные модели функционирования НКС в условиях возникновения отказов, используемые в широком спектре исследовательских и оптимизационных задач, в т.ч. для исследования методов синтеза отказоустойчивых ИНС, а также в задачах оптимизации показателей надежности и рационального выбора технических решений при проектировании нейровычисли-тельных систем и комплексов.

3. Поставлены и решены задачи исследования и оптимизации показателей надежности «нестареющих» и «стареющих» ИНС, оптимизации восстановления работоспособности ИНС, отыскания функций восстановления ИНС, обеспечивающих НКС заданный уровень надежности, задачи резервирования ИНС в конфликтных ситуациях и противоборства нейрокомпьютерных систем, исследования и повышения эффективности временного резервирования процесса функционирования НКС.

4. Совокупность представленных в диссертации теоретических положений, моделей, методов и задач является основой для системного исследования надежности нейровычислительных систем и комплексов.

5. Исследования по данной тематике основаны на результатах выполненного автором диссертации комплекса фундаментальных научно-исследовательских работ в рамках госбюджетных НИР по заданию Минобрнау-ки РФ и при поддержке в форме следующих грантов.

- Грант Президента РФ (№МК-7420.2006.8) для молодых ученых - кандидатов наук «Построение математических моделей, разработка методов и алгоритмов оптимизации надежности искусственных нейронных сетей нейрокомпьютерных систем с логической, аппаратурной и временной избыточностью» (2006-2007 гг.).

- Грант РФФИ (№06-07-89013-а) «Построение математических моделей, разработка методов и алгоритмов оптимизации надежности искусственных нейронных сетей с логической, аппаратурной и временной избыточностью» (20062007 гг.).

- Грант Минобрнауки РФ по естественным и точным наукам (Е02-2-75; № ГР 01.02. 00306859) «Разработка математических моделей и методов оптимизации функциональной надежности искусственных нейронных сетей» (20032004 гг.).

- Госбюджетная НИР по заданию Минобрнауки РФ «Разработка методов оптимизации надежности и технической диагностики адаптивных отказоустойчивых систем автоматики и вычислительной техники из искусственных нейронных сетей»; № ГР 0120.0 407005 (2004-2006 гг.).

- Госбюджетная НИР по заданию Минобрнауки РФ «Разработка основ прикладной теории надежности нейронных сетей и нейрокомпьютерных систем»; № ГР 0120.0 712204 (2007-2009 гг.).

Практическая ценность диссертации:

1. На основе результатов исследований информационной избыточности ИНС и методов информационного резервирования разработаны модели отказоустойчивых . многофункциональных нейромодулей с информационно-структурным резервированием, имеющие преимущество в характеристиках надежности по сравнению с логически эквивалентными многофункциональными ИН.

2. Разработан метод синтеза оптимизированных функционально избыточных ИНС нейрокомпьютерных систем с дифференцированным способом адаптации к отказам, позволяющий эффективно использовать имеющуюся логическую избыточность ИНС в целях повышения отказоустойчивости НКС.

3. Построены модели и даны решения задач выбора режима контроля работоспособности ИНС нейрокомпьютерной системы, исследования готовности НКС при настройке и восстановлении ИНС после отказов, готовности НКС при диагностике ИНС и восстановлении после различных типов отказов, оптимизации готовности НКС в условиях длительного автономного функционирования.

4. Поставлены и решены задачи оптимизации резервирования, максимизирующего показатели надежности структурно однородных «нестареющих» и

«стареющих»'ИНС нейрокомпьютериых систем с замещением отказавших нейронных блоков резервными. Решения задач доведены до алгоритмов, реализуемых на ПЭВМ, и могут использоваться при построении отказоустойчивых НКС.

5. Поставлены и решены задачи исследования и повышения эффективности применения методов временного резервирования процесса функционирования НКС с учетом различных условий работы и особенностей их технической реализации, которые могут использоваться в инженерной практике.

6. Разработано и зарегистрировано в ОФАП программное обеспечение дая решения практических задач оптимизации структурного резервирования (в т.ч. динамического) однородных ИНС нейрокомпьютериых систем.

Основные результаты, выносимые на защиту.

1. Методы введения структурной, функциональной, информационной и временной избыточности в структуру и процессы функционирования нейронных сетей и нейрокомпьютериых систем, а также соответствующие модели и методы синтеза отказоустойчивых НКС.

2. Вероятностные модели для расчета и анализа показателей надежности НКС, а также решения поставленных в диссертации задач оптимизации показателей надежности ИНС нейрокомпьютериых систем с информационным, структурным, функциональным и временным резервированием.

3. Решение задачи синтеза адаптивных к отказам ИНС, разработанные модели и решения задач исследования и повышения готовности нейрокомпьютериых систем, включая модели систем с ненадежным устройством контроля и адаптации нейронной сети к отказам, модели подготовки НКС к функционированию, постановки и решения задач о выборе режима контроля работоспособности ИНС нейрокомпьютерной системы.

4. Постановка и решение задач оптимизации структурного резервирования «нестареющих» и «стареющих» однородных ИНС, в т.ч. систем с динамически перераспределяющимся в процессе функционирования резервом, обеспечивающего максимизацию показателей надежности НКС, включая задачи оптимизации структурного резервирования ИНС в конфликтных ситуациях и в условиях противоборства двух НКС.

5. Вероятностные модели функционирования однородных «нестареющих» и «стареющих» ИНС с учетом отказов системы контроля и адаптации, временных затрат на выполняемые с целью восстановления функциональных свойств нейросетей процедуры дообучения (переобучения) и дополнительных ограничений на замещение отказавших блоков резервными.

Личный вклад автора. Основные полученные научные результаты, включая обобщение и систематизацию комплекса теоретических и прикладных исследований, моделей, методов и задач обеспечения и повышения надежности искусственных нейронных сетей и нейрокомпьютерных систем, являются личным вкладом автора. Отдельные результаты, представленные в диссертации в разделах 1.2 (модели ИН), 2.1, 2.2 (синтез логически стабильных ИНС), 2.3 (минимизация процесса адаптации), 4.1-4.5, 5.3, 5.4,6.1 (оптимизация структурного резервирования и восстановления ИНС), 6.4 (противоборство НКС), получены совместно с д.т.н., профессором В.И. Потаповым в рамках НИР, выполняемых

при поддержке РФФИ и Минобрнауки РФ (руководитель В.И. Потапов). Программное обеспечение для решения задач оптимизации структурного резервирования однородных ИНС нейрокомпьютерных систем разработано совместно с М.В. Кузиным в рамках одного из этапов выполнения НИР при поддержке Гранта Президента РФ для молодых ученых - кандидатов наук (руководитель И.В. Потапов).

Апробация работы. Результаты работы докладывались на конференциях международного, всероссийского и регионального уровней: «Природные и интеллектуальные ресурсы Сибири» (Кемерово, 2002, 2007; Барнаул, 2005; Новосибирск, 2004; Тюмень, 2006), «Интеллектуальные и многопроцессорные Системы» (Геленджик, 2005), «Искусственный интеллект. Интеллектуальные и многопроцессорные системы» (Кацивели, Крым, 2006), «Актуальные проблемы электронного приборостроения» (Новосибирск, 2004), «Динамика систем, механизмов и машин» (Омск, 2002, 2004, 2007), «Новые информационные технологии в исследовании сложных структур» (Шушенское, 2006, Томск, 2008), «Современные технологии при создании продукции военного и гражданского назначения» (Омск, 2001), «Развитие оборонно-промышленного комплекса на современном этапе» (Омск, 2003), «Военная техника, вооружение и технологии двойного применения» (Омск, 2005), «Информационные технологии и математическое моделирование» (Анжеро-Судженск, 2005,2008), «Нейроинформатика и ее приложения» (Красноярск, 2006), «Нейроинформатика, ее приложения и анализ данных» (Красноярск, 2007, 2008), «Проблемы разработки, изготовления и эксплуатации ракетно-космической и авиационной техники» (Омск, 2004), «Наука, технологии, инновации» (Новосибирск, 2004).

Использование результатов диссертации. Результаты диссертационной работы использованы в ПО «Полет» (филиал ФГУП ГКНПЦ им. М.В. Хруниче-ва, г. Омск) при разработке космического аппарата «Союз Сат» при определении требований к программно-аппаратной адаптивной системе предупреждения катастрофических отказов жизненно важных функций бортовых систем; в разработках ОАО «Омская энергосбытовая компания» (г. Омск) при проведении перспективных исследований по прогнозированию потребления электроэнергии при помощи аппарата искусственных нейронных сетей. Также результаты диссертации используются при выполнении фундаментальных НИР (госбюджетные НИР по заданию Минобрнауки РФ) и в учебном процессе в Омском государственном техническом университете (г. Омск) при подготовке магистров по магистерской образовательной программе «Отказоустойчивые вычислительные системы»; в учебном процессе в Омском государственном университете им. Ф.М.Достоевского (г. Омск) при подготовке инженеров по специальности 230101 - «Вычислительные машины, комплексы, системы и сети». Имеются акты об использовании.

Публикации. По материалам диссертации автором опубликовано 46 научных работ, включая 3 монографии, 42 печатные работы в журналах и сборниках (из них 15 статей в журналах по перечню ВАК РФ), 1 депонированную в ВИНИТИ рукопись. Получено свидетельство о регистрации программного обеспечения в ОФАП.

Структура и объем работы. Диссертация состоит из введения, 7 глав, заключения, библиографического списка (302 наименования) и приложения. Основное содержание работы изложено на 300 страницах. В тексте содержатся 16 рисунков и 3 таблицы.

Основное содержание работы

Во введении выполнен аналитический обзор публикаций в области исследования надежности ИНС и НКС, обоснована актуальность темы диссертации, сформулированы цели и задачи работы, дана ее общая характеристика.

В первой главе рассматриваются важные с точки зрения теории надежности свойства ИНС. Также рассмотрены модели многофункциональных ИН с пороговой функцией активации и пресинаптическим взаимодействием волокон. На основе исследования информационной избыточности в структуре мёжней-ронных соединений ИНС с использованием методов информационно-структурного резервирования разработаны модели отказоустойчивых многофункциональных нейронных модулей с настраиваемыми параметрами ИН.

Обычно ИНС нейрокомпьютерных систем представляют собой упорядоченные структуры, отличающиеся в зависимости от модели тем или иным способом упорядочения. Рассмотрение различных моделей ИНС позволяет сделать вывод, что в большинстве своем нейронные сети представляют собой однородные структуры, в которых вычислительные элементы упрощены до уровня формального нейрона. Однородность ИНС является важным фактором в плане обеспечения отказоустойчивости, поскольку позволяет применять соответствующие эффективные методы повышения надежности их функционирования.

Помимо свойства структурной однородности, нейронные сети, как и их биологические прототипы, могут характеризоваться различными видами избыточности - структурной, функциональной, информационной и временной. В теории надежности избыточность рассматривается как важнейшее свойство объекта. В этой связи для решения поставленных в диссертационной работе задач возможно применение к нейронным структурам широкого спектра методов повышения надежности технических систем.

В нейросетевых технологиях большую роль играют модели ИН с пороговой функцией активации, предназначенные для реализации переключательных функций. В диссертации рассматриваются ИН с пресинаптическим взаимодействием волокон, модели которых описывают архитектуру и работу соответствующих двухслойных ИНС, в первом слое которых находятся однофункцио-нальные ИН на базе пороговых элементов, реализующие функции узлов преси-наптического взаимодействия волокон, а во втором слое - выходной ИН, являющийся также пороговым элементом, работающим как в однофункциональ-ном, так и в многофункциональном режиме с настраиваемыми параметрами — весами входов и порогом. Такие простейшие и-входовые двухслойные сети рассматриваются как функционально полные нейроноподобные модули или универсальные искусственные нейроны с пресинаптическим взаимодействием, реа-

лизующие любые из 22 функций л аргументов, обладающие максимальной логической гибкостью при изменении значений настраиваемых параметров.

В диссертации методами теории информации исследуются сообщения в структуре волокон ИН и межнейронных связей ИНС прямого распространения.

Анализ различных архитектур многослойных ИНС прямого распространения дает основания полагать, что в общем случае сообщения на входах слоев будут обладать тем большей избыточностью, чем больше ИН будет содержаться в этих слоях и чем более разветвленными будут межслойные соединения. Избыточность на выходах слоев зависит также от числа ИН и от степени статистической зависимости их выходов. При этом сообщения, поступающие на входы отдельных нейронов в слое, в зависимости от организации межнейронных и меж-слойных связей могут обладать относительно малой избыточностью.

В диссертации ставится задача объединения ИН в отказоустойчивую нейронную мини-сеть с использованием информационно-структурных методов резервирования, синтезированную таким образом, чтобы ее избыточность компенсировала отказы отдельных ИН. При этом необходимо, чтобы синтезируемая ИНС, рассматриваемая в качестве отказоустойчивого вычислительного аналога многофункционального ИН, сохраняла возможность настройки на реализацию заданных логических функций. В рамках данной постановки решаются задачи разработки и исследования моделей отказоустойчивых нейромодулей, являющихся мини-сетями ИН, сохраняющими многофункциональность отдельных ИН с настраиваемыми параметрами, реализующих любую из 22" логических функций п аргументов.

В теории помехоустойчивого кодирования информационная избыточность рассматривается как средство повышения надежности передачи данных между источником и приемником. Если в двухслойной ИНС рассматривать нейроны первого слоя как источник сообщений, выполняющий функции кодирования и передачи, а выходные нейроны рассматривать как приемник, выполняющий декодирование сообщений и коррекцию ошибок, то можно реализовать в структуре ИНС формирование и передачу помехоустойчивого кода. Так, реализация в ИНС передачи (п, к)-кодов предполагает следующую структуру сети: п нейронов первого слоя реализуют вычисление и кодирование заданных функций, а к нейронов выходного слоя реализуют функции декодирования.

Принципы введения информационно-структурной избыточности в одно-выходных многофункциональных нейромодулях рассматриваются на примере реализации в структуре кода Хэмминга. В этом случае нейроны первого слоя одновременно настраиваются на вычисление заданной функции, а выходной ИН - на реализацию функции голосования по большинству.

Для анализа показателей надежности таких сетей строится вероятностная модель, описывающая процесс их функционирования. Предполагается, что отказы отдельных нейронов, включая выходной, статистически независимы, время до отказа ИН распределено экспоненциально и одновременные отказы двух и более ИН невозможны. Для упрощения модели не учитываются отказы системы управления, настраивающей ИНС на реализацию заданных функций, по-

скольку в данном случае она играет второстепенную роль и при необходимости ее отказы могут быть учтены в моделях для комплексного расчета надежности НКС. Из решения соответствующей данному процессу системы дифференциальных уравнений Колмогорова в предположении, что в начальный момент времени к работе приступает полностью исправная ИНС, получены выражения дня вероятности безотказной работы и среднего времени работы до отказа (среднего времени «жизни») рассматриваемой нейросистемы.

Анализ частных конфигураций показывает, что (3,1)- и аналогичные (5, 1)-системы уступают по среднему времени «жизни» отдельно взятому ИН, однако данные модели ИНС при определенных условиях могут иметь преимущество по вероятности безотказной работы: так, если выходной ИН менее, чем другие, подвержен отказам, рассматриваемые системы имеют преимущество на начальном этапе функционирования.

В развитие данного подхода в диссертации рассматриваются нейромодули аналогичной структуры, в которых нейроны первого слоя также являются многофункциональными ИН, настраиваемыми на реализацию заданной функции, а выходные нейроны представляют собой логически более гибкие восстанавливающие органы с перестраиваемыми в зависимости от ситуации на входах параметрами и отключаемыми входами (адаптивные искусственные нейроны -АИН). При рассмотрении данных нейромодулей предполагается следующее. Если в процессе функционирования из п входов АИН остаются неотключенны-ми последние два, система контроля отключает АИН и на выход нейромодуля проходит сигнал с выхода одного из двух работоспособных ИН первого слоя.

Вероятностная модель функционирования такого нейромодуля строится в рамках предположений о статистической независимости отказов отдельных нейронов, включая выходной, экспоненциальном распределении времени до отказа ИН и невозможности одновременного возникновения двух и более отказов.

В развитие и дополнение данной модели нейромодуля предполагается, что после отключения выходного АИН оставшиеся два ИН продолжают вычислять заданную функцию до момента рассогласования сигналов на их выходах. При рассогласовании выходов ИН приостанавливается формирование решения на выходе нейромодуля и выполняется простой контролирующий тест для определения отказавшего ИН. Для упрощения модели предполагается, что в случае сбоя, самоустраняющегося за время выполнения теста, устанавливается работоспособность обоих ИН. В случае отказа одного из двух нейронов на выход нейромодуля проходят решения, формируемые последним неотказавшим ИН.

При построении вероятностной модели для ее упрощения не учитывается время, затрачиваемое на выполнение процедуры тестового контроля ИН, поскольку такие тесты являются достаточно простыми.

В рамках сделанных предположений и допущений из решения соответствующей системы дифференциальных уравнений Колмогорова для частных случаев получены выражения для расчета показателей надежности данных нейромодулей. Исследование этих показателей позволяет заключить, что рассматриваемые системы с адаптивным выходным ИН при определенных условиях могут превосходить по среднему.времени работы до отказа и по вероятности без-

отказной работы как отдельно взятый многофункциональный ИН, так и многофункциональные нейромодули с неадаптивным выходным ИН и равным числом ИН в первом слое.

Анализ рассмотренных моделей отказоустойчивых многофункциональных нейромодулей позволяет сделать вывод, что надежность функционирования таких нейросистем существенно зависит от надежности выходного ИН, выполняющего функции восстанавливающего органа. В этой связи при технической реализации следует добиваться уменьшения интенсивности отказов выходных нейронов. Сказанное относится и к многовыходным нейромодулям, в которых отказы выходных ИН также ведут к отказу ЙНС.

Во второй главе рассмотрены функциональная избыточность ИНС, критерий оптимальности и основные этапы синтеза отказоустойчивых нейронных сетей с двумя различными методами адаптации к отказам на основе функционального резервирования. Построена вероятностная модель для расчета показателей надежности НКС и рассмотрены методы эффективного использования функциональной избыточности ИНС.

Одним из главных свойств, определяющих отказоустойчивость ИНС, является функциональная (логическая) избыточность, обусловленная их структурной избыточностью и многофункциональностью составляющих сеть ИН. Функциональная избыточность ИНС рассматривается как основа функционального резервирования, при котором заданная функция может выполняться различными способами без искажений.

Относительная мера функциональной (логической) избыточности ИНС, состоящей из многофункциональных пороговых ИН, в общем случае может быть определена выражением

0(г)

Щг,тг) =

где (?(>") = ]~1П2г' , Сг(тг) = \\21", г- число слоев ИНС, т, - число нейро-

1=1 ).\ 1=1

нов в /-м слое, пи - число функциональных входов у-го ИН в /-м слое сети. В

частном случае для двухслойной одновыходной ИНС, реализующей ПФ Г(х,,х2,...,хл), однородной, т.е. имеющей в первом слое т = п ИН и один выходной нейрон (число входов всех ИН сети одинаково и равно п), функциональная избыточность определяется как Н - 2"г .

Рассматривается функциональная избыточность двухслойной ИНС, зависящая от соотношения числа единиц в таблицах истинности функций, вычисляемых сетью и выходным нейроном. Пусть а - число единиц реализуемой сетью функции ^(д;,,;^,...,*„), а Р - число единиц функции (р(у1,у2,-,у„), вычисляемой выходным ИН. Тогда общее количество всевозможных настроек ИНС на реализацию заданной информативной функции определяется соотношением

Р=1

Фиксируя распределение единиц в строках таблицы истинности функции ф, получим формулу для подсчета количества различных настроек ИНС при заданных аир: у = ра (2™ -р)2 Исследование данного выражения позволяет получить условие максимизации функциональной избыточности р = 2т~" а. Из двух последних формул следует, что функциональная избыточность имеет наименьшее значение при а = 2, а наибольшее - при а = 1 и о = 2" -1. Данные условия следует учитывать при синтезе нейросетей.

При проектировании ИНС возможны ситуации, когда усложнение структуры, вызванное необходимостью увеличения функциональной избыточности, приводит к незначительному улучшению характеристик надежности нейросети. Критерием оптимизации синтеза отказоустойчивой нейросистемы может служить максимизация функции эффективности вида

Ъа<с1

1

где Кг (?) - функция готовности системы, С, - затраты, связанные с синтезом и эксплуатацией НКС, а^ - соответствующие весовые коэффициенты. В качестве примера затрат можно привести структурную сложность ИНС и системы контроля и адаптации (СКА), временные потери, связанные с необходимостью выполнения контроля, диагностики и адаптации ИНС к отказам, общую стоимость разработки НКС и др.

Функция готовности зависит от времени функционирования системы, поэтому следует рассматривать временной интервал [0, т], на котором проводится оптимизация синтеза ИНС нейрокомпьютерной системы. С учетом сказанного рассматриваемая функция эффективности может быть переписана в виде

Ьа1С1

I

где Кп{т) = -¡КТ(/)<Л - средняя готовность НКС за время т. т о

Таким образом, синтез ИНС может проводиться либо исходя из соображений минимизации конструктивной сложности и других затрат при сохранении заданного уровня надежности, либо максимизации надежности при ограничении на структурную сложность ИНС и другие затраты.

В диссертации рассматриваются процедуры синтеза функционально избыточных отказоустойчивых нейросетей и методы их адаптации к отказам. Адаптация ИНС первого типа осуществляется интегрально путем одновременного изменения значений порогов всех ИН сети на единицу. Такой метод адаптации ИНС к отказам обладает рядом преимуществ в виде упрощенной СКА и быстрого выполнения процедуры восстановления работоспособности, однако при этом задействуется только часть имеющихся ресурсов функциональной избыточности. Разработанный в диссертации метод дифференцированной адаптации позволяет практически полностью использовать имеющуюся избыточность

ИНС, однако в сравнении с интегральным методом его реализация может потребовать больших затрат.

Решение задачи синтеза ИНС с интегральной адаптацией к отказам сводится к нахождению порядка заполнения таблиц истинности функций, вычисляемых нейронами сети, обеспечивающего эффективное (в рамках данного типа адаптации) использование функционального резервирования. Метод дифференцированной адаптации состоит в повторном выполнении процедуры логического синтеза ИНС с учетом отказов компонентов.

Для расчета показателей надежности отказоустойчивых НКС на базе функционально избыточных адаптивных ИНС и определения подходов к повышению данных показателей в диссертации разработана вероятностная модель функционирования НКС. При разработке модели полагается, что отказы отдельных компонентов ИНС статистически независимы и обнаруживаются непосредственно в момент возникновения; одновременное возникновение двух и более отказов невозможно; для всех рассматриваемых компонентов время работы до отказа распределено экспоненциально с параметром X. Аналогичное допущение сделано для распределения времени до отказа СКА с параметром Л. Под действием очередного отказа система переходит из работоспособного состояния с большим ресурсом надежности либо в работоспособное состояние с меньшим ресурсом надежности без адаптации, либо в состояние адаптации ИНС, либо в состояние отказа СКА, либо в состояние отказа системы. Из состояний, соответствующих отказавшей СКА и работоспособной ИНС, система может перейти только в состояние отказа. Из состояния адаптации ИНС возможны переходы либо в работоспособное состояние с меньшим ресурсом надежности, либо в состояние отказа системы при отказе СКА. Предполагается, что время адаптации ИНС к отказам распределено экспоненциально с параметром ц, в течение времени восстановления работоспособности отказы в ИНС не возникают.

Обозначим п - общее число возможных отказов; (г -1) - наибольшее число отказов компонентов, при котором ИНС сохраняет работоспособность; р, (!) (О < / < г -1) - вероятность нахождения системы в момент времени / в г-м работоспособном состоянии, Р, (0 < у < г - 2) - в у-м состоянии адаптации ИНС, р!„(О (0</<г-1) - в состояниях отказа СКА при работоспособной

г г-г г-1

ИНС, рг (/) (г < п) - в состоянии отказа; £ р, (?) + + Е Р/.о (0 = 1-

1.0 1=0

Система дифференциальных уравнений Колмогорова для рассматриваемого процесса имеет вид: />£(/) = -(|А + Л)р0(/),

т=-((» - <>+Л)Л( о+*,_.(* - >+1М-,(0+М-,Л0,1<1<г-1,

= + + 0 < у < г - 2, (1)

Ко(0=-("- ошо+лА(0, о < / < Г -1,

р'г(0 = 2(я-0ф-*, -(0 + Л,о(0)+ Ри1^(/), =*гЧг = о.

г=0 О

Начальные условия могут быть записаны как

Ро(0) = 1, р,(0) = 0) = р,(0) = р,(0) = 0,

т.е. в начальный момент времени / = 0 к работе приступает полностью исправная система.

Коэффициенты к, и ки+1 (0 < г < г - 2) представляют собой части общего числа сочетаний всевозможных (/ + 1) -кратных отказов, соответствующие переходам системы в очередные работоспособные состояния и состояния адаптации. Значения данных коэффициентов могут быть определены путем моделирования на ПЭВМ.

Решение данной системы дифференциальных уравнений позволяет определить нестационарный коэффициент готовности (функцию готовности) рассматриваемой системы как ЛТД/) = ¿(/^(О + Л.оО))- Данная модель подходит

для описания и расчета характеристик надежности систем с обоими рассмотренными методами адаптации ИНС. Отличия заключаются только в конкретных значениях г и коэффициентов & и к1М.

Анализ переходов системы в работоспособные состояния, системы дифференциальных уравнений (1) и выражения для функции готовности НКС показывает, что повышение готовности системы может быть достигнуто посредством ускорения адаптации и, что не менее важно, путем увеличения значений коэффициентов к,, характеризующих долю отказов компонентов ИН, при которых ИНС сохраняет работоспособность без выполнения адаптации. В этой связи в диссертации поставлена и решена задача минимизации процесса адаптации ИНС путем формирования наборов настроек параметров ИН сети, обладающих максимальной корректирующей способностью, и сформулированы условия эффективного использования заложенной функциональной избыточности ИНС, выполнение которых приводит к увеличению значений вышеуказанных коэффициентов к, и повышению готовности системы.

Целесообразность использования рассмотренных отказоустойчивых ИНС в нейрокомпьютерных системах и преимущество дифференцированного метода адаптации с точки зрения повышения надежности функционирования подтверждены моделированием в рамках приведенных в конце главы примеров их синтеза и расчета показателей надежности.

Третья глава диссертации посвящена построению моделей и исследованию методов обеспечения и повышения готовности нейрокомпьютерных систем с учетом различных условий их функционирования.

В рамках рассмотрения принципов функционирования НКС с непрерывным и периодическим режимами контроля работоспособности ИНС решается задача рационального выбора способа контроля. Предпочтительность того или иного способа определяется наименьшим значением суммарных затрат, связанных с разработкой и эксплуатацией соответствующей НКС. Наибольшее внимание уделено расчету затрат, связанных с простоями НКС вследствие отказов и

проверок работоспособности ИНС, зависящих от готовности системы. В диссертации приводится расчет функции готовности и средней готовности за время Т для НКС с периодическим и непрерывным режимами контроля работоспособности ИНС.

Рассматриваются НКС с непрерывным контролем работоспособности ИНС и ненадежной СКА, подверженной отказам двух видов: необнаружение и ложное обнаружение отказов в ИНС. Для расчета характеристик готовности данных НКС построены вероятностные модели. Исследование на ПЭВМ показывает, что при одних и тех же исходных условиях СКА, подверженная отказам, приводящим к ложному обнаружению отказов ИНС, обеспечивает меньшую готовность НКС, чем СКА, подверженная отказам, приводящим к необнаружению отказов нейросети.

В диссертации построены модели, поставлены и решены задачи расчета и анализа функции готовности НКС при выполнении настройки (обучения, дообучения) ИНС в процессе начальной подготовки к работе или во время восстановления после отказа. Модель функционирования ИНС при настройке и восстановлении функциональных свойств рассматривается как линейная последовательность выполнения операций. Предполагается, что рассматриваемый процесс подготовки системы к выполнению задания аппроксимируется марковским (однородным или неоднородным) случайным процессом с конечным числом состояний. Для рассматриваемого процесса записана система дифференциальных уравнений Колмогорова, из решения которой находится функция готовности системы. При рассмотрении неоднородного процесса для получения решения поставленной задачи применяется метод замены реальной динамической системы статистически эквивалентной с постоянными во времени интенсивностями переходов. В развитие данных моделей рассматривается функционирование НКС с ненадежной системой управления процессом настройки. Построены графы переходов систем, соответствующие рассматриваемым процессам.

Рассматривается задача анализа функции готовности НКС при диагностике и восстановлении после различных видов отказов. Предполагается, что возможные неисправности ИНС могут быть отнесены к различным группам отказов. В процессе работы НКС устанавливается наличие отказа в ИНС, и для восстановления функциональных свойств выполняется процедура диагностики, в результате которой выясняется, к какой группе относится данный отказ и какие меры необходимо предпринять для его устранения. В качестве модели функционирования системы построен граф переходов, характеристики готовности НКС определяются из решения системы дифференциальных уравнений, соответствующей данному процессу.

Также в данной главе дается обоснование, постановка и решение следующей задачи. Предполагается, что с момента начала эксплуатации НКС выделено время (т + /ю), включающее т - время дообучения и тренировочных испытаний (тестирования) ИНС и время непосредственного выполнения задания /и. Требуется определить длительность дообучения и тестирования х, максимизирующую вероятность отсутствия отказа в интервале времени (х + гю) при условии безот-

казной работы в течение времени т, рассматриваемую в качестве характеристики готовности НКС длительного автономного функционирования. Решение поставленной задачи сводится к определению временного интервала, характеризующегося минимумом среднего числа отказов ИНС. Интенсивность отказов ИНС аппроксимируется функциями времени, соответствующими этапам «приработки», «нормального функционирования» и «старения».

В четвертой главе ставятся и решаются задачи оптимизации структурного резервирования однородных «нестареющих» и «стареющих» ИНС.

При постановке и решении задач оптимизации структурного резервирования ИНС в качестве объекта исследования рассматривается модель многослойной многовыходной структурно однородной нейронной сети с замещением отказавших нейронных блоков (соответствующим образом сгруппированных ИН или подсетей, в т.ч. простейших двухслойных одновыходных мини-сетей ИН) резервными, состоящей из п основных и т резервных блоков ИН, разбитых на ц групп. При этом замещение основных блоков с отказавшими ИН резервными возможно только внутри своей группы по схеме скользящего резервирования.

Вначале рассматривается структурно однородная ИНС с замещением отказавших нейроблоков резервными, состоящая из п основных и т резервных блоков ИН, разбитых над групп по Ь = п/д основных и -т!ц резервных блоков в группе. Замещение отказавших основных блоков резервными возможно только внутри своей группы. Предполагается, что время до отказа блоков ИН распределено экспоненциально, отказы работающих функциональных блоков и переключателей обнаруживаются системой контроля и переключения в момент их возникновения, а время подключения резервных блоков вместо отказавших пренебрежимо мало. Отказы в резервных блоках, не включенных в состав рабочей структуры, не обнаруживаются системой контроля и перестройки и не приводят к их переключению, однако уменьшают ресурс надежности рассматриваемой ИНС. Для упрощения модели предполагается, что вероятность отказа системы контроля и переключения пренебрежимо мала.

В развитие этой задачи полагается, что в качестве элементарных структурных единиц нейронных блоков ИНС выступают не отдельные нейроны, а избыточные мини-сети ИН. В такой структуре отказавшие нейроблоки после замещения их резервными могут восстанавливаться и затем включаться в работу.

Для расчета основных показателей надежности записаны соответствующие системы дифференциальных уравнений, из решения которых определяются вероятность безотказной работы и среднее время работы до отказа рассматриваемых ИНС. Эти системы являются частным случаем общей для всех рассматриваемых в данной и последующих главах диссертации задач оптимизации резервирования ИНС системы дифференциальных уравнений вида

(2)

т А

где р(/) - вероятности нахождения системы в момент времени / в состояниях с к (О<к<т) отказавшими нейронными блоками, [яД.ц] - матрица коэффициентов дифференциальных уравнений (постоянных или переменных в случае

«стареющих» систем), зависящих от распределения по группам резервных элементов s, интенсивностей отказов X, интенсивностей восстановлений р и распределения отказов основных и резервных блоков ИН.

Постановки и решения основных оптимизационных задач в данной главе диссертации выполнены на основе следующей модели ИНС, построенной в развитие вышеописанных.

Предполагается, что рассмотренная выше ИНС нейрокомпьютерной системы, обозначаемая в дальнейшем SA(n,m,s), состоит из n = nl+n1+...+ nq основных и т = s, + s2 +...+ sq резервных блоков ИН, разбитых на q групп, в каждой из которых возможна замена отказавших основных только резервными блоками ИН этой группы. При этом целочисленный постоянный во времени вектор s-(si,s1,...,sq), соответствующий распределению резервных нейронных блоков в группах, называется вектором резервирования. Каждой из q групп поставлены в соответствие интенсивности отказов основных блоков ИН Х„ Хг, ..., Xq. Резервные нейронные блоки s2, ..., sq характеризуются интенсивностью отказов Х0. После подключения вместо отказавших резервные блоки ИН работают в том же режиме, что и основные блоки этой группы, т.е. характеризуются интен-сивностями отказов (l<i<q).

Обозначим нейронную сеть, у которой отказавшие блоки ИН не восстанавливаются, 5" (п,т,s), а ИНС, у которой отказавшие нейронные блоки в процессе работы восстанавливаются с интенсивностью ц = const, 5® (и, т, s).

Поведение рассматриваемых ИНС описывается системой дифференциальных уравнений вида (2) с соответствующими коэффициентами, характеризующими интенсивность перехода системы в очередное работоспособное состояние или в состояние отказа ИНС, где для ИНС 5" {п,т, s) ц = 0.

Задача оптимального резервирования однородной ИНС с замещением отказавших нейроблоков резервными с постоянным во времени вектором s = (i,,i2,...,sf) заключается в вычислении такого распределения т резервных

нейронных блоков по q группам, которое при заданном разбиении п основных нейронных блоков обеспечивает либо максимальное среднее время работы ИНС до отказа 7*[s]-»max, либо максимальную вероятность безотказной работы этой системы P[s;fy]-> max, либо решаются обе указанные задачи и выбирается лучший вариант. Таким образом, основная задача сводится к вычислению соответствующих оптимальных векторов резервирования в рамках условий

Данные задачи сводятся к вычислению целочисленного вектора seS(m), лежащего в гиперплоскости s, + л2 +... + = т с выделенной областью s, > О,

Р [«;(/■]-> max, seS(m)

или

r[s]-»max, s е S(m),

1<1<д, максимизирующего показатели надежности /'[б;*] или ТЭД. Решение указанных задач оформлено в виде алгоритмов, реализуемых на ПЭВМ.

Под «стареющей» искусственной нейронной сетью понимается ИНС 5а(п,т,$), в которой интенсивности отказов основных и резервных нейронных блоков Х,(/)> 0</<д являются возрастающими функциями времени. Задача оптимального резервирования «стареющей» адаптивной ИНС заключается в нахождении целочисленного вектора 5 = (5,,52,...,«?), + 52 + = т, максимизирующего в зависимости от поставленной цели либо вероятность безотказной работы сети, либо среднее время ее работы до отказа. В диссертации в качестве модели функционирования системы построен граф ее переходов и записана система дифференциальных уравнений вида (2) с переменными коэффициентами.

Для приближенного решения поставленной задачи применяется метод дискретизации, заключающийся в разбиении рассматриваемого временного отрезка на интервалы с последующей заменой на них функций интенсивности отказов нейронных блоков константами с заданной точностью. Оптимизируемые показатели надежности ИНС определяются из решения системы дифференциальных уравнений с постоянными для каждого интервала дискретизации коэффициентами. Решения задач оптимизации резервирования «стареющих» ИНС по критерию максимизации вероятности безотказной работы и среднего времени «жизни» нейросети оформлены в виде алгоритмов, реализуемых на ПЭВМ.

В дополнение к базовым задачам оптимизации резервирования «стареющих» ИНС рассматриваются задачи о минимальной избыточности, обеспечивающей значения показателей надежности функционирования «стареющих» ИНС не ниже заданных. Эти задачи ставятся следующим образом.

Найти минимальное т, для которого множество

не пусто, р - заданное значение вероятности безотказной работы, и вычислить вектор э^еБ^т), максимизирующий вероятность безотказной работы ¿/) «стареющей» ИНС за время t¡.

Найти минимальное т, для которого множество 5Г(т) = {5|ГХл(Л1Л1Л) >т} не пусто, т - заданное значение среднего времени работы до отказа, и вычислить вектор 5, е 51*(т), максимизирующий среднее время работы до отказа «стареющей» ИНС 5Л (и, т, ь).

Решения поставленных задач представлены в виде алгоритмов, реализуемых на ПЭВМ.

В развитие задач оптимизации резервирования «стареющих» ИНС нейро-компьютерных систем в диссертации поставлена и решена задача оптимизации восстановления «стареющей» ИНС. Рассматривается многослойная многовыходная структурно однородная «стареющая» ИНС в предположении, что в качестве компонентов основных и резервных нейронных блоков выступают не отдельные нейроны, а избыточные мини-сети ИН. В такой структуре отказавшие

блоки ИН после замещения их резервными могут восстанавливаться путем перестройки параметров нейронов и после восстановления включаться в работу. В качестве модели функционирования системы построен граф ее переходов и записана система дифференциальных уравнений вида (2).

Задача оптимизации восстановления «стареющей» ИНС ставится следующим образом: для заданных интенсивностей отказов (0< / < д) и заданного вектора резервирования $ = (.г,,>•••>■*») определить интенсивности восстановления ц,(/) (!</'< д) нейронных блоков в группах, минимизирующие функционал

^(ц1,ц2,...,ц,)=|^с1.(0й((0^, (3)

при условии, что вероятность безотказной работы восстанавливаемой ИНС

Р(ц1,Ц2,...,Ц?;Г/)>^,0<£/<1, (4)

где ¡г - время функционирования системы; с, (/) - заданные неубывающие функции, моделирующие удельную стоимость восстановления нейроблоков в /-й группе.

Функционал (3) выбран из соображений минимизации стоимости восстановления: нейронная сеть к моменту времени tf должна быть работоспособной

с вероятностью не ниже с/ при минимальной стоимости восстановления.

Постановка рассматриваемой задачи формулируется в терминах теории оптимального управления. Решение задачи сводится к нахождению такого управления, которое минимизирует функционал (3) при выполнении неравенства (4). Для получения приближенного решения используется метод дискретизации; приводится алгоритм решения задачи на ПЭВМ.

Пятая глава диссертации посвящена развитию моделей функционирования и задач оптимизации структурного резервирования однородных ИНС. Рассматриваются вероятностные модели функционирования однородных «нестареющих» и «стареющих» ИНС в составе НКС с ненадежной СКА, ИНС с дообучением после отказов, ИНС с общим резервом и ограниченным замещением отказавших нейроблоков. Ставится и решается задача нахождения условий для функций восстановления «стареющих» подсетей ИНС, гарантирующих системе требуемое среднее время «жизни».

В развитие рассмотренных выше моделей предполагается, что СКА НКС не является абсолютно надежной, однако отказ СКА не вызывает немедленного нарушения работоспособности всей системы, поскольку ИНС 5А(и,я»,$) будет функционировать до появления любого очередного отказа основного нейробло-ка. Для рассматриваемого случая построен граф переходов НКС и записана система дифференциальных уравнений, из решения которой находятся основные показатели надежности системы. Дальнейшее развитие данной модели заключается в расширении условий функционирования НКС в предположении, что интенсивности отказов блоков ИН и СКА являются возрастающими функциями времени, т.е. рассматриваемая нейросистема «стареющая». Для расчета показателей надежности в данном случае применяется метод дискретизации.

Для упрощения рассматривавшихся ранее моделей функционирования ИНС предполагалось, что замена отказавших блоков нейронов и, соответственно, восстановление работоспособности ИНС после отказа производится мгновенно. Однако в некоторых случаях при замене отказавших нейронных блоков резервными может возникнуть необходимость выполнения процедур дообучения (а в исключительных случаях - переобучения) нейросети или ее отдельных подсетей, что в свою очередь потребует дополнительного времени на выполнение итеративного процесса обучения, в течение которого НКС не будет функционировать по прямому назначению.

Учитывая сказанное, в развитие рассмотренных моделей функционирования ИНС предполагается, что после замены отказавших нейронных блоков резервными НКС находится в состоянии адаптации и выполняет процедуру дообучения (переобучения) ИНС. Также данная система рассматривается в предположении, что интенсивности отказов блоков ИН нейросети являются возрастающими функциями времени, т.е. рассматривается «стареющая» НКС. Для исследования рассматриваемого процесса построен граф переходов и составлена система дифференциальных уравнений. Также получены выражения для расчета показателей надежности данной НКС. В случае «стареющей» системы исследование выполняется методом дискретизации.

В качестве дополнения к рассмотренным моделям систем с учетом времени дообучения ИНС предполагается, что некоторые отказы нейроблоков являются самоустраняющимися и отказавшие блоки после замещения резервными могут иметь возможность самовосстанавливаться и затем включаться в резерв системы. Для данного случая построены модели функционирования НКС в виде графа переходов и соответствующей системы дифференциальных уравнений.

В рамках предположений, сделанных ранее при рассмотрении моделей функционирования ИНС БА(п,т,ь), рассматривается ИНС, обозначаемая 3А(п,т,г), в которой отсутствует разбиение и основных и т резервных нейроблоков на группы, т.е. т резервных блоков ИН являются общим резервом для всей сети. Предполагается, что стратегия замещения отказавших основных блоков резервными состоит в следующем: возможно замещение не более чем г (\<гйт) расположенных подряд отказавших основных нейроблоков. В диссертации приведена система дифференциальных уравнений, соответствующая рассматриваемому процессу, и записаны выражения для расчета показателей надежности «нестареющих» и «стареющих» ИНС 5д(и,/я,г).

Рассматриваются НКС на основе ИНС 5А(и,т,8) и 5д(п,т,г) с ненадежной СКА. В рамках построенных моделей поставлена следующая задача: сравнить надежность двух НКС с различными способами подключения резервных нейроблоков вместо отказавших основных при заданных параметрах, характеризующих структуру ИНС. В диссертации рассматривается сравнение двух моделей на основе среднего времени работы систем до отказа. При сравнении по данному показателю надежности решение поставленной задачи сводится к расчету интенсивностей переходов систем в работоспособные состояния.

Рассматривается модель однородной «стареющей» ИНС, состоящей из п ■ основных и одной, находящейся в режиме нагруженного резервирования, избыточных подсетей, допускающих многократное дообучение (переобучение). Предполагается, что все (и +1) включенные в состав ИНС подсети имеют одинаковую структуру, одновременное возникновение отказов в двух и более подсетях невозможно, время обнаружения отказов в подсетях ИНС пренебрежимо мало. При обнаружении отказа в одной из основных подсетей она мгновенно замещается резервной, проходит процедуру восстановления, после чего ставится в резерв. Интенсивность отказов подсетей ИНС является функцией времени Х(/), а интенсивность восстановления - ц(<), обе функции считаются неотрицательными и дифференцируемыми, причем Х'(0 £0.

В рамках данной модели нейрокомпьютерной системы ставится и решается следующая задача. По заданной функции интенсивности отказов Ц() найти условия для функций интенсивности восстановления ц(/), выполнение которых гарантирует среднее время «жизни» рассматриваемой «стареющей» ИНС не

ниже заданного Т > 0.

Шестая глава диссертации посвящена решению задач оптимального динамического резервирования ИНС в том числе теоретико-игровыми методами в рамках модели с изменяемым в процессе работы нейросистемы распределением резервных элементов между д группами ИНС 5А(и,т,8). Также даны постановка и решение задачи противоборства двух НКС.

Под «стареющей» ИНС с динамическим резервированием понимается нейронная сеть 5А , в процессе работы которой вектор резервирования $

может изменяться, т.е. может производиться перераспределение (и соответствующая настройка параметров) однородных резервных блоков ИН сети между ^ группами. Предполагается, что перераспределение резервных нейронных блоков между группами осуществляется мгновенно по соответствующему сигналу СКА в определенные моменты времени. Перераспределение резервных блоков нейронов называется настройкой ИНС, а моменты времени, в которые происходит настройка, - моментами настройки нейронной сети.

Пусть настройки ИНС 5Д (п, т, могут производиться в заданные моменты времени т0 =0, т,,т2,...,т;, (/>1). В диссертации ставится следующая задача. Требуется определить последовательность {в"} векторов резервирования =(51>,и»521«'—максимизирующих вероятность безотказной работы ИНС последовательно к заданным моментам настройки и к заданному моменту времени /у > т(. Далее в диссертации делается обобщение этой задачи на случай, когда моменты настроек ИНС заранее не определены. Предполагается, что за время может быть произведено конечное число настроек ИНС не более

чем 1> 1. Ставится следующая задача: определить количество настроек /<£, последовательность {т,,т2,...,т,} моментов настройки и последовательность {5°} векторов резервирования =(«1>,ш.«2,м>—отвечающих моментам настройки

тш (0<ш</), т0=0, таким образом, чтобы вероятность безотказной работы «стареющей» ИНС к моментам настройки и к моменту времени t{ > х, были последовательно максимальными.

Для решения поставленных задач используется метод дискретизации и соответствующим образом модифицированные алгоритмы решения задач оптимизации резервирования «стареющих» нейросетей с постоянным во времени распределением резервных элементов.

В развитие вышеописанных задач методами теоретико-игрового моделирования ставятся и решаются задачи оптимизации резервирования ИНС SK{n,m,s) с динамическим перераспределением резервных нейронных блоков в конфликтных ситуациях.

Предполагается, что вышеописанная «стареющая» ИНС SA(n,m,s) вступает в противоборство с противником, преследующим цель дестабилизировать ее работу. В качестве средств атаки противник имеет возможность увеличивать интенсивности отказов и X0(t) в группах нейроблоков ИНС. Для защиты выполняется перераспределение имеющегося резерва между атакуемыми группами нейроблоков, т.е. формируется вектор резервирования s(t). Для машинного решения задачи оптимального динамического распределения резерва ИНС 5А(«,от, s) строится дискретная игровая модель. Такая модель представляет собой многошаговую матричную игру двух лиц, решение которой позволяет определить оптимальные (точнее, близкие к оптимальным) управления игроков.

С учетом сказанного рассматривается следующая конфликтная ситуация. Пусть игрок Л располагает рассмотренной выше «стареющей» ИНС SA(n,m,s). Игрок В имеет возможность увеличивать интенсивности отказов блоков ИН A.,(i), 0<i<q. В качестве функции платы рассматривается вероятность безотказной работы ИНС P(t). Поскольку интересы игроков противоположны, атакующий игрок В стремится минимизировать вероятность безотказной работы ИНС, а игрок А стремится ее максимизировать путем перераспределения резервных элементов между q группами ИНС. На интервале [0, t/], где tf - время

окончания игры, задан вектор моментов времени т = (т0,т1,...,тг), разбивающих игру на к шагов, О <k<L, zL<tf, т0 =0. Предполагается, что игроки делают по

одному ходу в начале каждого шага игры. В рамках заданных ограничений на стратегии и ресурсы сторон для тк -игр определяются возможные ходы игроков и платежные матрицы. Для поиска оптимальных смешанных стратегий игроков используется метод фиктивного разыгрывания, являющийся имитацией многократного повторения игры. Приводится алгоритм решения совокупности it -игр, позволяющий определить искомые оптимальные стратегии динамического резервирования ИНС.

Наряду с рассмотренными задачами не менее важное значение имеют так называемые игры с «природой», в которых противник («природа») не стремится причинить максимальный вред обороняющейся стороне, а действует случайным образом. В диссертации поставлена и решена задача о выборе стратегии резер-

вирования «стареющей» ИНС 5А(п,т^) в условиях игры с «природой», сводимая к многошаговой матричной игре, решаемой с использованием ПЭВМ.

Задача ставится следующим образом. Пусть сторона А располагает «стареющей» ИНС 5Л(«,т,в). На интервале времени [0,/у], где - момент окончания игры, рассматривается вектор т = (т0,т,,т2.....тЛ), т0=0, т, <//, элементы которого соответствуют моментам перераспределения резервных нейронных блоков ИНС между д группами. Каждому моменту времени хк (0<к<Ь) ставится в соответствие вектор распределения резервных элементов в1' = (у,1' ,^2* )■ Таким образом, игрок А располагает стратегиями IVл = {т,{$(т)}}, удовлетворяющими ограничениям, накладываемым на время между соседними настройками ИНС и число резервных нейроблоков к очередному моменту настройки. Пусть сторона В («природа») может находиться в одном из состояний В = {В1,В2,...,В//], которым ставятся в соответствие интенсивности отказов ИНС Цг) = \<1< N, где каждый элемент X01 (/) представляет собой совокупность Л.(0(Г) = (^(ОД^М.-Л^Ч')) интенсивностей отказов основных и резервных блоков. Пусть для каждого состояния «природы» В1 еВ, 1<1< N заданы вероятности нахождения в этих состояниях 2(') = {6,(0»<3г(0» — >£?*(')}• Тогда множество стратегий «природы» можно определить как IV" = {<Э(?)М11)} с учетом ограничений суммарного нападения на нейронные блоки ИНС. В качестве функции платы в рассматриваемой игре рассматривается вероятность безотказной работы ИНС $А{п,т,в) последовательно в моменты настройки и к моменту окончания игры. Решением игры являются вектор ттах моментов настроек ИНС и множество векторов резервирования хт'х = {«(т^)}, соответствующих моментам настройки 1к (0<к<Ь), максимизирующие вероятность безотказной работы рассматриваемой ИНС.

В рамках обобщенной постановки задачи рассматриваются две подзадачи оптимизации резервирования ИНС в условиях игры с «природой» при постоянных в рамках заданных временных интервалов и переменных вероятностях ее состояний. В диссертации приведены алгоритмы решения поставленных задач на ПЭВМ с использованием метода многократного разыгрывания.

В развитие вышеописанных моделей конфликтных ситуаций рассматривается задача противоборства двух НКС, при постановке и решении которой в качестве НКС, участвующих в игре, рассматриваются однородные избыточные восстанавливаемые ИНС 5А (п, т, $).

Пусть игрок 1 располагает ИНС а игрок 2 располагает ИНС

5\(п,т,%). Обе ИНС 5\(п,т,$) = 1,2) являются восстанавливаемыми с ин-тенсивностями восстановления ц*(/). Игрок 1 располагает множеством стратегий IV' = {в'а игрок 2 - множеством стратегий IV2 = {я* Д',ц2}, где в8 -вектор резервирования g-гo игрока; Xх - вектор интенсивностей отказов в груп-

пах ИНС 5д(л,т,8). Считается, что число групп нейронных блоков ИНС для

игроков 1 и 2 одинаково, т.е. векторы э1 и в2 имеют одинаковую размерность ц. Предполагается, что за время игры игрок g ^ = 2) имеет право не более

чем (Ь > 1) раз (не считая момента / = 0) изменять вектор резервирования в® управляемой им системы (я,т,я). Также предполагается, что в процессе противоборства игрок 1 стремится максимизировать величину Р1(//)-.Р2(г/), являющуюся функцией платы, где - время окончания игры, - вероятность безотказной работы ^-й системы, а игрок 2 стремится минимизировать эту величину.

Рассматриваемая задача сводится к необходимости решить игру двух лиц с нулевой суммой при заданных ограничениях на стратегии (управления) игроков, функция выигрыша которой определяется как <?(г,,г2) = />1(^)-/>2(^),

где е IVя - стратегия #-го игрока.

Дифференциальная игра двух нейросистем с учетом всех ограничений, накладываемых на управления игроков, и заданной точности их изменения методом дискретизации сводится к матричной игре, решение которой находится в смешанных стратегиях методом многократного разыгрывания. В диссертации приведен алгоритм решения данной задачи на ПЭВМ.

В седьмой главе диссертации рассмотрены модели и методы введения временной избыточности в процессы функционирования нейрокомпьютерных систем, поставлены и решены задачи исследования и повышения эффективности применения методов временного резервирования работы ИКС.

Введение в процесс функционирования ИКС временной избыточности заключается в том, что для выполнения поставленной задачи системе помимо минимально необходимого времени предоставляется дополнительное (резервное) время, предназначенное для контроля функционирования, диагностики и выполнения восстановления работоспособности в случае отказа ИНС.

Базовая вероятностная модель функционирования НКС с временной избыточностью в условиях возникновения не обесценивающих наработку отказов строится в рамках следующих положений и допущений. Предполагается, что для выполнения задания НКС предоставлено оперативное время * = + включающее минимальное время выполнения задания при отсутствии нарушений работоспособности и резервное время /р, предназначенное для восстановления работоспособности ИНС. Пусть контроль работоспособности нейронной сети НКС осуществляется непрерывно и позволяет достоверно обнаруживать любые отказы. При нарушении работоспособности ИНС все выполненные к соответствующему моменту времени вычисления не обесцениваются, и после восстановления НКС продолжает выполнять задание. Для рассматриваемой системы отказ (срыв функционирования) возникает в тот момент, когда суммарное время восстановления станет больше, чем имеющееся резервное время /р. При

построении вероятностной модели также предполагается, что наработка без ре-

зерва времени до первого отказа и между соседними отказами является случайной величиной с функцией распределения F(t), время восстановления ИНС не зависит ни от количества отказов в прошлом, ни от времени работы системы с момента предыдущего отказа и распределяется по закону /7В(/), количество восстановлений в оперативном интервале времени не ограничивается.

В рамках сделанных обозначений и допущений вероятность безотказного функционирования НКС Р0 , /р) определяется в виде ряда:

ыо

где - вероятность возникновения к отказов в интервале времени (0, /з);

^влОр) ~ функция распределения суммы к интервалов времени восстановления.

Повышение производительности ИНС позволяет в рамках имеющегося оперативного интервала г = /, + /р уменьшить минимальное время выполнения

задания гз, что в свою очередь приводит к увеличению резервного времени 1р. В этой связи рассматривается НКС, ИНС которой состоит из г подсетей, параллельно выполняющих г равных частей задания объема V. На выполнение задания НКС предоставляется оперативное время / = /3+/р, где /3 = т/г, т - минимальное время выполнения всего задания одной подсетью. Для простоты предполагается, что разбиение задания на части не увеличивает его объем, отказы обнаруживаются мгновенно абсолютно надежной системой непрерывного контроля. Также предполагается, что НКС возобновляет процесс выполнения задания только при восстановлении работоспособности всех подсетей ИНС.

В диссертации решается задача о нахождении минимального числа подсетей, необходимого для достижения требуемого уровня надежности НКС в рамках заданных условий, определяемого значением вероятности ее безотказного функционирования.

При постановке и решении задач о минимальной временной избыточности, гарантирующей заданную надежность, рассматривается НКС на базе восстанавливаемой ИНС. Пусть номинальная производительность НКС равна IV, объем выполняемого задания может принимать значения из множества V = Основной задачей является определение значения временной

избыточности /р, гарантирующей НКС вероятность безотказного выполнения

задания при заданных условиях не ниже заданного р.

Рассматриваются два возможных источника возникновения временной избыточности. В первом случае временная избыточность обеспечивается за счет увеличения оперативного интервала / = /3 + /р. Искомые значения временной избыточности для различных объемов задания V, еК определяются из решения уравнения = р. При этом учитываются затраты, связанные с увеличе-

нием оперативного интервала. Во втором случае временная избыточность обеспечивается за счет уменьшения минимального времени выполнения задания в рамках имеющегося оперативного интервала вследствие увеличения производи-

тельности и усложнения структуры ИНС. Предполагается, что задание может быть разделено на г частей, выполняемых параллельно г подсетями ИНС. Решением задачи является наименьшее значение г, для которого выполняется неравенство /р) > р, и соответствующее ему значение /р.

Вследствие отказов нейронной сети НКС может происходить обесценивание выполненной к моменту отказа работы. Системы с обесценивающими отказами отличаются от рассмотренных выше тем, что нарушения работоспособности ИНС, произошедшие до получения требуемой наработки, обесценивают выполненные вычисления, вследствие чего потери времени скачкообразно увеличиваются на величину обесцененного времени. В НКС временная избыточность может использоваться для устранения последствий обесценивающих отказов ИНС путем повторного выполнения задания или его отдельных этапов.

Рассматриваются модели НКС с периодическим и непрерывным способами контроля работоспособности ИНС. Временная избыточность используется для восстановления работоспособности и устранения последствий отказов ИНС. В связи с тем, что данные НКС характеризуются различной надежностью, в диссертации определен критерий выбора способа контроля работоспособности ИНС, основанный на сравнении суммарных затрат, зависящих от стоимости аппаратной части, стоимости программного обеспечения системы контроля и потерь от возможного невыполнения части задания.

Рассматриваются принципы функционирования двух НКС с периодическим контролем работоспособности ИНС. Предполагается, что в рассматриваемы* системах во время выполнения задания возможны сбои, искажающие и обесценивающие решение очередного этапа задания. Принцип работы первой из них, обозначаемой НКСь заключается в том, что с целью обнаружения сбоев используется метод повторного счета. Основу другой НКС, обозначаемой НКС2, составляют две параллельно работающие структурно и логически идентичные подсети ИНС (вторая подсеть не является резервной, а служит для контроля выполнения задания). При рассмотрении НКС задание будет считаться выполненным, если за отведенное оперативное время выполнены все п его этапов.

В рамках вышеописанных принципов функционирования НКС ставится следующая задача. На выполнение задания нейросистеме отводится оперативное время Г, включающее минимальное время выполнения задания и резервное время /р: для НКСг с удвоением времени выполнения расчетов / = 2/3 + /р, а для НКС2 с удвоением структуры ИНС (= /3 + /р. Предполагается, что для выполнения задания обеим НКС предоставлено одинаковое оперативное время / (в этом случае резервное время для рассматриваемых НКС будет различным) и одинаковое время выполнения процедуры контроля (к. Для обеих НКС требуется определить минимальное время выполнения задания и количество этапов задания п, максимизирующие вероятность безотказного функционирования , I) —► тах при фиксированных (и , различном быстродействии ИНС и соответствующих интенсивностях сбоев. Для решения поставленной задачи разработан алгоритм, реализуемый на ПЭВМ.

В заключении сформулированы следующие положения и результаты диссертационной работы.

1. Установлено, что важной и актуальной задачей является разработка и систематизация математических моделей и методов обеспечения и повышения надежности ИНС, характеризующихся структурной однородностью и различными видами избыточности, позволяющими применять для повышения надежности функционирования НКС структурное, информационное, функциональное и временное резервирование.

2. Рассмотрены информационная избыточность сообщений в структуре волокон ИН и межнейронных связей ИНС и методы информационного резервирования. Разработаны модели многофункциональных двухслойных нейромоду-лей с использованием методов структурно-информационного резервирования и адаптивными выходными ИН. Показано, что такие схемы могут обеспечить более высокие показатели надежности в сравнении с логически эквивалентными одиночными многофункциональными ИН.

3. Рассмотрена функциональная избыточность ИНС как фактор их надежного функционирования. Приведены выражения для количественной оценки данного вида избыточности и определены условия ее максимизации в рамках задачи синтеза отказоустойчивых нейросетей. Предложен критерий оптимизации синтеза отказоустойчивых нейрокомпьютерных систем на базе функционально избыточных ИНС.

4. В развитие метода синтеза логически стабильных ИНС с интегральным способом адаптации в диссертации разработан метод синтеза нейронной сети с дифференцированной адаптацией, позволяющей более полно использовать имеющиеся ресурсы функциональной избыточности. Для расчета, исследования и оптимизации показателей надежности разработана вероятностная модель функционирования отказоустойчивой НКС. В рамках данной модели определены условия и решены задачи повышения надежности функционирования НКС.

5. Рассмотрены принципы функционирования отказоустойчивых НКС с периодическим и непрерывным режимами контроля работоспособности ИНС. Сформулирован критерий рационального выбора режима контроля работоспособности. На основе рассмотренных принципов работы систем построены базовые вероятностные модели функционирования НКС. Для НКС с непрерывным контролем работоспособности ИНС рассмотрено влияние двух видов отказов устройства контроля на характеристики готовности системы.

6. Рассмотрены задачи исследования и расчета функции готовности ней-росистем при выполнении процедур настройки (обучения) и адаптации (дообучения, переобучения) ИНС в процессе функционирования НКС. Построены модели для исследования готовности нейросетей в процессе обучения с линейной последовательностью выполняемых процедур при абсолютно надежной и ненадежной системе настройки, а также модель функционирования при диагностике и восстановлении после различных типов отказов. Решена задача расчета времени дообучения и тренировки нейронной сети НКС, минимизирующего вероятность отказа системы в процессе выполнения задания.

7. Предложены математические модели для расчета и исследования показателей надежности структурно однородных ИНС с замещением отказавших нейронных блоков резервными. Поставлены и решены задачи оптимального резервирования рассматриваемых ИНС, максимизирующего среднее время работы сети до отказа, и оптимального резервирования, максимизирующего вероятность безотказной работы ИНС, при постоянных во времени интенсивностях отказов и восстановления нейронных блоков. Приведены алгоритмы решения указанных задач на ПЭВМ.

8. Предложен способ решения задачи оптимального резервирования структурно однородной «стареющей» ИНС. Приведены алгоритмы решения задач оптимального резервирования «стареющей» ИНС, максимизирующего вероятность ее безотказной работы, и оптимального резервирования «стареющей» ИНС, максимизирующего среднее время ее работы до отказа, при заданных условиях и ограничениях. Поставлены и решены задачи о минимальной избыточности «стареющей» ИНС, обеспечивающей системе показатели надежности не ниже заданных. Приведены алгоритмы для машинного решения данных задач. Поставлена и решена задача оптимизации восстановления «стареющей» ИНС, решение которой оформлено в виде алгоритма, реализуемого на ПЭВМ.

9. Для расчета показателей надежности и решения задач оптимизации резервирования «нестареющих» и «стареющих» струюурно однородных ИНС построены вероятностные модели их функционирования с учетом отказов системы контроля и адаптации, временных затрат на процедуры дообучения (переобучения), ограниченного замещения отказавших нейронных блоков в рамках общего резерва. Поставлена задача сравнения двух способов замещения отказавших нейронных блоков ИНС по значениям показателей надежности. Показано, что решение данной задачи сводится к расчету интенсивностей переходов системы в работоспособные состояния. Приведены вероятностная модель функционирования и решение задачи нахождения в рамках заданных параметров и ограничений условий для функций восстановления «стареющих» подсетей ИНС, гарантирующих системе среднее время работы до отказа не ниже заданного.

10. Для «стареющих» многослойных многовыходных структурно однородных ИНС с замещением отказавших нейронных блоков резервными поставлены и решены задачи оптимального динамического распределения резерва, максимизирующего вероятность безотказной работы рассматриваемых ИНС. Приведены алгоритмы для машинного решения данных задач.

11. На основе методов теоретико-игрового моделирования поставлена и решена задача оптимального динамического резервирования «стареющей» многослойной многовыходной структурно однородной искусственной нейронной сети в конфликтной ситуации. Приведен алгоритм для решения данной задачи на ПЭВМ. Поставлены и решены задачи оптимизаций резервирования рассматриваемой «стареющей» ИНС нейрокомпьютерной системы в условиях игры (конфликта) с «природой». Решения задач доведены до алгоритмов, реализуемых на ПЭВМ.

12. В развитие и дополнение теоретико-игровых постановок и решений задач оптимизации резервирования нейронных сетей поставлена и решена зада-

ча исследования и оптимизации поведения двух нейрокомпьютерных систем в условиях антагонистического противоборства. Для решения задачи противоборства двух НКС приведен алгоритм, реализуемый на современных ПЭВМ.

13. Приведены вероятностные модели для исследования показателей надежности функционирования нейрокомпьютерных систем с временным резервированием при нарушениях работоспособности ИНС, не обесценивающих или обесценивающих наработку, и выражения для машинного расчета показателей надежности рассматриваемых систем.

14. Сформулированы условия для определения в рамках заданных ограничений минимального числа подсетей ИНС, необходимого для достижения НКС с временным резервированием требуемого уровня надежности. Поставлена и решена задача о нахождении временной избыточности, гарантирующей НКС заданную надежность при различных способах введения временного резервирования в процесс функционирования системы с учетом соответствующих затрат и ограничений.

15. Рассмотрены модели функционирования НКС с учетом введения временной избыточности для устранения последствий отказов, обесценивающих наработку. Поставлена и решена задача о выборе режима контроля работоспособности нейросети НКС с обесценивающими отказами. Рассмотрены две модели нейрокомпьютерных систем, отличающихся реализацией контроля правильности выполнения задания, с введением в процесс>их функционирования временной избыточности для устранения последствий сбоев в работе нейросетей. Разработан алгоритм решения задачи максимизации вероятности безотказного функционирования НКС в рамках заданных условий и ограничений.

Перечень основных публикаций по материалам диссертации Монографии

1. Потапов, И.В. Надежность нейрокомпьютерных систем. Модели и задачи / И.В. Потапов. - Омск: Изд-во ОмГТУ, 2007. - 240 с.

2. Потапов, В.И. Теоретические основы диагностики и оптимизации надежности искусственных нейронных сетей / В.И. Потапов, И.В. Потапов. -Омск: Изд-во ОмГТУ, 2004. - 152 с.

3. Потапов, В.И. Математические модели, методы и алгоритмы оптимизации надежности и технической диагностики искусственных нейронных сетей / В.И. Потапов, И.В. Потапов. - Омск: Изд-во ОГУП Омская областная типография, 2004. - 220 с.

Статьи в журналах, рекомендованных ВАК

4. Потапов, И.В. Модели отказоустойчивых многофункциональных ней-ромодулей с информационно-структурным резервированием / И.В. Потапов // Нейрокомпьютеры: разработка, применение. - 2008. - № 9. - С. 3-9.

5. Потапов, И.В. Комплекс программного обеспечения для оптимизации надежности однородных нейронных структур / И.В. Потапов // Программные продукты и системы. - 2008. - № 1 (81). - С. 90-92.

6. Потапов, И.В. Методика анализа надежности резервированной искусственной нейронной сети / И.В. Потапов // Изв. вузов. Приборостроение. - 2007. -Т. 50. -№1.- С. 26-30.

7. Потапов, И.В. Информационная избыточность искусственных нейронов и нейронных сетей как фактор их надежного функционирования / И.В. Потапов // Омский научный вестник. Серия Приборы, машины и технологии. - 2006. -№10(48).-С. 153-157.

8. Потапов, И.В. Резервирование «стареющей» искусственной нейронной сети в условиях игры с «природой» / И.В, Потапов // Надежность. - 2006. - № 4. -С. 3-10.

9. Потапов, И.В. Две модели нейрокомпыотерных систем с временной избыточностью / И.В. Потапов // Нейрокомпьютеры: разработка, применение. -2006.-№ 10.-С. 16-21.

Ю.Потапов, И.В. Вычисление функциональной готовности нейрокомпь-ютерной системы при настройке и восстановлении после отказов / И.В. Потапов // Омский научный вестник. - 2006. - № 3(36). - С. 129-132.

П.Потапов, И.В. Расчет показателей надежности резервированных искусственных нейронных сетей с учетом случайного времени восстановления работоспособности / И.В. Потапов // Вестник ТГУ. Приложение. - 2006. - № 18. -С. 106-110.

12. Потапов, И.В. Новый подход к оценке надежности нейрокомпыотерных систем с временной избыточностью / И.В. Потапов // Омский научный вестник. - 2006.-№ 1(34).-С. 148-151.

13. Потапов, И.В. Решение задачи оптимального динамического распределения резерва «стареющей» искусственной нейронной сети в конфликтной ситуации / И.В. Потапов И Нейрокомпьютеры: разработка, применение. - 2006. -Ns3.-C.3-8.

14. Потапов, И.В. Математические модели для решения задач оптимального резервирования однородных адаптивных искусственных нейронных сетей с ненадежным устройством контроля и адаптации / И.В. Потапов // Известия вузов. Северокавк. регион. Технические науки. Приложение. -2005. -№ 4. - С. 8-11.

15. Потапов, И.В. Решение задач оптимизации надежности аппаратурно-избыточных отказоустойчивых однородных искусственных нейронных сетей / И.В. Потапов // Известия вузов. Северокавк. регион. Технические науки. - 2005. -№ 4.-С. 24-26.

16. Потапов, И.В. О готовности и средней готовности нейрокомпьютерной системы с ненадежным устройством контроля работы искусственной нейронной сети / И.В. Потапов // Известия вузов. Северокавк. регион. Технические науки. Прил. - 2005. - № 3. - С. 34-37.

17. Потапов, В.И. Противоборство (дифференциальная игра) двух нейро-компьютерных систем / В.И. Потапов, И.В. Потапов // Информационные технологии. - 2005.-№ 8. - С. 53-57.

18. Потапов, В.И. Оптимизация функциональной надежности избыточной восстанавливаемой после отказов нейронов «стареющей» искусственной нейронной сети / В.И. Потапов, И.В. Потапов // Информационные технологии. -2004.-№ 12.-С. 32-37. .

Публикации в других изданиях

19. Потапов, И.В. Предпосылки к созданию прикладной теории надежности искусственных нейронных сетей и нейрокомпьютерных систем / И.В. Потапов; Омский гос. техн. ун-т. - Омск, 2009. - 39 с. - Деп. в ВИНИТИ 17.02.09, № 79-В2009.

20. Потапов, И.В. Исследование и оптимизация надежности нейрокомпьютерных систем в конфликтных ситуациях / И.В. Потапов // Вестник ТГУ. Управление, вычислительная техника и информатика. - 2008. - № 4(5). - С. 69-73.

21. Потапов, И.В. Метод адаптации искусственной нейронной сети к отказам компонентов / И.В. Потапов // Информационные технологии и математическое моделирование (ИТММ-2008): Материалы VII Всерос. науч.-практ. конф. с междунар. участием (Анжеро-Судженск, 14-15 ноября 2008 г.). - Томск: Изд-во Том. ун-та, 2008. - Ч. 1. - С. 97-102.

22. Потапов, И.В. Расчет времени дообучения и тренировки нейронных сетей высоконадежных систем длительного автономного функционирования / И.В. Потапов // Нейроинформатика, ее приложения и анализ данных: Материалы XVI Всерос. семинара (Красноярск, 19-21 сентября 2008 г.). - Красноярск: ИВМ СО РАН, 2008. - С. 109-112.

23. Потапов, И.В. Контроль работоспособности нейронной сети нейро-компьютерной системы с временной избыточностью / И.В. Потапов // Динамика систем, механизмов и машин: Материалы VI Междунар. науч.-техн. конф. (Омск, 13-15 ноября 2007 г.). - Омск: ОмГТУ, 2007. - Кн. 1. - С. 215-218.

24. Потапов, И.В. Решение задач оптимизации надежности однородных нейронных структур на ПЭВМ / И.В. Потапов // Природные и интеллектуальные ресурсы Сибири: Докл. 13-й Междунар. науч.-практ. конф. (Кемерово, 1-3 октября 2007 г.) - Томск: САН ВШ; Изд-во «В-Спектр», 2007. - С. 265-268.

25. Потапов, И.В. Информационная избыточность сообщений в структуре нейронных сетей и методы информационного резервирования / И.В. Потапов // Нейроинформатика, ее приложения и анализ данных: Материалы XV Всерос. семинара (Красноярск, 5-7 октября 2007 г.). - Красноярск: ИВМ СО РАН, 2007.-С. 174-177.

26. Потапов, И.В. Выбор режима контроля работоспособности нейроком-пьютерной системы / И.В. Потапов // Искусственный интеллект. Интеллектуальные и многопроцессорные системы: Материалы Седьмой Междунар. науч.-

техн. конф. (пос. Кацивели, Крым, Украина, 25-30 сент. 2006 г.). - Таганрог: Изд-во ТРТУ, 2006. - Т. 2. - С. 227-229.

27. Потапов, И.В. Отказоустойчивые нейрокомпьютерные системы с временной избыточностью / И.В. Потапов // Нейроинформатика и ее приложения: Материалы XIV Всерос. семинара (Красноярск, 6-8 октября 2006 г.). - Красноярск: ИВМ СО РАН, 2006. - С. 75-76.

28. Потапов, И.В. Исследование надежности нейрокомпьютерных систем с временной избыточностью / И.В. Потапов // Природные и интеллектуальные ресурсы Сибири: Доклады 12-й Междунар. науч.-практ. конф. (Тюмень, 2-4 октября 2006 г.). - Томск: САН ВШ; изд-во «В-Спектр», 2006. - С. 317-320.

29. Потапов, В.И. Синтез адаптивных избыточных искусственных нейронных сетей, функционально устойчивых к отказам нейронов / В.И. Потапов, И.В. Потапов//Вестник СО АН ВШ.-№ 1(9).-2005.-С. 153-163.

30. Потапов, И.В. О надежности нейрокомпьютерных систем с временной избыточностью / И.В. Потапов // Информационные технологии и математическое моделирование: (ИТММ-2005): Материалы IV Всерос. науч.-практ. конф. (Анжеро-Судженск, 18-19 ноября 2005 г.). - Томск: Изд-во ТГУ, 2005. - 4.1. -С. 58-60.

31. Потапов, И.В. О средней готовности нейрокомпьютерной системы с ненадежным и абсолютно надежным устройством непрерывного, контроля / И.В. Потапов // Военная техника, вооружение и технологии двойного применения: Материалы III междунар. технологического конгресса (Омск, 7-10 июня 2005 г.). - Омск: ОмГТУ, 2005. - Ч. 2. - С. 101-103.

32. Потапов, И.В. Задачи оптимизации надежности адаптивных к отказам искусственных нейронных сетей / И.В. Потапов // Интеллектуальные и многопроцессорные системы-2005: Материалы Междунар. науч.-техн. конф. (Геленджик, 26 сент. - 1 окт. 2005 г.). - Таганрог: Изд-во ТРТУ, 2005. - Т. 2. -С. 233-235.

33. Потапов, В.И. Численное решение задачи оптимизации восстановления после отказов адаптивной избыточной «стареющей» искусственной нейронной сети / В.И. Потапов, И.В. Потапов // Природные и интеллектуальные ресурсы Сибири: Докл. 11-й Междунар. науч.-практ. конф. (Барнаул, 26-28 сентября 2005 г.). - Томск: Том. гос. ун-т, 2005. - С. 240-243.

34. Потапов, И.В. Временная избыточность - важный фактор повышения функциональной надежности нейрокомпьютерной системы / И.В. Потапов // Военная техника, вооружение и технологии двойного применения: Материалы III междунар. технологического конгресса (Омск, 7-10 июня 2005 г.). - Омск: ОмГТУ, 2005. - Ч. 2. - С. 103-105.

35. Потапов, И.В. Логическая избыточность и функциональная устойчивость искусственных нейронных сетей / И.В. Потапов И Динамика систем, механизмов и машин: Материалы V Междунар. науч.-техн. конф. (Омск, 16—18 ноября 2004 г.). - Омск: Изд-во ОмГТУ, 2004. - Кн. 1. - С. 401-403.

36. Потапов, В.И. Разработка алгоритмов решения задачи о минимальной избыточности, гарантирующей требуемую надежность «стареющей» искусст-

венной сети нейрокомпьютера / В.И. Потапов, И.В. Потапов // Актуальные проблемы электронного приборостроения АПЭП-2004: Материалы VH Междунар. науч.-техн. конф. (Новосибирск, 21-24 сентября 2004 г.). - Новосибирск, 2004. -Т. 6.-С.319-321.

37. Потапов, В.И. Задачи оптимизации восстановления после отказов и максимизации среднего времени «жизни» «стареющих» отказоустойчивых ней-рокомпьютерных систем на базе функционально устойчивых нейронных сетей /

B.И. Потапов, И.В. Потапов // Природные и интеллектуальные ресурсы Сибири: Докл. 10-й Междунар. науч.-практ. конф. (Новосибирск, 5-6 октября 2004 г.). -Томск: ТГУ, 2004. - С. 268-271.

38. Потапов, В.И. Две задачи оптимизации надежности «стареющих» нейрокомпьютеров с динамическим резервированием нейронных сетей / В.И. Потапов, И.В. Потапов // Проблемы разработки, изготовления и эксплуатации ракетно-космической и авиационной техники: Материалы первой региональной науч. конф., посвященной памяти главного конструктора ПО «Полет» A.C. Клиныш-кова (Омск, 14-15 апреля 2004 г.). - Омск, 2004. - С. 164-168.

39. Потапов, В.И. Оптимизация функциональной надежности «стареющих» искусственных сетей нейрокомпьютеров с динамическим резервированием / В.И. Потапов, И.В. Потапов // Доклады АН ВШ России. - 2004. - № 2 (3). -

C. 76-81.

40. Потапов, В.И. Оптимизация функциональной надежности искусственных нейронных сетей нейрокомпьютеров / В.И. Потапов, И.В. Потапов // Развитие оборонно-промышленного комплекса на современном этапе: Материалы науч.-техн. конф. (Омск, 4-6 июня 2003 г.) - Омск: ОмГТУ, 2003. - Ч. 1. -С. 131-133.

41. Потапов, В.И. Решение задачи оптимального резервирования «стареющей» адаптивной искусственной нейронной сети / В.И. Потапов, И.В. Потапов // Доклады СО АН ВШ. - 2003. - № 1(7). - С. 35-43.

42. Потапов, И.В. Решение задачи оптимального резервирования однородной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными при пуассоновском потоке отказов / И.В. Потапов // Омский научный вестник. - 2002. - Вып. 20. - С. 146-148.

43. Потапов, В.И. Направления и результаты исследований искусственных нейронов и искусственных нейронных сетей на кафедре информатики и вычислительной техники ОмГТУ / В.И. Потапов, И.В. Потапов // Природные и интеллектуальные ресурсы Сибири: Докл. ¥Ш междунар. науч.-практ. конф. (Кемерово, 26-27 сент. 2002 г,). - Томск: ТГУ, 2002. - Ч. 2. - С. 162-165.

44. Потапов, В.И. Математическая модель адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными / В.И. Потапов, И.В. Потапов // Омский научный вестник. - 2002. - Вып. 18, - С. 135-138.

45. Потапов, В.И., О логической избыточности функционально устойчивых сетей искусственных нейронов / В.И. Потапов, И.В. Потапов // Омский научный вестник. - 2001. - Вып. 15. - С. 90-91.

46. Потапов, И.В. Повышение функциональной надежности и среднего времени безотказной работы искусственной нейронной сети для обработки изображений и распознавания образов / И.В. Потапов // Современные технологии при создании продукции военного и гражданского назначения: Сб. докл. техно-логич. конгресса (Омск, 5-9 июня 2001 г.). - Омск, 2001. - Ч. 1. - С. 324-327.

Свидетельство о регистрации ПО

1. Потапов, И.В. Программное обеспечение для исследования и оптимизации надежности однородных нейронных структур (ОФАП № 10518) / И.В. Потапов, М.В. Кузин // М.: ОФАП ФГНУ «ГКЦИТ», 2008. - № 50200800878.

Печатается в авторской редакции

ИД №06039 от 12.10.2001

Подписано в печать 26.07.10. Формат 60x84 V«. Отпечатано на дупликагоре. Бумага офсетная. Усл. печ. л. 2,25. Уч.-изд. л. 2,25. Тираж 100 экз. Заказ 508.

Издательство ОмГТУ. Омск, пр. Мира, 11, т. 23-02-12 Типография ОмГТУ

СПИСОК ОСНОВНЫХ СОКРАЩЕНИЙ.

ВВЕДЕНИЕ.

1 ИСКУССТВЕННЫЕ НЕЙРОНЫ, НЕЙРОННЫЕ СЕТИ И МНОГОФУНКЦИОНАЛЬНЫЕ НЕЙРОННЫЕ МОДУЛИ.

1.1 Искусственные нейронные сети как объект исследования.

1.2 Многофункциональные ИН с пороговой функцией активации.

1.2.1 Модели пороговых ИН без пресинаптического взаимодействия волокон.

1.2.2. Модели нейронов с пресинаптическим взаимодействием волокон.

1.3 Информационная избыточность в структуре нейронных сетей.

1.3.1 Информационная избыточность в структуре ИН.

1.3.2 Информационная избыточность и отказоустойчивость ИНС.

1.3.3 Модель надежной сети ненадежных ИН.

1.4 Разработка моделей отказоустойчивых многофункциональных нейромо-дулей с информационно-структурным резервированием.

1.4.1 Модели с использованием информационного резервирования.

1.4.2 Модель с использованием адаптивного выходного ИН.

1.4.3 Модель с полным использованием имеющейся структурно-информационной избыточности.

1.4.4 Заключительные замечания.

Выводы к главе 1.

2 СИНТЕЗ ФУНКЦИОНАЛЬНО ИЗБЫТОЧНЫХ ИНС, УСТОЙЧИВЫХ К ОТКАЗАМ КОМПОНЕНТОВ.

2.1 Функциональная избыточность и критерий оптимизации синтеза отказоустойчивых ИНС.

2.1.1 Функциональная избыточность ИНС.

2.1.2 Критерий оптимизации структурного синтеза ИНС отказоустойчивой нейрокомпьютерной системы.

2.2 Синтез отказоустойчивых адаптивных ИНС.

2.2.1 Синтез логически стабильных ИНС.

2.2.2 Синтез ИНС с дифференцированным принципом адаптации к отказам.

2.3 Повышение надежности адаптивных функционально избыточных нейронных сетей.

2.3.1 Вероятностная модель для расчета показателей надежности.

2.3.2 Минимизация процесса адаптации логически стабильных ИНС к отказам нейронов.

2.3.3 Эффективное использование функциональной избыточности.

2.4 Примеры.

2.4.1 Пример 1.

2.4.2 Пример 2.

2.5 Заключительные замечания.

Выводы к главе 2.

3 ГОТОВНОСТЬ НЕЙРОКОМПЬЮТЕРНЫХ СИСТЕМ.

3.1 Выбор режима контроля работоспособности ИНС ОНКС.

3.1.1 Общий подход к выбору режима контроля работоспособности.

3.1.2 Готовность ИКС для двух частных моделей контроля работоспособности.

3.2 Влияние отказов СКА на готовность ОЬЖС с непрерывным контролем работоспособности.

3.3 Готовность нейрокомпьютерной системы при настройке и восстановлении ИНС.

3.3.1 Готовность нейрокомпьютерной системы с абсолютно надежной системой настройки.

3.3.2 Готовность нейрокомпьютерной системы с ненадежной системой настройки.

3.4 Готовность нейрокомпьютерной системы при диагностике и восстановлении после различных типов отказов.

3.5 Повышение готовности НКС длительного автономного функционирования.

Выводы к главе 3.

4 ЗАДАЧИ ОПТИМИЗАЦИИ СТРУКТУРНОГО РЕЗЕРВИРОВАНИЯ НЕЙРОННЫХ СЕТЕЙ НЕЙРОКОМПЬЮТЕРНЫХ СИСТЕМ.

4.1 Базовая архитектура ИНС нейрокомпьютерных систем.

4.2 Вероятностная модель функционирования адаптивной однородной ИНС нейрокомпьютерной системы.

4.3 Решение задачи оптимального резервирования адаптивной однородной ИНС нейрокомпьютерной системы.

4.3.1 Решение задачи оптимального резервирования, максимизирующего среднее время работы до отказа адаптивной ИНС при восстановлении отказавших нейронных блоков.

4.3.2 Решение задачи оптимального резервирования, максимизирующего вероятность безотказной работы адаптивной ИНС при восстановлении отказавших нейронных блоков.

4.4 Решение задач оптимального резервирования «стареющей» адаптивной ИНС нейрокомпьютерной системы.

4.4.1 Решение задачи оптимизации вероятности безотказной работы адаптивной «стареющей» ИНС.

4.4.2 Решение задачи оптимизации среднего времени работы до отказа адаптивной «стареющей» ИНС.

4.4.3 Задачи нахождения минимальной избыточности, гарантирующей требуемую надежность «стареющей» ИНС.

4.5 Решение задачи оптимального восстановления «стареющей» адаптивной ИНС.

Выводы к главе 4.

5 РАЗВИТИЕ МОДЕЛЕЙ И ЗАДАЧ ОПТИМИЗАЦИИ СТРУКТУРНОГО РЕЗЕРВИРОВАНИЯ ОДНОРОДНЫХ ИНС ШИРОКОМ ПЫОТЕРНЫ X СИСТЕМ.

5.1 Модели для решения задач оптимального резервирования однородных адаптивных ИНС с ненадежным устройством контроля и адаптации.

5.2 Вероятностные модели функционирования однородных ИНС с дообучением после отказов.

5.2.1 Модель функционирования ИНС, дообучаемой после замещения отказавших нейронных блоков.

5.2.2 Модель функционирования «стареющей» дообучаемой после отказов ИНС.

5.2.3 Модель функционирования дообучаемой самовосстанавливаемой ИНС.

5.3 Вероятностные модели функционирования ИНС с общим резервом и ограниченным замещением отказавших нейронных блоков резервными.

5.3.1 Вероятностная модель функционирования адаптивной ИНС с общим резервом и ограниченным замещением.

5.3.2 Сравнение двух способов замещения отказавших нейронных блоков ИНС нейрокомпьютерных систем.

5.4 Функции восстановления «стареющих» подсетей ИНС, гарантирующие требуемое среднее время «жизни» НКС.

Выводы к главе 5.

6 ДИНАМИЧЕСКОЕ РЕЗЕРВИРОВАНИЕ И ТЕОРЕТИКО-ИГРОВОЕ МОДЕЛИРОВАНИЕ КОНФЛИКТОВ И ПРОТИВОБОРСТВА ИНС НЕЙРОКОМПЬЮТЕРНЫХ СИСТЕМ.

6.1 Оптимизация функциональной надежности «стареющих» искусственных нейронных сетей с динамическим резервированием.

6.1.1 Задача оптимизации динамического резервирования «стареющей» ИНС при заданном векторе моментов настройки.

6.1.2 Обобщенная задача оптимизации динамического резервирования «стареющей» ИНС нейрокомпьютерной системы.

6.2 Задача оптимального динамического распределения резерва «стареющей» ИНС в конфликтной ситуации.

6.2.1 Дифференциальная игра «стареющей» ИНС.

6.2.2 Решение многошаговой матричной игры.

6.3 Резервирование «стареющей» ИНС нейрокомпьютерной системы в условиях игры с «природой».

6.3.1 Обобщенная постановка задачи.

6.3.2 Игра с «природой» при постоянных вероятностях состояний.

6.3.3 Игра с «природой» при переменных вероятностях состояний.

6.4 Противоборство двух нейрокомпьютерных систем.

6.4.1 Постановка задачи противоборства.

6.4.2 Решение задачи противоборства двух НКС.

Выводы к главе 6.

7 НАДЕЖНОСТЬ НЕЙРОКОМПЬЮТЕРНЫХ СИСТЕМ С ВРЕМЕННОЙ ИЗБЫТОЧНОСТЬЮ.

7.1 Надежность НКС при нарушениях работоспособности, не обесценивающих наработку.

7.1.1 Вероятностная модель функционирования НКС с временной избыточностью

7.1.2 Расчет показателей надежности НКС с временной избыточностью для частных видов распределений времени безотказной работы и времени восстановления.

7.1.3 Увеличение производительности как способ повышения надежности НКС с временной избыточностью.

7.1.4 Временная избыточность, гарантирующая НКС заданную надежность

7.1.5 Совместное использование в НКС аппаратурного и временного резервирования.

7.2 Надежность НКС при нарушениях работоспособности, обесценивающих наработку.

7.2.1 Вероятностная модель функционирования НКС с обесценивающими отказами.

7.2.2 Модель отказоустойчивой НКС с временной избыточностью

7.2.3 Выбор режима контроля работоспособности ИНС нейрокомпьютерной системы.

7.2.4 Модели НКС с использованием временной избыточности для устранения последствий сбоев.

7.2.5 Выбор модели НКС при постоянных интенсивностях сбоев.

Выводы к главе 7.

Теория искусственных нейронных сетей (ИНС) благодаря фундаментальным работам зарубежных исследователей У. Мак-Каллока, У. Питтса, Ф. Розенблатта, М. Минского, Б. Уидроу, Т. Кохонена, Д. Хопфилда, С. Гроссберга [1-15], а также советских и российских ученых И.Б. Гутчина, A.C. Кузичева, Н.В. Позина, С.О. Мкртчяна, Н.М. Амосова, А.И. Галушкина, А.Н. Горбаня [16-24] и др. [25-40] получила широкое развитие. При этом основные направления исследований были связаны с разработкой моделей искусственных нейронов (ИН), изучением структуры и свойств различных моделей нейронных сетей, их обучением (настройкой) для решения поставленных задач и проектированием нейрокомпьютерных систем (НКС) на их основе. В- настоящее время нейросетевая тематика стала междисциплинарной и. породила новые научные направления, такие как нейроинформатика, нейро-математика [36, 37] и др. В нашей стране и за рубежом издано большое количество монографий и учебников, посвященных основам и развитию теории ИНС и НКС, рассчитанных на максимально широкий круг читателей, например, [41-48].

Нейронные сети и нейрокомпьютеры в настоящее время находят применение для решения задач практически во всех областях научно-исследовательской и инженерной деятельности [49]: в авиации и космической технике, энергетике (в т.ч. атомной), химической, электронной и нефтегазодобывающей отраслях промышленности, военной технике и системах двойного применения, в управлении роботами, станками и технологическими процессами, в системах обработки изображений, сигналов и данных, вычислительных системах и др. [50-64].

Одним из наиболее популярных инструментов для проведения исследований свойств нейронных сетей и решения различных прикладных задач являются так называемые нейроимитаторы, предназначенные для моделирования процессов обучения и функционирования ИНС и НКС на ПЭВМ [65]. Однако в настоящее время в России и за рубежом особое внимание уделяется вопросам аппаратной реализации ИНС и нейрокомпьютеров, о чем свидетельствует большое количество научных публикаций.

Так, например, в работе [66] описана модель нейрона, рассмотрены структурная схема ИН и- структура нейровычислителя на базе нейронной сети. Для изготовления нейрочипов выбрана технология полузаказных СБИС. Работа [67] посвящена реализации нейросетевых моделей с использованием высокопроизводительных программируемых матриц. Показана эффективность такой реализации для обеспечения массового параллелизма вычислений и синтеза систем с переменной структурой. В [68] рассматриваются методы построения специализированных оптоэлектронных вычислителей и схемы вычисления вектор-матричных перемножений для аппаратной реализации многослойных нейросетей, а в [69] обсуждаются способы использования? аналогово-цифровых технических решений для-упрощения конструкции-нейросетевых электронных устройств, применяемых в технических системах управления и обработки информации. В статье [70] описаны два способа реализации ИНС на элементной базе ПЛИС. Обсуждаются их преимущества и недостатки.

Известно также большое количество работ, посвященных описанию разработки и вопросам исследования свойств и применения однокристальных процессоров семейства №игоМа1т1х, разработанных в НТЦ'«Модуль». В качестве примера можно привести работы [71—74], в которых рассматриваются особенности архитектуры процессора №игоМайх ЫМ6403, в т.ч. векторного сопроцессора, являющегося основным вычислительным узлом, особенности применения данного микропроцессора для эмуляции нейронных сетей, способы построения высокопроизводительных многопроцессорных нейроускорителей на его базе, вопросы живучести систем на основе процессоров данного семейства.

Развитие микроэлектронных технологий и появление новых принципов распараллеливания алгоритмов решения задач стало основой для проектирования нейрокомпьютеров в виде СБИС, поскольку реализация ИНС на пластине отвечает требованиям глобальной интеллектуальной системы [75] — специализированной нейрокомпьютерной системы, состоящей из нейрочипов и системы контроля и управления. Разработкой нейрочипов занимаются мировые лидеры в области электроники и вычислительной техники, такие как Intel, Texas Instruments, IBM, Bell, Hitachi, Toshiba, Mitsubishi и др., а также лаборатории и университеты [76]. Среди работ по данной тематике можно выделить [77] о проектировании нейронной сети с использованием нанотех-нологий, статью об аппаратной реализации на КМОП-СБИС сигмоидных функций активации нейронов и их производных [78] и ряд других публикаций, например, [79], в которой рассматривается подход к созданию нейро-БИС с высокой плотностью компоновки и даны сравнительные характеристики аппаратно реализованных нейросетей на основе программируемой логики известных зарубежных производителей, [80], посвященную описанию нейропроцессорного комплекта* СБИС для построения перестраиваемых нейг ронных сетей, и работы [81, 82], также посвященные вопросам реализации нейрочипов и нейросистем на пластинах.

Известно, что искусственные нейронные сети в первую очередь предназначены для решения специфических, трудно формализуемых задач (также возможно применение ИНС для решения формализуемых задач вместо'традиционных фон-неймановских вычислителей [83]), что дает основания предполагать высокую эффективность использования нейрокомпьютеров в так называемых системах специального (двойного) назначения. В настоящее время в связи с бурным развитием информационных технологий можно ожидать появления новых сверхмощных универсальных нейровычислительных комплексов и систем, способных выполнять большие объемы вычислительных работ в реальном масштабе времени [49, 76].

Стремительное развитие нейрокомпьютерных технологий приводит к появлению научных проблем и задач, системному решению которых ранее уделялось недостаточно внимания. Одной из таких проблем является отсутствие комплексного подхода в анализе и разработке базовых принципов организации отказоустойчивых нейровычислительных структур, а также построении математических моделей, разработке методов, постановке и решении задач обеспечения и повышения надежности функционирования ИНС и НКС.

Необходимость исследования надежности нейронных сетей и нейрокомпьютерных систем отмечают ведущие специалисты в области нейроин-форматики и нейрокомпьютеров. Например, А.Н. Горбань в статье [84] прямо указывает на то, что «должна возникнуть новая область: «теория надежности искусственных нейронных сетей»1. По мнению А.И. Галушкина исследование надежности нейронных сетей при всей его значимости находится на начальной стадии [22]. В связи со структурной сложностью нейровычислительных систем особую важность имеет проблема разработки математических моделей и построения необходимого аппарата для исследования и оптимизации показателей надежности ИНС и НКС. Это-мнение разделяют и другие ученые, полагая, что решение данных проблем окажет существенное влияние на создание высоконадежных ИНС и нейрокомпьютеров на основе принципиально новых технологий, включая нанотехнологии, что существенно повысит эффективность их использования в системах специального назначения.

Изучение отечественных и зарубежных открытых источников информации, посвященных вопросам надежности искусственных нейронных сетей, показало, что интерес к данной проблеме возрастает и носит многоплановый характер. В этой связи возникает необходимость рассмотрения широкого

1 Справедливости ради отметим, что, судя по контексту, под термином «надежность» А.Н. Горбань скорее имел ввиду точность, достоверность, правдоподобие. Однако это не снижает важности приведенной цитаты. спектра научных работ в области исследования и обеспечения отказоустойчивости ИНС.

Известно; что функциональная надежность биологических нейронных сетей очень высокая [85-88]. Это свойство уже на ранних стадиях изучения, возможностей искусственных нейронных сетей: привлекло внимание исследователей [89, 90]; Основным результатом, этих работ, полученным на качественном уровне, было установление факта логической избыточности рассматриваемых нейронных сетей, благодаря которой отказы некоторых элементов сети (нейронов) не вызывают появления ошибки на выходе.

Дальнейшие исследования надежностных свойств искусственных нейронных сетей с учетом их структурно-функциональной: избыточности и логической гибкости ИН проводились в работах [16, 18].

По-видимому, одной из; первых попыток аналитического исследования-надежности искусственных нейронных сетей явилась работа [91]. Результаты исследования; надежностных свойств простейших двухслойных (двухранго-вых) ИНС методами математического моделирования при: ограниченном числе отказов нейронов показали, что нейронные сети; адаптивные к отказам ИН, могут быть более надежными, чем мажоритарные модули, реализующие* те же функции [92].

В развитие указанных выше работ на основе функционально устойчивых ИНС были созданы отказоустойчивые адаптивные к отказам ;ИН нейро-компьютерные системы [93-96], качественный анализ надежности работьь которых и области предпочтительного использования приведены: в [97]. В современном представлении это были, по-видимому, первые отечественные нейрокомпьютеры, адаптивные к отказам ИН, демонстрирующие возможность повышения функциональной надежности НКС за счет логической гибкости ИНС и сочетания; в них структурно-функциональной и временной^ избыточности. •

Развитие теории нейронных сетей послужило основой для появления новых задач и новых методов их решения в области исследования надежности ИНС и НКС. Это нашло отражение в большом числе научных публикаций в России и за рубежом. Рассмотрим некоторые из них.

Большой интерес представляют работы [98-101], в которых изучаются ошибки, возникающие при технической реализации ИНС, а также при шумах и отказах в сети.

В монографиях В.Н. Лопина и И.С. Захарова [102-104] изучаются вопросы надежности, сложности и функциональной мощности иерархических однородных нейронных сетей. Основу исследований составляет специальная модель базисного нейроноподобного элемента. Рассматриваются подходы к получению количественных оценок надежности и синтезу отказоустойчивых искусственных нейронных сетей, В Т.Ч. сетей с памятью, исследуются ИНг формационные процессы в рассматриваемых однородных нейроструктурах.

Большое количество работ в области формирования общей теории помехоустойчивого кодирования в избыточной системе остаточных классов выполнено членами научной школы Н.И. Червякова [34, 35, 105-109]. Эти работы являются теоретической базой для разработки и проектирования высоконадежных непозиционных нейропроцессоров и нейровычислительных систем.

В статье [ПО] рассмотрен экспериментальный метод исследования надежности ИНС, синтезированных для задач аппроксимации функций. Показано, что применение процедур дообучения- или переобучения при отказах компонентов ИНС позволяет эффективно восстанавливать работоспособность сети.

Следует также рассмотреть некоторые представляющие интерес работы зарубежных ученых, опубликованные в отрытой печати.

В [111-113] представлены научные отчеты коллектива авторов в составе Dr. Laura L. Pullum, Dr. Marjorie A. Darrah и Brian J. Taylor (Institute for

Scientific Research, Inc.). Материалы посвящены системе проверки разработок на основе нейросетевых технологий, используемых в проектах NASA.

В статье [114] представлен вероятностный метод, основанный на самонастройке, для повышения надежности в самоорганизующихся картах; в [115] - модель отказоустойчивой нейронной сети с естественной организацией взаимосвязи нейронов посредством прямых и латеральных связей; в [116] описана методика определения надежности работы ограниченного класса специально обученных многослойных персептронов.

Исследования в области моделирования надежности нейронных сетей представлены в [117]. Публикация [118] посвящена описанию разработки помехоустойчивой пороговой логики, а в статье [119] в развитие классической работы [120] и дополнение работ [121-123] рассматриваются вопросы, связанные с задачей синтеза надежных сетей из ненадежных нейронных элементов с пороговой функцией активации.

Исследованию нейронных сетей ассоциативной памяти с неисправными соединениями посвящена работа [124]. Среди публикаций этого же автора можно дополнительно отметить, например, [125-127], также посвященные исследованию надежности ассоциативной памяти.

Известная работа [128] посвящена* изучению реакций нейронов на воздействие шумов.

Методология и набор компьютерных средств проектирования, разработанные для расчета и повышения отказоустойчивости нейронных сетей, представлены в [129].

В работах [130, 131] предложена .модель нейронной сети прямого распространения с обеспечением заданного уровня отказоустойчивости для решения прикладных задач.,

В статье [132] в развитие результатов [133] рассматриваются присущее многослойным нейросетям свойство сохранять работоспособность при отказах компонентов. Обсуждается воздействие отказов на процесс вычислений.

В [134, 135] изучаются характеристики отказоустойчивости специализированных ИНС, используемых для решения задач оптимизации. Также можно выделить еще одну работу [136], посвященную проектированию и исследованию нейронных сетей для решения оптимизационных задач, в которой для обеспечения отказоустойчивости рассматривается применение метода утроения схемы.

Публикация [137] посвящена рассмотрению специализированной методики повышения устойчивости ИНС к отказам компонентов. Задача устойчивости к отказам поставлена как задача оптимизации с ограничениями.

Для увеличения отказоустойчивости и обобщающих способностей ИНС в [138] рассматривается применение генетического алгоритма.

В научных трудах Дж. Болта [139, 140] представлены подробные отчеты об исследовании отказоустойчивости многослойных ИНС. Известны также другие публикации результатов работы этого автора, посвященные исследованию надежности нейронных сетей и решению проблем повышения их отказоустойчивости и живучести. В качестве примера можно привести работы [141, 142], дополняющие вышеупомянутые отчеты.

Большой интерес представляет статья [143], в которой рассматриваются отказоустойчивые ИНС, характеризующиеся комбинированным видом избыточности, включающем структурную и временную избыточность, а также специальную систему кодирования.

В [144] рассмотрена модель надежного искусственного нейрона.

Работа [145] посвящена методике синтеза высоконадежных ИНС. По мнению автора, данная методика позволяет повысить не только надежность нейросети, но и скорость ее обучения.

Отказоустойчивость нейронных сетей в работе [146] достигается путем применения специально разработанных методик обучения. Результаты исследования обсуждаются в ключе аппаратной реализации высоконадежных нейросетей, в т.ч. в виде СБИС.

Исследование чувствительности ИНС с пороговой функцией активации нейронов к изменению значений весов входов ИН и ошибкам во входных сигналах описано в [147]. В работе [148] исследуется влияние ошибок, порождаемых отказами компонентов, на результаты работы нейровычислитель-ных устройств. Фундаментальная работа [149] посвящена анализу чувствительности нейронной сети к ошибкам весов.

В статье [150] рассматривается взаимосвязь процедур обучения и отказоустойчивости ИНС. Авторы исследуют технику формирования устойчивости нейросетей к отказам и свойства таких сетей.

Оригинальная методика оценки отказоустойчивости нейросети с использованием методов статистической физики рассматривается в работе [151].

В работах D.S. Phatak [152, 153] представлены модели отказов и процедуры синтеза отказоустойчивых ИНС. На основе этих процедур показано, что отказоустойчивость нейронной сети напрямую зависит от избыточности, рассматриваемой в данных работах как важнейший фактор надежного функционирования ИНС. Известны также другие работы этого автора в области разработки и исследования методов повышения отказоустойчивости ИНС. В качестве примера можно привести» [154], посвященную модификации процедур обучения нейронных сетей с целью повышения их надежности, а также [155, 156], в которых рассмотрены методы введения избыточности и специального обучения.

Результаты исследования надежности ИНС с различной избыточностью отражены в [157]. В статье [158] тех же авторов представлен метод вычисления и сравнения надежности искусственных нейронных сетей.

Способы восстановления после отказов нейронов скрытого слоя сети рассматриваются в работе [159]. Исследованы различные методики переобучения ИНС и предложен метод восстановления работоспособности ИНС при отказах ИН.

Известно большое число публикаций, отражающих результаты исследований различных модификаций процедур обучения ИНС с целью повышения надежности их функционирования. В качестве примера можно привести работы [160-176], в которых обсуждаются различные подходы к обучению отказоустойчивых нейронных сетей.

Работа [177] посвящена синтезу отказоустойчивых ИНС большой размерности (в т.ч. в интегральном исполнении) с возможностями самовосстановления при отказах. Внимание авторов сосредоточено на структурной избыточности и переобучении (дообучении) нейронной сети. В качестве средства обучения ИНС рассматривается применение генетических алгоритмов. Для демонстрации возможностей самовосстановления нейронной сети разработан прототип на базе ПЛИС.

Помимо вышеназванной работы [177] и др. большое количество публикаций посвящено вопросам аппаратной реализации отказоустойчивых нейро-вычислительных систем, среди которых можно выделить работы [178-182]

Известны также работы отечественных авторов в этой области. В качестве примера можно привести работу [183], посвященную вопросам реализации отказоустойчивых нейросетевых архитектур по технологии «Систем с интеграцией на пластине» и монографию В.А. Головко [46] (а также цитируемые работы), в которой рассматриваются-вопросы структурной самоорганизации, отказоустойчивости и реализации нейронных систем на систолических процессорах.

В дополнение к названным источникам следует упомянуть работы, в которых надежность функционирования ИНС повышается за счет использования идей и методов ./V-вариантного программирования. Например, [184187].

Одной из важных задач в области создания отказоустойчивых нейро-вычислительных систем является разработка контролирующих средств и диагностических процедур, необходимых для своевременного обнаружения и устранения отказов ИНС. Необходимо построение минимальных проверяющих тестов для ИН сети и минимальных диагностических тестов, локализующих неисправности с точностью до входа-выхода. Эти задачи для пороговых элементов были в основном решены в работах [188, 189] и развиты в [190]. Вопросы технической диагностики нейронных сетей рассматривались так же в работах [22, 191, 192]. Авторы предложили свой алгоритм построения минимального теста для обнаружения отказов типа логических констант на выходах нейронов и метод адаптивной диагностики отказов в нейронных сетях.

В работах [193-195] представлена методика обнаружения отказов при аппаратной реализации ИНС. Данная методика базируется на выявлении «необычного» режима работы сети, отличающегося от режима работы без отказов. Описан алгоритм выделения не содержащих отказов подсхем. При- * ведены результаты моделирования. Большое внимание уделено'схемотехническим аспектам и возможности реализации рассматриваемой методики на практике.

Задача диагностирования технического состояния нейронной сети рассмотрена в [196]. Представлены модели и метод выявления неисправностей по поведению нейронной сети. Рассмотренный в данной работе метод может использоваться для автоматической перестройки нейронной сети путем замещения отказавших нейронов резервными.

Не вызывает сомнений, что повышение надежности функционирования нейронных сетей,и нейрокомпьютеров - актуальная задача, имеющая большое теоретическое и практическое значение [16, 18, 22, 46, 56, 84, 102-109, 183, 197-199], поскольку надежность является важным свойством современной техники [200] вследствие того, что от нее зависят такие показатели как качество, эффективность, безопасность, готовность, живучесть систем.

Из приведенного обзора, выполненного в таком объеме, по-видимому, впервые в [201], следует, что основное внимание в области изучения и повышения надежности ИНС авторами указанных в обзоре работ сосредоточено, как правило, на несистемном решении частных проблем и проводимые ими исследования зачастую имеют прикладной характер.

Таким образом, особой важностью и актуальностью характеризуются системные теоретические и практические исследования в данной области знаний, заключающиеся в обобщении известных и разработке новых математических моделей, методов и решений задач обеспечения и повышения надежности функционирования ИНС и НКС [190, 202, 203], совокупность которых отражает системный подход в исследовании надежности искусственных нейронных сетей и нейрокомпьютерных систем, что является главной целью данной диссертационной работы.

Основные задачи, поставленные и решенные в данной диссертационной работе, следующие.

1. Исследование информационной избыточности сообщений в структуре нейронов и нейронных сетей и методов введения информационного резервирования для обеспечения надежности функционирования ИНС. Разработка моделей отказоустойчивых многофункциональных нейромодулей с использованием методов информационно-структурного резервирования.

2. Исследование функциональной (логической) избыточности ИНС как фактора обеспечения отказоустойчивости в работе НКС. Развитие метода синтеза адаптивных к отказам оптимизированных функционально избыточных нейронных сетей на основе дифференцированного подхода, позволяющего эффективно использовать имеющуюся избыточность ИНС для адаптации к отказам.

3. Построение моделей и исследование методов обеспечения и повышения-готовности нейрокомпьютерных систем с учетом различных условий их функционирования и особенностей технической реализации.

4. Разработка и развитие моделей функционирования структурно избыточных нейронных сетей НКС и методов решения задач оптимизации показателей надежности избыточных структурно-однородных (в т.ч. «стареющих») ИНС нейрокомпьютерных систем с замещением отказавших нейронных блоков резервными.

5. Постановка и решение методами теоретико-игрового моделирования задач оптимизации показателей надежности избыточных структурно-однородных «стареющих» ИНС нейрокомпьютерных систем с динамическим замещением отказавших нейронных блоков резервными в конфликтных ситуациях, в т.ч. задачи противоборства двух НКС.

6. Теоретическое обоснование, разработка и исследование моделей введения в процесс функционирования1 нейрокомпьютерных систем временной избыточности (временного резервирования) как фактора повышения надежности выполнения задания с учетом различных условий работы НКС и особенностей технической реализации.

7. Обобщение и систематизация теоретических положений, моделей, методов и решений задач исследования, обеспечения и повышения надежности ИНС и НКС.

Для решения поставленных задач используются математический аппарат теории надежности, теории марковских процессов, прикладной теории информации, теории игр, вычислительной математики и компьютерное моделирование.

Научная новизна диссертационной работы заключается в следующем.

1. Исследованы информационная избыточность в структуре волокон ИН и межнейронных соединений ИНС и методы информационного резервирования. Разработаны модели отказоустойчивых многофункциональных ней-ромодулей с информационно-структурным резервированием.

2. Разработан метод синтеза оптимизированных функционально избыточных ИНС с дифференцированным способом адаптации к отказам, позволяющий эффективно использовать имеющуюся логическую избыточность ИНС в целях повышения отказоустойчивости.

3. Разработаны модели и даны решения задач исследования и повышения готовности нейрокомпьютерных систем с учетом различных условий их функционирования и особенностей технической реализации.

4. Построены базовые модели; поставлены и решены задачи оптимизации показателей надежности, структурно-однородных «нестареющих» и «стареющих» ИНС нейрокомпьютерных систем с замещением отказавших нейронных блоков резервными. Решения задач доведены до алгоритмов, реализуемых на современных ПЭВМ:

5. Построены вероятностные модели, развивающие и дополняющие базовые модели функционирования структурно однородных «нестареющих» и «стареющих» ИНС, с учетом отказов системы контроля и адаптации, временных затрат на. процедуры дообучения (переобучения), ограниченного замещения в рамках общего резерва.

6. Поставлены и решены-задачи оптимизации динамического резервирования структурно-однородных «стареющих» ИНС нейрокомпьютерных систем. Методами: теоретико-игрового моделирования решены задачи? оптимизации резервирования «стареющих» ИНС в конфликтных ситуациях. Поставлена ирешена задача исследования противоборства двух НКС1 •

7. Поставлены и решены задачи исследования и повышения эффективности применения методов временного резервирования процесса функционирования (выполнения задания) ИКС, т.е. введения временной избыточности, с учетом различных условий работы и особенностей технической реализации НКС.

Теоретическая ценность диссертации:

1. Рассмотрены и обобщены методы введения и эффективного использования в целях повышения надежности НКС различных видов избыточности ИНС - информационной, функциональной, структурной и временной. '

2; Разработаны вероятностные модели функционирования НКС в условиях возникновения отказов, используемые в широком спектре исследовательских и оптимизационных задач, в т.ч. для исследования методов синтеза отказоустойчивых ИНС, а также в задачах оптимизации показателей надежности и рационального выбора технических решений при проектировании нейровычислительных систем и комплексов.

3. Поставлены и решены задачи исследования и оптимизации показателей надежности «нестареющих» и «стареющих» ИНС, оптимизации восстановления работоспособности ИНС, отыскания функций восстановления' ИНС, обеспечивающих НКС заданный уровень надежности, задачи резервирования ИНС в конфликтных ситуациях и противоборства нейрокомпьютер-ных систем, исследования и повышения эффективности временного резервирования процесса функционирования НКС.

4. Совокупность представленных в диссертации» теоретических положений, моделей, методов и задач является основой для системного исследования надежности нейровычислительных систем и комплексов.

5. Исследования по данной тематике основаны на результатах выполненного автором диссертации, комплекса фундаментальных научно-исследовательских работ в рамках госбюджетных НИР по заданию Минобр-науки РФ и при поддержке в форме грантов:

- Грант Президента РФ (№МК-7420.2006.8) для молодых ученых -кандидатов наук «Построение математических моделей, разработка методов и алгоритмов оптимизации надежности искусственных нейронных сетей нейрокомпьютерных систем с логической, аппаратурной и временной избыточностью» (2006-2007 гг.).

- Грант РФФИ (№06-07-89013-а) «Построение математических моделей, разработка методов и алгоритмов оптимизации надежности искусственных нейронных сетей с логической, аппаратурной и временной избыточностью» (2006-2007 гг.).

- Грант Минобрнауки РФ по естественным и точным наукам (Е02-2-75; № ГР 01.02. 00306859) «Разработка математических моделей и методов оптимизации функциональной надежности искусственных нейронных сетей» (2003-2004 гг.).

- Госбюджетная НИР по заданию Минобрнауки РФ «Разработка методов оптимизации надежности и технической диагностики адаптивных отказоустойчивых систем автоматики и вычислительной техники из искусственных нейронных сетей»; № ГР 0120.0 407005 (2004-2006 гг.).

- Госбюджетная НИР по заданию Минобрнауки РФ «Разработка основ прикладной теории надежности нейронных сетей и нейрокомпьютерных систем»; № ГР 0120.0 712204 (2007-2009 гг.).

Практическая ценность диссертации:

1. На основе результатов исследований информационной избыточности ИНС и методов информационного резервирования разработаны модели отказоустойчивых многофункциональных нейромодулей с информационно-структурным резервированием, имеющие преимущество в характеристиках надежности по сравнению с логически эквивалентными многофункциональными ИН.

2. Разработан метод синтеза функционально избыточных ИНС нейрокомпьютерных систем с дифференцированным способом адаптации к отказам, позволяющий эффективно использовать имеющуюся логическую избыточность ИНС в целях повышения отказоустойчивости НКС.

3. Построены модели и даны решения задач выбора режима контроля работоспособности ИНС нейрокомпьютерной системы, исследования готовности НКС при настройке и восстановлении ИНС после отказов, готовности НКС при диагностике ИНС и восстановлении после различных типов отказов, повышения готовности НКС в условиях длительного автономного функционирования.

4. Поставлены и решены задачи оптимизации» резервирования, максимизирующего показатели надежности структурно-однородных «нестареющих» и «стареющих» ИНС нейрокомпьютерных систем с замещением откаг завших нейронных блоков резервными. Решения задач доведены до алгоритмов, реализуемых на ПЭВМ, и могут использоваться при построении отказоустойчивых НКС.

5. Поставлены и решены задачи исследования и повышения эффективности применения методов временного резервирования работы НКС (введения временной избыточности в процесс функционирования) с учетом различных условий работы и особенностей их технической реализации, которые могут использоваться в инженерной практике.

6. Разработано программное обеспечение для решения практических задач оптимизации структурного резервирования (в т.ч. динамического) однородных ИНС нейрокомпьютерных систем (приложение 1 диссертации). Копия свидетельства о регистрации в ОФАП прилагается.

Основные положения, выносимые на защиту.

1. Методы введения структурной, функциональной, информационной и временной избыточности в структуру и процессы функционирования нейронных сетей и нейрокомпьютерных систем, а также соответствующие модели и методы синтеза отказоустойчивых НКС.

2. Вероятностные модели для расчета, анализа и решения поставленных в диссертации задач оптимизации показателей надежности ИНС нейрокомпьютерных систем с информационным, структурным, функциональным и временным резервированием.

3. Решение задачи синтеза адаптивных к отказам ИНС, модели и задачи исследования и повышения готовности нейрокомпьютерных систем, включая модели систем с ненадежным устройством контроля и адаптации нейронной сети к отказам, модели подготовки НКС к функционированию, постановки и решения задач о выборе режима контроля работоспособности ИНС нейрокомпьютерной системы.

4. Постановка и решение задач оптимизации структурного резервирования «нестареющих» и «стареющих» однородных ИНС, в т.ч. систем с динамически перераспределяющимся в процессе функционрования резервом, обеспечивающего максимизацию основных показателей надежности НКС, включая задачи оптимизации структурного резервирования ИНС в конфликтных ситуациях и в условиях противоборства двух НКС.

5. Вероятностные модели функционирования однородных «нестареющих» и «стареющих» ИНС с учетом отказов системы контроля и адаптации, временных затрат на выполняемые с целью восстановления функциональных свойств нейросетей процедуры дообучения (переобучения) и дополнительных ограничений на замещение отказавших блоков резервными.

Личный вклад автора. Основные полученные научные результаты, включая обобщение и систематизацию комплекса теоретических и прикладных исследований, моделей, методов и задач обеспечения и повышения надежности искусственных нейронных сетей и нейрокомпьютерных систем, являются личным вкладом автора. Отдельные результаты, представленные в диссертации в разделах 1.1 (модели ИН), 2.1, 2.2 (синтез логически избыточных ИНС), 2.3 (минимизация процесса адаптации), 4.1-4.5, 5.3, 5.4, 6.1 (оптимизация структурного резервирования и восстановления ИНС), 6.4 (противоборство НКС), получены совместно с д.т.н., профессором В.И. Потаповым в рамках НИР, выполняемых при поддержке РФФИ и Минобрнауки РФ (руководитель В.И. Потапов). Программное обеспечение для решения задач оптимизации структурного резервирования однородных ИНС нейрокомпьютерных систем разработано совместно с М.В. Кузиным в рамках одного из этапов выполнения НИР при поддержке Гранта Президента РФ для молодых ученых - кандидатов наук (руководитель И.В. Потапов).

Апробация работы. Результаты работы докладывались на конференциях международного, всероссийского и регионального уровней: «Природные и интеллектуальные ресурсы Сибири» (Кемерово, 2002, 2007; Барнаул 2005; Новосибирск, 2004; Тюмень, 2006), «Интеллектуальные и многопроцессорные системы» (Геленджик, 2005), «Искусственный интеллект. Интеллектуальные и многопроцессорные системы» (Кацивели, Крым, 2006), «Актуальные проблемы электронного приборостроения» (Новосибирск, 2004), «Динамика систем, механизмов и машин» (Омск, 2002, 2004, 2007), «Новые информационные технологии в = исследовании сложных структур» (Шушенское, 2006, Томск, 2008), «Современные технологии при создании продукции военного и гражданского назначения» (Омск, 2001), «Развитие оборонно-промышленного комплекса, на современном; этапе» (Омск, 2003), «Военная техника, вооружение и технологии двойного применения» (Омск, 2005), «Информационные технологии и математическое моделирование» (Анжеро-Судженск, 2005,. 2008), «Нейроинформатика и ее приложения» (Красноярск, 2006); «Нейроинформатика, ее приложения и анализ данных» (Красноярск, 2007, 2008), «Проблемы разработки, изготовления-и эксплуатации ракетно-космической и авиационной техники» (Омск, 2004), «Наука, технологии, инновации» (Новосибирск, 2004).

Использование результатов диссертации. Результаты диссертационной работы, использованы в ПО «Полет» (филиал ФГУП ГКНПЦ им. М.В. Хруничева, г. Омск) при разработке космического аппарата «Союз Сат» при определении« требований к программно-аппаратной адаптивной^ системе предупреждения катастрофический отказов: жизненно важных функций бортовых систем; в разработках ОАО «Омская энергосбытовая компания (г. Омск) при проведении перспективных исследований по прогнозированию потребления электроэнергии при помощи) аппарата искусственных нейронных сетей. Также результаты диссертации используются, при выполнении фундаментальных НИР (госбюджетные НИР- по заданию Минобрнауки РФ) и в учебном процессе в Омском государственном техническом университете (г. Омск) при подготовке магистров по магистерской образовательной программе «Отказоустойчивые вычислительные системы»; в учебном процессе в Омском государственном университете им. Ф.М. Достоевского (г. Омск) при подготовке инженеров по специальности 230101 — «Вычислительные машины, комплексы, системы и сети». Имеются акты об использовании.

Публикации. По материалам диссертации автором опубликовано 46 научных работ, включая 3 монографии, 42 печатные работы в журналах и сборниках (из них 15 статей в журналах по перечню ВАК РФ), 1 депонированную в ВИНИТИ рукопись. Получено свидетельство о регистрации программного обеспечения в ОФАП.

Структура и объем работы. Диссертация состоит из введения, 7 глав, заключения, библиографического списка (302 наименования) и приложения. Основное содержание работы изложено на 300 страницах. В тексте содержатся 16 рисунков и 3 таблицы.

Основные результаты данной диссертационной работы заключаются в следующем.

1. В результате изучения отечественной и зарубежной научной литературы по теории нейронных сетей и публикаций, посвященных исследованию отказоустойчивости ИНС, установлено, что анализ и разработка решений базовых научных проблем в области обеспечения и повышения надежности ИНС и НКС являются актуальными задачами. В рамках этого направления важной задачей является разработка математических моделей и методов обеспечения и повышения надежности нейронных сетей и нейрокомпьютер-ных систем. Обзор различных моделей ИНС, широко представленных в литературе, позволяет сделать вывод о том, что в общем случае нейронные сети могут характеризоваться двумя важными с точки зрения теории надежности качествами: структурной однородностью и различными видами избыточности. Эти качества являются основой для применения эффективных методов повышения надежности функционирования нейрокомпьютерных систем -структурного, информационного, функционального и временного резервирования.

2. Результаты рассмотрения информационных характеристик моделей ИН с пороговой функцией активации и нейронных сетей позволяют заключить, что сообщения в структуре волокон ИН и межнейронных связей ИНС могут характеризоваться информационной избыточностью. Для эффективного введения и использования имеющейся избыточности в отказоустойчивых ИНС предложено применять методы информационного резервирования. Рассмотрена модель многофункционального нейровычислительного модуля, в котором для обеспечения отказоустойчивости применен метод структурно-информационного резервирования в виде передачи между слоями ИНС помехоустойчивого кода. Показано, что надежность таких схем существенно зависит от надежности выходного слоя ИН (являющегося восстанавливающим органом), реализующего функции декодирования и коррекции. Построены модели многофункциональных нейромодулей с использованием структурно-информационного резервирования и адаптивными восстанавливающими органами - выходными ИН с отключаемыми входами. Показано, что такие схемы могут обеспечить более высокие показатели надежности в сравнении с одиночными многофункциональными ИН и нейромодулями с неадаптивными выходными ИН.

3. Рассмотрена функциональная избыточность искусственных нейронных сетей как фактор их надежного функционирования. Приведены выражения для количественной оценки данного вида избыточности и определены условия ее максимизации в рамках задачи синтеза отказоустойчивых ИНС. Предложен критерий оптимизации синтеза отказоустойчивых нейрокомпью-терных систем на базе функционально избыточных адаптивных к отказам компонентов ИНС, зависящий от надежности синтезируемой ИНС и затрат, связанных с разработкой и эксплуатацией НКС.

4. В рамках решения задачи синтеза адаптивных отказоустойчивых ИНС рассмотрены две модели функционально избыточных нейросетей с различными методами адаптации к отказам. В развитие метода синтеза логически стабильных ИНС с интегральным методом адаптации решена задача синтеза нейронной сети с дифференцированной адаптацией, позволяющей более полно использовать имеющиеся ресурсы функциональной избыточности. Для расчета, исследования и оптимизации показателей надежности разработана вероятностная модель функционирования отказоустойчивой НКС, состоящей из адаптивной ИНС и системы контроля и адаптации. В рамках данной модели определены условия максимизации готовности рассматриваемой нейро-компьютерной системы и решены задачи повышения надежности функционирования НКС на базе нейросетей с рассмотренными методами адаптации к отказам путем эффективного использования имеющейся функциональной избыточности ИНС на этапах их синтеза и эксплуатации.

5. Рассмотрены принципы функционирования отказоустойчивых ней-ровычислительных систем с периодическим и непрерывным режимами контроля работоспособности нейронной сети. Сформулирован критерий рационального выбора режима контроля работоспособности исходя из затрат, связанных с проектированием и эксплуатацией соответствующих нейрокомпью-терных систем. На основе рассмотренных принципов работы систем с непрерывным и периодическим контролем построены базовые вероятностные модели функционирования нейрокомпьютерных систем для исследования и расчета характеристик готовности. Для НКС с непрерывным режимом контроля работоспособности нейронной сети в рамках разработанных вероятностных моделей функционирования рассмотрено влияние различных видов отказов устройства контроля на показатели готовности системы.

6. Рассмотрены задачи исследования и расчета функции готовности нейросистем при выполнении процедур настройки (обучения) и адаптации (дообучения, переобучения) нейронных сетей в процессе функционирования НКС. Построены модели для исследования готовности нейросети в процессе обучения с линейной последовательностью выполняемых процедур и как абсолютно надежной, так и ненадежной системой обучения, а также модель функционирования при диагностике и восстановлении после различных типов отказов. Решена задача расчета времени дообучения и тренировки нейронной сети нейрокомпьютерной системы, предназначенной для работы в условиях длительного автономного функционирования, минимизирующего вероятность отказа системы в процессе выполнения задания.

7. Предложены математические модели для расчета и исследования показателей надежности многослойных многовыходных структурно однородных ИНС с замещением отказавших нейронных блоков резервными. Поставлены и решены задачи оптимального резервирования рассматриваемых ИНС, максимизирующего среднее время работы до отказа, и оптимального резервирования, максимизирующего вероятность безотказной работы, при постоянных во времени интенсивностях отказов и восстановления нейронных блоков. Приведены алгоритмы для машинного решения указанных задач.

8. Предложен способ решения задачи оптимального резервирования многослойной многовыходной структурно однородной «стареющей» ИНС, в которой интенсивности отказов нейронных блоков являются возрастающими функциями времени. Приведены алгоритмы решения задач оптимального резервирования, максимизирующего вероятность безотказной работы, и оптимального резервирования, максимизирующего среднее время работы до отказа, «стареющей» адаптивной ИНС при заданных условиях и ограничениях. Поставлены и решены задачи о минимальной избыточности рассматриваемой «стареющей» адаптивной ИНС, обеспечивающей системе показатели надежности (вероятность безотказной работы или среднее время работы до отказа) не ниже заданных. Приведены алгоритмы для машинного решения данных задач. Поставлена и решена задача оптимизации восстановления рассматриваемой «стареющей» адаптивной ИНС. Данная задача сведена к задаче нахождения оптимального управления при заданных условиях и ограничениях, ее решение оформлено в виде алгоритма, реализуемого на ПЭВМ.

9. Для расчета показателей надежности и решения задач оптимизации резервирования многослойных многовыходных структурно однородных ИНС нейрокомпьютерных систем построены вероятностные модели их функционирования с учетом отказов системы контроля и адаптации в предположении как постоянных, так и возрастающих во времени интенсивностей отказов нейронных блоков ИНС. Построены вероятностные модели функционирования рассматриваемых ИНС с учетом временных затрат на процедуры дообучения (переобучения), выполняемые с целью восстановления функциональных свойств нейросетей, для расчета показателей надежности и решения задач оптимизации резервирования в предположении как постоянных, так и возрастающих во времени интенсивностей отказов. Предложены вероятностные модели для расчета и исследования показателей надежности ИНС с ограниченным замещением отказавших нейронных блоков резервными, функционирующей как при постоянных во времени, так и возрастающих интен-сивностях отказов. Поставлена задача сравнения двух способов замещения отказавших нейронных блоков ИНС по значениям показателей надежности. При сравнении систем по среднему времени работы до отказа решение данной задачи сводится к расчету интенсивностей переходов системы в работоспособные состояния. Построена вероятностная модель функционирования и определены условия для нахождения в рамках заданных параметров и ограничений функций интенсивности восстановления «стареющих» подсетей ИНС нейрокомпьютерной системы, гарантирующих НКС среднее время работы до отказа не ниже заданного.

10. Для «стареющих» многослойных многовыходных структурно однородных ИНС с замещением отказавших нейронных блоков резервными поставлены и решены задачи оптимального динамического резервирования, максимизирующего вероятность безотказной работы рассматриваемых ИНС нейрокомпьютерных систем. Приведены алгоритмы для машинного решения поставленных задач.

11. На основе методов теоретико-игрового моделирования поставлена и решена задача оптимального динамического резервирования «стареющей» многослойной многовыходной структурно однородной ИНС нейрокомпьютерной системы в конфликтной ситуации. Приведен алгоритм для решения данной задачи на ПЭВМ. Поставлены и решены задачи оптимизации резервирования рассматриваемой «стареющей» ИНС нейрокомпьютерной системы в условиях игры (конфликта) с «природой». Решения задач доведены до алгоритмов, реализуемых на ПЭВМ.

12. В развитие и дополнение теоретико-игровых постановок и решений задач оптимизации резервирования нейронных сетей поставлена и решена задача исследования и оптимизации поведения двух нейрокомпьютерных систем в условиях антагонистического противоборства. Для решения задачи противоборства двух НКС приведен алгоритм, реализуемый на современных ПЭВМ.

13. Построены вероятностные модели для исследования и расчета показателей надежности НКС с временным резервированием при нарушениях работоспособности ИНС, не обесценивающих или обесценивающих наработку. Приведены выражения для машинного расчета показателей надежности рассматриваемых систем в предположении частных видов распределений времени до отказа ИНС и восстановления.

14. Рассмотрено увеличение производительности НКС с временным резервированием путем наращивания вычислительных возможностей ИНС как способ повышения надежности функционирования. Сформулированы условия для определения в рамках заданных ограничений минимального числа подсетей ИНС, необходимого для достижения рассматриваемой НКС заданного уровня надежности. Поставлена и решена задача о нахождении временной избыточности, гарантирующей нейрокомпьютерной системе заданную надежность функционирования при различных способах введения временного резервирования в процесс выполнения задания с учетом соответствующих затрат и ограничений. Рассмотрены вопросы совместного использования аппаратурного и временного резервирования для повышения надежности работы НКС.

15. Рассмотрена модель функционирования НКС с учетом введения временной избыточности для устранения последствий отказов, обесценивающих наработку. Приведены выражения для исследования и расчета показателей надежности данной НКС. Поставлена и решена задача о выборе режима контроля работоспособности ИНС нейрокомпьютерной системы рассматриваемого типа в предположении ее использования в системах длительного функционирования. Рассмотрены две модели нейрокомпьютерных систем, отличающихся реализацией системы контроля выполнения задания, с введением в процесс их функционирования временной избыточности для устранения последствий сбоев в работе нейронных сетей, выполняющих обработку информации. Разработан алгоритм решения задачи максимизации вероятности безотказного функционирования рассматриваемых НКС в рамках заданных условий и ограничений.

Результаты диссертационной работы использованы в ПО «Полет» (филиал ФГУП ГКНПЦ им. М.В. Хруничева, г. Омск) при разработке космического аппарата «Союз Сат» при определении требований к программно-аппаратной адаптивной системе предупреждения катастрофический отказов жизненно важных функций бортовых систем; в разработках ОАО «Омская энергосбытовая компания (г. Омск) при проведении перспективных исследований по прогнозированию потребления электроэнергии при помощи аппарата искусственных нейронных сетей. Также результаты диссертации используются при выполнении фундаментальных НИР (госбюджетные НИР по заданию Минобрнауки РФ) и в учебном процессе в Омском государственном техническом университете (г. Омск) при подготовке магистров по магистерской образовательной программе «Отказоустойчивые вычислительные системы»; в учебном процессе в Омском государственном университете им. Ф.М. Достоевского (г. Омск) при подготовке инженеров по специальности 230101 -«Вычислительные машины, комплексы, системы и сети». Имеются акты об использовании.

ЗАКЛЮЧЕНИЕ

1. Розенблатт, Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга : пер. с англ. / Ф. Розенблатт. М.: Мир, 1965. - 480 с.

2. Rosenblatt, F. Two theorems of statistical separability in the perceptron / F. Rosenblatt // Symposium on the Mechanization of Thought Processes. 1959. -P. 421-456.

3. McCulloch, W.S. A logical calculus of the ideas immanent in nervous activity / W.S. McCulloch, W. Pitts // Bull. Math. Biophys. 1943. - V. 5. - P. 115 -133.

4. Kohonen, T. Self-organization and associative memory / T. Kohonen. -New-York: Springer-Verlag, 1988.-620 p.

5. Grossberg S. Adaptive pattern classification and universal recording:

6. Parallel development and coding of neural feature detectors / S. Grossberg // Biological Cybernetics. 1976. - Vol. 23. - № 3. - P. 121 - 134.

7. Grossberg, S. Adaptive pattern classification and universal recording:1.. Feedback, expectation, olfaction, illusions / S. Grossberg // Biological Cybernetics. 1976. - Vol. 23. -№ 4.-P. 187-202.

8. Carpenter, G.A. A massively parallel architecture for a self-organizing neural pattern recognition machine / G.A. Carpenter, S. Grossberg // Computer Vision, Graphics, and Image Processing. -1987. № 37. - P. 54-115.

9. Grossberg, S. Nonlinear neural networks: principles, mechanisms and architectures / S. Grossberg // Neural Networks. 1988. - №1. - P. 17-61.

10. The Adaptive Brain / S. Grossberg (Ed.). North-Holland, 1987. - Vol. 1. Cognition, Learning, Reforcement, and Rhythm. - 498 p.; Vol. 2. Vision, Speech, Language, and Motor Control. - 514 p.

11. Hopfield, J. Neural Networks and physical systems with emergent collective computation abilities / J. Hopfield // Proc. of the National Academy of Science USA. 1982. - Vol. 79. - P. 2554 - 2558.

12. Hopfïeld, J. Neurons with graded response have collective computational properties like those of two-state neurons / J. Hopfield // Proc. of the National Academy of Sciences USA. 1984. - Vol. 81. - P. 3088-3092.

13. Widrow, B. Adaptive switching circuits / B. Widrow, M. Hoff // In 1960 IRE WESCON Convention Record. DUNNO, 1960. - P. 96-104.

14. Widrow, B. Learning phenomena in layered neural networks / B. Widrow, R.G. Winter, R.A. Baxter // IEEE First Int. Conf Neural Networks. -1987.-Vol. 2.-P. 411-429.

15. Widrow, B. 30 years of adaptive neural networks: Perceptron, Madaline and Backpropogation / B. Widrow, M.A. Lehr // Proc. IEEE. 1990. - Vol. 78. -№9.-P. 1415-1442.

16. Минский, M. Персептроны / M. Минский, С. Пейперт. M.: Мир, 1971.-252 с.

17. Гутчин, И.Б. Бионика и надежность: элементы теории формальных нейронов / И.Б. Гутчин, А.С. Кузичев. М.: Наука, 1967. - 283 с.

18. Позин, Н.В. Моделирование нейронных структур / Н.В. Позин. -М.: Наука, 1970.-259 с.

19. Мкртчян, С.О. Нейроны и нейронные сети / С.О. Мкртчян. М.: Энергия, 1971.-232 с.

20. Мкртчян, С.О. Проектирование логических устройств ЭВМ на нейронных элементах / С.О. Мкртчян. М.: Энергия, 1977. - 200 с.

21. Амосов, Н.М. Функциональная организация информационных процессов мозга и их связь со структурами нейронных сетей / Н.М. Амосов, А.Д. Гольцев, Э.М. Куссуль // Кибернетика. 1988. - №5. - С. 113-119.

22. Нейрокомпьютеры и интеллектуальные роботы / Н.М. Амосов и др.; под ред. Н.М. Амосова. Киев: Наукова думка, 1991. - 272 с.

23. Галушкин, А.И. Теория нейронных сетей. Кн. 1 / А.И. Галушкин. -М.: ИПРЖР, 2000. 416 с. (Научная серия «Нейрокомпьютеры и их применение»).

24. Горбань, А.Н. Обучение нейронных сетей / А.Н. Горбань. М.: Изд-во СССР-США СП «ParaGraph», 1990. - 160 с.

25. Горбань, А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей / А.Н. Горбань // Сибирский журнал вычислительной математики. 1998. - Т. 1. - № 1. - С. 12-24.

26. Le Cum, Y. Optimal brain damage / Y. Le Cum, K.S. Denker, S.A. Solla // Advances in Neural Information Processing Systems II (Denver, 1989). Morgan Kaufman. - 1990. - P. 598-605.

27. Fukushima, F. Neocognitron: A new algorithm for pattern recognition tolerant of deformations and shifts in position / F. Fukushima et al. // Pattern Recognition. 1982. - Vol. 15. - № 6. - P. 455-469.

28. Chua, L.O. CNN paradigm / L.O. Chua, T. Roska // IEEE Transactions on Circuits and Systems-1. Mar., 1993. - Vol. 40. - P. 147-156.

29. Chua, L.O. Cellular neural networks: theory and applications / L.O. Chua, L. Yang // IEEE Transactions on Circuits and Systems. Oct., 1998. - Vol. 35.-P. 1257-1290.

30. Specht, D.F. Probabilistic neural networks / D.F. Specht // Neural Networks. 1990. - Vol. 3. - № l.-P. 109-118.

31. Arbib, M.A. Brains, Machines, and Mathematics / M.A. Arbib. -Springer Verlag, 1987. 202 p.

32. Сигеру, О. Нейроуправление и его приложения : пер. с англ. / О. Сигеру, X. Марзуки, Ю. Рубия; под ред. А.И. Галушкина, В.А. Птичкина. -М.: ИПРЖР, 2000. 272 с.

33. Ивахненко, А.Г. Персептрон — система распознавания образов / А.Г. Ивахненко. Киев: Наукова думка, 1975. - 431 с.

34. Миркес, Е.М. Нейрокомпьютер. Проект стандарта / Е.М. Миркес. -Новосибирск: Наука. Сибирское предприятие РАН, 1999. 337 с.

35. Модулярные параллельные вычислительные структуры нейропро-цессорных систем / Н.И. Червяков и др.. М. : Физматлит, 2003. - 284 с.

36. Нейрокомпьютеры в остаточных классах. Кн. 11./ Н.И. Червяков и др. М.: Радиотехника, 2003. - 272 с. (Научная серия «Нейрокомпьютеры и их применение»)

37. Нейроинформатика / А.Н. Горбань и др.. Новосибирск: Наука, Сиб. изд. фирма РАН, 1998. - 296 с.

38. Нейроматематика. Кн. 6. / А.Д. Агеев и др.; общая ред. А.И. Галушкина. М.: ИПРЖР, 2002. - 448 с. (Нейрокомпьютеры и их применение).

39. Каляев, A.B. Моделирование информационных процессов в нейро-процессорных сетях / A.B. Каляев // Нейрокомпьютеры: разработка, применение. 2004. - № 10. - С. 3-22.

40. Аведьян, Э.Д. Ассоциативная нейронная сеть СМАС. Часть I. Структура, объем памяти, обучение и базисные функции / Э.Д. Аведьян // Информационные технологии. 1997. - № 5. - С. 6-14.

41. Аведьян, Э.Д. Ассоциативная нейронная сеть СМАС. Часть II. Процессы обучения, ускоренное обучение, влияние помех, устранение влияния помех в двухслойной сети / Э.Д. Аведьян // Информационные технологии. -1997.-№6.-С. 16-27.

42. Уоссермен, Ф. Нейрокомпыотерная техника: Теория и практика / Ф. Уоссермен. М.: Мир, 1992. - 182 с.

43. Кирсанов, Э.Ю. Цифровые нейрокомпьютеры: архитектура и схемотехника / Э.Ю. Кирсанов ; под ред. А.И.Галушкина. Казань: Казанск. гос. ун-т, 1995.- 131 с.

44. Кирсанов, Э.Ю. Нейрокомпьютеры с параллельной архитектурой. Кн. 16 / Э.Ю. Кирсанов. М.: ИПРЖР, 2004. - 221 с. (Научная серия «Нейрокомпьютеры и их применение», ред. А.И. Галушкин).

45. Кругл ob, B.B. Искусственные нейронные сети. Теория и практика / В.В. Круглов, В.В. Борисов. М.: Горячая линия-Телеком. - 2001. - 382 с.

46. Комарцова, Л.Г. Нейрокомпьютеры / Л.Г. Комарцова, A.B. Максимов. М.: изд-во МГТУ им. Н.Э. Баумана, 2004. - 400 с.

47. Головко, В.А. Нейронные сети: обучение, организация и применение. Кн. 4. / В.А. Головко ; общая ред. А.И. Галушкина. М.: ИПРЖР, 2001. - 256 с. (Нейрокомпьютеры и их применение)

48. Тархов, Д.А. Нейронные сети. Модели и алгоритмы. Кн. 18 / Д.А. Тархов. М.: ИПРЖР, 2005. - 256 с. (Научная серия «Нейрокомпьютеры и их применение», ред. А.И. Галушкин).

49. Хайкин, С. Нейронные сети: полный курс (2-е издание) : пер. с англ. / С. Хайкин. М.: Вильяме, 2005. - 1104 с.

50. Галушкин, А.И. Сфера применения нейрокомпьютеров расширяется / А.И. Галушкин // Информационные технологии. Приложение. 2001. - № 10.-24 с.

51. Нейрокомпьютеры в авиации (самолеты) / Под ред. В.И. Васильева, Б.Г. Ильясова, С.Т. Кусимова. Кн. 14. М.: Радиотехника, 2003. - 496 с. (Научная серия «Нейрокомпьютеры и их применение», ред. А.И. Галушкин).

52. Нейрокомпьютеры в космической технике / В.В. Ефимов и др. ; под ред. В.В. Ефимова. Кн. 17. М.: Радиотехника, 2004. - 320 с. (Научная серия «Нейрокомпьютеры и их применение», ред. А.И. Галушкин).

53. Нейрокомпьютеры в системах обработки изображений / А.Н. Балу хто и др. ; общ. ред. А.И. Галушкина. М.: Радиотехника, 2003. - 192 с. (Нейрокомпьютеры и их применение).

54. Park, M.G. Self-tuning control of a nuclear reactor using gaussian function neural network / M.G. Park, N.Z. Cho // Nuclear Technology. 1995. - Vol. 110.-№2.-P. 285-293.

55. Fantoni, P.F. A pattern recognition-artificial neural networks based model for signal validation in-nuclear power plants / P.F. Fantoni, A. Mazóla // Annals of Nuclear Energy. 1996. - Vol. 23. - № 13. - P. 1069-1076.

56. Flynn, D. Neural control of turbogenerator systems / D. Flynn et al. // Automática. 1997. - Vol. 33. - № 11. - P. 1961-1973.

57. Галушкин, А.И. Нейрокомпьютеры в разработках военной техники США (обзор по материалам открытой печати) / А.И. Галушкин // Зарубежная радиоэлектроника. 1995. - № 5. - С. 3^48. - № 6. - С. 4-21.

58. Santa, К. Control of microassembly-robots by using fuzzy logic and neural networks / K. Santa, S. Fatikow, G. Felso // Computers in Industry. 1999. -Vol. 39.-№3.-P. 219-227.

59. Подход к моделированию элементов магистрального газопровода на основе искусственных нейронных сетей / С.А. Терехов и др. // Радиоэлектроника. Информатика. Управление. 2000. — № 1. — Р. 116-122.

60. Kok, M.V. Well test model identification by artificial neural networks / M.V. Kok, E. Karakaya // Petroleum Science and Technology. 2000. - Vol. 18. -№ 7-8. - P. 783-794.

61. Rao, M.A. Torsional Vibrations of pretwisted blades using artificial neural network technology / M.A. Rao, J. Srinicas // Eng. Comput. 2000. - Vol. 16. - № 1. - P. 10-15.

62. Gao, F. Neural network-based optimal iterative controller for nonlinear processes / F. Gao, F. Wang, M. Li // Canadian Journal of Chemical Engineering. -2000. Vol. 78. - № 2. - P. 363-370.

63. Lin, F.-J. Hybrid control using recurrent fuzzy neural network for linear-induction motor servo drive / F.-J. Lin, R.-J. Wai // IEEE Transactions on Fuzzy Systems.-2001.-Vol. 9.-№ l.-P. 102-115.

64. Гриняев, C.H. Области применения нейронных сетей в задачах кодирования и декодирования информации / С.Н. Гриняев // Двойные технологии. 1999. -№ 1. - Р. 57-59.

65. Bonissone, P.P. Hybrid soft computing systems: industrial and commercial applications / P.P. Bonissone et al. // Proc. IEEE. 1999. - Vol. 87. - № 9. -P. 1641-1667.

66. Горбань, А.Н. Нейронные сети на персональном компьютере / А.Н. Горбань, Д.А. Россиев. Новосибирск: Наука. Сиб. изд. фирма РАН, 1996. -276 с.

67. Weinstein, R.K. Architectures for high-performance FPGA implementations of neural models / R.K. Weinstein, R.H. Lee // Journal of Neural Engineering. 2006. - Vol. 3. - № 1. - P. 21-34.

68. Обеснюк, В.Ф. Цифро-аналоговые элементы электронных нейросе-тей / В.Ф. Обеснюк, Ю.С. Шкодских // Науч. сесс. МИФИ-99: Сб. науч. трудов Всерос. науч.-техн. конф. «Нейроинформатика-99» (Москва, 20-22 янв., 1999). М., 1999. - Ч. 2. - С. 67-72.

69. Грошев, А.В. Реализация нейронных сетей на базе ПЛИС / А.В. Грошев, Ю.В. Панов // Нейрокомпьютеры: разработка, применение. 2003. -№ 10-11.-С. 35-42.

70. Применение микропроцессора NM6403 для эмуляции нейронных сетей / П.А. Шевченко и др. // Нейрокомпьютер. 1998. - № 3-4. - С. 4555.

71. Применение микропроцессора NM6403 для эмуляции нейронных сетей / П.Е. Виксне и др. // Науч. сесс. МИФИ-99: Сб. науч. трудов Всерос. науч.-техн. конф. «Нейроинформатика-99» (Москва, 20-22 янв., 1999). М., 1999.-Ч. 2.-С. 35-43.

72. Архитектурные особенности нейропроцессора NM6403 / В.М. Черников и др. // Науч. сесс. МИФИ-99: Сб. науч. трудов Всерос. науч.-техн. конф. «Нейроинформатика-99» (Москва, 20-22 янв., 1999). М., 1999. - Ч. 2. -С. 93-101.

73. Поспелов, И.Г. О живучести систем на базе процессоров семейства NeuroMatrix® / И.Г. Поспелов // Вопросы радиоэлектроники. Серия Электронная вычислительная техника. 2001. - № 1. - С. 11-14.

74. Бубенников, А.Н. Технологические проблемы создания субмикронных нейрочипов и нейросистем на пластинах / А.Н. Бубенников, А.А. Бубенников // Информационные технологии. 1997. - № 5. — с. 21-28.

75. Галушкин, А.И. Некоторые исторические аспекты развития элементной базы вычислительных систем с массовым параллелизмом (80- и 90-е годы) / А.И. Галушкин // Информационные технологии. 2000. - № 8. - С. 210.

76. Пат. 6889216 США, МПК7 G 06 F 15/18. Physical neural network design incorporating nanotechnology / Known Tech, LLC, Alex Jugent. № 10/095273 ; заявл. 12.03.2002 ; опубл. 03.03.2005; НПК 706/15.

77. Tabarce, S. Programmable analogue VLSI implementation for asymmetric sigmoid neural activation function and its derivative / S. Tabarce, V.G. Tavares, P.G. de Oliveira // Electronics Letters. 2005. - Vol. 41. - № 15. - P. 863-864.

78. Левин, И.И. Элементная база для построения реконфигурируемых нейросетей / И.И. Левин // Нейрокомпьютеры: разработка, применение. -2001.-№7-8.-С. 36^14.

79. Fujita, M. Development and fabrication of digital neural network WSIs / M. Fujita, Y. Kobayashi // TEICE Transactions on Electronics 1993. - Vol. E76.- № 7. P. 1182-1189.

80. Campbell, M. 3-D wafer scale architectures for neural network computing / M. Campbell, S. Toberg // IEEE transactions on components, hybrids, and manufacturing technology. 1993. - Vol. 16. - № 7. - P. 646-655.

81. Галушкин, А.И. О методике решения задач в нейросетевом логическом базисе / А.И. Галушкин // Информационные технологии. Приложение. -2006. № 9. - 24 с.

82. Горбань, А.Н. Нейроинформатика: кто мы, куда идем, как путь наш измерить? / А.Н. Горбань // Информационные технологии. 2000. - № 4. - С. 2-6.

83. Мак-Каллок, У. Надежность биологических систем. Самоорганизующиеся системы / У. Мак-Каллок. -М.: Мир, 1964. - С. 358-377.

84. Радченко, А.Н. Моделирование основных механизмов мозга / А.Н. Радченко. Л.: Наука, 1968. - 212 с.

85. Брайнес, С.Н. Проблемы нейрокибернетики и нейробионики /С.Н. Брайнес, В.Б. Свечинский. М.: Медицина, 1968. - 232 с.

86. Фомин, C.B. Математические проблемы в биологии / C.B. Фомин, М.Б. Беркинблит. -М.: Наука, 1973.- 199 с.

87. Вербик, Л. О нейронных сетях с минимизацией ошибки / Л. Вербик.- Принципы самоорганизации. М.: Мир, 1966. - С. 163-174.

88. Блюм, М. Допустимые ошибки нейронов для безотказной работы сетей / М. Блюм, Н. Онесто, Л. Вербик // Методы введения избыточности для вычислительных систем. М.: Сов. Радио, 1966. - С. 84-87.

89. Потапов, В.И. Функциональная надежность сетей из формальных нейронов / В.И. Потапов // Автоматика и вычислительная техника. 1968. -№ 1. - С. 37-43.

90. Потапов, В.И. Исследование свойств адаптивных логических сетей из нейроподобных элементов методом математического моделирования / В.И. Потапов, М.Ф. Доценко // Проблемы бионики. — Харьков: ХГУ, 1971. -Вып. 7.-С. 16-24.

91. A.C. 226302 СССР, МПК G 06 f. Адаптивное вычислительное устройство / В.И. Потапов (СССР). 1163597/26-24; заявлено 30.05.67; опубл. 8.01.68, Бюлл. № 28.

92. A.C. 443382 СССР МПК G 06 f 7/00. Однородная вычислительная среда / В.И. Потапов, В.Ф. Нестерук (СССР). 1884174/18-24; заявлено 14.02.73; опубл. 15.09.74, Бюлл. № 34.

93. A.C. 260968 СССР МПК G 06 f Адаптивное вычислительное-устройство / В.И. Потапов, A.A. Маслов (СССР). 1282453/18-24; заявлено 14.11.68; опубл. 06.01.70, Бюлл. № 4.

94. A.C. 479115 СССР МПК G 06 f 15/18. Адаптивное вычислительное устройство с поразрядной обработкой информации /В.Ф. Нестерук, В.И. Потапов (СССР). 1938482/18-24; заявлено 28.06.73.; опубл. 30.07.75, - Бюлл. №28.

95. Senashova, M.Y. Back Propagation of Accuracy / M.Y. Senashova, A.N. Gorban, D. Wunsch // Proc. IEEE/INNS International Conference of Neural Networks, Houston, IEEE, 1997. -P. 1998-2001.

96. Сенашова М.Ю. Погрешности нейронных сетей. Вычисление погрешностей весов синапсов / М.Ю. Сенашова // Методы нейроинформатики.- Красноярск: КГТУ, 1998. С. 48-64.

97. Горбань, А.Н. Погрешности в нейронных сетях / А.Н. Горбань, М.Ю. Сенашова ; ВЦ СО РАН. Красноярск, 1997. - 38 с. - Деп. в ВИНИТИ 25.07.97, №2509-В97.

98. Сенашова, М.Ю. Оценки погрешностей сигналов в нейронных сетях / М.Ю. Сенашова // Вычислительные технологии. 2000. - Т.5. - № 3. -С. 83-109.

99. Лопин, В.Н. Отказоустойчивые однородные сети на нейроподоб-ных элементах / В.Н. Лопин, И.С. Захаров. Курск: КГТИ, 2000. - 163 с.

100. Лопин, В.Н. Информационные процессы в иерархических сетях на нейроподобных элементах / В.Н. Лопин, И.С. Захаров. — Курск: КГТУ, 2002.- 115 с.

101. Лопин, В.Н. Многофункциональные отказоустойчивые устройства на нейроподобных элементах / В.Н. Лопин, И.С. Захаров. — Курск: КГТУ, 2004. 176 с.

102. Червяков, Н.И. Коррекция ошибок в модулярных нейрокомпьютерах / Н.И. Червяков, Б.С. Шалин // Нейрокомпьютеры: разработка, применение. 2004. - №5-6. - С. 15-18.

103. Применение нейронных сетей Хопфилда для коррекции ошибок в модулярных нейрокомпьютерах / Н.И. Червяков и др. // Нейрокомпьютеры: разработка, применение. — 2002. №11. - С. 10-16.

104. Локализация и исправление арифметических ошибок в модулярных нейрокомпьютерах / Н.И. Червяков и др. // Нейрокомпьютеры: разработка, применение. 2003. - № 7. - С. 28-32.

105. Архитектура адаптивной параллельно-конвейерной нейронной сети для коррекции ошибок в модулярных нейрокомпьютерных системах / Н.И.

106. Червяков и др. // Нейрокомпьютеры: разработка, применение. 2003. - №6. - С. 47-60.

107. Архитектура отказоустойчивой нейронной сети для цифровой обработки сигналов / Н.И. Червяков и др. // Нейрокомпьютеры: разработка, применение. 2004. - № 12. - С. 51-60.

108. Данилин, С.Н. Экспериментальное исследование надежности обученных нейронных сетей прямого распространения / С.Н. Данилин, Н.Ю. Ку-зякина // Нейрокомпьютеры: разработка, применение. 2006. - № 3. - С. 912.

109. Toward Reliable Neural Network Software for the Development of Methodologies for Independent Verification and Validation of Neural Networks / Institute for Scientific Research, Inc. (ISR), 2002. Nov., 2002. - IVVNN-LITREV-F001 -UNCLASS-111202.

110. Introduction to Development of Methodology for Independent Verification and Validation of Neural Networks / Institute for Scientific Research, Inc. (ISR), 2003a. Jan., 2003. - IWNN-INT-F001-UNCLASS-021403.

111. Draft Guidance for the Independent Verification and Validation of Neural Networks / Institute for Scientific Research, Inc. (ISR), 2003b. Oct., 2003. -IWNN-GUIDE-D001 -UNCLASS-101603.

112. Rousset, P. Understanding and reducing variability of SOM neighbourhood structure / P. Rousset, C. Guinot, B. Maillet // Neural Networks. 2006. - V. 19. - № 6-7. - July-August 2006. - P. 838-846. Advancies in Self Organising Maps - WSOM'05.

113. Kidwell, E. Brainchild: a fault tolerant neural network / E. Kidwell // IJCNN International Joint Conference on Neural Networks. 1989. - Vol. 2. - P. 570.

114. Pomerleau, D. Reliability Estimation for Neural Networks Based Autonomous Driving / D. Pomerleau // Robotics and Autonomous Systems. -1994.-Vol. 12.-P. 113-119.

115. Lakey, P.B. Reliability modeling and design criteria for the backpropa-gation artificial neural network / P.B. Lakey // Reliability and Maintainability Symposium, 1993, (Atlanta, GA, 26-28 Jan, 1993), Proceedings, Annual. 1993. -P. 114-119.

116. Tatapudi, S. Split-Precharge Differential Noise-Immune Threshold Logic Gate (SPD-NTL) / S. Tatapudi, V. Beiu // Artificial Neural Nets Problem Solving Methods, 2003. 7th Int. Work-Conference IWANN'03, Menorca, Proc. -Part II. - P. 49-56.

117. Berman, P. A note on the Complexity of Reliability in Neural networks / P. Berman, I. Parberry, G. Schnitger // IEEE Transactions on Neural Networks. -1992. Vol. 3. - № 6. - P. 998r1002.

118. Von Neumann, J. Probabilistic logics and the synthesis of reliable organisms from unreliable components / J. Von Neumann // In Automata Studies (C.E. Shannon and J. McCarthy, eds.). Princeton University Press, 1956. - P. 4398.

119. Pippenger, N. Invariance of complexity measures for networks with unreliable gates / N. Pippenger // Journal of the ACM. 1989. - Vol. 36. - № 3. - P. 531-539.

120. Pippenger, N. On networks of noisy gates / N. Pippenger // In Proc. of the 26th Annual IEEE Symp. On Foundation of Computer Science. New-York, 1989.-P. 30-38.

121. Feder, T. Reliable computation by networks in the presence of noise / T. Feder // IEEE Transactions on Information Theory. 1989. - Vol. 35. - № 3. -P. 569-571.

122. Reliability Characteristics of Neural Networks Having Faulty Interconnections (Thesis P.H.D.) / P.-C. Chung. Texas Tech University, 1991. - 162 p.

123. Chung, P.-C. Reliability Measures of Hebbian-Type Associative Memories with Faulty Interconnections / P.-C. Chung, T.F. Krile // Proceeding of IJCNN, San Diego, CA, June 1990. 1990. - Vol. I, P. 847-852.

124. Chung, P.-C. Reliability Characteristics of Hebbian-Type Associative Memories in Network Implementations / P.-C. Chung, T.F. Krile // Proceeding of IJCNN, Seattle, WA, July 1991. 1991. - Vol. II. - P. 363-368.

125. Chung, P.-C. Reliability Characteristics of Quadratic Hebbian-Type Associative Memories in Optical and Electronic Network Implementations / P.-C. Chung, T.F. Krile // IEEE Trans. Neural Networks. 1995. - Vol. 6. - № 2. -P.357-367.

126. Pakdaman, K. Coherence resonance and time reliability in neurons and neuronal models / K. Pakdaman, S. Tanabe, T. Shimokawa // Neural Networks. -2001. Vol. 14. - № 6-7. - P. 895-905.

127. Chun, R.K. Immunization of neural networks against hardware faults / R.K. Chun, L.P. McNamee // IEEE International Symposium on Circuits and Systems. 1990. - Vol. l.-P. 714-718.

128. Neti, C. Maximally fault-tolerant neural networks and nonlinear programming / C. Neti, M.H. Schneider, E.D. Young // IJCNN International Joint Conference on Neural Networks. - 1990. - Vol. 2. - P. 483-496.

129. Neti, C. Maximally fault tolerant neural networks / C. Neti, M.H. Schneider, E.D. Young // IEEE Transactions on Neural Networks. 1992. - Vol. 3.-№ l.-P. 14-23.

130. Piuri, V. Analysis of Fault Tolerance in Artificial Neural Networks / V. Piuri // Journal of Parallel and Distributed Computing. 2001. - Vol. 61. - № 1. -P. 18-48.

131. Fault Tolerance of Artificial Neural Networks with Applications in Critical Systems : tech. rept. / P.W. Protzel, D.L. Palumbo, M.K. Arras. NASA TP-3187.-1992.-49p.

132. Protzel, P.W. Performance and Fault-Tolerance of Neural Networks for Optimization / P.W. Protzel, D.L. Palumbo, M.K. Arras // IEEE Transactions on Neural Networks. 1993. - Vol. 4. - № 4. p. 600-614.

133. Tohma, Y. Fault-tolerant design of neural networks for solving optimization problems / Y. Tohma, Y. Koyanagi // IEEE Transactions on Computers -1996. Vol. 45. - № 12. - P. 1450-1455.

134. Deodhare, D. Synthesis of Fault-Tolerant Feedforward Neural Networks Using Minimax Optimization / D. Deodhare, M. Vidyasagar, S.S. Keerthi // IEEE Transactions on Neural Networks. 1998. - Vol. 9. - № 5. - P. 891-900.

135. Zhou, Z.-H. Evolving Fault-Tolerant Neural Networks / Z.-H. Zhou, S.-F. Chen // Neural Computing & Applications. 2003. - Vol. 11. - № 3-4. - P. 156-160.

136. Investigating Fault Tolerance in Artificial Neural Networks : tech. rept. / G. Bolt. Univ. of York, UK. - 1991. - 46 p. - YCS 154.

137. Fault tolerant Multi-Layer Perceptron Networks : tech. rept. / G. Bolt, J. Austin, G. Morgan. Univ. of York, UK. - 1992. - 27 p. - YCS 180.

138. Bolt, G. Fault tolerance and robustness in neural networks / G. Bolt // International Conference on Neural Networks (IJCNN-91, Seattle). 1991. - Vol. 2.-P. 986.

139. Bolt, G. Assessing the reliability of artificial neural networks // G. Bolt // IEEE International Joint Conference on Neural Networks. 1991. - Vol. 1. - P. 578-583.

140. Chu, L.-C. Fault tolerant neural networks with hybrid redundancy / L.-C. Chu, B.W. Wah // International Joint Conference on Neural Networks (IJCNN, 1990). 1990. - Vol. 2. - P. 639-649.

141. Sibai, F.N. A fault-tolerant digital artificial neuron / F.N. Sibai // IEEE Design & Test of Computers. 1993. - Vol. 10. - № 4. - P. 76-82.

142. Wei, W. Re-constructing high reliable BP-model neural networks / W. Wei // Proceedings of International Joint Conference on Neural Networks (IJCNN, 1993). 1993. - Vol. 2. - P. 1421-1424.

143. Nijhuis, J., Limits to the fault-tolerance of feedforward neural networks with learning / J. Nijhuis et. al. // 20th International Symposium on Fault-Tolerant Computing (FTCS-20 Digest of Papers). 1990. - P. 228-235.

144. Sang-Hoon, Oh. Sensitivity analysis of single hidden-layer neural networks with threshold functions / Oh. Sang-Hoon, L. Youngjik // IEEE Transactions on Neural Networks. 1995. - Vol. 6. - № 4. - P. 1005-1007.

145. Alippi, C. Sensitivity to errors in artificial neural networks: a behavioral approach / C. Alippi, V. Piuri, M. Sami // IEEE International Symposium on Circuits and Systems (ISCAS, 1994). 1994. - Vol. 6. - № 30. - P. 459-462.

146. Stevenson, M. Sensitivity of feedforward neural networks to weight errors / M. Stevenson, R. Winter, B. Widrow // IEEE Transactions on Neural Networks. 1990. - Vol. 1. - № 1. - P. 71-80.

147. Yasuo, T. A fault-tolerant multilayer neural networks model and its properties / T. Yasuo, T. Nanya // Systems and computers in Japan. 1994. - Vol. 25.-№2.-P. 33^13.

148. Belfore II, L.A. Modeling of fault tolerance in neural networks / L.A. Belfore II, B.W. Johnson, J.H. Aylor // IECON-89. 15th Annual Conference of IEEE. 1989. - Vol. 4. - P. 753-758.

149. Phatak, D.S. Fault tolerance of feedforward neural nets for classification tasks / D.S. Phatak, I. Koren // International Joint Conference on Neural Networks (IJCNN, 1992). 1992. - Vol. 2. - P. 386-391.

150. Phatak, D.S. Complete and partial fault tolerance of feedforward neural nets / D.S. Phatak, I. Koren // IEEE Transactions on Neural Networks. 1995. -Vol. 2. - № 2. - P. 446-456.

151. Phatak, D.S. Fault Tolerant Artificial Neural Networks / D.S. Phatak // Proc. of the 5th Dual Use Technologies and Applications Conference. 1995. - P. 193-198.

152. Phatak, D.S. Synthesis of Fault Tolerant Neural Networks / D.S. Phatak, E. Tchernev // Proc. of International Joint Conference on Neural Networks (IEEE IJCNN, 2002). 2002. P. 1475-1480.

153. Tchernev, E.B. Investigating the Fault Tolerance of Neural Networks / E.B. Tchernev, R.G. Mulvaney, D.S. Phatak // Neural Computation. 2005. - № 17 (7).-P. 1646-1664.

154. Segee, B.E. Fault tolerance of pruned multilayer networks / B.E. Segee, M.J. Carter // International Joint Conference on Neural Networks (IJCNN, 1991). -1991.-Vol. 2. P. 447-452.

155. Segee, B.E. Comparative Fault Tolerance of Parallel Distributed Processing Networks / B.E. Segee, M.J. Carter // IEEE Transactions on Computers. -1994.-Vol. 43. -№ 11. P. 1323-1329.

156. Sequin, C.H. Fault tolerance in artificial neural networks / C.FI. Sequin, R.D. Clay // International Joint Conference on Neural Networks (IJCNN, 1990). -1990.-Vol. l.-P. 703-708.

157. Fault Tolerance of Neural Networks : final rept. / K. Mehrotra et al. // Syracuse Univ. 1994. - P. 104. - AD-A285098. - RL-TR-94-93.

158. Training techniques to obtain fault-tolerant neural networks / Chin Ching-Tai et al. // 24 International Symposium on Fault-Tolerant Computing (FTCS-24). Digest of Papers. 1994. - P. 360-369.

159. Modifying training algorithms for improved fault tolerance / Chin Ching-Tai et al. // IEEE International Conference on Neural Networks. IEEE World Congress on Computational Intelligence. 1994. - Vol. l.-P. 333-338.

160. Murray, A.F. Synaptic weight noise during MLP learning enhances fault-tolerance, generalization and learning trajectory / A.F. Murray, P.J. Edwards

161. Advances in Neural Information Processing Systems 5 (1992). Morgan Kaufman, 1993.-P. 491^-98.

162. Murray, A.F. Enhanced MLP performance and fault tolerance resulting from synaptic weight noise during training / A.F. Murray, P.J. Edwards // IEEE Transactions on Neural Networks. 1994. - Vol. 5. - № 5. - P. 792-802.

163. Clay, R.D. Fault tolerance training improves generalization and robustness / R.D. Clay, C.H. Sequin // International Joint Conference on Neural Networks (IJCNN, 1992). Vol. 1. - P. 769-774.

164. Kwon, O.J. A design method of fault tolerant neural networks / O.J. Kwon, S.Y. Bang // Proc. ICONIP'94, Seoul, Korea. 1994. - Vol.1. - P. 396400.

165. Hammadi, N.C. A learning algorithm for fault tolerant neural networks / N.C. Hammadi, H. Ito // IEICE Tech. Rept. 1996. - P. 23-30. - FT95-78.

166. Fault tolerant constructive algorithm for feedforward neural networks / N.C. Hammadi et al. // Proc. Pacific Rim International Symposium on Fault-Tolerant Systems. 1997. - P. 215-220.

167. Dynamic constructive fault tolerant algorithm for feedforward neural networks / N.C. Hammadi et al. // IEICE Transactions on Information and Systems. 1998. -Vol. E81-D. - № l.-P. 115-123.

168. Cavaleri, S. A novel learning algorithm which improves the partial fault tolerance of multilayer neural networks / S. Cavaleri, O. Mirabella // Neural Networks. 1999. - Vol. 12.-№ l.-P. 91-106.

169. Takase, H. Weight minimization approach for fault tolerant multi-layer neural networks / H. Takase, H. Kita, T. Hayashi // Proc. of International Joint Conference on Neural Networks (IJCNN, 2001). Vol. 4. - P. 2656-2660.

170. Learning algorithm with activation function manipulation for fault tolerant neural networks / N. Kamiura et al. // IEICE Transactions on Information and Systems. 2001. - Vol. E84-D. - № 7. - P. 899-905.

171. Ito, T. On fault injection approaches for fault tolerance of feedforward neural networks / T. Ito, I. Talcanami // Proc. Sixth Asian Test Symposium (ATS, 1997).-P. 88-93.

172. Takanami, I. A novel learning algorithm which makes multilayer neural networks multiple-weight-fault tolerant /1. Takanami, Y. Oyama // IEICE Transactions on Information and Systems. 2003. - Vol. E86-D. - № 12. - P. 2536-2543.

173. Horita, T. Learning algorithm which make multilayer neural networks multiple-weight-and-neuron-fault tolerant / T. Horita, I. Takanami, M. Mori // IEICE Transactions on Information and Systems. 2008. - Vol. E91-D. - № 4. -P. 1168-1175.

174. Sugawara, E. Fault tolerant multi-layer neural networks with GA training / E. Sugawara, M. Fukushi, S. Horiguchi // Proc. 18th IEEE International Symposium on Detect and Fault Tolerance in VLSI Systems (DFT, 2003). 2003. - P. 328-335.

175. Bettola, S. High performance fault-tolerant digital neural networks / S. Bettola, V. Piuri // IEEE Transactions on Computers. 1998. - Vol. 47. - № 3. -P. 357-363.

176. Заявка 19925206 Германия, МПК7 G 06 F 15/18%G 06 F 11/00. Prüfverfahren eines neuronalen Netzes und Prüfvorrichtung fur dieses / Tateishi Masahiko, Tamura Shinichi; Denso Corp. № 19925206.8; Заявл. 01.06.1999; Опубл. 07.12.2000.

177. Fault-tolerant logic gates using neuromorphic CMOS circuits / N. Joye et al. // In IEEE 3rd Conference on Ph.D. Research in Microelectronics and Electronics. 2007. - P. 249-252.

178. Fault tolerance of feed-forward artificial neural network architectures targeting nano-scale implementations / M. Vural et al. // Proc. of 50th Midwest Symposium on Circuits and Systems (MWSCAS, 2007). 2007. - P. 779-782.

179. Defect tolerant implementations of feed-forward and recurrent neural networks / P. Franzon et al. // Proceedings of 2nd International Conference on Wafer Scale Integration. 1990. - P. 160-166.

180. Стемпковский, A.JI. Проблемы реализации отказоустойчивых архитектур нейрочипов по технологии Систем с Интеграцией на Пластине / A.JI. Стемпковский, Л.Б. Осипов, С.З. Селезнев // Информационные технологии. 1997. - № 5. - С. 15-20.

181. How to improve the reliability of artificial neural networks : research report / A. Sharkey, N. Sharkey // University of Shefield, Department of Computer Science.-1995.-CS-95-11.

182. Герон, C.B. Нейронное голосование в TV-кратно резервированной вычислительной системе / С.В. Герон, А.И. Фрид // Нейрокомпьютеры: разработка, применение. 2007. - №7. - С. 30-34.

183. High reliability neural networks structure with application to spacecraft ASMS tone detection / K. Rahnamai et al. // Proc. Joint 9th IFSA World Congress and 20th NAFIPS International Conf., July 25-28, 2001. 2001. - Vol. 2. - P. 829-834.

184. Потапов, В.И. Построение проверяющих тестов для пороговых элементов / В.И. Потапов, И.А. Пальянов // Известия АН СССР. Техническая кибернетика. 1973. -№ 4. - С. 140-147.

185. Потапов, В.И. Диагностика неисправности пороговых элементов /

186. B.И. Потапов, И.А. Пальянов // Известия СО АН СССР. Технические науки. -1976. № 8. - Вып. 2. - С. 126-133.

187. Потапов, В.И. Теоретические основы диагностики и оптимизации надежности искусственных нейронных сетей / В.И. Потапов, И.В. Потапов. -Омск: Изд-во ОмГТУ, 2004. 152 с.

188. Фомин, Ю.И. Методы технической диагностики сетей пороговых элементов / Ю.И. Фомин, А.И. Галушкин // Техника средств связи. Сер. «Системы связи». 1980. - Вып. 2. - С. 84-94.

189. Фомин, Ю.И. О методике параллельной диагностики отказов в сетях пороговых элементов / Ю.И. Фомин, А.И. Галушкин // Электронное моделирование. Киев: Наукова Думка. - 1981. - № 3. - С. 89-92.

190. Belfore И, L.A. Testing recurrent artificial neural networks / L.A. Bel-fore II, C.A. Fleischer // IEEE Int. Conf. on Systems, Man and Cybernetics. Intelligent Systems for the 21st Century. 1995. - Vol. 1. - P. 462-467.

191. Belfore II, L.A. A test methodology for artificial neural networks / L.A. Belfore II, C.A. Fleischer // Proc. of the 1995 IEEE IECON 21st Int. Conf. on Industrial Electronics, Control and Instrumentation. 1995. - Vol. 2. - P. 14001405.

192. Fleischer, C.A. A new approach for testing artificial neural networks /

193. C.A. Fleischer, L.A. Belfore II. // 15th IEEE VLSI Test Symposium. 1997. - P. 245-250.

194. Бабкин, P.А. Метод выделения подозреваемых неисправностей в нейронных сетях / Р.А. Бабкин, А.В. Лобанов // Нейрокомпьютеры: разработка, применение. 2004. - № 5-6. - С. 4-14.

195. Потапов, И.В. Проблемы надежности искусственных нейронных сетей / И.В. Потапов // Динамика систем, механизмов и машин: Материалы IV Международной научно-технической конференции (Омск 12-14 ноября 2002 г.) Омск: ОмГТУ, 2002. - Кн. 1. - С. 236-238.

196. Потапов, В.И. Фундаментальные проблемы разработки основ прикладной теории надежности искусственных нейронных сетей и нейрокомпь-ютерных систем / В.И. Потапов // Омский научный вестник. 2006. - № 4(38).-С. 112-115.

197. Половко, A.M. Основы теории надежности. 2-е изд., перераб. и доп. / A.M. Половко, C.B. Гуров. СПб.: БХВ-Петербург, 2006. - 704 с.

198. Потапов, И.В. Предпосылки к созданию прикладной теории надежности искусственных нейронных сетей и нейрокомпьютерных систем / И.В. Потапов ; Омский гос. техн. ун-т. Омск, 2009. - 39 с. - Деп. в ВИНИТИ 17.02.09, №79-В2009.

199. Потапов, В.И. Математические модели, методы и алгоритмы оптимизации надежности и технической диагностики искусственных нейронных сетей / В.И. Потапов, И.В. Потапов. Омск: Изд-во ОГУП Омская областная типография, 2004. - 220 с.

200. Потапов, И.В. Надежность нейрокомпьютерных систем. Модели и задачи / И.В. Потапов. Омск: Изд-во ОмГТУ, 2007. - 240 с.

201. Синтез схем на пороговых элементах / E.H. Вавилов и др.. М.: Сов. радио, 1970.-368 с.

202. Бутаков, Е.А. Методы синтеза релейных устройств из пороговых элементов / Е.А. Бутаков. М.: Энергия, 1970. - 328 с.

203. Хорошевский, В.Г. Инженерный анализ функционирования вычислительных машин и систем / В.Г. Хорошевский. М.: Радио и связь, 1987. -256 с.

204. Калбертсон, Д.Т. Некоторые неэкономичные работы / Д.Т. Калбертсон // Автоматы. М.: ИЛ, 1956. - С. 205-241.

205. Варшавский, В.И. Некоторые вопросы теории логических сетей, построенных из пороговых элементов / В.И. Варшавский // Вопросы теории математических машин. М.: Физматгиз, 1962. - Вып. 2. - С. 43-52.

206. Дейч, С. Модели нервной системы / С. Дейч. М.: Мир, 1970.325 с.

207. Мкртчян, С.О. О модели формального нейрона с объединяющимися волокнами / С.О. Мкртчян // Известия АН СССР. Техническая кибернетика. 1970. - № 3. - С. 122-124.

208. Бриллюэн, Л. Наука и теория информации : пер. с англ. / Л. Брил-люэн. М.: Физматгиз, 1960. - 392с.

209. Красовский, A.A. Основы автоматики и технической кибернетики / A.A. Красовский, Г.С. Поспелов. М.: Госэнергоиздат, 1962. - 600с.

210. Потапов, И.В. Информационная избыточность искусственных нейронов и нейронных сетей как фактор их надежного функционирования / И.В. Потапов // Омский научный вестник. Серия Приборы, машины и технологии. 2006. - № 10(48).-С. 153-157.

211. Барлоу, Р. Математическая теория надежности : пер. с англ. / Р. Барлоу, Ф. Прошан. М.: Сов. радио, 1969. - 488 с.

212. Надежность технических систем : справ. / Под ред. И.А. Ушакова. М.: Радио и связь, 1985. - 606 с.

213. Козлов, Б.А. Справочник по расчету надежности аппаратуры радиоэлектроники и автоматики / Б.А. Козлов, И.А. Ушаков. М.: Сов. радио, 1975.-472 с.

214. Потапов, И.В. Модели отказоустойчивых многофункциональных нейромодулей с информационно-структурным резервированием / И.В. Потапов // Нейрокомпьютеры: разработка, применение. 2008. — № 9. - С. 3-9.

215. Виноград, С. Надежные вычисления при наличии шумов : пер. с англ. / С. Виноград, Дж. Д. Коуэн. М.: Наука, 1968. - 112 с.

216. Теория кодирования : пер. с яп. / Т. Кассами и др.. М.: Мир, 1978.-576 с.

217. Черкесов, Г.Н. Надежность аппаратно-программных комплексов / Г.Н. Черкесов. СПб.: Питер, 2005. - 497 с.

218. Пирс, У. Построение надежных вычислительных машин : пер. с англ. / У. Пирс. М.: Мир, 1968. - 272 с.

219. Острейковский, В.А. Теория надежности / В.А. Острейковский. — М.: Высшая школа, 2003. 463 с.

220. Потапов, В.И. О логической избыточности функционально устойчивых сетей искусственных нейронов / В.И. Потапов, И.В. Потапов // Омский научный вестник. 2001. - Вып. 15. - С. 90-91.

221. Потапов, В.И., Синтез многофункциональных формальных нейронов с оптимальными параметрами / В.И. Потапов, JLB. Камаева // Вычислительная техника и системы управления. Омск: ОмПИ, 1974. - С. 20-30.

222. Потапов, В.И. Синтез оптимизированных многофункциональных формальных нейронов / В.И. Потапов, А.Н. Флоренсов // Вычислительная техника и системы управления. Омск: ОмПИ, 1975. - Вып. 2. - С. 9-18.

223. Потапов, В.И. Синтез адаптивных избыточных искусственных нейронных сетей, функционально устойчивых к отказам нейронов / В.И. Потапов, И.В. Потапов // Вестник СО АН ВШ. № 1(9). - 2005. - С. 153-163.

224. Потапов, В.И. Минимизация процесса восстановления в функциональных устойчивых логических сетях из элементов нейронного типа / В.И. Потапов, В.Ф. Нестерук // Проблемы бионики. Харьков: ХГУ, 1973. -Вып. 11.-С. 22-26.

225. Сердаков, A.C. Автоматический контроль и техническая диагностика / A.C. Сердаков. Киев: Техшка, 1971. - 244 с.

226. Райкин, A.JI. Вероятностные модели функционирования резервированных устройств / A.JI. Райкин. М.: Наука, 1975. - 254 с.

227. Зеленцов, Б.П. Матричные модели надежности систем: инженерные методы расчета / Б.П. Зеленцов. Новосибирск: Наука. Сиб. отд-ние, 1991.-112 с.

228. Потапов, И.В. О готовности и средней готовности нейрокомпью-терной системы с ненадежным устройством контроля работы искусственной нейронной сети / И.В. Потапов // Известия вузов. Северокавк. регион. Технические науки. Прил. 2005. - № 3. - С. 34-37.

229. Потапов, И.В. Вычисление функциональной готовности нейрокомпыотерной системы при настройке и восстановлении после отказов / И.В. Потапов // Омский научный вестник. 2006. - № 3(36). - С. 129-132.

230. Васильев, Б.В. Надежность и эффективность радиоэлектронных устройств / Б.В. Васильев, Б.А. Козлов, Л.Г. Ткаченко. -М.: Сов. радио, 1964. -368 с.

231. Вентцель, Е.С. Теория случайных процессов и ее инженерные приложения / Е.С. Вентцель, JI.A. Овчаров. М.: Высш. шк., 2000. - 383 с.

232. Потапов, В.И. Новые задачи прикладной теории надежности нейронных систем / В.И. Потапов. Омск: Изд-во ОмГТУ, 2008. - 56 с.

233. Потапов, И.В. Решение задач оптимизации надежности аппаратур-но-избыточных отказоустойчивых однородных искусственных нейронных сетей / И.В. Потапов // Известия вузов. Северокавк. регион. Технические науки. 2005. -№ 4. - С.24-26.

234. Потапов, И.В. Комплекс программного обеспечения для оптимизации надежности однородных нейронных структур / И.В. Потапов // Программные продукты и системы. 2008. - № 1(81). - С. 90-92.

235. Потапов, И.В. Программное обеспечение для исследования й оптимизации надежности однородных нейронных структур (ОФАП № 10518) / И.В. Потапов, М.В. Кузин // М.: ОФАП ФГНУ «ГКЦИТ», 2008. № 50200800878.

236. Потапов, И.В. Программное обеспечение для исследования и оптимизации надежности однородных нейронных структур / И.В. Потапов, М.В. Кузин // Инновации в науке и образовании (Телеграф отраслевого фонда алгоритмов и программ). 2008. - № 4(39). - С. 35.

237. Потапов, И.В. Программное обеспечение для исследования и оптимизации надежности однородных нейронных структур / И.В. Потапов, М.В. Кузин // Компьютерные учебные программы и инновации. 2008. — № 7.-С. 138.

238. Потапов, В.И. Математическая модель адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными / В.И. Потапов, И.В. Потапов // Омский научный вестник. 2002. - Вып. 18. - С. 135— 138.

239. Потапов, В.И. Новые задачи оптимизации резервированных систем / В.И. Потапов, С.Г. Братцев. — Иркутск: изд-во Иркут. ун-та, 1986. — 112с.

240. Козлов, Б.А. Резервирование с восстановлением / Б.А. Козлов. -М.: Сов. радио, 1969. 152 с.

241. Диткин, В.А. Интегральные преобразования и операционное исчисление / В.А. Диткин, А.П. Прудников. М.: Наука, 1974. - 542 с.

242. Мишина, А.П. Высшая алгебра / А.П. Мишина, И.В. Проскуряков. -М.: Наука, 1965.-300 с.

243. Егорычев, Г.П. Интегральное представление и вычисление комбинаторных сумм / Г.П. Егорычев. Новосибирск: Наука, 1977. - 281с.

244. Потапов, В.И. Решение задачи оптимального резервирования «стареющей» адаптивной искусственной нейронной сети / В.И. Потапов, И.В. Потапов // Доклады СО АН ВШ. 2003. - № 1(7). - С. 35-43.

245. Потапов, В.И. Оптимизация функциональной надежности избыточной восстанавливаемой после отказов нейронов «стареющей» искусственной нейронной сети / В.И. Потапов, И.В. Потапов // Информационные технологии. 2004. - № 12. - С. 32-37.

246. Брайсон, А. Прикладная теория оптимального управления / А. Брайсон, Ю Ши Хо. М.: Мир, 1972. - 544 с.

247. Федоренко, Р.П. Приближенное решение задач оптимального управления / Р.П. Федоренко. М.: Наука, 1978. - 486 с.

248. Флеминг, У. Оптимальное управление детерминированными и стохастическими системами / У. Флеминг, Р. Ришел. М.: Мир, 1978. - 316 с.

249. Корн, Г. Справочник по математике для научных работников и инженеров / Г. Корн, Т. Корн. М.: Наука, 1984. - 833 с.

250. Потапов, И.В. Расчет показателей надежности резервированных искусственных нейронных сетей с учетом случайного времени восстановления работоспособности / И.В. Потапов // Вестник ТГУ. Прил. 2006. - № 18. -С. 106-110.

251. Потапов, И.В. Методика анализа надежности резервированной искусственной нейронной сети / И.В. Потапов // Изв. вузов. Приборостроение.- 2007. Т. 50. - № 1. - С. 26-30.

252. Сачков, В.Н. Комбинаторные методы дискретной математики / В.Н. Сачков. М.: Наука, 1977. - 320 с.

253. Потапов, В.И. Вычисление коэффициентов уравнений «гибели» при скользящем резервировании / В.И. Потапов, С.Г. Братцев // Изв. АН СССР. Техническая кибернетика. 1976. - № 2. - С. 74-81.

254. Потапов, В.И. Об оптимизации среднего времени «жизни» однородных нейронных сетей нейрокомпьютеров с замещением отказавших нейронов резервными / В.И. Потапов, И.В. Потапов // Омский научный вестник.- 2004. Вып. 1 (26). - С. 95-99.

255. Беллман, Р. Квазилинеаризация и нелинейные краевые задачи / Р. Беллман, Р. Калаба. М.: Мир, 1968. - 324 с.

256. Потапов, В.И. Оптимизация функциональной надежности «стареющих» искусственных сетей нейрокомпьютеров с динамическим резервированием / В.И. Потапов, И.В. Потапов // Доклады АН ВШ России. 2004. -№ 2(3).-С. 76-81.

257. Потапов, И.В. Исследование и оптимизация надежности нейро-компьютерных систем в конфликтных ситуациях / И.В. Потапов // Вестник ТГУ. Управление, вычислительная техника и информатика. 2008. - № 4(5). -С. 69-73.

258. Гермейер, Ю.Б. Введение в теорию исследования операций / Ю.Б. Гермейер. -М.: Наука, 1971.-383 с.

259. Крапивин, В.Ф. Теоретико-игровые методы синтеза сложных систем в конфликтных ситуациях / В.Ф. Крапивин. — М.: Сов. радио, 1972. 192 с.

260. Понтрягин, JI.C. Оптимизация и дифференциальные игры / JI.C. Понтрягин // Природа. 1979. - № 1. - С. 2-7.

261. Благодатских, В.И. Введение в оптимальное управление (линейная теория) / В.И. Благодатских. М.: Высш. шк., 2001. - 238 с.

262. Оуэн, Н.Г. Теория игр и игровое моделирование / Н.Г. Оуэн // Исследование операций. Методологические основы и математические методы. -М.: Мир, 1981.-Т. 1.-С. 513-549.

263. Вентцель, Е.С. Исследование операций / Е.С. Вентцель. М.: Сов. радио, 1972. - 552 с.

264. Потапов, И.В. Решение задачи оптимального динамического распределения резерва «стареющей» искусственной нейронной сети в конфликтной ситуации / И.В. Потапов // Нейрокомпьютеры: разработка, применение. 2006. - № 3. - С. 3-8.

265. Потапов, И.В. Резервирование «стареющей» искусственной нейронной сети в условиях игры с «природой» / И.В. Потапов // Надежность. -2006.-№4.-С. 3-10.

266. Потапов, В.И. Противоборство (дифференциальная игра) двух нейрокомпьютерных систем / В.И. Потапов, И.В. Потапов // Информационные технологии. 2005. - № 8. - С. 53-57.

267. Черкесов, Г.Н. Надежность технических систем с временной избыточностью / Г.Н. Черкесов. М.: Сов. радио, 1974. — 295 с.

268. Креденцер, Б.П. Прогнозирование надежности систем с временной избыточностью / Б.П. Креденцер. Киев: Наук, думка, 1978. - 238 с.

269. Копп, В.Я. Стохастические модели автоматизированных производственных систем с временным резервированием / В.Я. Копп, Ю.Е. Обже-рин, А.И. Песчанский. Севастополь: СевГТУ, 2000. - 284 с.

270. Потапов, И.В. Новый подход к оценке надежности' нейрокомпьютерных систем с временной избыточностью / И.В. Потапов // Омский научный вестник. 2006. -№ 1(34). - С. 148-151.

271. Михлин, С.Г. Приближенные методы решения дифференциальных и интегральных уравнений / С.Г. Михлин, Х.Л. Смолицкий. М.: Наука, 1965.-383 с.

272. Хинчин, А.Я. Работы по математической теории массового обслуживания / А.Я. Хинчин. М.: Физматгиз, 1963. — 236 с.

273. Гнеденко, Б.В. Математические методы в теории надежности / Б.В. Гнеденко, Ю.К. Беляев, А.Д. Соловьев. М.: Наука, 1965. - 524 с.

274. Герцбах, И.Б. Модели отказов / И.Б. Герцбах, Х.Б. Кордонский. -М.: Сов. радио, 1966. 166 с.

275. Бейтмен, Г. Таблицы интегральных преобразований / Г. Бейтмен, А. Эрдейи. Т. 1. - М.: Наука, 1969. - 343 с.

276. Потапов, И.В. Отказоустойчивые нейрокомпьютерные системы с временной избыточностью / И.В. Потапов // Нейроинформатика и ее приложения: Материалы XIV Всерос. семинара (Красноярск, 6-8 октября 2006 г.). Красноярск: ИВМ СО РАН, 2006. - С. 75-76.

277. Потапов, И.В. Две модели нейрокомпьютерных систем с временной избыточностью / И.В. Потапов // Нейрокомпьютеры: разработка, применение. 2006. - № 10.-С. 16-21.