Математические модели и методы оптимизации функциональной надежности искусственных нейронных сетей

Потапов, Илья Викторович

Системный анализ, управление и обработка информации (по отраслям)

автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Математические модели и методы оптимизации функциональной надежности искусственных нейронных сетей

кандидата технических наук: Потапов, Илья Викторович
город: Томск
год: 2004
специальность ВАК РФ: 05.13.01
цена: 450 рублей

Диссертация по информатике, вычислительной технике и управлению на тему «Математические модели и методы оптимизации функциональной надежности искусственных нейронных сетей»

Автореферат диссертации по теме "Математические модели и методы оптимизации функциональной надежности искусственных нейронных сетей"

На правах рукописи

Потапов Илья Викторович

МАТЕМАТИЧЕСКИЕ МОДЕЛИ И МЕТОДЫ ОПТИМИЗАЦИИ ФУНКЦИОНАЛЬНОЙ НАДЕЖНОСТИ ИСКУССТВЕННЫХ НЕЙРОННЫХ

СЕТЕЙ

Специальность: 05.13.01 - Системный анализ, управление и обработка информации (по отраслям: информация и информационные системы, энергетика, экономика)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Томск-2004

На правах рукописи

Потапов Илья Викторович

МАТЕМАТИЧЕСКИЕ МОДЕЛИ И МЕТОДЫ ОПТИМИЗАЦИИ ФУНКЦИОНАЛЬНОЙ НАДЕЖНОСТИ ИСКУССТВЕННЫХ НЕЙРОННЫХ

СЕТЕЙ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Томск - 2004

Работа выполнена в Омском государственном техническом университете

Научный руководитель: Заслуженный деятель науки и техники РФ,

доктор технических наук, профессор Потапов В. И.

Официальные оппоненты: доктор физико-математических наук,

профессор Терпугов А.Ф.; кандидат физико-математических наук, Иваненко Б.П.

Ведущая организация: Новосибирский государственный технический университет.

Защита состоится "24" марта 2004 г. в 15 час. 00 мин. на заседании диссертационного совета Д 212.269.06 по адресу: 634034, г. Томск, ул. Советская, 84, институт "Кибернетический центр" ТПУ.

С диссертацией можно ознакомиться в библиотеке Томского политехнического университета.

Автореферат разослан "_"_2004 г.

Ученый секретарь диссертационного к.т.н., доцент

национальная

I БИБЛИОТЕКА

! -¿ЧЗРлУ

Общая характеристика работы

Актуальность темы. Теория искусственных нейронных сетей (ИНС) благодаря фундаментальным работам зарубежных исследователей У.Мак-Каллока, У.Питтса, Ф.Розенблатта, М.Минского, СДейча, Б.Уидроу, Т.Кохонена, Д.Хопфилда, С.Гроссберга, а также советских и российских ученых И.Б.Гутчина и АС.Кузичева, Н.В.Позина, С.О.Мкртчяна, Н.М.Амосова, А.И.Галушкина, А.Н.Горбаня, В.В.Круглова и др. получила широкое развитие. При этом основные направления исследований были связаны с изучением топологии (архитектуры) нейронных сетей, их синтезом и обучением (настройкой) для решения поставленных задач.

В связи с созданием нейрокомпьютеров и применением их на практике нейросетевая тематика стала междисциплинарной и появились новые научные проблемы, решению которых уделялось недостаточно внимания или совсем не уделялось ввиду их сложности и неизученности.

Годовой рынок современных искусственных нейронных сетей и нейрокомпьютеров по данным ведущих организаций и фирм США и Японии на 2000 год составил 750-900 млн. долларов. При этом практическая реализация ИНС и нейрокомпьютеров в виде кремниевых нейрочипов и нейросистем на пластинах, содержащих свыше 106 эквивалентных искусственных нейронов различного уровня сложности, стала технологически и экономически разрешимой и имеет тенденцию к росту.

Поэтому задачи обеспечения отказоустойчивости и оптимизации надежности специфичных по структурно-функциональной организации и условиям работы нейронных сетей и нейрокомпьютерных систем выходят на первый план среди актуальных задач теории искусственных нейронных сетей.

Основными задачами оптимизации функциональной надежности, поставленными и решенными в работе, являются задачи оптимизации резервирования однородной адаптивной искусственной нейронной сети без восстановления и с восстановлением отказавших блоков нейронов, оптимизации резервирования "стареющей" адаптивной искусственной нейронной сети, у которой интенсивность отказов нейронов является неубывающей функцией времени, оптимизации восстановления избыточной "стареющей" адаптивной искусственной нейронной сети, состоящей из логически стабильных мини-сетей.

Диссертационная работа выполнена в рамках НИР "Разработка математических моделей и методов оптимизации функциональной надежности

искусственных нейронных сетей" в соответствии с грантом Министерства образования РФ Е02-2-75 по фундаментальным исследованиям в области естественных и точных наук.

Цель работы. С учетом сложившегося состояния вопроса в области исследования надежности искусственных нейронных сетей, основной целью диссертационной работы стало: обобщение известных и разработка новых математических моделей, методов и алгоритмов оптимизации функциональной надежности искусственных нейронных сетей.

Задачи исследования. В диссертационной работе были поставлены и решены следующие основные задачи.

1. Разработка математических моделей и исследование функциональных возможностей многофункциональных искусственных нейронов (ИН) для построения логически избыточных искусственных нейронных сетей, функционально устойчивых к отказам нейронов.

2. Развитие метода синтеза оптимизированных логически стабильных искусственных нейронных сетей, адаптивных к отказам нейронов, и метода минимизации процесса адаптации нейронной сети к отказам.

3. Создание вероятностных моделей функционирования и развитие методов расчета надежности избыточных искусственных нейронных сетей, неадаптивных и адаптивных к отказам нейронов.

4. Исследование надежностных характеристик адаптивных искусственных нейронных сетей с целью выбора оптимальной по надежности нейронной системы.

5. Разработка математической модели, метода расчета функциональной надежности и создание алгоритма решения задачи оптимального резервирования однородной адаптивной искусственной нейронной сети при пуассоновском потоке отказов.

6. Разработка алгоритма решения задачи оптимального резервирования, максимизирующего вероятность безотказной работы или среднее время "жизни" однородной адаптивной искусственной нейронной сети с восстановлением отказавших блоков нейронов.

7. Разработка алгоритма решения задачи оптимального резервирования, максимизирующего вероятность безотказной работы или среднее время "жизни" "стареющей" однородной адаптивной искусственной нейронной сети.

8. Решение задачи и разработка алгоритма оптимизации восстановления избыточной "стареющей" адаптивной искусственной нейронной сети, состоящей из логически стабильных мини-сетей."

Методы исследования. Для решения поставленных задач используется математический аппарат теории марковских процессов, теории надежности, вычислительной математики и компьютерное моделирование.

Научная новизна

1. Предложен способ оценки логической избыточности одновыходных однородных ИНС.

2. Предложен критерий оптимальности для организации синтеза логически стабильных искусственных нейронных сетей, адаптивных к отказам нейронов, зависящий от вероятности безотказной работы и структурной сложности сети.

3. Решена задача минимизации процесса адаптации к отказам ИН для логически стабильных регулярных однородных двухранговых нейронных сетей,

4. Построена математическая модель и решена задача определения функциональной надежности и среднего времени "жизни" избыточных ИНС произвольной конфигурации, неадаптивных и адаптивных к отказам нейронов.

5. Поставлена и решена задача оптимального резервирования, максимизирующего среднее время "жизни", и задача оптимального резервирования, максимизирующего вероятность безотказной работы на заданном временном интервале, для многослойной многовыходной структурно однородной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными при пуассоновском потоке отказов и восстановления отказавших нейронных блоков.

6. Поставлена и решена задача оптимизации резервирования избыточной "стареющей" адаптивной искусственной нейронной сети, обеспечивающего максимизацию среднего времени "жизни" или вероятность безотказной работы сети на заданном временном интервале.

7. Поставлена и решена задача оптимизации восстановления избыточной "стареющей" адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных мини-сетей.

Основные результаты, выносимые на защиту

1. Математическая модель и расчет среднего времени "жизни" и вероятности безотказной работы на заданном временном интервале избыточных ИНС произвольной конфигурации, неадаптивных и адаптивных к отказам нейронов.

2. Решение задачи оптимального резервирования, максимизирующего среднее время "жизни", и задачи оптимального резервирования, максимизирующего вероятность безотказной работы на заданном временном интервале, для многослойной многовыходной структурно однородной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными при пуассоновском потоке отказов и восстановления отказавших нейронных блоков.

3. Решение задачи оптимизации резервирования избыточной "стареющей" адаптивной искусственной нейронной сети, обеспечивающего максимизацию среднего времени "жизни" или вероятности безотказной работы сети на заданном временном интервале.

4. Решение задачи оптимизации восстановления избыточной "стареющей" адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных мини-сетей.

Теоретическая ценность

1. Сформулированы и теоретически обоснованы задачи оптимизации функциональной надежности структурно однородных избыточных адаптивных к отказам нейронных сетей. Показано, что данные оптимизационные задачи сводятся к задачам целочисленного программирования. Решение таких задач доведено до подробных алгоритмов, реализуемых на ПЭВМ.

2. Разработаны теоретические положения оптимизации функциональной надежности "стареющих" искусственных нейронных сетей и показано, что для приближенного решения этих оптимизационных задач необходимо использовать совместно метод дискретизации и методы целочисленного программирования.

3. Разработаны теоретические основы оптимизации восстановления после отказов нейронов избыточных "стареющих" адаптивных искусственных нейронных сетей, состоящих из логически стабильных мини-сетей. Показано, что для решения подобных задач могут быть использованы методы теории оптимального управления совместно с методом дискретизации.

4. Совокупность разработанных в диссертации теоретических положений оптимизации функциональной надежности ИНС создает основу для развития теории оптимизации надежности нейрокомпьютеров и нейрокомпьютерных систем.

Практическая ценность

1. Предложен способ реализации логических функций от большого числа переменных с использованием двухвходового многофункционального искусственного нейрона с пресинаптическим взаимодействием и возможностью перестройки порогов и весов в процессе реализации функции, практическая реализация которого не вызывает особых трудностей.

2. Построенные в работе математические модели и детально разработанные алгоритмы расчета функциональной надежности избыточных нейронных систем с адаптивными ИН позволяют решить следующие важные для инженерной практики задачи:

1)при заданном соотношении между интенсивностями отказов и сбоев найти тип адаптивного искусственного нейрона и алгоритм адаптации, обеспечивающий на интервале [0,1] вероятность безотказной работы не ниже заданной при минимальной избыточности системы, либо при заданном ограничении на избыточность ИНС найти тип адаптивного искусственного нейрона, обеспечивающий максимальную вероятность безотказной работы;

2) для каждого соотношения интенсивностей отказов и сбоев обоих типов и заданной избыточности определить такой тип адаптивной искусственной нейронной сети и такой алгоритм адаптации, которые обеспечат ей максимальное среднее время "жизни".

3. Решены задачи оптимизации резервирования "нестареющей" и "стареющей" адаптивной искусственной нейронной сети для максимизации среднего времени "жизни" или вероятности безотказной работы на заданном временном интервале и задача оптимизации восстановления избыточной "стареющей" адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных мини-сетей.

4. Разработано программное обеспечение для решения практических задач оптимизации резервирования адаптивных искусственных нейронных сетей.

Апробация работы. По результатам работы сделаны доклады на Технологическом конгрессе «Современные технологии при создании продукции военного и гражданского назначения» (Омск, 2001 г.), на Седьмой международной научно-практической конференции «Природные и интеллектуальные ресурсы Сибири» (Барнаул, 2001 г.), на Научной сессии ТУСУР в рамках межрегиональной научно-технической конференции (Томск, 2002 г.), на Восьмой международной научно-практической конференции «Природные и интеллектуальные ресурсы Сибири» (Кемерово, 2002 г.), на IV Международной научно-технической конференции «Динамика систем, механизмов и машин» (Омск 2002 г.), на научных семинарах кафедры «Информатика и вычислительная техника» Омского государственного технического университета (Омск, 2001 - 2003 гг.), на II Международном технологическом конгрессе «Военная техника, вооружение и технологии двойного применения в XXI веке» (Омск, 2003 г.).

Реализация результатов работы. Разработанные в диссертации математические модели, алгоритмы и программы используются в учебном процессе на кафедре ИВТ Омского государственного технического университета при обучении студентов по магистерской программе 552803 -Отказоустойчивые вычислительные системы. По результатам исследований опубликовано учебное пособие для студентов, обучающихся по магистерской программе. Алгоритмы и программы для исследования и расчета оптимальных параметров резервирования «нестареющих» нейронных систем используются в лаборатории разработки и внедрения программно-технических средств автоматизации Омского государственного института системотехники для моделирования и выбора оптимальных технических решений в системах управления энергоресурсами. Имеются акты о внедрении.

Публикации. Основное содержание диссертации отражено в 21 научном труде, включая 19 печатных работ и 2 депонированные в ВИНИТИ рукописи.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, включающего 97 наименований, и двух приложений. Основной объем работы 168 страниц машинописного текста. Объем приложения 1-5 страниц, объем приложения 2-2 страницы машинописного текста. Работа содержит 11 рисунков и 1 таблицу. Приложение 1 содержит 2 рисунка.

Основное содержание работы

Во введении проводится краткий анализ известных методов исследования функциональной надежности искусственных нейронных сетей, обосновывается актуальность темы диссертационной работы, ставятся основные цели и задачи, решению которых посвящена диссертационная работа.

В первой главе рассматриваются математические модели искусственных нейронов с пороговой функцией активации, приведенные к удобному для машинного моделирования виду. Дана оценка структурной сложности монофункциональных и многофункциональных искусственных нейронов с пресинаптическим взаимодействием (ИНП). Решена задача реализации логических функций от большого числа переменных с использованием функционально гибких ИНП с малым числом информационных входов, переменным порогом и весами входов . Предложен способ оценки логической избыточности функционально устойчивых искусственных нейронных сетей как фактора повышения их функциональной надежности.

При рассмотрении искусственных нейронов без пресинаптического взаимодействия показано, что для расширения логических возможностей подобных нейронов и увеличения их логической гибкости, являющейся одним из критериев надежности искусственных нейронных сетей, искусственные нейроны данного типа следует объединять в простейшие сети, например, двухранговые с одним выходным нейроном, и использовать как логически полный нейроноподобный модуль.

Результаты анализа моделей ИН с пресинаптическим взаимодействием показали, что каждая из моделей описывает архитектуру и работу соответствующей двухранговой искусственной нейронной сети, в первом ранге которой находятся монофункциональные ИН типа порогового элемента, которые реализуют функции узлов пресинаптического взаимодействия, а выходной ИН, являясь также пороговым элементом, работающим как в монофункциональном, так и в многофункциональном режиме при изменении его параметров (и^н^»—•"«•Т»). реализует на выходе любые булевы функции входных переменных.

В результате анализа структурной сложности ИН сделан вывод о том, что с увеличением количества функциональных входов 5 имеет место достаточно

быстрый рост конструктивных параметров у всех видов искусственных нейронов с пресинаптическим взаимодействием, как и у ИН без пресинаптического взаимодействия. Это усложняет проблему технической реализации искусственных нейронов, число функциональных входов которых ¿>5-6.

Для решения задачи реализации ИН логических функций от большого числа переменных предлагается подход, основанный на использовании функционально гибких ИНП с и переменными параметрами

Параметры могут программно задаваться и перестраиваться перед

началом и в процессе работы. При этом ИНП каждого типа может реализовать любую из 22 логических функций. Если в качестве управляющих сигналов для перестройки параметров ИН использовать входные переменные и их

инверсии хз,*4,*5..... то на выходе двухвходового нейрона можно реализовать

по частям различные функции от трех, четырех, пяти и более

аргументов. Принципиальных ограничений на число аргументов нет.

При оценке логической избыточности функционально устойчивых искусственных нейронных сетей как фактора повышения их функциональной надежности установлено, что ИНС, у которых в результирующих диаграммах количество единиц обладают наименьшей логической

избыточностью, а следовательно, и наименьшей функциональной устойчивостью, а сети, у которых или обладают наибольшей

логической избыточностью и наибольшей функциональной устойчивостью.

Для повышения надежности реализации заданной функции нейронной сетью предложен итеративный метод построения сети. Суть этого метода состоит в том, что каждый ИН заменяется, например, однородной двухранговой функционально устойчивой сетью. Каждая такая ИНС принимается за логический модуль, подобный отдельно взятому ИН, и из этих модулей строится новая функционально устойчивая сеть по тем же правилам, что и двухранговая сеть из отдельных ИН. Итеративное наращивание сети указанным способом приводит к повышению ее функциональной надежности.

Было экспериментально установлено, что при указанном способе построения сети надежность реализации заданной функции ¥(Х) увеличивается не бесконечно, а достигает максимума после нескольких итераций.

Во второй главе решена задача синтеза искусственной нейронной сети, логически стабильной в максимально возможном диапазоне изменения порогов входящих в нее искусственных нейронов, с использованием предложенного критерия оптимальности. Решена также задача минимизации процесса адаптации к отказам ИН для логически стабильных регулярных

однородных двухранговых сетей с нейронами в первом ранге и одним нейроном во втором ранге.

Критерием оптимальности нейронной сети обычно считают минимум суммарного числа компонентов N (например, узлов пресинаптического взаимодействия или волокон) у входящих в нее искусственных нейронов. При таком критерии оптимальности задача оптимизации нейронной сети сводится к минимизации N. Очевидно, что с технической точки зрения минимизация N приводит к уменьшению общего числа компонентов ИН, необходимых для построения ИНС, и поэтому данным критерием целесообразно пользоваться тогда, когда минимизация компонентов ИН является определяющим фактором при синтезе ИНС.

Основная же цель (кроме возможных других), преследуемая при объединении ИН в сеть, - повышение надежности реализации заданной функции ¥(Х) путем введения избыточности и адаптации сети к отказам ИН. Поэтому использование в качестве критерия оптимальности ИНС функционала, не зависящего от того или иного параметра надежности сети, является с этой точки зрения принципиально неверным. Следовательно, оптимизация ИНС должна заключаться либо в минимизации N при заданной вероятности Р(1) безотказной реализации нейронной сетью требуемой функции ¥(Х), либо в максимизации Р(г) при ограничении N. Но в связи с тем, что Р(г) является функцией времени, нельзя говорить об оптимальности сети вообще, а необходимо указать временной интервал внутри

которого синтезируемая ИНС оптимальна по выбранному критерию, учитывающему надежность сети в этом интервале. Ввиду различной скорости изменения функции р(/) в зависимости от г и структуры ИНС оптимальная в одном временном интервале сеть может оказаться далеко не оптимальной в другом временном интервале.

В соответствии со сказанным, максимизируемый функционал в интервале для синтезируемой, оптимальной с точки зрения автора, ИНС с определенной структурой представляется целесообразным записать в следующем виде

где - коэффициент, определяющий долю конструктивного фактора в оптимизируемой ИНС.

Величина коэффициента зависит от конкретного исполнения ИН, а также от назначения сети и может выбираться разработчиками из практических соображений. При абстрактном синтезе ИНС удобно считать г = 1

Решение задачи синтеза логически стабильной в заданном диапазоне изменения наборов порогов ИНС сводится к нахождению порядка заполнения

диаграмм (карт) Карно ИН <р,Ч^п<¥п.....Ум* обеспечивающего получение

требуемого диапазона логической стабильности сети из невырожденных ИН при максимизации функционала

Анализ многочисленных примеров показывает, что для получения максимального диапазона логической стабильности сети из невырожденных ИН заполнение диаграммы Карно выходного нейрона <р двухранговой ИНС должно производиться в определенной последовательности, зависящей от общего количества единиц в результирующей диаграмме Карно Р(х).

. Выбранная для заданной функции Ж(х) последовательность заполнения диаграммы Карно как оператора накладывает определенные ограничения на последовательность заполнения карт Карно как операндов. Для

облегчения процедуры заполнения диаграмм Карно двухранговой ИНС и упрощения процесса оптимизации нейронной сети можно воспользоваться визуальным представлением в виде карт (таблиц) стабильности, которые легко приводятся к машинной форме записи и обработки.

Одной из важнейших задач при построении адаптивных ИНС является задача минимизации процесса адаптации к отказам ИН, т.е. задача минимизации числа настроек параметров ИН сети, а следовательно, и времени восстановления функциональных свойств нейронной сети, при наличии дестабилизирующих факторов, включая все возможные отказы у ИН.

Рассматриваемая задача многопараметрическая, многоплановая и в общем виде не решается. Поэтому в данной работе решена задача минимизации процесса адаптации к отказам ИН для логически стабильных регулярных однородных двухранговых сетей с 8 нейронами в первом ранге и одним (выходным) нейроном во втором ранге. При этом предполагается, что адаптация осуществляется пошагово путем одновременного изменения порогов у всех ИН сети на одинаковую величину на каждом шаге

адаптации.

В третьей главе построена с использованием математического аппарата теории марковских случайных процессов математическая модель и решена задача определения функциональной надежности, т.е. вероятности безотказной работы и среднего времени "жизни" избыточных ИНС произвольной конфигурации, неадаптивных к отказам нейронов. Также построена математическая модель и решена задача расчета функциональной надежности, включая вероятность безотказной работы, среднее время "жизни" и вероятность нахождения в состоянии адаптации, избыточных ИНС произвольной конфигурации, адаптивных к отказам нейронов. С использованием полученных моделей и методов расчета" исследована

функциональная надежность двух типов ИНС, адаптивных к отказам нейронов, при различных алгоритмах адаптации. Полученные результаты позволяют аналитически и численно решать важные для практики задачи оптимизации функциональной надежности ИНС.

Расчет функциональной надежности неадаптивной ИНС проводится исходя из следующих предположений. Любая нейронная сеть в, предназначенная для реализации функции состоит из N

искусственных нейронов произвольного типа и сложности. Нейроны состоят из компонентов, отказы которых равновероятны, статистически независимы, и имеет место экспоненциальный закон распределения времени между отказами. Под действием очередного отказа неадаптивнвя ИНС переходит из состояния с большим ресурсом надежности либо в состояние с меньшим ресурсом, либо в состояние отказа. Обратные переходы невозможны. Сделанное предположение о простейшем потоке отказов ИН в сети справедливо для внезапных отказов в период нормальной эксплуатации.

Пусть п - количество всех возможных одиночных отказов у N нейронов сети в, не приводящих либо приводящих ИНС к отказу. Такая сеть может находиться в конечном числе состояний (соответственно числу отказов) Ео, Е),... , Е/, ... > Ег (г 2 п), где через Е/ обозначено состояние, в котором у нейронов сети имеется / отказов. Состояние Ео,. . . , Ег.1 назовем состояниями "жизни", так как, находясь в любом из них, сеть 8 без ошибок, оговоренных при обучении (настройке), реализует заданную функцию Р(Х). Состояние Ег будем называть состоянием "гибели", если находящаяся в нем сегь в реализует функцию значение которой выходит за установленные при обучении

(настройке) допустимые пределы.

Обозначая через р/(0 вероятность нахождения ИНС в состоянии Е/ (/ = = 0,1,. ..,г), можно записать систему дифференциальных уравнений Колмогорова, решая которую нетрудно определить Р(1) - вероятность безошибочной реализации нейронной сетью требуемой функции ¥(Х) за время 1, то есть вероятность безотказной работы ("жизни") сети. Используя решение такой системы дифференциальных уравнений, можно рассчитать для любого 1 функциональную надежность ИНС, т.е. вероятность достоверной реализации заданной функции ¥(Х) нейронной сетью при наличии отказов кратности I,

На практике для сравнения различных типов ИНС возможно использование также такой характеристики, как среднее время "жизни" сети -Т. Выражения для расчета этого параметра получены из решения системы дифференциальных уравнений с использованием известных в теории надежности приемов.

Адаптивной или восстанавливаемой ИНС будем называть такую сеть Зл, у которой в процессе работы производится целенаправленное изменение параметров нейронов (весов входов и порогов Т„), преследующее цель стабилизировать работу, восстанавливать заданную в процессе обучения

(настройки) выходную функцию ¥(Х) сети при наличии внутренних и внешних дестабилизирующих факторов, например, отказов ИН сети, обрыва связей между ними и др.

Пусть п - количество всех возможных одиночных отказов у ИН, входящих в сеть . Процесс возникновения отказов пуассоновский с параметром Л. Такая сеть может находиться в конечном числе состояний (соответственно числу отказов) Ео_ Е]_ ... , Е/, ... Ег (г ^ п), где через Е/ обозначено состояние, в котором у нейронов сети имеется / отказов. Состояние назовем состояниями "жизни", так как, находясь в любом из них, сеть в без ошибок, оговоренных при обучении (настройке), реализует заданную функцию ¥(Х). Состояние Ег будем называть состоянием "гибели", если находящаяся в нем сеть 8 реализует функцию F (X), значение которой выходит за установленные при обучении (настройке) допустимые пределы. Состояния адаптации сети обозначим символами Ед/+1.

Адаптивная сеть из состояния "жизни" Е/ (/= 0,1,...,г-2) в зависимости от вида очередного (/+1)-го отказа может перейти либо непосредственно в новое состояние "жизни" Ем, либо через состояние адаптации Ед/.ц - в одно из следующих состояний "жизни" Е/+ь либо в состояние "гибели" Ег. Из состояний "жизни" Ег.| сеть может перейти только в состояние "гибели" Ег.

Будем считать, что интенсивность восстановления работоспособного состояния нейронной сети является постоянной для любого состояния

Функционирование такой ИНС описывается системой дифференциальных уравнений Колмогорова - Чепмена, решение которой в аналитическом или численном виде позволяет рассчитывать вероятность безотказной работы для заданного времени, среднее время "жизни" и вероятность нахождения в состоянии адаптации ИНС.

Полученные математические модели избыточных адаптивных нейронных систем использованы в диссертации для исследования искусственных нейронных сетей с конкретной конфигурацией и конкретным принципом адаптации, что позволяет решить следующие важные для инженерной практики задачи.

При заданном соотношении между интенсивностями отказов (Ло, и сбоев (Л о. ^ 0 найти тип АИН и алгоритм адаптации, обеспечивающий нейронной системе на интервале вероятность безотказной работы не ниже заданной при минимальной избыточности системы.

При заданном ограничении на избыточность ИНС найти тип АИН, обеспечивающий максимальную вероятность безотказной работы нейронной системы на интервале [0,1].

Для заданного соотношения интенсивностей отказов и сбоев определить такой тип адаптивной искусственной нейронной сети и такой алгоритм адаптации, которые обеспечат нейронной системе максимальное среднее время "жизни".

Примеры решения подобных задач приведены в диссертации.

В четвертой главе построена и исследована математическая модель многослойной многовыходной структурно однородной адаптивной к отказам нейронной сети с замещением отказавших нейронов резервными. Показано, что задачи выбора наилучшей в смысле максимизации вероятности безотказной работы к заданному моменту времени /у и среднего времени "жизни" восстанавливаемой и невосстанавливаемой нейронной системы сводятся к задаче целочисленного программирования. Решена задача оптимального резервирования, максимизирующего среднее время "жизни", и задача оптимального резервирования, максимизирующего вероятность безотказной работы на заданном временном интервале, для многослойной многовыходной структурно однородной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными при пуассоновских потоках отказов и восстановления отказавших нейронных блоков. Поставлена и решена задача оптимизации резервирования "стареющей" адаптивной искусственной нейронной сети, максимизирующего среднее время "жизни" или вероятность безотказной работы на заданном временном интервале. Поставлена и решена задача оптимизации восстановления избыточной "стареющей" адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных мини-сетей. Показано, что решение такой задачи сводится к задаче оптимального управления.

Для решения указанных выше задач в диссертации рассматривается многослойная многовыходная структурно однородная искусственная нейронная сеть, состоящая из п основных и т резервных (л + /и = а) блоков

(столбцов нейронов), разбитых на д групп по Ь = ~ основных и ¿ = —

резервных блоков нейронов в каждой группе. Замещение основных блоков с отказавшими нейронами резервными блоками нейронов возможно только внутри каждой

Поиск отказавшего нейрона производится системой контроля и переключения с помощью диагностического теста. Тест конструируется так, что в процессе его проведения единичный сигнал появляется на выходе только у отказавшего нейрона. По этому сигналу с помощью переключателей производится отключение блока-столбца с отказавшим нейроном и включение резервного блока путем соответствующего переключения межнейронных связей отключаемого блока с соседними блоками нейронов, а также входных и выходных цепей у всех нейронов, расположенных со стороны блоков резерва от отключаемого блока нейронов.

Обозначим через Е; (к = 0,1,. .,т) работоспособное состояние рассматриваемой ИНС Зл(п,т,5) С к отказавшими блоками; Ег (г = т +1) поглощающее состояние системы, т.е. состояние "гибели" ИНС; Л интенсивность отказов нейронов системы; Л;А (1 й к < т) - интенсивность переходов системы из состояния в состояние

интенсивность переходов системы из состояния Ej., в состояние "гибели" Е,; рк (l) (О <, к ^ т +1) - вероятность нахождения системы в момент времени t в состоянии

С учетом сделанных предположений и обозначений определяются коэффициенты At и Bt и записывается система дифференциальных уравнений Колмогорова - Чепмена, описывающих поведение рассматриваемой адаптивной ИНС SA(n,m,s), сложность решения которой не оставляет надежд на аналитические исследования. Для машинного анализа подобных ИНС с целью оптимизации надежностных характеристик и при

заданных ограничениях и диапазонах изменения параметров нейронной сети n,m,q,X данная задача сводится к задаче целочисленного программирования.

Расширим условия функционирования вышеописанной нейронной сети, поставив в соответствие каждому из q блоков основных ИН п„и2,...,л? интенсивности отказов Л1,Л2,...,Л1/ При этом будем полагать, что интенсивность отказов, не включенных в работу резервных блоков ИН sl,sl,..-,s1, равна Ла . Очевидно, что Л„ < min {я,, Лг,...,Л1}. После подключения резервного блока ИН вместо отказавшего в своей группе он начинает работать в том же режиме, что и основные ИН, т.е. с интенсивностью отказов Л,, Iii <q

Обозначим искусственную нейронную сеть, у которой отказавшие блоки ИН не восстанавливаются, , а ИНС, у которой отказавшие блоки ИН

в процессе работы восстанавливаются с интенсивностью обозначим

Основная оптимизационная задача резервирования однородной адаптивной ИНС с замещением отказавших нейронов резервными с постоянным во времени вектором s = (i,,i2.—заключается в вычислении такого распределения резервных нейронных блоков по группам, которое при заданном разбиении основных нейронных блоков по группам обеспечивает либо максимальное среднее время "жизни" нейронной системы , либо максимальную вероятность безотказной работы этой системы для заданного времени , либо решаются обе указанные задачи и выбирается лучший для разработчика вариант. То есть основная задача сводится к вычислению соответствующего оптимального вектора резервирования s, которая, в свою очередь, сводится к задаче целочисленного программирования. В диссертации получены алгоритмы для решения описанных задач на ПЭВМ. В приложении рассмотрены примеры решения задач оптимального резервирования однородной адаптивной ИНС.

Под "стареющей" искусственной нейронной сетью будем понимать сеть, у которой интенсивность отказов нейронов (элементов сети) является

возрастающей функцией времени Mf)* const. При этом, очевидно, закон надежности для такой ИНС не будет экспоненциальным.

Будем полагать, что рассмотренная выше многослойная многовыходная структурно однородная адаптивная ИНС является "стареющей". Тогда задача оптимального резервирования "стареющей" адаптивной ИНС заключается в нахождении целочисленного вектора , где ,

максимизирующего в зависимости от поставленной цели либо вероятность безотказной работы нейронной сети, либо среднее время ее "жизни".

Задача оптимизации вероятности безотказной работы адаптивной "стареющей" нейронной сети заключается в следующем. Для заданного времени найти вектор , максимизирующий вероятность безотказной

работы "стареющей" адаптивной ИНС при заданных

ограничениях.

Задача оптимизации среднего времени "жизни" адаптивной "стареющей" нейронной сети заключается в следуютпем _Найти вектор i1 , максимизирующий среднее время "жизни" j'| "стареющей" ИНС

при заданных ограничениях.

Получить точное решение указанных задач не представляется возможным. В диссертации приведен алгоритм для приближенного решения описанных задач на ПЭВМ при помощи метода дискретизации. В приложении рассмотрен пример решения задачи оптимального резервирования однородной адаптивной "стареющей" ИНС.

Еще одной из поставленных и решенных в диссертации задач оптимизации надежности ИНС является следующая задача.

Рассматривается многослойная многовыходная структурно однородная "стареющая" адаптивная ИНС в предположении, что каждый основной и резервный элемент этой сети представляет собой не отдельно взятый искусственный нейрон, а является мини-сетью, например двухранговой, логически стабильной в диапазоне одновременного

изменения порогов у нейронов мини-сети Очевидно, что в такой адаптивной ИНС отказавшие мини-сети после их замещения резервными могут восстанавливаться путем изменения порогов ИН сети в диапазоне логической стабильности с интенсивностью //(/). После восстановления отказавшие мини-сети по мере надобности могут включаться в работу. Процесс восстановления любой мини-сети может быть многократным до тех пор, пока не будет исчерпан заложенный при синтезе запас ее логической стабильности Рассматриваемую адаптивную восстанавливаемую "стареющую" ИНС будем обозначать SAB^i,m,j)

Задача оптимального восстановления "стареющей" адаптивной ИНС SAB(rt,от, j) формулируется следующим образом.

Для заданных функций Л/(')> и заданного вектора

нейронных мини-сетей в группах, минимизирующих функционал

при условии, что вероятность безотказной работы восстанавливаемой нейронной системы

где /у- время функционирования системы,

- заданные неубывающие функции, моделирующие удельную стоимость восстановления мини-сетей в группе,

р(/) - вероятность безотказной работы нейронной системы в течение времени

В диссертационной работе показано, что постановка рассматриваемой задачи может быть сформулирована в терминах теории оптимального управления.

Аналитическое решение поставленной задачи невозможно, поэтому данная задача сводится к виду, удобному для решения на ПЭВМ с помощью метода дискретизации. В диссертации приведен детальный алгоритм для приближенного решения описанной задачи на ПЭВМ.

В заключении сформулированы основные результаты, полученные в работе.

1. Сделан вывод, что для повышения функциональной надежности искусственных нейронных сетей необходимо использовать максимально логически гибкие искусственные нейроны и объединять их по соответствующим правилам в логически стабильные нейронные сети, функционально устойчивые к флуктуациям параметров нейронов сети и катастрофическим отказам нейронов.

2. Построены вероятностные модели избыточных неадаптивных и адаптивных к отказам искусственных нейронных сетей произвольной конфигурации, позволяющие исследовать функциональную надежность, искусственных нейронных сетей. Исследована надежность и среднее время "жизни" двух типов адаптивных к отказам ИНС при различных алгоритмах адаптации и возникновении в нейронной сети не только отказов, но и сбоев.

резервирования

определить интенсивности восстановления

3. Разработана математическая модель и исследована многослойная многовыходная структурно однородная адаптивная к отказам искусственная нейронная сеть с замещением отказавших нейронов резервными. Показано, что задачи выбора наилучшей в смысле максимизации вероятности безотказной работы и среднего времени "жизни" нейронной системы сводятся к задаче целочисленного программирования.

4. Поставлена и решена задача оптимального резервирования, максимизирующего среднее время "жизни", и задача оптимального резервирования, максимизирующего вероятность безотказной работы на заданном временном интервале, для многослойной многовыходной структурно однородной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными при пуассоновском потоке отказов и восстановления отказавших нейронных блоков. Получены детальные алгоритмы для решения указанных задач на ПЭВМ.

5. Предложен способ решения задачи оптимального резервирования "стареющей" адаптивной искусственной нейронной сети, в которой интенсивность отказов нейронов является неубывающей функцией времени. Разработаны алгоритмы для решения на ПЭВМ задач оптимизации вероятности безотказной работы и оптимизации среднего времени "жизни" "стареющей" адаптивной ИНС.

6. Поставлена и решена задача оптимизации восстановления избыточной "стареющей" адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных мини-сетей. Показано, что решение такой оптимизационной задачи сводится к задаче оптимального управления. Разработан детальный алгоритм решения данной задачи на ПЭВМ.

В приложении приведены примеры решения задач оптимизации функциональной надежности ИНС, подтверждающие работоспособность алгоритмов, разработанных в главе 4 диссертации-

Публикации по теме диссертации

1. Потапов В.И , Потапов И.В. Математические модели и функциональные возможности искусственных нейронов / Омский гос. техн. ун-т - Омск, 2001.-12 с.-Деп. в ВИНИТИ 03.05.01, №1140.

2. Потапов В.И., Потапов И.В. Классификация сетей искусственных нейронов, используемых для обработки цифровой информации // Природные и интеллектуальные ресурсы Сибири: Доклады VIII международной научно-практической конференции (Барнаул 17-19 сент. 2001 г.)-Томск, 2001. - Ч. 2. -С. 194-197.

3. Потапов И.В. Повышение функциональной надежности и среднего времени безотказной работы искусственной нейронной сети для обработки изображений и распознавания образов // Современные технологии при создании

продукции военного и гражданского назначения: Сб. докл. Технологического конгресса (Омск 5 - 9 июня 2001 г.). - Омск, 2001. -Ч. 1. С. 324-327.

4. Потапов И.В. Синтез оптимизированных логически стабильных искусственных нейронных сетей, адаптивных к отказам нейронов / Омский гос. техн. ун-т. - Омск, 2001. - 14 с. - Деп. в ВИНИТИ 21.09.01, № 2014.

5. Потапов В.И., Потапов И.В. Расчет функциональной надежности искусственных нейронных сетей // Омский научный вестник. - 2001. - Вып. 14. -С. 144-145.

6. Потапов В.И., Потапов И.В. О логической избыточности функционально устойчивых сетей искусственных нейронов // Омский научный вестник. -2001.-Вып. 15.-С. 90-91.

7. Потапов В.И., Потапов И.В. Вероятностная модель функционирования избыточной адаптивной искусственной нейронной сети // Доклады СО АН ВШ. -2001.-№2(4).-С. 75-82.

8. Потапов И.В. Минимизация процесса адаптации логически стабильных искусственных нейронных сетей к отказам нейронов // Омский научный вестник.-2001.-Вып. 17.-С. 147-149.

9. Потапов В.И., Потапов И.В. Математические модели и расчет функциональной надежности адаптивных искусственных нейронных сетей двух типов // Омский научный вестник. — 2001. - Вып. 17. — С. 143-147.

10. Потапов В.И., Потапов И.В. О структурной сложности искусственных нейронов с пресинаптическим взаимодействием и реализации функций от большого числа переменных // Доклады СО АН ВШ. - 2002. - № 1 (5). - С. 84-91.

11. Потапов - И.В. Математическое моделирование надежностных характеристик избыточных адаптивных искусственных нейронных сетей при пуассоновском и непуассоновском процессе восстановления // Материалы докладов межрегиональной научно-технической конференции (Томск 14-16 мая 2002 г.). - Томск, 2002. - Ч. 1. - С. 233-234.

12. Потапов В.И., Потапов И В. Математическая модель адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными//Омский научный вестник. - 2002. - Вып. 18.-С. 135-138.

13. Потапов В.И., Потапов И.В. Направления и результаты исследований искусственных нейронов и искусственных нейронных сетей на кафедре информатики и вычислительной техники ОмГТУ // Природные и Интеллектуальные ресурсы Сибири: Доклады VIII международной научно-практической конференции (Кемерово 26-27 сент. 2002 г.). — Томск, 2002. - Ч. 2. — С. 162-165.

14. Потапов И.В. Аналитическое исследование среднего времени «жизни» двух типов адаптивных искусственных нейронных сетей// Омский научный вестник.-2002.-Вып. 19.-С. 127-129.

15. Потапов И.В. Решение задачи оптимального резервирования однородной адаптивной искусственной нейронной сети с замещением отказавших

нейронов резервными при пуассоновском потоке отказов // Омский научный вестник. - 2002. - Вып. 20. - С. 146-148.

16. Потапов В.И., Потапов И.В. Оптимизация восстановления избыточной стареющей адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных мини-сетей // Омский научный вестник. -2002. - Вып. 20. - С. 143-146.

17. Потапов В.И., Потапов И.В. Анализ адаптивных к отказам нейрокомпьютерных систем на базе функционально устойчивых искусственных нейронных сетей // Динамика систем, механизмов и машин: Материалы IV Международной научно-технической конференции (Омск 12-14 ноября 2002 г.) - Омск, 2002. - Кн. 1. - С. 233-236.

18. Потапов И.В. Проблемы надежности искусственных нейронных сетей // Динамика систем, механизмов и машин: Материалы IV Международной научно-технической конференции (Омск 12-14 ноября 2002 г.) - Омск, 2002. -Кн. 1.-С. 236-238.

19. Потапов И.В. Задачи оптимизации функциональной надежности избыточных искусственных нейронных сетей с замещением отказавших нейронов резервными // Омский научный вестник. - 2002. - Вып. 21. - С. 83-85.

20. Потапов В.И., Потапов И.В. Решение задачи оптимального резервирования "стареющей" адаптивной искусственной нейронной сети // Доклады СО АН ВШ. - 2003. - № 1 (7). - С. 35-43.

21. Потапов В.И., Потапов И.В. Оптимизация функциональной надежности искусственных нейронных сетей нейрокомпьютеров // Развитие оборонно-промышленного комплекса на современном этапе: Материалы научно-технической конференции (Омск, 4-6 июня 2003 г.) — Омск, 2003. — 4.1.-С. 131-133.

Отпечатано с оригинала-макета, предоставленного автором

ИД № 06039 от 12.10.2004

Подписано в печать 11.02.04. Формат 60x84 Vie- Отпечатано на дупликаторе. Бумага офсетная. Усл. печ. л. 1,25. Уч. - изд. л. 1,25. Тираж 100. Заказ 53.

Издательство ОмГТУ. Омск, пр. Мира, 11. т. 23-02-12 Типография ОмГТУ

Оглавление автор диссертации — кандидата технических наук Потапов, Илья Викторович

Введение

1. Математические модели и функциональные возможности искусственных нейронов и искусственных нейронных сетей

1.1. Математические модели искусственных нейронов

1.1.1. Модели нейронов без пресинаптического взаимодействия

1.1.2. Модели нейронов с пресинаптическим взаимодействием

1.2. Структурная сложность монофункциональных и многофункциональных искусственных нейронов с пресинаптическим взаимодействием

1.2.1. Оценки структурной сложности монофункциональных нейронов

1.2.2. Оценки структурной сложности многофункциональных нейронов

1.3. Проблема реализации искусственными нейронами логических функций от большого числа переменных

1.4. Логическая избыточность функционально устойчивых нейронных сетей как фактор повышения их функциональной надежности

Выводы к главе

2. Синтез оптимизированных логически стабильных искусственных нейронных сетей, адаптивных к отказам нейронов

2.1. Обоснование критерия оптимальности искусственной нейронной

2.2. Синтез логически стабильных нейронных сетей

2.3. Минимизация процесса адаптации логически стабильных искусственных нейронных сетей к отказам нейронов

Выводы к главе

3. Вероятностные модели функционирования и методы расчета надежности избыточных искусственных нейронных сетей

3.1. Модель и расчет функциональной надежности неадаптивной к отказам нейронов искусственной нейронной сети

3.2. Модель и расчет функциональной надежности адаптивной к отказам нейронов искусственной нейронной сети

3.3. Математические модели и расчет функциональной надежности двух типов адаптивных к отказам искусственных нейронных сетей

3.3.1. Исследование адаптивной нейронной сети первого типа

3.3.2. Исследование адаптивной нейронной сети второго типа

3.3.3. Расчет функциональной надежности нейронной системы с различными алгоритмами адаптации к отказам и сбоям

3.4. Аналитическое исследование среднего времени "жизни" двух типов адаптивных к отказам и сбоям искусственных нейронных сетей при различных алгоритмах адаптации

3.4.1. Анализ среднего времени «жизни» разнотипных нейронных систем при одинаковых алгоритмах адаптации

3.4.2. Анализ среднего времени «жизни» однотипных нейронных систем при различных алгоритмах адаптации

Выводы к главе

4. Оптимизация функциональной надежности искусственных нейронных сетей

4.1. Математическая модель и расчет функциональной надежности многослойной многовыходной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными

4.2. Оптимальное резервирование однородной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными при пуассоновском потоке отказов и постоянной интенсивности восстановления

4.2.1. Алгоритм оптимизации среднего времени "жизни" адаптивной нейронной сети при восстановлении отказавших блоков искусственных нейронов

4.2.2. Алгоритм оптимизации вероятности безотказной работы адаптивной нейронной сети при восстановлении отказавших блоков искусственных нейронов

4.3. Оптимальное резервирование адаптивной "стареющей" искусственной нейронной сети

4.3.1. Оптимизация вероятности безотказной работы адаптивной "стареющей" нейронной сети

4.3.2. Оптимизация среднего времени "жизни" адаптивной "стареющей" нейронной сети

4.4. Оптимизация восстановления избыточной адаптивной "стареющей" искусственной нейронной сети, состоящей из логически стабильных нейронных мини-сетей

4.4.1. Алгоритм оптимизации восстановления избыточной адаптивной "стареющей" искусственной нейронной сети

Выводы к главе

Введение 2004 год, диссертация по информатике, вычислительной технике и управлению, Потапов, Илья Викторович

Теория искусственных нейронных сетей (ИНС) благодаря фундаментальным работам зарубежных исследователей У.Мак-Каллока, У.Питтса, Ф.Розенблатта, М.Минского, С.Дейча, Б.Уидроу, Т.Кохонена, Д.Хопфилда, С.Гроссберга, а также советских и российских ученых И.Б.Гутчина и А.С.Кузичева [1], Н.В.Позина [2], С.О.Мкртчяна [3,4], Н.М.Амосова [5,6], А.И.Галушкина [7], А.Н.Горбаня [8], В.В.Круглова [9] и др. получила широкое развитие. При этом основные направления исследований были связаны с изучением топологии (архитектуры) нейронных сетей, их синтезом и обучением (настройкой) для решения поставленных задач.

В связи с созданием нейрокомпьютеров и применением их на практике нейросетевая тематика стала междисциплинарной, и появились новые научные проблемы, решению которых уделялось недостаточно внимания или совсем не уделялось в виду их сложности и неизученности.

Одной из таких проблем, решению которой посвящена диссертационная работа, является проблема разработки математических моделей и необходимого аппарата для исследования и оптимизации функциональной надежности нейронных сетей, которая по мнению крупного специалиста в области нейрокомпьютерных систем и нейроинформатики А.И.Галушкина, находится в настоящее время в самом начале своего развития [7]. Это мнение поддерживают и многие другие ученые, полагая, что решение данной проблемы наверняка окажет существенное воздействие на создание отказоустойчивых искусственных нейронных сетей и реализацию высоконадежных нейрокомпьютеров на принципиально новых технологиях, включая нанотехнологии, что существенно повысит эффективность их использования в системах специального назначения.

Известно, что функциональная надежность биологических нейронных сетей очень высокая [5, 10-13]. Это свойство уже на ранних стадиях изучения возможностей искусственных нейронных сетей привлекло внимание исследователей [14, 15]. Основным результатом этих работ, полученным на качественном уровне, было установление факта логической избыточности рассматриваемых нейронных сетей, благодаря которой отказы некоторых элементов (нейронов) сети не вызывают появления ошибки на выходе всей сети.

Дальнейшие исследования надежностных свойств искусственных нейронных сетей с учетом их структурно-функциональной избыточности и логической гибкости искусственных нейронов (ИН) за счет целенаправленного изменения величины порога срабатывания нейронов сети проводились с помощью аппарата диаграмм Венна в работах [1,3]. В этих трудах были разработаны таблично-алгоритмические методы синтеза логически устойчивых (логически стабильных) к отказам нейронов типа (О -»l) и (l -> 0) нейронных сетей. Логическая устойчивость, т.е. надежность нейронной сети, определялась интервалом изменения порогов нейронов, при котором выходная функция сети еще не изменяется.

Основной вывод этих работ заключался в следующем. Степень логической избыточности сети является мерой ее логической устойчивости, а это в свою очередь - мерой надежности искусственной нейронной сети. Этим самым был подтвержден вывод авторов работ [14, 15] и предложен, трудно реализуемый в то время машинными методами, способ синтеза логически устойчивых регулярных (без обратных связей) нейронных сетей из искусственных нейронов с пресинаптическим взаимодействием.

В указанных выше работах отсутствовал математический аппарат для аналитического исследования надежности искусственных нейронных сетей и аппарат для решения задач оптимизации функциональной надежности в зависимости от типа нейронной сети и условий ее функционирования.

По-видимому одной из первых попыток аналитического исследования надежности искусственных нейронных сетей явилась работа [16]. В этой работе в предположении катастрофических отказов нейронов для невосстанавливаемых и восстанавливаемых логически устойчивых [3] искусственных нейронных сетей (для простейших случаев) на основе теории марковских процессов были составлены и решены системы дифференциальных уравнений, позволившие в аналитическом виде и машинными методами исследовать вероятность безотказной работы и вероятность нахождения простейшей искусственной нейронной сети в состоянии восстановления (адаптации).

Результаты исследования надежностных свойств простейших двухранговых (двухслойных) искусственных нейронных сетей методом математического моделирования при ограниченном числе отказов нейронов показали, что во многих случаях нейронные сети, адаптивные к отказам ИН, являются более надежными, чем мажоритарные модули реализующие те же функции [17]. Однако системного изучения надежности нейронных сетей произвольной конфигурации из-за недостаточно разработанного аппарата исследований проведено не было. А вопросы оптимизации функциональной надежности искусственных нейронных сетей даже не ставились.

В связи с тем, что искусственные нейроны, входящие в состав нейронных сетей, являются в общем случае многофункциональными пороговыми элементами с постоянным или переменным порогом \ и изменяемыми в процессе обучения (настройки) весами входов wn для выявления отказов нейронов в логически устойчивых или иных нейронных сетях и их локализации с целью дальнейшего восстановления функциональных свойств сети путем адаптации к отказам, необходимо построение минимальных проверяющих тестов для искусственных нейронов и минимальных диагностических тестов, локализующих неисправности с точностью до входа-выхода монофункциональных и многофункциональных нейронов. Эти задачи были в основном решены в работах [18,19], что позволило существенно продвинутся в развитии методов исследования надежности искусственных нейронных сетей.

Вопросы технической диагностики нейронных сетей рассматривались так же в работах [7,20,21]. Авторы предложили свой алгоритм построения минимального теста для обнаружения отказов типа логических констант на выходах нейронов и метод адаптивной диагностики отказов в нейронных сетях. По-видимому, в ряде случаев этот алгоритм дает хорошие результаты и является конкурентоспособным.

В развитие указанных выше работ по изучению надежности нейронных сетей на базе функционально устойчивых ИНС [3] с применением контрольно диагностических процедур, разработанных по методике [18, 19], были созданы отказоустойчивые адаптивные к отказам ИН нейрокомпьютерные системы (НКС) [22-25], качественный анализ надежности работы которых и области предпочтительного использования приведены в [26].

В современном представлении это были, по-видимому, первые отечественные нейрокомпьютеры, адаптивные к отказам искусственных нейронов, демонстрирующие возможность повышения функциональной надежности НКС за счет логической гибкости ИН и гармоничного сочетания в используемых ИНС структурно-функциональной и временной избыточности.

Анализ показал, что НКС [22] целесообразно использовать в системах с отсутствием резерва времени, для которых состав (объем) оборудования адаптивной системы не является определяющим, а появление на выходе неверного решения недопустимо.

НКС [23] и НКС [25] пригодны для систем, допускающих пропуск неверного решения на выход и имеющих резерв времени на периодический тестовый контроль, а в НКС [25] - еще и на повторное решение. Несмотря на последний, очевидный в общем случае недостаток, НКС [25] содержит значительно меньше оборудования и имеет в среднем более короткий цикл адаптации, чем НКС [23].

Анализ НКС [24] указывает на целесообразность ее использования в системах, имеющих не менее, чем трехкратный резерв времени и исключающих перерывы в решении основной задачи и пропуск на выход неверного решения.

Изучение отечественных и зарубежных открытых источников информации за последнее десятилетие, посвященных вопросам надежности искусственных нейронных сетей, показало, что интерес к данной проблеме возрастает и носит многоплановый характер.

Наряду с традиционными методами повышения функциональной надежности ИНС в процессе обучения и проведение некоторых оптимизационных процессов появились работы [27, 28], в которых изучаются ошибки, возникающие при технической реализации ИНС, а также при шумах и отказах в сети. С помощью полученных результатов объясняется наблюдаемая высокая устойчивость избыточных нейронных сетей к шумам и разрушениям (отказам, старению). Определены максимально допустимые погрешности, возможные для весов синапсов и сигналов сети, исходя из условия, что вектор выходных сигналов сети должен вычисляться с заданной точностью.

В работе [29] проблема отказоустойчивости нейронных сетей, реализованных на СБИС, решается путем использования избыточного двоичного представления данных на базе трехпроводной логики. Предложенный метод, по утверждению авторов, обеспечивает полную защиту от множественных отказов типа залипаний на однонаправленных линиях и сокращает временные задержки выполнения арифметических операций за счет избыточного представления данных.

Аппаратно-информационный метод повышения надежности ИНС, предложенный в работе [30], заключается в создании нейрокомпыотерной системы на основе объединения в единый комплекс разнообразных по структуре или логике работы нейронных сетей, обеспечивающих минимальное число совпадающих ошибок. Однако аналитических методов для оценки надежности такой НКС не дано.

Годовой рынок современных искусственных нейронных сетей и нейрокомпьютеров по прогнозным данным ведущих организаций и фирм США и Японии на 2000 год был оценен в 750-900 млн. долларов [31,32]. При этом практическая реализация ИНС и нейрокомпьютеров в виде кремниевых нейрочипов и нейросистем на пластинах, содержащих свыше 106 эквивалентных искусственных нейронов различного уровня сложности, стала технологически и экономически разрешимой и имеет тенденцию к росту [3336].

Поэтому вопросы обеспечения, оценки и оптимизации надежности специфичных по структурно-функциональной организации и условиям работы нейронных сетей и нейрокомпьютерных систем выходят на первый план среди актуальных проблем теории искусственных нейронных сетей.

В нашей стране также накоплен большой опыт в исследовании и реализации искусственных нейронных сетей и нейрокомпьютеров [7-9, 39-42]. В рамках темы диссертации наибольший интерес представляют работы по реализации отказоустойчивых нейрочипов по технологии систем с интеграцией на пластине (СИП) [32, 37, 38]. Приведенные в этих работах результаты исследований показали возможность создания на одной пластине отказоустойчивых СБИС для реализации ИНС, нечувствительных к отказам отдельных нейронов. Отказоустойчивость была достигнута посредством технологического, топологического и функционального парирования дефектов. Авторы работы [38] полагают, что одним из актуальных путей решения проблемы повышения функциональной надежности искусственных нейронных сетей и нейрокомпьютеров, реализуемых по СИП - техпологии в виде СБИС, является внесение в состав устройств избыточных аппаратных средств, обеспечивающих выполнение различных процедур тестирования для обнаружения отказов, и замещения отказавших элементов избыточными путем реконфигурации системы, т.е. путем адаптации избыточной нейронной системы к отказам нейронов.

Учитывая сложившееся состояние вопроса в области исследования надежности искусственных нейронных сетей, в качестве основной цели диссертационной работы была поставлена задача: обобщение известных и разработка новых математических моделей, методов и алгоритмов оптимизации функциональной надежности искусственных нейронных сетей.

В рамках этого направления в диссертационной работе были поставлены и решены следующие основные задачи.

1. Разработка математических моделей и исследование функциональных возможностей многофункциональных искусственных нейронов для построения логически избыточных функционально устойчивых к отказам нейронов искусственных нейронных сетей.

4. Аналитическое исследование и машинное моделирование надежностных характеристик адаптивных искусственных нейронных сетей с целью выбора оптимальной по надежности нейронной системы.

5. Разработка математической модели, метода расчета функциональной надежности и решение задачи оптимального резервирования однородной адаптивной искусственной нейронной сети при пуассоновском потоке отказов.

6. Создание алгоритмов оптимизации вероятности безотказной работы и среднего времени «жизни» искусственной нейронной сети при восстановлении отказавших блоков нейронов.

7. Разработка методов оптимального резервирования «стареющей» адаптивной искусственной нейронной сети, максимизирующих вероятность безотказной работы и среднее время «жизни» сети.

8. Решение задачи и разработка алгоритма оптимизации восстановления избыточной «стареющей» адаптивной искусственной нейронной сети, состоящей из логически стабильных мини-сетей.

Для решения поставленных задач используется математический аппарат теории марковских процессов, теории надежности, вычислительной математики и компьютерное моделирование.

Научная новизна диссертационной работы заключается в следующем.

1. Предложен способ оценки логической избыточности для одновыходных однородных ИНС.

3. Решена задача минимизации процесса адаптации к отказам ИН для логически стабильных регулярных однородных двухранговых нейронных сетей.

Теоретическая ценность диссертации:

• 3. Разработаны теоретические основы оптимизации восстановления после отказов нейронов избыточных стареющих адаптивных искусственных нейронных сетей, состоящих из логически стабильных мини-сетей. Показано, что для решения подобных задач могут быть использованы методы теории оптимального управления совместно с методом дискретизации.

Практическая ценность диссертации:

1)при заданном соотношении между интенсивностями отказов и сбоев найти тип адаптивного искусственного нейрона и алгоритм адаптации, обеспечивающий на интервале [0,t] вероятность безотказной работы не ниже заданной при минимальной избыточности системы, либо при заданном ограничении на избыточность ИНС найти тип адаптивного искусственного нейрона, обеспечивающий максимальную вероятность безотказной работы;

2) для каждого соотношения интенсивностей отказов и сбоев обоих типов и . заданной избыточности определить такой тип адаптивной искусственной нейронной сети и такой алгоритм адаптации, которые обеспечат ей максимальное среднее время "жизни".

Диссертационная работа выполнена в рамках НИР "Разработка математических моделей и методов оптимизации функциональной надежности искусственных нейронных сетей" в соответствии с грантом Министерства образования РФ Е02-2-75 по фундаментальным исследованиям в области естественных и точных наук.

Основное содержание диссертации отражено в 21 научном труде, включая 19 печатных работ и 2 депонированные в ВИНИТИ рукописи.

По результатам работы сделаны доклады на Технологическом конгрессе «Современные технологии при создании продукции военного и гражданского назначения» (Омск, 2001 г.), на Седьмой международной научно-практической конференции «Природные и интеллектуальные ресурсы Сибири» (Барнаул, 2001 г.), на Научной сессии ТУ СУР в рамках межрегиональной научно-технической конференции (Томск, 2002 г.), на Восьмой международной научно-практической конференции «Природные и интеллектуальные ресурсы Сибири» (Кемерово, 2002 г.), на IV Международной научно-технической конференции «Динамика систем, механизмов и машин» (Омск 2002 г.), на научных семинарах кафедры «Информатика и вычислительная техника» Омского государственного технического университета (Омск, 2001 - 2003 г.г.), на II Международном технологическом конгрессе «Военная техника, вооружение и технологии двойного применения в XXI веке» (Омск, 2003 г.).

Заключение диссертация на тему "Математические модели и методы оптимизации функциональной надежности искусственных нейронных сетей"

Выводы к главе 4

1. Разработана математическая модель и исследована многослойная многовыходная структурно однородная адаптивная к отказам

• искусственная нейронная сеть с замещением отказавших нейронов резервными. Показано, что задачи выбора наилучшей в смысле максимизации вероятности безотказной работы и среднего времени "жизни" нейронной системы сводятся к задаче целочисленного программирования.

2. Поставлена и решена задача оптимального резервирования, максимизирующего среднее время "жизни", и задача оптимального резервирования, максимизирующего вероятность безотказной работы на заданном временном интервале, для многослойной многовыходной структурно однородной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными при пуассоновском потоке отказов и восстановления отказавших нейронных блоков. Получены детальные алгоритмы для машинной реализации указанных задач, которые могут быть использованы для решения инженерных задач на ПЭВМ.

3. Предложен способ решения задачи оптимального резервирования "стареющей" адаптивной искусственной нейронной сети, в которой интенсивность отказов нейронов является возрастающей функцией времени. Поставлены задачи и разработаны алгоритмы решения задач оптимизации вероятности безотказной работы и оптимизации среднего времени "жизни" "стареющей" адаптивной ИНС при заданных ограничениях.

Поставлена и решена задача оптимизации восстановления избыточной "стареющей" адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных мини-сетей. Показано, что решение такой оптимизационной задачи сводится к задаче оптимального управления. Разработан детальный машинный алгоритм решения данной задачи, реализуемый на ПЭВМ.

Заключение

В результате обобщения известных и разработки новых математических моделей, методов и алгоритмов оптимизации функциональной надежности искусственных нейронных сетей решены следующие задачи.

2. Построены вероятностные модели избыточных неадаптивных и адаптивных к отказам искусственных нейронных сетей произвольной конфигурации, позволяющие исследовать вопросы функциональной надежности искусственных нейронных сетей. Исследована надежность и среднее время "жизни" двух типов адаптивных к отказам ИНС при различных алгоритмах адаптации и возникновении в нейронной сети не только отказов, но и сбоев.

5. Предложен способ решения задачи оптимального резервирования "стареющей" адаптивной искусственной нейронной сети, в которой интенсивность отказов нейронов является неубывающей функцией времени. Поставлены задачи и разработаны алгоритмы решения на ПЭВМ задач оптимизации вероятности безотказной работы и оптимизации среднего времени "жизни" "стареющей" адаптивной ИНС.

Библиография Потапов, Илья Викторович, диссертация по теме Системный анализ, управление и обработка информации (по отраслям)

1. Гутчин И.Б., Кузичев А.С. Бионика и надежность: элементы теории формальных нейронов. - М.:Наука.-1967.-283с.

2. Позин Н.В. Моделирование нейронных структур.-М.:Наука.-1970.-259с.

3. Мкртчян С.О. Нейроны и нейронные сети.-М.:Энергия.-1971.-232с.

4. Мкртчян С.О. Проектирование логических устройств ЭВМ на нейронных элементах.-М.:Энергия.-1977.-200с.

5. Амосов Н.М., Гольцев А.Д., Куссуль Э.М. Функциональная организация информационных процессов мозга и их связь со структурами нейронных сетей //Кибернетика.-1988.-№5 .-С. 113-119.

6. Амосов Н.М. и др. Нейрокомпьютеры и интеллектуальные роботы/Амосов Н.М., Байдык Т.Н., Гольцев А.Д., Касаткин A.M., Касаткина Л.М., Куссуль Э.М., Рачковский Д.А.; Под ред. Амосова Н.М.; АН УССР Ин-т Кибернетики.- Киев:Наукова думка, 1991.-272с.

7. Галушкин А.И. Теория нейронных сетей. Нейрокомпьютеры и их применение.-М. :ИПРЖ.-2000.-416с.

8. Горбань А.Н., Россиев Д.А. нейронные сети на персональном компьютере.-Новосибирск:Наука. Сибирская издательская фирма РАН.-1996.-275с.

9. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика.-М.: Горячая линия-Телеком.-2001.-382с.

10. Мак-Каллок У. Надежность биологических систем. -Самоорганизующиеся системы.-М.:-1964.-С.358-377.

11. П.Радченко А.Н. Моделирование основных механизмов мозга.-Л.:наука, 1968.-212С.

12. Брайнес С.Н., Свечинский В.Б. Проблемы нейрокибернетики и нейробионики.-М.: Медицина, 1968.-232с.

13. Фомин С.в., Беркинблит М.Б. Математические проблемы в биологии.-М.: Наука, 1973.-199с.

14. Вербик JT. О нейронных сетях с минимизацией ошибки. Принципы самоорганизации.-М.:Мир.-1966.-С. 163-174.

15. Блюм М., Онесто Н., Вербик JI. Допустимые ошибки нейронов для безотказной работы сетей. Методы введения избыточности для вычислительных систем.-М.:Сов.Радио.- 1966.-С.84-87.

16. Потапов В.И. Функциональная надежность сетей из формальных нейронов//Автоматика и вычислительная техника. 1968. - № 1. — С.37-43.

17. Потапов В.И., Доценко М.Ф. Исследование свойств адаптивных логических сетей из нейроподобных элементов методом математического моделирования. //Проблемы бионики.- Харьков: ХГУ, 1971.-вып. 7.-С. 16-24.

18. Потапов В.И., Пальянов И.А. Построение проверяющих тестов для пороговых элементов. // Известия АН СССР, Техническая кибернетика.-1973.- № 4. -С. 140-147.

19. Потапов В.И., Пальянов И.А. Диагностика неисправности пороговых элементов// Известия СО АН СССР, сер. Технические науки.-1976.- № 8.- вып. 2. С.126-133.

20. Фомин Ю.И., Галушкин А.И. Методы технической диагностики сетей пороговых элементов. // Техника средств связи, сер. «Системы связи».-1980.-вып.2.-С.84-94.

21. Фомин Ю.И., Галушкин А.И. О методике параллельной диагностики отказов в сетях пороговых элементов. // Электронное моделирование. Киев: Наукова Думка.-1981. № 3. - С.89-92.

22. А.С. 226302 СССР, МПК Go6f. Адаптивное вычислительное устройство/В.И.Потапов (СССР).-1163597/26-24.- Заявлено 30.05.67.-опубл. 8.01.68.-Бюлл. № 28.

23. А.С. 443382 СССР МПК Go6f 7/00. Однородная вычислительная среда/ В.И.Потапов, В.Ф.Нестерук (СССР).- 1884174/18-24.- Заявлено 14.02.73.-опубл. 15.09.74.-Бюлл.№ 34.

24. А.С. 260968 СССР МПК Go6f Адаптивное вычислительное устройство/ В.И.Потапов, А.А.Маслов (СССР).-1282453/18-24.- Заявлено 14.11.68.-Опубл. 06.01.70.- Бюлл. № 4.

25. А.С. 479115 СССР МПК Go6f 15/18. Адаптивное вычислительное устройство с поразрядной обработкой информации/ В.Ф. Нестерук, В.И. Потапов (СССР).- 1938482/18-24.- Заявлено 28.06.73.- опубл. 30.07.75. -Бюлл. № 28.

26. Сенашова М.Ю. Погрешности нейронных сетей. Вычисление погрешностей весов синапсов// Методы нейроинформатики.-Красноярск: КГУ, 1998.- С.48-64.

27. Сенашова М.Ю. Погрешности сигналов и весов синапсов в нейронных сетях/ Ред.ж.Биофизика РАН.- М., 1998.-56с. Деп. В ВИНИТИ 06.11.98, № 3239.

28. Simone В., Vincenzo P. High performance fanlt-tolerant digital neural networks// IEEE Trans. Comput.-1988.-47,3.-P.357-363.

29. Sharkey A., Sharkey N. Combining diverse neural nets// Know. Eng. Rev.-1997.-12,3.-P.231-247.

30. Neural networks, microcomputers & beyond: Technologies Applications & Markets//Business Communications Company Inc / Nor walk CT 016855; NC-117, 1992.

31. Бубенников А.Н., Бубенников А.А. Технологические проблемы создания субмикронных нейронов и нейросистем на пластинах//Информационные технологии.-1997.-№ 5.-С.21-28.

32. Fujita М., Kobayashi V/ Development and fabrication of digital neural network WSIs//IEICE Trans. Electron., 1993 v. E76, № 7, P. 1182-1189.

33. Campbell M., Nyberg S. 3-D Wafer scale Architectures for Neural network computing//YEEE Trans.-1993. v. CHMT-16, № 7, P.646-655.

34. Boubekenr A., Patry I. A real experience of configuring a wafer scale 2-D array of monolit processors/ЛЕЕЕ Trans.-1993, v. CHMT-16, № 7,P.637-644.

35. Uchimura K., Saito O., Amemiya Y. A high-speed digital neural network chip with low-power chain-reaction architecture//IEEE Journal.- 1993, v. sc-27, № 12, P. 1862-1866.

36. Стемнковский A.JT., Осипов Л.Б., Селезнев С.З. Исследование вопросов реализации нейросити по СИП-технологии для построения отказоустойчивых однородных архитектур// Информационные технологии и вычислительные системы.-1995.-№ 0.-С.58-64.

37. Стемпковский A.JI., Осипов Л.Б., Селезнев С.З. проблемы реализации отказоустойчивых архитектур нейрочипов по технологии Систем и Интеграцией на Пластине//Информационные технологии.-1997.- № 5,-С. 15-20.

38. Галушкин А.И. Некоторые исторические аспекты развития элементной базы вычислительных систем с массовым параллелизмом (80- и 90-го ды)//Нейрокомпьютер.-2000.-№ 1 .-С.68-82.

39. Кирсанов Э.Ю. Цифровые нейрокомпьютеры: Архитектура и схемотехника/Под ред. А.И. Галушкина.-Казань:Казанский гос. унт. 1995.-131 с.

40. Алюшин М.В. Аппаратная реализация быстродействующих нейросетей на основе программируемой логики фирм AMD, ALTERA, Х1ЫЫХ//Нейроинформатика-99.-М.:МИФИ,Ч.2.С.25-33.

41. Шевченко П.А., Фомин Д.В., Черников В.М., Виксе П.Е. Применение микропроцессора NM6403 для эмуляции нейронных сетей//Нейрокомпьютеры и их применение-99.М.:ИПУ РАН, 1999.-С.81-90.

42. Миркес Е.М. Нейрокомпьютер. Проект стандарта.-Новосибирск:Наука,Сибирская издательская фирма РАН, 1998.-337с.

43. Нейроинформатика/А.Н.Горбань, В.Л.Дунин-Барковский, А.Н.Кирдин, Е.М.Миркес, А.Ю.Новоходько, Д.А.Россиев, С.А.Терехов, М.Ю.Сенашова, В.Г.Царегородцев.-Новосибирск:Наука,Сибирская издательская фирма РАН,1998.-296с.

44. Потапов В.И., Потапов И.В. Математические модели и функциональные возможности искусственных нейронов/Омский государственный технический университет.-Омск,2001.-12с.,библ. 13 назв.-Деп. в ВИНИТИ 03.05.01, №1140-В2001.

45. Мак-Каллок У., Питтс У. Логическое исчисление идей, относящихся к нервной активности//Автоматы.-М.:ИЛ,1956.-С.362-384.

46. Калбертсон Д.Т. Некоторые неэкономичные работы//Автоматы.-М.:ИЛ, 1956.-С.205-241.

47. Фон Нейман Дж. Вероятностная логика и синтез надежных организмов из ненадежных компонент//Автоматы.-М.:ИЛ,1956.-С.68-139.

48. Варшавский В.И. Некоторые вопросы теории логических сетей, построенных из пороговых элементов//Вопросы теории математических машин.-М.:Физматгиз, 1962.-вып.2.-С.43-52.

49. Бутаков Е.А. Методы синтеза релейных устройств из пороговых элементов.-М.:Энергия, 1970.-328с.

50. Арбиб М.А. Мозг, машина и математика.-М.:Наука,1968.-224с.

51. Дейч С. Модели нервной системы.-М.:Мир,1970.-325с.

52. Мкртчян С.О. О модели формального нейрона с объединяющимися волокнами//Известия АН СССР, Техническая кибернетика.-1970.-№3.-С. 122-124.

53. А.С. 332575 СССР, МПК НОЗК 19/00. Многофункциональный пороговый элемент/В.И.Потапов, П.В.Миренков, Л.В.Воронкова (СССР).- 1468217/26-9;Заявлено 13.07.70;0публ. 21.04.72, Бюл.№10.

54. А.С. 350174 СССР, МПК НОЗК 19/00. Универсальный двухвходовой пороговый модуль/П.В.Миренков, В.И.Потапов, Л.В.Воронкова (СССР).-1619713/26-9;Эаявлено 01.11.71 ;Опубл. 04.09.72, Бюл.№26.

55. А.С. 493030 СССР, МПК НОЗК 19/08. Многофункциональный пороговый модуль/В.И.Потапов, М.С.Куприянов (СССР).-1977185/26-21;Заявлено 14.12.73;Опубл. 13.04.76, Бюл.№43.

56. А.С. 493031 СССР, МПК НОЗК 19/16. Многофункциональный пороговый модуль с кодовой перестройкой логики/И.А.Пальянов, В.И.Потапов (СССР).-2007119/26-21 Заявлено 18.03.74;0публ. 13.04.76, Бюл.№43.

57. А.С. 1166297 СССР, МПК НОЗК 19/168. Многопороговый логический элемент/В.Т.Гиль, Г.Ф.Нестерук, В.И.Потапов (СССР).-3554852/24-24;Заявлено 17.12.83;Опубл. 7.07.85,Бюл.№25.

58. Потапов В.И. Оценка предельных возможностей реализации формальных нейронов//Известия АН СССР. Техническая кибернетика.-1969.-№1.-С.104-105.

59. Потапов В.И., Камаева Л.В. Синтез многофункциональных формальных нейронов с оптимальными параметрами//Вычислительная техника и системы управления.-0мск:0мПИ, 1974.-С.20-30.

60. Потапов В.И., Потапов И.В. О логической избыточности функционально устойчивых сетей искусственных нейронов/Юмский научный вестник.-2001 .-вып. 15.-С.90-91.

61. Потапов В.И., Потапов И.В. О структурной сложности искусственных нейронов с пресинаптическим взаимодействием и реализации функций от большого числа переменных//Доклады СО АН ВШ.-2002.-№1(5).-С.84-91.

62. Потапов В.И., Флоренсов А.Н. Синтез оптимизированных многофункциональных формальных нейронов//Вычислительная техника и системы управления.-Омск:ОмПИ,1975.-вып.2.-С.9-18.

63. Потапов И.В. Синтез оптимизированных логически стабильных искусственных нейронных сетей, адаптивных к отказам нейронов/Омский государственный технический университет.-0мск,2001.-14с.-библ. 4 назв.-Деп. в ВИНИТИ 21.09.01, №2014-В2001.

64. Потапов И.В. Минимизация процесса адаптации логически стабильных искусственных нейронных сетей к отказам нейронов/Юмский научный вестник.-2001 .-вып. 17-С. 147-149.

65. Савельев А.Я. Прикладная теория цифровых автоматов.-М.:Высшая школа, 1987.-272с.

66. Уоссерман Ф. Нейрокомпьютерная техника: Теория и практика//Пер. с англ.М.:Мир,1992.-240с.

67. Сорокин С.В., Яфраков М.Ф. Развитие нейросетевых технологий в научно-техническом центре «Модуль»//Изв. вузов. Приборостроение.-1998.-Т.41,№4.-С.48-55.

68. Заенцев И.В. Нейронные сети. Основные модели.-Воронеж,1999.-76с.

69. Козлов Б.А., Ушаков И.А. Справочник по расчету надежности аппаратуры радиоэлектроники и автоматики.-М.:Сов.радио, 1975.-472с.

70. Райкин АЛ. Вероятностные модели функционирования резервированных устройств.-М.:Наука, 1975.-254с.

71. Черкесов Г.Н. Надежность технических сиситем с временной избыточностью.-М.:Сов.радио, 1974.-295с.

72. Потапов И.В. Проблемы надежности искусственных нейронных сетей//Материалы IV Международной научно-технической конференции «Динамика систем, механизмов и машин» (Омск, 12-14 ноября 2002г.).-Омск,2002.-Кн. 1 .-С.236-238.

73. Потапов В.И., Потапов И.В. Расчет функциональной надежности искусственных нейронных сетей/Юмский научный вестник.-2001.-вып.14.-С.144-145.

74. Барлоу Р., Прошан Ф. Математическая теория надежности//Пер. с англ.М.:Сов.радио,1969.-488с.

75. Потапов В.И., Потапов И.В. Вероятностная модель функционирования избыточной адаптивной искусственной нейронной сети//Доклады СО АН ВШ.-2001 .-№2(4).-С.75-82.

76. Дёч Г. Руководство к практическому применению преобразования Лапласа и Z-преобразованияУ/Пер. с нем.М:Наука, 1971.-286с.

77. Потапов В.И., Потапов И.В. Математические модели и расчет функциональной надежности адаптивных искусственных нейронных сетей двух типов/Юмский научный вестник.-2001.-вып.17.-С.143-147.

78. Вентцель Е.С. Исследование операций.-М.:Сов.радио,1972.-550с.

79. Потапов И.В. Аналитическое исследование среднего времени «жизни» двух типов адаптивных искусственных нейронных сетей/Юмский научный вестник.-2002.-вып. 19.-С. 127-129.

80. Потапов В.И., Потапов И.В. Математическая модель адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными/Юмский научный вестник.-2001.-вып.18.-С.135-138.

81. Козлов Б.А. Резервирование с восстановлением.-М.:Сов.радио,1969.-150с.

82. Диткин В.А., Прудников А.П. Интегральные преобразования и операционное исчисление.-М.:Наука, 1974.-542с.

83. Мишина А.П., Проскуряков И.В. Высшая алгебра.-М.:Наука, 1965.-300 с.

84. Егорычев Г.П. Интегральное представление и вычисление комбинаторных сумм.-Новосибирск:Наука, 1977.-281с.

85. Потапов В.И., Братцев С.Г. Новые задачи оптимизации резервированных систем.-Иркутск, 1986.-110с.

86. Потапов И.В. Решение задачи оптимального резервирования однородной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными при пуассоновском потоке отказов/Юмский научный вестник.-2002.-вып.20.-С. 146-148.

87. Потапов В.И., Потапов И.В. Решение задачи оптимального резервирования «стареющей» адаптивной искусственной нейронной сети//Доклады СО АН ВШ.-2003.-№1(7).-С.28-36.

88. Потапов В.И., Потапов И.В. Оптимизация восстановления избыточной «стареющей» адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных минисетей/Юмский научный вестник.-2002.-вып.20.-С. 143-146.

89. Брайсон А., Хо Ю Ши. Прикладная теория оптимального управления.-М.:Мир, 1972.-544с.

90. Федоренко Р.П. Приближенное решение задач оптимального управления.-М.:Наука,1978.-486с.

91. Флеминг У., Ришел Р. Оптимальное управление детерминированными и стохастическими системами.-М.Мир, 1978.-316с.

Похожие работы

Информатика, вычислительная техника и управление
05.13.00