автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Устойчивость дискретных моделей стандартных конфигураций нейронных сетей с запаздывающими взаимодействиями

Челябинский государственный педагогический университет

На правах рукописи

Иванов Сергей Александрович

Устойчивость дискретных моделей стандартных конфигураций нейронных сетей с запаздывающими взаимодействиями

05.13.18 - математическое моделирование, вычислительные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

9 ЯНВ 2014

005544399

Челябинск - 2013

005544399

Работа выполнена на кафедре математики и методики обучения математике ФГБОУ ВПО «Челябинский государственный педагогический университет».

Научный руководитель: Кипнис Михаил Мордкович,

доктор физико-математических наук, профессор

Официальные оппоненты: Пименов Владимир Германович,

доктор физико-математических паук, профессор, ФГБОУ ВПО «Уральский федеральный университет имени первого Президента России Б. Н. Ельцина», профессор

Ушаков Владимир Игнатьевич,

кандидат физико-математических паук, доцент, ФГБОУ ВПО «Челябинский государственный университет», доцент

Ведущая организация: ФГБОУ ВПО «Московский государственный

технологический университет «СТАНКИН»

Защита диссертации состоится «20» февраля 2014 г. в 12 часов на заседании диссертационного совета Д 212.296.02 при ФГБОУ ВПО «Челябинский государственный университет» по адресу: 454001, г. Челябинск, ул. Братьев Кашириных, 129, в конференц-зале.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Челябинский государственный университет».

Автореферат разослан «__»_2013 г.

Ученый секретарь диссертационного совета, доктор физ.-мат.наук, профессор

Федоров В.Е.

Общая характеристика работы

Актуальность темы исследования Нейронными сетями являются модели компьютерных сетей1, модели процесса изилечения слов из человеческой памяти2, нервные системы живых существ и многое другое. Проблема устойчивости нейронных сетей осложнена запаздываниями во взаимодействии нейронов. Поэтому ее изучение требует применения функционально-дифференциальных уравнений (ФДУ) либо разностных уравнений с запаздываниями. В теорию ФДУ внесли вклад Н.В. Азбелев, Р. Бсллман, Ю.Ф. Долгий, Н.Н. Красовский, А.В. Ким, В.Г. Пименов, П.М. Симонов.

Данная диссертация посвящена устойчивости дискретных моделей нейронных сетей. Такие модели построены в работах Е. Каслик, С. Балинтг? как аналоги непрерывных моделей. Общие результаты изучения устойчивости, применимые ко всем сетям, пе могут дать полное представление о поведении отдельных классов сетей. Поэтому актуальна проблема описания условий устойчивости часто встречающихся конфигураций нейронных сетей: кольцевой, линейной, звездной, двуслойной, полпоевязпой, решетчатой, тороидальной, цилиндрической, а также нейронного гиперкуба. Именно этим проблемам применительно к дискретным моделям посвящена настоящая диссертация.

Степень разработанности темы Много работ посвящено глобальной устойчивости нейронных сетей4'5. Менее изучена локальная устойчивость нейронных сетей, которая требует изучения матричных уравнений с запаздываниями. Проблема устойчивости дискретных сетей разработана гораздо меньше соответствующей проблемы для непрерывных сетей. Кроме того, в литературе отсутствуют систематические исследования устойчивости стандартных нейронных сетей. Только устойчивость кольцевой нейронной сети в ее непрерывных моделях можно считать достаточно разработанной5-7.

Недавно в диссертации Т. Хохловой8 предпринято сравнительное исследование непрерывных моделей кольцевой и линейной нейронных сетей. Но в области дискретных моделей известны только статьи Е. Каслик с соавто-

1 Howlett R-Л. Walters S.D. Multi-computer neural network architecture // Electronics Letters — 1999. — Vol. 35, №6. — P. 1350 - 1352.

2 Гопыч П. M. Трехэтанная количественная нейросстевая модель явления «на кончике языка» // Труды IX-й Международной конференции «Знаний-диалог-решение» (KDS-2001). — СПб.: 19-22 июня 2001. — С. 158-165. http://arXiv.org/abs/cs.CL/0107012.

3 Kaslik Е. Balint St. Bifurcation analysis for a two-dimensional delayed discrete-time Hopfield neural network // Chaos, Solitons & Fractals. - 2007. - 34. - P. 1245-1253.

* Idels L. Kipnis M. Stability criteria for a nonlinear non-autonomous system with delays // Applied Mathematical Modelling. - 2009. - Vol. 33, №5. - P. 2293 -2297.

5 Войков И. В. Устойчивость нейронных сетей Хопфилда с запаздыванием // Известия ВУЗов. Поволжский регион. Физико-математические науки — 2012. — №2. — С. 85-97.

6 Yuan Y. Campbell S. A. Stability and sinchronization ring of identical cells with delayed coupling // Journal of Dynamics and Differential Equations. - 2004. Vol. 16. P. 709-744.

7 Koklilova T.N. Kipnis M.M. Numerical aud qualitative stability analysis of ring and linear neural networks with a large number of neurons // International Journal of Pure and Applied Mathematics. — 2012. — Vol. 76, №3. - P. 403-419.

8 Хохлова, Т.Н. Устойчивость моделей нейронных сетей кольцевой и линейной конфигураций с запаздывающими взаимодействиями: дие. .. .канд. физ.-мат. наук: 05.13.1В— Челябинск, 2013. — 132 с.

рами9. При этом методы Е. Каслик недостаточны для изучения вопроса об устойчивости кольца с неограниченным количеством нейронов, и в работах Каслик не изучено влияние разрыва кольца на устойчивость сети. Разработок по устойчивости многочисленных стандартных моделей нейронных сетей, таких как двуслойные, тороидальные сети, нейронные гиперкубы нет пи для непрерывных, ни для дискретных моделей. Настоящая диссертация восполняет этот пробел в области дискретных моделей.

Цели и задачи работы Цель работы — исследование областей устойчивости стандартных конфигураций нейронных сетей в пространстве их параметров. Мы ставим задачи выделить базовые стандартные конфигурации, изучить их устойчивость, а затем, определив декартово произведение нейронных сетей к духе соответствующего определения для весовых графов, изучить области устойчивости декартовых произведений базовых нейронных сетей.

Научная новизна В диссертации впервые даны методы анализа устойчивости разностных уравнений с запаздываниями, позволяющие находить точные границы областей устойчивости в пространстве параметров стандартных нейронных сетей. Эти меп оды обладают большей общностью и сферой применения, чем известные в литературе методы. Впервые в множестве нейронных сетей выделены базовые нейронные сети, определены декартовы произведения нейронных сетей и созданы средства анализа их устойчивости. Впервые построены точные границы областей устойчивости в пространстве параметров дискретных моделей стандартных нейронных сетей: линейных, звездных, решетчатых, тороидальных и других. Впервые обнаружены парадоксальные явления в дискретных моделях кольцевых нейронных сетей: потеря их устойчивости в результате разрыва. Доказано, что в больших кольцах нейронных сетей парадоксалгшые явления исчезают, и указаны условия их существования в малых кольцах. Впервые для широкого класса нейронных сетей поставлены и решены вопросы: о сохранении или несохранении устойчивости сети в процессе неограниченного наращивания количества нейронов при неизменной архитектуре сети; о сохранении или несохранепии устойчивости сети с односторонними воздействиями нейронов на соседние нейроны, при условии неограниченного возрастания силы воздействия.

Теоретическая и практическая значимость работы Наше исследование выявило новые эффекты. Оно разделило нейронные сети по конфигурациям на два класса: в первом классе (линейные, решетчатые конфигурации) переход на односторонние взаимодействия гарантирует устойчивость сети, во втором классе (кольцевые, тороидальные) не гарантирует. Введение понятия парадоксальных точек дает как теоретические перспективы их исследования в сложных нейронных сетях, так и возможности исключения нежелательных явлений в реальных нейронных сетях в процессе их разрыва. Практическим применением работы является также внедрение специальных курсов но устойчивости нейронных сетей в учебные программы магистров на факультете информатики Челябинского государственного педагогического университе-

9 Kaslik Е. Balint St. Complex and chaotic dynamics in a discrete-time delayed Hopfield neural network with ring architecture Ц Neural Networks. — 2009. — Vol. 22, №10. — P. 1411-1418.

та. В рамках этих спецкурсов магистранты под руководством автора делали численные эксперименты по изучению устойчивости нейронных сетей [12-14].

Методология и методы исследования Автор разработал новый метод исследования матричных разностных уравнений с запаздываниями — метод конусов устойчивости, и применил этот метод к анализу устойчивости нейронных сетей. Этот метод сводит анализ устойчивости многомерных задач к анализу расположения некоторых точек трехмерного пространства относительно некоторой поверхности в трехмерном пространстве, называемой конусом устойчивости. Использованы также идеи метода £>-разбиений.

Результаты и положения, выносимые на защиту

1. Автор разработал новый метод конусов устойчивости для анализа устойчивости дискретных моделей нейронных сетей с произвольным количеством нейронов и произвольными запаздываниями. Метод реализован в виде алгоритмов и комплекса программ для вычисления границ областей устойчивости нейронных сетей в пространстве параметров.

2. Построены области устойчивости в пространстве параметров нейронных сетей базовых конфигураций: кольцевой, линейной, двуслойной, звездной, с учетом запаздываний как в демпфировании собственных колебаний нейронов, так и во взаимодействиях различных нейронов.

3. Определена операция декартова произведения нейронных сетей, указан метод анализа устойчивости декартова произведения нейронных сетей, благодаря чему построены области устойчивости в пространстве параметров нейронных сетей решетчатой (пленарной), тороидальной, цилиндрической конфигураций и нейронных сетей с топологией связей многомерного куба. Показано, что разрыв большого кольца нейронных сетей благоприятствует устойчивости. В то же время найдены условия, при которых разрыв нейронного кольца может сопровождаться потерей устойчивости.

4. Построены классификации нейронных сетей: А) но признаку сохранения устойчивости в процессе неограниченного увеличения количества нейронов с сохранением архитектуры сети; Б) по признаку сохранения устойчивости при неограниченном увеличении силы действия нейронов в одном из направлений при условии нулевого воздействия в другом направлении.

Степень достоверности и апробация результатов Достоверность результатов диссертации подтверждается согласованностью теоретических выводов с результатами численных экспериментов. Основные результаты диссертации докладывались па следующих конференциях: на Международной конференции «Колмогоровские чтения V. Общие проблемы управления» (Тамбов, 2011 г.); на Всероссийской конференции «Статистика, моделирование, оптимизация (СМО)» (Челябинск, 2011); на Всероссийской конференции «Теория управления и математическое моделирование» (Ижевск, 2012); на международной конференции «Applications of Mathematics in Engeneering and Economics» (Sozopol, Bulgaria, 2013).

Публикации Материалы диссертации изложены в 14 публикациях, из них б статей в рецензируемых журналах [1-6], 7 статей в сборниках трудов конференций [8-14] и свидетельство о регистрации программы для ЭВМ [7].

В статьях [4-G] M. Кипнису и В. Малыгиной принадлежат замысел и общее руководство работой. В трудах научных конференций [12-14] автор диссертации выступал как научный руководитель магистрантов-соавторов. Все конкретные результаты диссертации получены лично автором.

Структура и объем диссертации Диссертация состоит из введения, трех глав, заключения, библиографии и Приложений А, Б, В. Общий объем диссертации 135 страниц, включая 43 рисунка. Библиография включает 88 наименований на 10 страницах.

Содержание работы

Во Введении обоснована актуальность и научная новизна работы, поставлена цель диссертационного исследования, приведены публикации по теме диссертации, описана структура работы и кратко изложено ее содержание.

В главе 1 вначале описана модель нейронных сетей, основанная на известных моделях10'11. Она описывается разностным матричным уравнением

xs = Axs-vl + Bxs-k, s = 1,2,... (1)

Здесь х : Z+ R" вектор состояния нейронной сети, состоящей из п нейронов; А G Ж"х" матрица взаимодействий с запаздыванием на m тактов, В G Rnxn матрица взаимодействий с запаздыванием на к тактов (fc ^ то). Предполагая для простоты однородность демпфирующих свойств нейронов, мы рассматриваем в качестве уравнения нейронной сети уравнение (1) с А = 71, где 7 коэффициент демпфирования нейронов, I единичная матрица:

£, = 7 xs-m + Bxs-k, s = 1,2,... (2)

Мы называем m запаздыванием в демпфировании. Вводим формальное определение нейронных сетей, которое активно используется в главе 3.

Определение 0.1. Нейронной сетью назовем упорядоченную пятерку объектов А = (7,k,m,n, В), где 7 g К, i,m 6 Z +{k ^ m), В G М"х". Диагональные элементы матрицы В равны нулю. Назовем (2) уравнением сети А. Представляющим графом нейронной сети А = (7, к, m, n, В) мы назовем взвешенный направленный граф (V, Е) с множеством вершин V = {1,2,... ,п} и множеством дуг Е, определенным следующим образом: (j,v) G Е. если и только если bjv ф 0. В случае bjr ф 0 вес дуги (j,v) есть bjv.

Уравнение (2) полностью характеризует нейронную сеть, а представляющий граф — неполностью, в нем нет информации о характеристиках 7, к, то. Мы называем уравнение (1) (асимптотически) устойчивым, если его нулевое решение (асимптотически) устойчиво. В следующем определении либо ужесточаются, либо ослабляются требования к устойчивости.

10 Arbib M., editor, The handbook of brain theory and neural networks, Cambridge, MA: MIT Press. — 2003. — 1301 p.

11 Kaslik E. Dynamics of a discrete-time bidirectional ring of neurons with delay // Proceedings of Int. Joint Conf. on Neural Networks. — Atlanta, Georgia, USA: June 14-19, 2009, IEEE Computer Society Press. — P. 1539-1546.

Определение 0.2. Матричное уравнение (1) назовем р-устойчивым (р G M, р > 0), если для любого его решения (xs) последовательность (\xa\/pa) ограничена. Уравнение (1) назовем асимптотически р-устойчивым, если для любого его решения (xs) имеет место lim,,-^ \xs\/ps = 0.

Основное назначение первой главы — изложение созданного автором метода конусов устойчивости для анализа устойчивости уравнения (1) в случае, когда матрицы А, В одновременно триангулизируемы. Известно, что если А, В коммутируют, то они одновременно триангулизируемы.

Определение 0.3. Кривая D-разбиепия для данных k,m G Z+, a G С, р G это кривая на комплексной плоскости переменной Ъ, заданная уравнением Ь(ш) = pk exp[ikuj) - |a|/>*-mexp(i(fc - m)w), из G M.

Определение 0.4. Пусть к,m взаимно просты, к > m > 1, j G Z, 0 < j < m, пусть выполнены равенство ks — mt = 1 и неравенство |a| < ртк/(к — m). Основным овалом Lj для уравнения (1) назовем замкнутую кривую на плоскости комплексного переменного Ь, заданную кривой D-разбиения для данных k, m (см. Определение 0.3), где переменная и меняется от (-cJi +27Гjs/m) до (wi +2пjs/m), где есть наименьший положительный корень уравнения arg Ь(ш) = ж.

Определение 0.5. Пусть k, m взаимно просты, к > m ^ 1, a G С и О ^ |а| < ртк/(к — т). Областью D(k,m,a,p) назовем множество комплексных чисел Ь, таких что для любого j (0 < j < m) число Ь лежит внутри основного овала Lj. При тех оке условиях, если h, m не являются взаимно простыми и d =НОД(&,т), положим D(k,m,a,p) = D(k/d,m/d,a, pd).

Определение 0.6. Если к > m > I, то конусом р-устойчивости для данных k, m, р назовем множество точек M = (щ, и2, и?,) G M3, таких что О < «з < рт и пересечение этого множества с любой плоскостью щ = а (О ^ a sï рт) есть область D(k,m, а,р). Если k > m = 1, то конусом р-устойчивости для данных к,р назовем множество точек M = (и\,иъ,щ) G К3, таких что 0 ^ u3 < pmk/(k - 1) и пересечение этого множества с любой плоскостью щ = а (0 < а ^ pmk/(k - 1)) есть область D(k, 1, а,р).

Один из конусов ¿»-устойчивости изображен на Рисунке 1. Следующая основная теорема сводит задачу распознавания устойчивости системы (1) произвольного порядка к вопросу о расположении некоторых точек вЕ3 относительно конуса устойчивости.

Теорема 0.1. Пусть fc>m>lu числа k,m взаимно просты и р> 0. Пусть А, В, S G К"*" и S^AS = АТ и S~lBS = Вт, где Ат и Вт -HttoicHuc треугольные матприцы с DAeAteHTYidMULdjy^bj^ (1 < j, v < п). Построим точки Mj — (uij,u2j,u;ij) G К3, (1 < j < n), такие что uxj + iu2j = bjj exp(—axgajj), u-ij = \a.jj\. Тогда уравнение (1) асимптотически p-yc-тойчиво если и только если все точки Mj (1 < j < п) находятся внутри конуса р-устойчивости для данных k, т, р. Если существует j (1 ^ j ^ п), такое что Mj расположено вне конуса р-устойчивости, то уравнение (1) р-пеустойчиво.

Далее описан щюграммиый комплекс дли построении областей устойчивости пей|юшп>1х сетей. Разработаны П|юграмма А дли построении конуса /^устойчивости, Программа Б для диагностирования устойчипосги разностных матричных уравнений и Программа 13 для построении областей устойчивости ней]юнпых сетей. Программа В служит диспетчером многок-ратпых применений Про| рам M А, Б с использованием результатов предыдущего этана построении границы jv 1я уточнения результатов на следующем этапе. На Рисунке 2 приведены скриншоты интерфейса программы.

«ih« «ипм»мс>кт«1ы1 um ÔM»'t*i4piwrpitio

I f т~

Аикти? СйСТММ усто» Ш1

, , »

i чжео- само i э<мм> с мяо г 1 ,01000. ose»

• 5 WJ0 • <ДМ> < 14090- 1Ш91

Рис. 2. Графическое окно программы «Устойчивость матричных ржчногшмх ур.иинчшй с дну ми запа.1.1миа11инми>.

В заключение главы 1 <ж результаты сравниваются с известными результатами. Устойчивость ма-фич1Юго уравнения (1) с единичной матрицей А и m = 1 впервые изучила Левицкая12, она же ввела термин «овал устойчивости» Затем Каслик15 расширила результаты Левицкой, рассматривая проблему устойчивости /yin уравнении (1) cm = I и скалярной матрицей А ~ al, где а 6 R, 0 < а ^ 1 и / единичная матрица. Выводы таковы. В сравнении с ранее указанными работами Левицкой и Каелик м<-год главы 1 применим к более

13 Lmitabaya ISA not« on the sUiUlity oval for x, , i x„ + Aim a / / Journal of »ilfprmri- Kqtuuiont

>nd ApplicatM»». 2005 Vol. 11. P. 701 705

,;l Kaslik K. Stability r№tilt> for л rlua Ы diifcrmoi' »yxtctn* wilh ilH.lv // Ailvaorai in Uifonac* lOqu»-lioon 2009. ID 938492 P. I 13

Рис. 1. Конус f-устоАчиност (см. Определение 0.6) для к = 5, m = 4, р = 1.15.

емд*г»р«мсаос1\ чнш ta

s

RM*

широкому классу уравнений. В сравнении с работой Кипниса и Малыгиной14 н главе 1 шире класс уравнений (введено вто|юе запаздывание), и, кроме тот, метод диссертации пооноляст диагностировать степень устойчивости систем, благодаря понятию /ьустойчивости. В сравнении с работой Мацунато15 о 2 х 2 системах метод конусов устойчивости значительно мон^нее, поскольку не ограничивает размерности задачи. Далее мы константируем, что алгоритм и программа разделов 1.6, 1.7 не имеют амалошп в литератур«;.

Во второй главе решается задача анализа устойчивости базовых конфигураций нейронных сетей с помощью результатов первой главы диссе)»-гации. Мы назвали базовыми конфигурациями следующие нейронные сети: кольцевые, линейные, двуслойные, звездные, полносвязные. Подробное других мы изучаем кольцевую нейронную есть С„(а, 6) = (у,к,т,п,С„(а,Ь)) и линейную £,,(а, Ь) (7, к, т. п, /,„(а, Ь)) с п нейронами, где

/0 b 0 . . 0 a\ (0 h 0 .. . 0 0\

a 0 b . .. 0 0 a 0 b .. . 0 0

0 о 0 . .. 0 0 , l.„(a,b) — 0 a 0 .. . 0 0

: . : j ; ; ;

Ó Ó Ó . . '. Ó if Ó ó Ó .. ó i>

V 0 0 . .. a V 0 0 . . a V

В матрице С„(я, Ь) сила действия нейрона на соседа но часовой стрелке есть а, в противоположном направлении ¿>. В матрице L„(a, Ь) сила действия нейрона на следующий нейрон есть я, в противо! оложном направлении Ь. Представляющие графы для ¿i(a,b), Ci(c,d) и их декаргова произведения, онределенно-IX» в главе 3, показаны на Рисунке 3. Рисунок 4 показывает границы областей

Рис. 3. Сеп. Сз(о.Ь), Cj(-.d) и С,(а.к)ОС,(сЛ).

устойчивости кольцевой сети Ся(а,Ь) (0.8,3,1,3,63(0,6)) и линейной сети £.,{а, Ь) (0.8,3,1,3, ¿з(а,6)) в плоскост и ab. Границы построены с помощью алгоритмов и программ главы 1 диссертации.

Мы ожидаем, что при разрыве кольцевой сети и переходе ее в линейную области устойчивости в пространстве параметров получат приращение. Объясняется это тем, что в кольцевой сети возмущение циркулирует но кольцу, в

'' Kip»» M M. Molygine V.V. llir «ability «и* »* a matrix drlay cli(TcrM>№ equation // International Journal oi Math«naU« jukI Malhnmeliral Sricnmt. - ail I. 11) MftWi, P. 1-15.

11 MaUuiuiKA II. Ilajiri Ch- Kxact »lability »4» to a hrtwir Jillefei«' oyMeui with diagonal «Way // Journal of Mathematical AiuOyn.- and Application» 2010. - Vol. 369 I' 616 62V

погаситься.

то время как в линейной оно, благодаря демпфированию, может успешно

Эти ожидания оправдывают*»! в случае большого количества нейронов в кольце (су. далее Теорему 0.6). Но мы обнаружили, что в кольцевых сетях с небольшим количеством нейронов могут суцествовать весьма малые области парамет|юв, в которых кольцевая сеть устойчива, а линейная неустойчива. Мы называем такие параметры парадоксальными.

Определение 0.7. Назовем точки (а.Ь) парадоксальной в кольцевой сети при данных к,т, 7/, если ко.гьцевая сеть Риг. 4. Границы об.нитей упойчшинти при данных к. т. у, а. Ь аси.чпгпотичс-нвлоскопи (а.Ь) кыыкчюй (снмий цвет) скь устойчива, а линейная при тех же и линейной (черный циет) нейронных д., г„ % „ ¿, неустойчива. сетей. Начало координат внутри областей устойчивости. Параметры (■),*, т, п) = (0.8.3,1.3). Область парадоксальных точек "закрашена красным цметом.

Доказана теорема, укапывающая условия существовании парадоксальных точек.

Теорема 0.2. Пусть т = 1, к > I.

1. Если п делится на 4- паридокса.шше точки и сети не существуют ни при каких к > 1,72. Если п четно, но не делится на то нарадокамьные точки ь сети существуют при любых к, 7, таких что к > 1. |->| < 1. 3. Если п нечетно, то для любого запа-гдывания к > 1 найдется 7« € (0:1). такое что для любого 7. удов.ктооряющего условию 7о < |7| < 1, парадоксальные точки в сети существуют.

4■ Если п нечетно, то для любого .тгиидывания к > 1 найдется 71 € (0; 1), такое что для любого 7, удовлетворяющего условию 0 ^ |7| < 7), парадоксл.1ьные точки а сети не существуют.

Мы выяснили также, что при к — т = 1 если п делится на 4. то парадоксальные точки не существуют ни при каких "), а если я не делится на 4. то парадоксальные точки существуют при любых 7 € ( — 1,1).

В число ба:ювых конфигураций мы включили звездную конфигурацию нейронных сетей 5„(о, 6) — (7. к, т. п. 3„(а.Ь)) с матрицей сил запаздывающих взаимодействий нейронов, равной

5„(а,6) =

/о а а . . а <Л

6 0 0 . . 0 0

6 0 0 . . 0 0

ь 0 6 . *. 0 0

Кь 0 0 . . 0 V

Рис. 5. Область устойчивости доэдяаЯ конфигу|кшии неП|х>иов S„(a.b) в плоскости (а.Ь) 11|>и «|>MKt M|K>itaitiib)x у 0.-1, m = 1. Слева количество нсй|м>нов п с}>ик<-м|м>паио. utiiiii tijiuiiiiir к переменно. Справа иш» <лмт«11ие фиксировано. п переменно.

Здесь а сила действии периферийного нейрона на центральный, Ь сила обратного воздействия. Представляющие i-рнфы для звездной и всех сотой, изучаемых в диссертации, указаны на Рисунке 9. При фиксированных'!, т. п существует непустая область па плоскости яЬ. гарантирующая устойчивость звездной сети при любых запаздываниях к (Рисунок 5 слева). При неограниченном увеличении количества нейронов в звезде область устойчивости на плоскости ab исчезает, стягиваясь в к peer (Рисунок 5 справа).

Далее для двуслойной нейронной сети указаны области устойчивости, независимой от запаздывания, продемонстрировано сужение области устойчивости в процессе увеличения количества нейронов в слоях. Качественно области устойчивости дли двуслойной сети не отличаются от областей для звездной сеги. Последней в главе 2 рассмотрена полносвязная сегь, в которой сила взаимодействия каждой) нейрона с каждым равна«. Указано, что повеление* областей устойчивости в пространстве параметров полносвязной сети подобно поведению звездной сети при а Ь,

В заключение результаты главы 2 сравниваются с известными. Результаты о кольцевых остях не противоречат цитированным выше исследованиям Е. Каслик. П|К!Имущество нашего подхода в изучении поведении кольцевой сеги при неограниченном увеличении количества нейронов в ней. а также в сравнительном анализе устойчивости диск|итных моделей кольцевой и линейной сетей. С другой стороны, в работах Каслик затрагивается проблема поведения нелинейной модели сети после потери устойчивости, что не входит в цели диссертации. Анализ различий результатов настоящей диссертации, с одной сто]>оны. и |и*зулынтов об устойчивости нс*н|м*рывных моделей с другой сто-¡юны, затрудняется тем, что в непрерывных моделях16 отсутствует аналог коэффициента демпфирования 7. Но общие моменты в пец|м*рывпых и диск(м*-

Khukhk»* т. N. Юрок М М. Tin- breaking Ы a ddaycd пик |и-шя1 lictwurk <T*ilrilnit<> to »nihility; The míe and «M-epClwi» Neural NcCwurlu. »13. Vol. 18. P. 148 152

тных моделях есть, например, отсутствие парадоксальных точек при разрыве колец с числом нейронов, кратных четырем.

Задача об устойчивости дискретных моделей сетей линейной, звездной конфигураций и полносвязных сетей, насколько известно автору, не появлялась в литературе до работ ангора.

В третьей главе изучена устойчивость нейронных сетей, полученных из базовых с помощью декартова умножения. Дано определение декартова произведения сетей.

Определение 0.8. Две нейронные сети назовем согласоваишлми, если у них одинаковые. i,k,m. Декартовым произведением двух согласованных нейронных сетей Ai — (7,k,m,г, В\) « Ai = (у,к,т,п,В^) назовем нейронную сеть Д1 □ Аг — (ц, к,m,ru, Ri&lh)- Здесь Кронекерова сумма В\ фВ? определяется равенством В\ @ В? = /„ ® fli + И? & /г, где 0 операция Кронеке.]юоа умножения матриц. /„, /г суть единичные матрицы порядков п,г соответственно.

Например, в цилиндрической нейронной сети C3(a,b) □£2(c,d) (Рисунок 3) В = С3{а,Ь) ® L2(c,d) =

/0 Ь a d 0 0\

о 0 6 0 d О

Ь а 0 0 0 d

с 0 0 0 6 о

О с 0 а О Ь

\0 Ü с b а «У

Наши определения не противоречат определению декартовых произведений графов1718. Для любой нары согласованных нейронных сетей А, В нейронная сеть АО В изоморфна сети BOA в естественном смысле лют слова: представляющие их весовые графы изоморфны, а связанные с ними уравнения вида х, = ух,-т f Bxg-ie получаются одно из другого перестановкой компонент вектора х,.

Далее в главе 3 изучается устойчивость некоторых декартовых произведений базовых нейронных «ггей. Для этих сетей мы выясняем, что происходит с областями устойчивости ири неограниченном увеличении количества нейронов и при неограниченном росте запаздывания к.

Для планарных (решетчатых) сетей С,,(а,Ь) □£r(c,d) показано, что при т = 1 неравенство \ y/\ab\ + \/\cd\ < (1 - М)/2 определяет область устойчивости, независимой от запаздывания к. Области устойчивости линейных и решетчатых конфигураций схожи.

Для нейронных гиперкубов ¿j1 "(о, Ь) получено удобное «коэффициентное» условие устойчивости.

1Т hnricb W. Klavíjtf S. яп<1 Ral) D. F. Graphs aiwl ibeir С Art ради Product*. A- К Prt«* — 200«. -213 p.

" l)ru*bl> H Gvrtkuvich D. A Cumbíiiatorú) Appnmch to Matrix Tluwry ш»1 lu A|ipl>Mtk»M // Ощр-man and НаЛ/CRC. - 2008 - 2M|).

Теорема 0.3. Пусть m l, 7 > 0.

1. Если ab > 0, то при 0 < ab < ((|1 - 7|)/")2 есть £Ç"(a,6) устойчива, при al> > ((|1 — 7|)/п) сеть неустойчива.

2. Если ab < 0, ню при 0 > ab > -(F(-?)/n)2 сеть С^ п(а,Ь) устойчива, при аЬ < ~(Г(-у)/п)2 сеть 4'" («•*>) неустойчива. Здесь F,(-у) = где w(7) есть наименьший неотрицательный корень уравнения |-)r| - ^

Дли тороидальных сетей C„(a,b)OCr(c,d) доказана теорема. Теорема 0.4. Если

|7| + \а\ + + |с| + |dl < 1, (4)

то сеть С„(а. b) □ £,•(<-, d) асимптотически устойчива при любых п, г и любых к, т.

Питием подробное результаты диссертации для болыиих цилиндрических нейронных сетей С„(а,Л)П£г(г, </). Доказана следующая теорема.

Теорема 0.5. Пусть даны произвольные 7 € R, m, к € Z+, к > т. Построил« дна эллипса M(t) (tii(f). «з(0>и.»(0) С (0 ^ < ^ 2тг), такие что

U|(<) + iuiit) (a exp(i/) + fcexp(-it) ± 2Vcd) ■ ехр(—i—arg7),

u.i(?) = W- (5)

Если все точки двух лллипсоа (5) лат ат внутри конуса р-устойчивости для данных k, т, гпо нейронная сеть С „(и, Ь) □ Сг(с, d) асимптотически р-ус-тоичива для любых п, г. Если существует такое t, что M (t) лежит вне конуса р-устойчивости, то существует такое щ, что Сп(а, ft) □ Cr(c, d) р-иеустойчива при оссхп > п«, г > п«.

Теорему 0.5 иллюстрирует Рисунок 0. Рассматривается сеть£,(а, Ь) □ С, (с, d) с неонределениоболмними значениямип, г. Полапи-м 7 = —0.4, к — 5, m = 4. [la Рис. Ga,b построены сечения конусов устойчивости дли данных к,m на уронне иа = |-у|. Указанные и Теореме 0.5 точки M(t) пробегают дна эллипса. При параметрах сети (a,b,c,d) (0.1,-0.2,0.3,0.23) (Рисунок 6а) оба эллипса находятся внутри конуса устойчиности (внутри его сечения на уровне 7), поэтому по Теореме 0.5 сел» Cr,(a,6)D£r(c,d) устойчива при любых п,г. При параметрах ости (a,b,c,d) -- (0.1, -0.2,0.3,0.23) (Рисунок СЬ) некоторое точки эллипсов лежат вне конуса устойчивости (вне сечения конуса устойчивости на уровне 7), по лому но Теореме 0.5 сеть С„(а, 6) □ £r(c, d) неустойчива при достаточно больших п,г. Руководствуясь Теоремой 0.5, мы вычислили границы области устойчивости и плоскости об для сеги C„(a,6)D£r(r, (/) при больших n, г при 7 = -0.4, к — 3, m = 2, а = с, b = d (Рисунок бс).

И

Уточиим, что областью устойчивости системы С„(я, 6) □ (с. d) при больших п, г мм насыпаем область в пространстве параметров, такую что: 1) внутри этой области обеспечивается устойчивость при любыхп, г; 2) вне »той области для любой точки найдется такое н«, что система неустойчива при любом п > rio, Г > По-

3

05

-0.5

0 и1 <Ь)

05

Рис. 6. К Теореме ОЛ. (а),(Ъ): Сечение конуса уст пйчм ногти для к 5, т 4 иа уровне 7 = 0.4 (жирные ммкиутмг криямг) и нары шапгон (5) дли сети С.(а.6)РСг(е.<<) (а): сеть ¿,(о,1)П£,(г,Л) устойчива при нобых п, г. (Ь): сеть неустойчива ир« лоепточмо больших п,г. (е): Область уггоАчимх-ги спя Сш(а.к)ЭСг(а.Ь) я плоскости иЬ при логнпочно 6шмин> п.г. Параметры: у = -а4, к 3, ш 2.

Далее к главе 3 рассмотрено изменение области устойчивости при переходе от сети ДОС„(в, 6) к сети А □ £„(<!, 6), что естественно считать результатом разрыва исех связей между первым и последним экземпляром сети А в кольце «4111Сп(а,6) (Рисунок 7). Следующая гсюрсма показывает, что р&зрыв большого кольца ней|юш1ых сетей расширяет область его устой чи-вости в пространство параметров.

рис. 7. Колыцо нейронных сегей А -1С»(а,*) и результат ею ралрыка >1С£>(а.4).

Теорема 0.6. Если нейронные сети А, С'„(а. /)) и С„(а.Ь) согласованы, то для любых а € II, Ь е К, р > 0 при условии аг »(г / 0 существует такое По, что для любых п > «о ил р-устойнивости нейронной сети ЛОС„(а, 6) следует асимптотическая р-устойчивость нейронной сети А П А,(а, 6).

Но, как показывает Теорема 0.2 и следующий Рисунок 8, при некоторых значениях параметров разрыв небольших колец может привести к неустойчивости. На Рисунке 8 показаны изменения, появляющиеся в области устойчивости тороидальной сети Сз(а, Ь) ПС^а, Ь) при разрыве колец согласно следующей диаграмме.

C3(a,6)DC5(a,6) ■i

Сл(а.Ь)аСц{а,Ь)

-U Сл(а,Ь)ОС',(а,Ь)

4

С.\(а,Ь)ОСь(а. Ь)

Методом конусов устойчивости мы нашли области устойчивости нейронных сетей, указанных н схеме (6). В:> неех четырех процессах, показанных на диаграмме (6) стрелками, области устойчивости получают некоторое приращение (см. Рисунок 8). Однако дли всех т|>ех колец нсй|юнных сетей из схемы (С), а именно, С.\(а, Ь) ОСг,(п. Ь), Сл(а, Ь) ОСг,(а, Ь), Сл(а, Ь) □ Сг,{а. Ь). на Рисунке 8 обнаруживаются небольшие области, в которых система теряет устойчивость, когда кольцо разрывается. По аналогии с Определением 0.7 главы 2 мы назвали такие параметры парадоксальными.

В заключение главы 3 проведено сравнение результатов главы с известными результатами. Указано, что сложные сети, построенные из базовых с помощью декартовых произведений, многократно упоминаются в литературе. Примером служат гиперкубы и торокдальние сети19-20.

Планарные нейронные сети (решетки) предмет исследования Ботсло и Гайко21, но модель этой статьи шхтчюена па интегро-дифференци-альных уравнениях и далека от наших дискретных моделей. Есть работы22 о моделях нейронных сетей. в которых в самом уравнении заложена возможность изменения топологии связей в сети. Приведенные ссылки показывают, что нейронные сети, построенные как декартовы произведения базовых, заслуживаю! изучения. Но задача изучения устойчивости дискретных моделей таких сетей не ставилась в литературе. Полому предпринятое в главе 3 изучение устойчивости сложных неЛ]к)нных сетей не имеют аналогов в литературе.

Заключение

Существуют конфигурации <чте£ (например, кубы Мёбиус«0), которые мы не включили в базовые и которые не представляются в виде декартовых произведений наших базовых сетей. Расширении списка базовых нейронных

-0.5

Рис. 8. Гранины «ЛллгтсА устоЛчиаогти ■ it.*» гах-ш nh ,vi* Ifnl C,(<i,fc|GCi(<i.fc) (черны»

цает). £J(M.»)DCVU./>) ........ft). Of.fc)C£,(n.i>)

(v.m-mmO), Ся(а.A)□ £•.(«.к) (красный). Па|шыегрм in./i) - (0.4.2.1,1). Ha-uixi координат нахолиг* гя tui> tpti всех обдагтоЛ устойчивости.

W'aiiR D DiaKixvabilitv of enhanced Iivporcuhcs // IKKK Transaction Computing. 1904 V«4. 43. Л>9. Г. 1144-1153.

■Xl (km/ale; A. Valero-Gnrria M. Dia* dr Oerio L Kxmilin* algorithms with hyprcrube topology on torus ■naUknmuMfl IKKK Transaction* <in parallrl and dslrihuted systems. 1995. Vol. 6. >W. — P. 803-814.

11 Bixrllio F. Gaiko V. Glottal analysis of plaiar neuial networks Nonlinear Analysis. 2006. Vol 04. .Vj P. 1(102 1011.

" Dm A. ZIkhi W. Fen* .1. Kan* J. Xu S Kxpotmit 1л1 syiirliroiiixatioti of the coupling delayed switching complex dviunniral neiwwrks via impulsive control Advance« in Difference Equations. 2013. doi: 10.1186 1687- 1847-2013-195

51 Fan J. DiaxMwahihtt of tl>e MiAnut. oil*» // IKKK Transactions Parallel and Distributed Systems. 1908. Vol. 9, AM) P. 923 928.

I'mc. 0. Впсрху: классификация по сох|миению(к.«юс 1)/1«гсох)ии1гиию<к.1асс 2) усгоЛчижх-ти н|ж iwoi -рапичппк»! росте числа нгЯромоа. Вни-jy: классификации 1ю аисрамгнию (класс |)/шс<щмшгнию< класс II) уетоЯчииосги при чгиоггаромпих itunun/ríni«« и иплрамичеииом рост» смяы действия игйрию в (Wtou tu паыраплеииА.

сетей вполне возможно. Но в принципе результаты и методы диссертации дают возможность изучить устойчивэсть любых нейронных остей, в том числе экзотических, например, произведений линейной ости на звездную.

В дисертации мы изображаем области устойчивости исследуемых моделей нейронных остей как област и в плоскости ab, где а, 6 силы взаимодействии нейронов в разных направлениях. В кольцевой сети разные направления означают по часовой стрелке и npomua нее, в линейной от ней|юна с мепыним номером к нейрону о бблыним iiov(']k>m и наоборот. Влияние всех других параметров на устойчивость нейронной сети учитывается через их влияние на область устойчивости на плоскости ab. Этот прием позволяет сравнивать различные конфигурации и классифицировать нейронные сети. Мы укажем две классификации (Рисунок 9).

Классификация но сохранению/несохранению устойчивости при неограниченном росте числа нейронов. Разделим нейронные ости но поведению области устойчивости в плоскости ab при неограниченном увеличении нейронов в сети, когда общая ст руктура сети сохраняется. К классу 1 отисоем такие нейронные сети, что для каждых значений демпфирующем-о кшффици-

ента 7 6 (—1,1) и запаздываний к,т 6 (к ^ т) имеется непустая область на плоскости аЬ, которая гарантирует устойчивость сети при любом сколь угодно большом количестве нейронов в ней, при условии сохранения общей архитектуры сети. К классу 2 отнесем такие нейронные сети, в которых для любых фиксированных значений параметров 7 £ (—1,1)Д,т £ Ъ+ при стремлении количества нейронов к бесконечности область устойчивости на плоскости аЬ стягивается к одномерной области (в координатный крест) или в начало координат. По результатам диссертации классу 1 принадлежат кольцевые и линейные нейронные сети и декартов)»! произведения кольцевых и линейных сетей в любом порядке и количестве. Эти сети сохраняют шансы па устойчивость при стремлении числа нейронов в сетях к бесконечности. Классу 2 принадлежат остальные рассмотренные в диссертации нейронные сети.

Классификация по сохранению/несохранению устойчивости при односторонних взаимодействиях и неограниченном росте силы действия нейрона в одном из направлений. Рассмотрим изученные в диссертации сети с фиксированными коэффициентом демпфирования7 £ (—1,1) и запаздываниями к,т,п € Ъ+(к > т). Положим 6 = 0, тем самым обеспечив одностороннее взаимодействие внутри сети. Отнесем сеть к классу I, если она устойчива ири любом а, и к классу II, если найдется такое а о, что при любых а > а0 данная сеть неустойчива. По результатам диссертационного исследования выясняется, что классу II принадлежат нейронные кольца Сп(а,Ь) и все декартовы произведения кольца Сп(а, Ь) на любую нейронную сеть. Классу I принадлежат псе остальные рассмотренные в диссертации нейронные сети.

Публикации по теме диссертации

Статьи, опубликованные в ведущих рецензируемых научных журналах, определенных ВАК

1. Иванов, С.А. Область устойчивости в пространстве параметров рекурсивных нейронных сетей с топологией многомерного куба / С.А. Иванов // Вестник Южно-Уральского государственного университета, серия «Математика. Механика. Физика» — 2012. — Вып. 7. — № 34(293). — С. 157-160.

2. Иванов, С.А. Устойчивость двуслойных рекурсивных нейронных сетей / С.А. Иванов // Вестник Южно-Уральского государственного университета, серия «Математика. Механика. Физика» — 2013. — Т. 5, №2. - С. 151-154.

3. Иванов, С.А. Устойчивость рекурсивных нейронных сетей со звездной топологией связей / С.А. Иванов // Естественные и технические науки. - 2012. - Т. 62, №6. — С. 21-25.

4. Иванов, С.А. Устойчивость кольца нейронов и се изменения после разрыва кольца / С.А. Иванов, М.М. Кипиис // Естественные и технические науки. - 2013. - Т.67, №5. - С. 23-25.

5. Ivanov, S.A. The stability cone for a difference matrix equation with two delays / S.A. Ivanov, M.M. Kipnis, V.V. Malygina // ISRN Applied Mathematics. — 2011. — ID 910936. — P. 1-19.

6. Ivanov, S.A. Stability analysis of discrete-time neural networks with delayed interactions: torus, ring, grid, line / S.A. Ivanov, M.M. Kipnis // International Journal of Pure and Applied Mathematics, — 2012. — Vol. 78, №5, — P. 691-709.

Другие публикации

7. Иванов, C.A. Программный комплекс «Устойчивость матричных разностных уравнений с двумя запаздываниями»: свидетельство о регистрации электронного ресурса в ИНИМ РАО № 19417/ С. А. Иванов // ОФЭРНиО, 29.07.2013.

8. Иванов, С.А. Устойчивость рекурсивных полносвязных нейронных сетей / С.А. Иванов // Математика и се приложения в современной пауке и практике: сб. науч. ст. III междунар. паучпо-практ. конф. — Курск: 2013. — С. 139-143.

9. Иванов, С.А. Устойчивость рекурсивной нейронной сети круговой конфигурации / С.А. Иванов // Статистика, моделирование, оптимизация (СМО): сб. тр. всеросс. конф. - Челябинск: 2011. - С. 298-301.

10. Иванов, С.А. Устойчивость рекурсивной нейронной сети с топологией связей многомерного куба / С.А. Иванов // Теория управления и математическое моделирование: тр. всеросс. конф. — Ижевск: 2012. — С. 19-21.

11. Иванов, С.А. Устойчивость рекурсивных нейронных сетей тороидальной конфигурации / С.А. Иванов // Математика и ее приложения в современной науке и практике: сб. науч. ст. II междунар. научно-практ. конф. - Курск: 2012. - С. 112-116.

12. Иванов, С.А. Устойчивость рекурсивных нейронных сетей цилиндрической архитектуры с запаздывающими взаимодействиями / С.А. Иванов, E.H. Невзорова, С.А. Козлова // Инновации в науке: материалы XVI междунар. заоч. научно-практ. конф. — Новосибирск: 2013. - С. 7-11.

13. Иванов, С.А. Устойчивость плоского однородного нейронного поля / С.А. Иванов, A.A. Пархоменко // Инновации в науке: материалы XVI междунар. заоч. научно-нракт. конф. — Новосибирск: 2013. — С. 11-16.

14. Иванов, С.А. Устойчивость нейронной сети со структурой связей в виде дерева / С.А. Иванов, О.Н. Трум // Современные научные достижения: сб. тр. междунар. конф. — Прага: 2012. — С. 59-62.

Подписано и печать 08.12.2013. Формат СО х 84 1/16 Объем 1.0 уч.-изд. л. Тираж 100 экз. Заказ №231. Бумага офсетная. Отпечатано и типографии ФГБОУ ВПО ЧГПУ 454080, Челябинск, пр. Ленина, 69