автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Устойчивость дискретных моделей стандартных конфигураций нейронных сетей с запаздывающими взаимодействиями

На правах рукописи

Иванов Сергей Александрович

Устойчивость дискретных моделей стандартных конфигураций нейронных сетей с запаздывающими взаимодействиями

05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации па соискание ученой степени кандидата физико-математических наук

6 ФЕВ 2014

005545066

Челябинск - 2014

005545066

Работа выполнена на кафедре математики и методики обучения математике ФГБОУ ВПО «Челябинский государственный педагогический университет».

Научный руководитель: Кипнис Михаил Мордкович,

доктор физико-математических наук, профессор

Официальные оппоненты: Пименов Владимир Германович,

доктор физико-математических наук, профессор, ФГАОУ ВПО «Уральский федеральный университет имени первого Президента России Б. Н. Ельцина», профессор

Ушаков Владимир Игнатьевич,

кандидат физико-математических наук, доцент, ФГБОУ ВПО «Челябинский государственный университет», доцент

Ведущая организация: ФГБОУ ВПО «Московский государственный

технологический университет «СТАНКИН»

Защита диссертации состоится «20» февраля 2014 г. в 12 часов на заседании диссертационного совета Д 212.296.02 при ФГБОУ ВПО «Челябинский государственный университет» по адресу: 454001, г. Челябинск, ул. Братьев Кашириных, 129, в конференц-зале.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Челябинский государственный университет».

Автореферат разослан «_»_2014 г.

Ученый секретарь диссертационного совета, доктор физ.-мат.наук, профессор

Федоров В.Е.

Общая характеристика работы

Актуальность темы исследования Нейронными сетями являются модели компьютерных сетей1, модели процесса извлечения слов из человеческой памяти2, нервные системы живых существ и многое другое. Проблема устойчивости нейронных сетей осложнена запаздываниями во взаимодействии нейронов. Поэтому ее изучение требует применения функционально-дифференциальных уравнений (ФДУ) либо разностных уравнений с запаздываниями.. В теорию ФДУ внесли вклад Н.В. Азбелев, Р. Беллман, Ю.Ф. Долгий, H.H. Красовский, A.B. Ким, В.Г. Пименов, П.М. Симонов.

Данная дисссртация посвящена устойчивости дискретных моделей нейронных сетей. Такие модели построены в работах Е. Каслик, С. Балинта5 как аналоги непрерывных моделей. Общие результаты изучения устойчивости, применимые ко всем сетям, не могут дать полное представление о поведении отдельных, классов сетей. Поэтому актуальна проблема описания условий устойчивости часто встречающихся конфигураций нейронных сетей: кольцевой, линейной, звездной, двуслойной, полносвязной, решетчатой, тороидальной, цилиндрической, а также нейронного гиперкуба. Именно этим проблемам применительно к дискретным моделям посвящена, настоящая диссертация.

Степень разработанности темы Много работ посвящено глобальной устойчивости нейронных сетей4'5. Менее изучена локальная устойчивость нейронных сетей, которая требует изучения матричных уравнений с запаздываниями. Проблема устойчивости дискретных сетей разработана гораздо меньше соответствующей проблемы для непрерывных сетей. Кроме того, в литературе отсутствуют систематические исследования устойчивости стандартных нейронных сетей. Только устойчивость кольцевой нейронной сети в ее непрерывных моделях можно считать достаточно разработанной'7.

Недавно в диссертации Т. Хохловой8 предпринято сравнительное исследование непрерывных моделей кольцевой и линейной нейронных сетей. Но в области дискретных моделей известны только статьи Е. Каслик с соавто-

1 Howlett R.J. Walters S.D. Multi-computer neural network architecture // Electronics Letters — 1999. — Vol. 35, .№6. - P. 1350 - 1352. .....

a Гопьг: П. M. Трехэтагшая количественная нейросетевая модель явления «на кончике языка» // Труды ГХ-й Международной конференции «Знание-диалог-решение» (KDS-2001). — СПб.: 19-22 июня 2001. — С. 158-165. http://arXiv.org/ab3/cs.CL/0107012.

3 Kaslik Е. Balint St. Bifurcation analysis for a two-dimensional delayed discrete-time Hopfield neural network // Chaos, Solitons & IVactals. — 2007. — 34. — P. 1245-1253.

4 Idels L. Kipnis M. Stability criteria for a nonlinear noil-autonomous system with delays // Applied Mathematical Modelling. — 2009. - Vol. 33, №5. - P. 2293-2297.

5 Бойков И. В. Устойчивость нейронных сетей Хопфилда с запаздыванием // Известия ВУЗов. Поволжский регион. Физико-математические науки — 2012. — №2. — С. 85-97.

6 Yuan У. Campbell S. A. Stability and sirichronization ring of identical cells with delayed coupling // Journal of Dynamics and Differential Equations. — 2004. — Vol. 16. — P. 709-744.

7 Kokhlovn T.N. Kipnis M.M. Numerical and qualitative stability analysis of ring and linear neural networks with a large number of neurons // International Journal of Pure and Applied Mathematics. — 2012. — Vol. 76, - P. 403-419.

8 Хохлова, Т.Н. Устойчивость моделей нейронных сетей кольцевой и линейной конфигураций с запаздывающими взаимодействиями: дне. . ,,канд. физ.-мат. наук: 05.13.18 — Челябинск, 2013. — 132 с.

рами9. При этом методы Е. Каслик недостаточны для изучения вопроса об устойчивости кольца с неограниченным количеством нейронов, и в работах Каслик не изучено влияние разрыва кольца на устойчивость сети. Разработок но устойчивости многочисленных стандартных моделей нейронных сетей, таких как двуслойные, тороидальные сети, нейронные гиперкубы нет ни для непрерывных, ни для дискретных моделей. Настоящая диссертация восполняет этот пробел в области дискретных моделей.

Цели и задачи работы Цель работы — исследование областей устойчивости стандартных конфигураций нейронных сетей в пространстве их параметров. Мы ставим задачи выделить базовые стандартные конфигурации, изучить их устойчивость, а затем, определив декартово произведение нейронных сетей в духе соответствующего определения для весовых графов, изучить области устойчивости декартовых произведений базовых нейронных сетей.

Научная новизна В диссертации впервые даны методы анализа устойчивости разностных уравнений с запаздываниями, позволяющие находить точные границы областей устойчивости в пространство параметров стандартных нейронных сетей. Эти методы обладают большей общностью и сферой применения, чем известные в литературе методы. Впервые в множестве нейронных сетей выделены базовые нейронные сети, определены декартовы произведения нейронных сетей и созданы средства анализа их устойчивости. Впервые построены точные границы областей устойчивости в пространстве параметров дискретных моделей стандартных нейронных сетей: линейных, звездных, решетчатых, тороидальных и других. Впервые обнаружены парадоксальные явления в дискретных моделях кольцевых нейронных сетей: потеря их устойчивости в результате разрыва. Доказано, что в больших кольцах нейронных сетей парадоксальные явления исчезают, и указаны условия их существования в малых кольцах. Впервые для широкого класса нейронных сетей поставлены и решены вопросы: о сохранении или несохранении устойчивости сети в процессе неограниченного наращивания количества нейронов при неизменной архитектуре сети; о сохранении или несохранении устойчивости сети с односторонними воздействиями нейронов на соседние нейроны, при условии неограниченного возрастания силы воздействия.

Теоретическая и практическая значимость работы Наше исследование выявило новые эффекты. Оно разделило нейронные сети но конфигурациям на два класса: в первом классе (линейные, решетчатые конфигурации) переход на односторонние взаимодействия гарантирует устойчивость сети, во втором классе (кольцевые, тороидальные) не гарантирует. Введение понятия парадоксальных точек дает как теоретические перспективы их исследования в сложных нейронных сетях, так и возможности исключения нежелательных явлений в реальных нейронных сетях в процессе их разрыва. Практическим применением работы является также внедрение специальных курсов но устойчивости нейронных сетей в учебные программы магистров на факультете информатики Челябинского государственного педагогического университе-

1 9 Kaslik Е. Balint St. Complex and chaotic dynamics in a discrete-time delayed Hopfield neural network with ring architecture // Neura] Networks. — 2009. — Vol. 22, №10. — P. 1411-1418.

та. В рамках этих спецкурсов магистранты под руководством автора делали численные эксперименты но изучению устойчивости нейронных сетей [12-14].

Методология и методы исследования Автор разработал новый метод исследования матричных разностных уравнений с запаздываниями — метод конусов устойчивости, и применил этот метод к анализу устойчивости нейронных сетей. Этот метод сводит анализ устойчивости многомерных задач к анализу расположения некоторых точек трехмерного пространства относительно некоторой поверхности в трехмерном пространстве, называемой конусом устойчивости. Использованы также идеи метода .D-разбиений.

Результаты и положения, выносимые на защиту

1. Автор разработал новый метод конусов устойчивости для анализа устойчивости дискретных моделей нейронных сетей с произвольным количеством нейронов и произвольными запаздываниями. Метод реализован в виде алгоритмов и комплекса программ для вычисления границ областей устойчивости нейронных сетей в пространстве параметров.

2. Построены области устойчивости в пространстве параметров нейронных сетей базовых конфигураций: кольцевой, линейной, двуслойной, звездной, с учетом запаздываний как в демпфировании собственных колебаний нейронов, так и во взаимодействиях различных нейронов.

3. Определена операция декартова произведения нейронных сетей, указан метод анализа устойчивости декартова произведения нейронных сетей, благодаря чему построены области устойчивости в пространстве параметров нейронных сетей решетчатой (планарной), тороидальной, цилиндрической конфигураций и нейронных сетей с топологией связей многомерного куба. Показано, что разрыв большого кольца нейронных сетей благоприятствует устойчивости. В то же время найдены условия, при которых разрыв нейронного кольца может сопровождаться потерей устойчивости.

4. Построены классификации нейронных сетей: А) по признаку сохранения устойчивости в процессе неограниченного увеличения количества нейронов с сохранением архитектуры сети; Б) по признаку сохранения устойчивости при неограниченном увеличении силы действия нейронов в одном из направлений при условии нулевого воздействия в другом направлении.

Степень достоверности и апробация результатов Достоверность результатов диссертации подтверждается согласованностью теоретических выводов с результатами численных экспериментов. Основные результаты диссертации докладывались на следующих конференциях: на Международной конференции «Колмогоровскис чтения V. Общие проблемы управления» (Тамбов, 2011 г.); на Всероссийской конференции «Статистика, моделирование, оптимизация (СМО)» (Челябинск, 2011); на Всероссийской конференции «Теория управления и математическое моделирование» (Ижевск, 2012); на международной конференции «Applications of Mathematics in Engeneering and Economics» (Sozopol, Bulgaria, 2013).

Публикации Материалы диссертации изложены в 14 публикациях, из них 6 статей в рецензируемых журналах [1-6], 7 статей в сборниках трудов конференций [8-14] и свидетельство о регистрации программы для ЭВМ [7].

В статьях [4-G] M. Кипнису и В. Малыгиной принадлежат замысел и общее руководство работой, В трудах научных конференций [12-14] автор диссертации выступал как научный руководитель магистрантов-соавторов. Все конкретные результаты диссертации получены лично автором.

Структура и объем диссертации Диссертация состоит из введения, трех глав, заключения, библиографии и Приложений А, Б, В. Общий объем диссертации 135 страниц, включая 43 рисунка. Библиография включает 88 наименований на 10 страницах.

Содержание работы

Во Введении обоснована актуальность и научная новизна работы, поставлена цель диссертационного исследования, приведены публикации по теме диссертации, описана, структура работы и кратко изложено ее содержание.

В главе 1 вначале описана модель нейронных сетей, основанная на известных моделях10,11. Она описывается разностным матричным уравнением

xs = Axs-m + В xs—k, s = 1,2,.... (1)

Здесь х : Z+ —> R" вектор состояния нейронной сети, состоящей из п нейронов; Л 6 К"хп матрица взаимодействий с запаздыванием на m тактов, В G Rnxn матрица взаимодействий с запаздыванием на к тактов (к ^ т). Предполагая для простоты однородность демпфирующих свойств нейронов, мы рассматриваем в качестве уравнения нейронной сети уравнение (1) с А = 7 /, где 7 коэффициент демпфирования нейронов, I единичная матрица:

Xs = 7 %s—m В Xs-k, s = 1,2,... (2)

Мы называем m запаздыванием в демпфировании. Вводим формальное определение нейронных сетей, которое активно используется в главе 3.

Определение 0.1. Нейронной сетью назовем упорядоченную пятерку объектов Л = (7, к,т,п, В), где 7 € К, к, m G Z+ (к ^ m), В G Rnxn. Диагональные элементы матрицы В равны нулю. Назовем (2) уравнеии-ем сети Л. Представляющим графом нейронной сети Л = (7,к,т,п,В) мы назовем взвешенный направленный граф (V, Е) с множеством вершин V = {1,2,... ,п} и множеством дуг Е, определенным, следующим образом: (,j, v) 6 Е. если и только если bjv ф 0. В случае bjv ф 0 вес дуги (j, v) есть bjv.

Уравнение (2) полностью характеризует нейронную сеть, а представляющий граф — неполностью, в нем нет информации о характеристиках 7, к, т. Мы называем уравнение (1) (асимптотически) устойчивым, если его нулевое решение (асимптотически) устойчиво. В следующем определении либо ужесточаются, либо ослабляются требования к устойчивости.

10 Arbib M., editor, The handbook of brain theory and neural networks, Cambridge, MA: MIT Press. — 2003. — 1301 p.

11 Kaslik E. Dynamics of a discrete-time bidirectional ring of neurons with delay // Proceedings of Int. Joint Conf. on Neural Networks. — Atlanta, Georgia, USA: June 14-19, 2009, IEEE Computer Society Press. — P. 1539-1546.

Определение 0.2. Матричное уравнение (1) назовем р-устойчивым (р £ R, р > 0), если для любого его решения (xs) последовательность (Ixsl///) ограничена. Уравнение (1) назовем асимптотически р-устойчивым, если для любого его решения (х„) имеет место lim,^^ \xs\/р* = 0-

Основное назначение первой главы — изложение созданного автором метода конусов устойчивости для анализа устойчивости уравнения (1) в случае, когда матрицы А, В одновременно триангулизируемы. Известно, что если А, В коммутируют, то они одновременно триангулизируемы.

Определение 0.3. Кривая D-разбиепия для данных k, m 6 Z+, й £ С, р G M i- это кривая на комплексной плоскости переменной Ъ, заданная уравнением Ь(ш) = pk exp (ikui) — |a|/9fc_m exp (i(k - m)ui), w£l.

Определение 0.4. Пусть к, m взаимно просты, к > m ^ 1, j G Z, 0 ^ j < m, пусть выполнены равенство ks — mt — 1 и неравенство |a| < pmk/(k — та). Основным овалом Lj для уравнения (1) назовем замкнутую кривую на плоскости комплексного переменного Ь, заданную кривой D-разбиепия для данных k, m (см. Определение 0.3), где переменная ш меняется от (—u>i + 2-ïïjs/m) до (wi -f 2-irjs/m), где wi есть наименьший положительный корень уравнения argft(w) = п.

Определение 0.5. Пусть k,m взаимно просты, к>т^1, а£Си О |а| < ртк/(к — т). Областью D(k,m,a, р) назовем множество комплексных чисел Ь, таких что для любого j (0 ^ j < та) число b лежит внутри основного овала Lj. При тех оке условиях, если k,m не являются взаимно простыми и d -- НОД(&, т), положим D(k,m,a, р) = D(k/d,m/d,a, pd).

Определение 0.6. Если к > m > 1, то конусом р-устойчивости для данных k, rn, р назовем множество точек M = (щ, u-i, м.з) € R3, таких что О ^ из ^ рт и пересечение этого множества с любой плоскостью и% = а (О < а < р'п) есть область D(k,m,a, р). Если k > m — 1, то конусом р-ус-тойчивости для данных к,р назовем множество точек M — (u\, щ, щ) £ R3, таких что 0 < щ ^ pmk/(k — 1) и пересечение этого множества с любой плоскостью г/,3 = а (0 < а < pmk/(k — 1)) есть область D(k, 1 ,а,р).

Один из конусов р-устойчивости изображен на Рисунке 1. Следующая основная теорема сводит задачу распознавания устойчивости системы (1) произвольного порядка к вопросу о расположении некоторых точек в К3 относительно конуса устойчивости.

Теорема 0.1. Пусть k > m ^ 1 и числа k, m взаимно просты и р > 0. Пусть А, В, S G Mnxn и S'1 AS = AT и S~lBS = BT, где AT и BT -нижние треугольные матрицы с элементами ajv,bjv{\ ^ j, V ^ п). Построим точки Mj = (u\j,u2j,u3j) G M3, (1 ^ j ^ n), такие что иу + iu>¿j = bjj exp(—argüjj), ïi;\j = \ujj\- Тогда уравнение (1) асимптотически p-yc-тойчиво если и только если все точки M¡ (1 ^ j ^ п) находятся внутри конуса р-устойчивости для данных к, та, р. Если существует j (1 ^ j ^ п), такое что Mj расположено вне конуса р-устойчивости, то уравнение (1) р-неустойчив о.

Рис. 1. Конус р-устойчивости (см. Определение 0.6) для к = 5, т ,= 4, р = 1.15.

Далее описан программный комплекс для построения областей устойчивости нейронных сетей. Разработаны Программа А для построения конуса ¿»-устойчивости, Программа Б для диагностирования устойчивости разностных матричных уравнений и Программа В для построения областей устойчивости нейронных сетей. Программа В служит диспетчером многократных применений Программ А, Б с использованием результатов предыдущего этапа построения границы для уточнения результатов на следующем этапе. На Рисунке 2 приведены скриншоты интерфейса программы.

э размерность системы Введете запаздывания системы Кит Введите параметр rho

I......s.....1 ;' 2"' 1 i.......т.....j ........i........:

ьдая

Устойчива т система? Огает Система устойчива

Введите собственные числа матриц А и В

В

J £'.3000 • . 0.2000..

.' 0.0000 + . 0.1000...

l 01030. . 0S000 .

■ < osooo* -0 ^000

5 0.4000- p'..... ' i 1 Ш.

i: Очистить . ; Рассчитать,

Рис. 2. Графическое окно программы «Устойчивость матричных разностных уравнений с двумя запаздываниями».

В заключение главы 1 ее результаты сравниваются с известными результатами. Устойчивость матричного уравнения (1) с единичной матрицей А и т = 1 впервые изучила Левицкая12, она же ввела термин «овал устойчивости». Зач гем Каслик13 расширила результаты Левицкой, рассматривая проблему устойчивости для уравнения (1) с т = 1 и скалярной матрицей А = а/, где а Е К, 0 < а < 1 и / единичная матрица. Выводы таковы. В сравнении с ранее указанными работами Левицкой и Каслик метод главы 1 применим к более

12 Levitskaya I.S. A note on the stability ovaJ for x„+1 = r.„ 4 Axn_k // Journal of Difference Equations and Applications. — 2005. - Vol. 11. - P. 701 705.

13 Kaslik E. Stability results for a class of difference systems with delay // Advances in Diference Equations. — 2009. - ID 938492. P. 1-13.

широкому классу уравнений. В сравнении с работой Кипниса и Малыгиной14 в главе 1 шире класс уравнений (введено второе запаздывание), и, кроме того, метод диссертации позволяет диагностировать степень устойчивости систем, благодаря понятию ^-устойчивости. В сравнении с работой Мацунаги15 о 2x2 системах метод конусов устойчивости значительно мощнее, поскольку не ограничивает размерности задачи. Далее мы константируем, что алгоритм и программа разделов 1.6, 1.7 не имеют аналогов в литературе.

Во второй главе решается задача анализа устойчивости базовых конфигураций нейронных сетей с помощью результатов первой главы диссертации. Мы назвали базовыми конфигурациями следующие нейронные сети: кольцевые, линейные, двуслойные, звездные, полносвязные. Подробнее других мы изучаем кольцевую нейронную сеть Сп(а, Ь) = (7,к,т,Г1.Сп(а,Ь)) и линейную £„(а, Ь) = (7, к, т, п, Ьп{а, Ъ)) с п нейронами, где

/0 b 0 ... 0 a\ /0 b 0 . . 0 0\

a 0 b ... 0 0 a 0 b . . 0 0

0 a 0 ... 0 0 , Ln(a, b) = 0 a 0 . . 0 0

6 0 0 ..'. 0 b 0 0 0 . '. 0 b

Vй 0 0 ... a 0 0 0 . . a V

В матрице С„(а, Ь) сила действия нейрона на соседа по часовой стрелке есть а, в противоположном направлении Ь. В матрице Ьп(а, 6) сила действия нейрона на следующий нейрон есть а, в противоположном направлении Ь. Представляющие графы для ¿3(а, 6), Сч{с, (Г) и их декартова произведения, определенного в главе 3, показаны на Рисунке 3. Рисунок 4 показывает границы областей

Ь/ \Ь

к j ь

Рис. 3. Сети СзМ), C2(c,d) и С3{а,Ь)аС2{<:,(1),

устойчивости кольцевой сети С3(а, Ь) — (0.8,3,1,3, С3(а, Ь)) и линейной сети £3(а, Ъ) — (0.8, 3,1,3, L'i{a, Ъ)) в плоскости ab. Границы построены с помощью алгоритмов и программ главы 1 диссертации.

Мы ожидаем, что при разрыве кольцевой сети и переходе се в линейную области устойчивост и в пространстве параметров получат приращение. Объясняется это тем, что в кольцевой сети возмущение циркулирует по кольцу, в

14 Kipnis М.М. Malygina V.V. The stability cone for a matrix delay difference equation j I International Journal of Mathematics and Mathematical Sciences. - - 2011. ID 860326, P. 1-15.

15 Matsunaga H. Hajiri Ch. Exact stability sets for a linear difference system with diagonal delay // Journal of Mathematical Analysis and Applications. 2010. Vol. 369. - P. 616-622.

погаситься.

то время как в линейной оно, благодаря демпфированию, может успешно

Эти ожидания оправдываются в случае большого количества нейронов в кольце (см. далее Теорему 0.6). Но мы обнаружили, что в кольцевых сетях с небольшим количеством нейронов могут существовать весьма малые области параметров, в которых кольцевая сеть устойчива, а линейная неустойчива. Мы называем такие параметры парадоксальными.

Определение 0.7. Назовем точку (а, Ь) парадоксальной в кольцевой сети при данных к, то, 7, если кольцевая сеть при данных к, т, 7, а, Ъ асимптотически устойчива, а линейная при тех же к, то, 7, а, Ь неустойчива.

Доказана теорема, указывающая условия существования парадоксальных точек.

Рис:. 4. Границы областей устойчивости в плоскости (а, Ь) кольцевой (синий цвет) и линейной (черный цвет) нейронных сетей. Начало координат — внутри областей устойчивости. Параметры (7 ,к:т,п) = (0.8,3,1,3). Область парадоксальных точек закрашена красным цветом.

Теорема 0.2. Пусть то = 1, к > 1.

1. Если п делится на 4, то парадоксальные точки в сети не существуют ни при каких А; > 1, 7.

2. Если п четно, но не делится на 4, то парадоксальные точки в сети существуют при любых к, 7, таких что к > 1. |-у| < 1.

3. Если п нечетно, то для любого запаздывания к > 1 найдется 70 е (0;1), такое что для любого у, удовлетворяющего условию 70 < | < 1, парадоксальные 7почки в сети существуют.

4■ Если п нечетно, то для любого запаздывания к > 1 найдется 71 € (0; 1), такое что для любого 7, удовлетворяющего условию 0 ^ |7| < 71, парадоксальные точки в сети не существуют.

Мы выяснили также, что при к = т = 1 если п делится на 4, то парадоксальные точки не существуют ни при каких 7, а если п не делится на 4, то парадоксальные точки существуют при любых 7 € (—1,1).

В число базовых конфигураций мы включили звездную конфигурацию нейронных сетей 5п(а,6) = (7, к,т,п, Зп(а,Ь)) с матрицей сил запаздывающих взаимодействий нейронов, равной

5„(а,6) =

а а . . а а\

ъ 0 0 . . 0 0

ъ 0 0 . . 0 0

ь 0 0 . '. 0 0

Къ 0 0 . . 0 V

Рис. 5. Область устойчивости звездной конфигурации нейронов 5„(а, Ь) в плоскости (о,6) при фиксированных 7 = 0.4, m = 1. Слева количество нейронов п фиксировано, запаздывание к переменно. Справа запаздывание фиксировано, п переменно.

Здесь а сила действия периферийного нейрона на центральный. Ъ сила обратного воздействия. Представляющие графы для звездной и всех сетей, изучаемых в диссертации, указаны на Рисунке 9. При фиксированных7, то, п существует непустая область па плоскости ab, гарантирующая устойчивость звездной сети при любых запаздываниях к (Рисунок 5 слева). При неограниченном увеличении количества нейронов в звезде область устойчивости на плоскости ab исчезает, стягиваясь в крест (Рисунок 5 справа).

Далее для двуслойной нейронной сети указаны области устойчивости, независимой от запаздывания, продемонстрировано сужение области устойчивости в процессе увеличения количества нейронов в слоях. Качественно области устойчивости для двуслойной сети не отличаются от областей для звездной сети. Последней в главе 2 рассмотрена полносвязная сеть, в которой сила взаимодействия каждого нейрона с каждым равная. Указано, что поведение областей устойчивости в пространстве параметров полносвязной сети подобно поведению звездной сети при а = Ь.

В заключение результаты главы 2 сравниваются с известными. Результаты о кольцевых сетях не противоречат цитированным выше исследованиям Е. Каслик. Преимущество нашего подхода в изучении поведения кольцевой сети при неограниченном увеличении количества нейронов в пей, а также в сравнительном анализе устойчивости дискретных моделей кольцевой и линейной сетей. С другой стороны, в работах Каслик затрагивается проблема поведения нелинейной модели сети после потери устойчивости, что не входит в цели диссертации. Анализ различий результатов настоящей диссертации, с одной стороны, и результатов об устойчивости непрерывных моделей с другой стороны, затрудняется тем, что в непрерывных моделях16 отсутствует аналог коэффициента демпфирования 7. Но общие моменты в непрерывных и дискре-

16 Khokhlova Т. N. Kipnis M. M. The breaking of a delàyed ring neural network contributes to stability: The rule and exceptions // Neural Networks. - 2013. — Vol. 48. — P. 148-152.

тных моделях есть, например, отсутствие парадоксальных точек при разрыве колец с числом нейронов, кратных четырем.

Задача об устойчивости дискретных моделей сетей линейной, звездной конфигураций и полносвязных сетей, насколько известно автору, не появлялась в литературе до работ автора.

В третьей главе изучена устойчивость нейронных сетей, полученных из базовых с помощью декартова умножения. Дано определение декартова произведения сетей.

Определение 0.8. Две нейронные сети назовем согласованными, если у них одинаковые у, к, т. Декартовым произведением двух согласованных нейронных сетей Ау — (у,k,m,r,Bi) и Л2 = (7,к,т,п,В2) назовем нейронную сеть AiOA2 = (7, к, m, rn, Вг®В2). Здесь Кронекерова сумма Вг фВ2 определяется равенством ВЛ 0 В2 — In <g> В\ + В2 ® 1Г, где ® операция Кронекерова умножения матриц, 1п, 1Г суть единичные матрицы порядков п, г соответственно.

Например, в цилиндрической нейронной сети С3(а, Ь) □ С2(с, d) (Рисунок 3)

/О b a d 0 0\

а 0 b 0 d О

b а 0 0 0 d

с 0 0 0 b а ■

О с 0 а 0 b \0 0 с b а О/

Наши определения не противоречат определению декартовых произведений графов17,18. Для любой пары согласованных нейронных сетей А, В нейронная сеть AU В изоморфна сети ВО^в естественном смысле этого слова: представляющие их весовые графы изоморфны, а связанные с ними уравнения вида xs = 7£S_TO + Bxs^k получаются одно из другого перестановкой компонент вектора xs.

Далее в главе 3 изучается устойчивость некоторых декартовых произведений базовых нейронных сетей. Для этих сетей мы выясняем, что происходит с областями устойчивости при неограниченном увеличении количества нейронов и при неограниченном росте запаздывания к.

Для планарных (решетчатых) сетей Сп(а, 6)П£г(с, d) показано, что при m = 1 неравенство | л/\аЬ\ + y/\cd\ < (1 — I7Q/2 определяет область устойчивости, независимой от запаздывания к. Области устойчивости линейных и решетчатых конфигураций схожи.

Для нейронных гиперкубов С^п(а, b) получено удобное «коэффициентное» условие устойчивости.

17 Imrieh W. Klavzar S. and Rail D. F. Graphs and their Cartesian Products. A. K. Peters. 2008. -

213 p.

18 Brualdi R. Cvetkovich D. A Combinatorial Approach to Matrix Theory and Its Applications //' Chapman and Hall/CftC. 2008. - 288 p.

B = C3(a,b)®L2(c,d) =

Теорема 0.3. Пусть m = 1,7 > 0.

1. Если ab > 0, то при 0 < a, b < ((|1 - 7|)/п)2 сегпь ^г ™(а>&) устойчива, при ab > ((|J — 7|)/п)2 сеть неустойчива.

2. Если ab < 0, то при 0 > ab > —(F(y)/n)2 сеть С^п{а,Ъ) устойчива, при ab < -(F(y)/n)2 сеть £§п(а, Ь) неустойчива. Здесь F\{y) = >

ш(у) есть наименьший неотрицательный корень уравнения |7| =

Для тороидальных сетей C„(a,b) \3Cr(c,d) доказана теорема. Теорема 0.4. Если

|7| + И + H + ici + |d| < 1, (4)

то сеть Cn(a,b) OCr(c,d) асимптотически устойчива при любыхп,г и любых к, т.

Опишем подробнее результаты диссертации для больших цилиндрических нейронных сетей Сп{а, Ь) □ Cr(c, (Г). Доказана следующая теорема.

Теорема 0.5. Пусть даны произвольные у £ то, к 6 Z+, к > т. Построим два эллипса M(t) = u2(t), £ R3 (0 ^ К 27г), такие

что

к

uy(t) + iu2(t) = (аехр(й) -f 6ехр(— it) ± 2\fcd) ■ ехр(—i—axgy),

Mt) = |7|- (5)

Если все точки двух эллипсов (5) лежат внутри конуса р-устойчивости для данных k, т, то нейронная сеть Сп(а, Ь) □ £r(c, d) асимптотически р-ус-тойчива для любых п,г. Если существует такое t, что M{t) лежит вне конуса р-устойчивости, то существует такое щ, что Сп(а, £>)□ СТ(с,а) р-иеустойчива при всехп > по, г > щ.

Теорему 0.5 иллюстрирует Рисунок 6. Рассматривается сегьС„(а, Ь) □ d) с неопределенно большими значениями те, г. Полагаем у = —0.4, к = 5, m = 4. На Рис. 6а,b построены сечения конусов устойчивости для данных к, то на уровне щ = |7|. Указанные в Теореме 0.5 точки M(t) пробегают два эллипса. При параметрах сети (a,b,c,d) = (0.1,-0.2,0.3,0.23) (Рисунок 6а) оба эллипса находятся внутри конуса устойчивости (внутри его сечения на уровне 7), поэтому по Теореме 0.5 сеть Сп(а,Ь) П£г(с, d) устойчива при любых те, г. При параметрах сети (а, Ь, с, d) = (0.1, -0.2,0.3,0.23) (Рисунок 6Ь) некоторые точки эллипсов лежат вне конуса устойчивости (вне сечения конуса устойчивости на уровне 7), поэтому по Теореме 0.5 сеть С„(а, Ь)П£г(с, d) неустойчива при достаточно больших те, г. Руководствуясь Теоремой 0.5, мы вычислили границы области устойчивости в плоскости ab для сети Сп(а, Ь) □ Cr(c, d) при больших те, г при у = —0.4, к — 3, m — 2, а = с, b = d (Рисунок 6с).

г

Уточним, что областью устойчивости системы Сп(а, Ь) □ £г(с, (Г) при больших п, г мы называем область в пространстве параметров, такую что: 1) внутри этой области обеспечивается устойчивость при любыхп, г; 2) вне этой области для любой точки найдется такое щ, что система неустойчива при любом п > Щ, г > щ.

Рис. 6. К Теореме 0.5. (а),(Ь): Сечение конуса устойчивости для к = Б, то = 4 на у]>овне 7 = 0.4 (жирные замкнутые кривые) и пары эллипсов (5) для сети C„(u,b)0£r(c,à). (а): сеть C„(a,b)D£r(c,rf) устойчива при любых re,r. (Ь): сеть неустойчива при достаточно больших п,г. (с): Область устойчивости сети Cn(a,b)OCr(a,b) в плоскости ah при достаточно больших п,г. Параметры: 7 = —0.4, к = 3, m ~ 2.

Далее в главе 3 рассмотрено изменение области устойчивости при переходе от сети АОСп(а,Ь) к сети А\ЗСп(а, Ь), что естественно считать результатом разрыва всех связей между первым и последним экземпляром сети А в кольце АО Сп(а,Ь) (Рисунок 7). Следующая теорема показывает, что разрыв большого кольца нейронных сетей расширяет область его устойчивости в пространстве параметров.

Теорема 0.6. Если нейронные сети А, Сп(а,Ь) и Сп(а,Ь) согласованы, то для любых а е M, b е R, р > 0 при условии a2 + b ^ 0 существует та,кое По, что для любыхп > щ из р-устойчив о сти нейронной сети А □ Сп(а, Ь) следует асимптотическая р-устойчивос.тъ нейронной сети АО £п(а, Ь).

Но, как показывает Теорема 0.2 и следующий Рисунок 8, при некоторых значениях параметров разрыв небольших колец может привести к неустойчивости. На Рисунке 8 показаны изменения, появляющиеся в области устойчивости тороидальной сети С3(а,6) [IiC5(a,6) при разрыве колец согласно следующей диаграмме.

С3(а,6)ПС5(а,6) £3(а,6)ПС5(а, Ь)

2 з (6)

С3(а,Ь)0£5(а,Ь) —> С3(а,Ь) □ С5(а,Ъ)

Рис. 7. Кольцо нейронных сетей .4 □ Сд (а, Ь) и результат его разрыва АОСз{а,Ь).

Методом конусов устойчивости мы нашли области устойчивости нейронных сетей, указанных в схеме (6). Во всех четырех процессах, показанных на диаграмме (6) стрелками, области устойчивости получают некоторое приращение (см. Рисунок 8). Однако для всех трех колец нейронных сетей из схемы (6), а именно, С3(а,Ь)ПС5(а,Ь), С3(а,Ь)ПС5(а,Ь), С3(а,6) □ £5(0,6), на Рисунке 8 обнаруживаются небольшие области, в которых система теряет устойчивость, когда кольцо разрывается. По аналогии с Определением 0.7 главы 2 мы назвали такие параметры парадоксальными.

В заключение главы 3 проведено сравнение резулвтатов главы с известными результатами. Указано, что сложные сети, построенные из базовых с помощью декартовых произведений, многократно упоминаются в литературе. Примером служат гиперкубы и тороидальные сети19'2".

Планарные нейронные сети (решетки) — предмет исследования Ботело и Гайко21, но модель этой статьи построена на интегро-дифференци-альных уравнениях и далека от наших дискретных моделей. Есть работы22 о моделях нейронных сетей, в которых в самом уравнении заложена возможность изменения топологии связей в сети. Приведенные ссылки показывают, что нейронные сети, построенные как декартовы произведения базовых, заслуживают изучения. Но задача изучения устойчивости дискретных моделей таких сетей не ставилась в литературе. Поэтому предпринятое в главе 3 изучение устойчивости сложных нейронных сетей не имеют аналогов в литературе.

Заключение

Существуют конфигурации сетей (например, кубы Мёбиуса23), которые мы не включили в базовые и которые не представляются в виде декартовых произведений наших базовых сетей. Расширении списка базовых нейронных

Рис. 8. Границы областей устойчивости в плоскости аЬ для сетей Сз(а, Ь)ОСь(а,Ь) (черный цвет), £3(а,6)ПС5(а,Ь) (синий), С3{а,Ь)ОСь(а,Ь) (зеленый), С$1а,Ь)ОС5(а,Ь) (красный). Параметры (7,к, т,р)= (0.4,2,1,1). Начало координат находится внутри всех областей устойчивости.

19 Wang D. Diagnosability of enhanced hypercubes // IEEE Transaction Computing. — 1994. — Vol. 43, №9. - P. 1144-1153.

20 Gonzalez A. Valero-Garcia M. Diaz de Cerio L. Executing algorithms with hvpercube topology on torus multicomuters // IEEE H'ansactions on parallel and distributed systems. — 1995. — Vol. 6, №8. — P. 803-814.

21 Botelho F. Gaiko V. Global analysis of planar neural networks // Nonlinear Analysis. — 2006. — Vol. 64, №5. - P. 1002-1011.

22 Dai A. Zhou W. Feng J. Fang J. Xu S. Exponential synchronization of the coupling delayed switching complex dynamical networks via impulsive control // Advances in Difference Equations. — 2013. — doi:10.1186/1687-1847-2013-195.

23 Fan J. Diagnosability of the Möbius cubes // IEEE Transactions Parallel and Distributed Systems. — 1998. — Vol. 9, №9. — P. 923-928.

ring

о—О—С

line grid

f?

(М- Ii JuS (a

cilinder

torus

fO-fO—Ю

II

Нг 1<П

ir

hypercube complete

О

cHinder

О

\ ]

ring

Рис. 9. Вверху: классификация по сохранению(класс 1)/несохранению(класс 2) устойчивости при неограниченном росте числа нейронов. Внизу: классификация по сохранению (класс 1)/несохрамению(класс II) устойчивости при односторонних взаимодействиях и неограниченном росте силы действия нейрона в одном из направлений.

сетей вполне возможно. Но в принципе результаты и методы диссертации дают возможность изучить устойчивость любых нейронных сетей, в том числе экзотических, например, произведений линейной сети на звездную.

В дисертации мы изображаем области устойчивости исследуемых моделей нейронных сетей как области в плоскости аЬ, где а, Ь силы взаимодействия нейронов в разных направлениях. В кольцевой сети разные направления означают по часовой стрелке и против нее, в линейной — от нейрона с меньшим номером к нейрону с большим номером и наоборот. Влияние всех других параметров на устойчивость нейронной сети учитывается через их влияние на область устойчивости на плоскости аЬ. Этот прием позволяет сравнивать различные конфигурации и классифицировать нейронные сети. Мы укажем две классификации (Рисунок 9).

Классификация по сохранению/несохранению устойчивости при неограниченном росте числа нейронов. Разделим нейронные сети по поведению области устойчивости в плоскости аЬ при неограниченном увеличении нейронов в сети, когда общая структура сети сохраняется. К классу 1 отнесем такие нейронные сети, что для каждых значений демпфирующего коэффици-

ента 7 6 (—1,1) и запаздываний к,т еХ+ (к ^ т) имеется непустая область на плоскости аЬ, которая гарантирует устойчивость ссти при любом сколь угодно большом количестве нейронов в ней, при условии сохранения общей архитектуры сети. К классу 2 отнесем такие нейронные сети, в которых для любых фиксированных значений параметров 7 е (—1,1), к, т е при стремлении количества нейронов к бесконечности область устойчивости на плоскости аЬ стягивается к одномерной области (в координатный крест) или в начало координат. По результатам диссертации классу 1 принадлежат кольцевые и линейные нейронные ссти и декартовы произведения кольцевых и линейных сетей в любом порядке и количестве. Эти сети сохраняют шансы на устойчивость при стремлении числа нейронов в сетях к бесконечности. Классу 2 принадлежат остальные рассмотренные в диссертации нейронные сети.

Классификация по сохранению/несохранению устойчивости при односторонних взаимодействиях и неограниченном росте силы действия нейрона в одном из направлений. Рассмотрим изученные в диссертации сети с фиксированными коэффициентом демпфирования7 е (—1,1) и запаздываниями к,т,п € > то). Положим 6 = 0, тем самым обеспечив

одностороннее взаимодейст вие внутри сети. Отнесем сеть к классу I, если она устойчива при любом а, и к классу II, если найдется такое а0, что нри любых а > а0 данная сеть неустойчива. По результатам диссертационного исследования выясняется, что классу II принадлежат нейронные кольца Сп(а,Ь) и все декартовы произведения кольца С,¡(а, Ь) на любую нейронную сеть. Классу I принадлежат все остальные рассмотренные в диссертации нейронные ссти.

Публикации по теме диссертации

Статьи, опубликованные в ведущих рецензируемых научных журналах, определенных ВАК

1. Иванов, С.А. Область устойчивости в пространстве параметров рекурсивных нейронных сетей с топологией многомерного куба / С.А. Иванов // Вестник Южно-Уральского государственного университета, серия «Математика. Механика. Физика» — 2012. — Вып. 7. — № 34(293). — С. 157-100.

2. Иванов, С.А. Устойчивость двуслойных рекурсивных лейронных сетей / С.А. Иванов // Вестник Южно-Уральского государственного университета, серия «Математика. Механика. Физика» — 2013. — Т. 5, №2. - С. 151-154.

3. Иванов, С.А. Устойчивость рекурсивных нейронных сетей со звездной топологией связей / С.А. Иванов // Естественные и технические науки. - 2012. - Т. 62, №6. - С. 21-25.

4. Иванов, С.А. Устойчивость кольца нейронов и ее изменения после разрыва кольца / С.А. Иванов, М.М. Кипнис // Естественные и технические науки. - 2013. - Т.67, №5. - С. 23-25.

5. Ivanov, S.A. The stability cone for a difference matrix equation with two delays / S.A. Ivanov, M.M. Kipnis, V.V. Malygina // ISRN Applied Mathematics. — 2011. — ID 910936. — P. 1-19.

6. Ivanov, S.A. Stability analysis of discrete-time neural networks with delayed interactions: torus, ring, grid, line / S.A. Ivanov, M.M. Kipnis // International Journal of Pure and Applied Mathematics. — 2012. — Vol. 78, №5. — P. 691-709.

Другие публикации

7. Иванов, C.A. Программный комплекс, «Устойчивость матричных разностных уравнений с двумя запаздываниями»: свидетельство о регистрации электронного ресурса в ИНИМ РАО № 19417/ С.А. Иванов // ОФЭРНиО, 29.07.2013.

8. Иванов, С.А. Устойчивость рекурсивных нолносвязных нейронных сетей / С.А. Иванов // Математика и ее приложения в современной науке и практике: сб. науч. ст. III междунар. научно-практ. конф. — Курск: 2013. — С. 139-143.

9. Иванов, С.А. Устойчивость рекурсивной нейронной сети круговой конфигурации / С.А. Иванов // Статистика, моделирование, оптимизация (СМО): сб. тр. вссросс. конф. — Челябинск: 2011. — С. 298-301.

10. Иванов, С.А. Устойчивость рекурсивной нейронной сети с топологией связей многомерного куба / С.А. Иванов // Теория управления и математическое моделирование: тр. всеросс. конф. — Ижевск: 2012. — С. 19-21.

11. Иванов, С.А. Устойчивость рекурсивных нейронных сетей тороидальной конфигурации / С.А. Иванов // Математика и се приложения в современной науке и практике: сб. науч. ст. II междунар. научно-практ. конф. - Курск: 2012. - С. 112-116.

12. Иванов, С.А. Устойчивость рекурсивных нейронных сетей цилиндрической архитектуры с запаздывающими взаимодействиями / С.А. Иванов, E.H. Невзорова, С.А. Козлова // Инновации в науке: материалы XVI междунар. заоч. научно-пракг. конф. — Новосибирск: 2013. - С. 7-11.

13. Иванов, С.А. Устойчивость плоского однородного нейронного поля / С.А. Иванов, A.A. Пархоменко // Инновации в науке: материалы XVI междунар. заоч. научно-практ. конф. — Новосибирск: 2013. — С. 11-16.

14. Иванов, С.А. Устойчивость нейронной сети со структурой связей в виде дерева / С.А. Иванов, О.Н. Трум // Современные научные достижения; сб. тр. междунар. конф. — Прага: 2012. — С. 59-62.

Подписано в печать 15.01.2014. Формат 00 х 84 1/16 Объем 1.0 уч.-изд. л. Тираж 100 экз. Заказ №231. Бумага офсетная. Отпечатано в типографии ФГБОУ ВПО ЧГПУ 454080, Челябинск, пр. Ленина, 69

Челябинский государственный педагогический университет

На правах рукописи

04201456344

Иванов Сергей Александрович

Устойчивость дискретных моделей стандартных конфигураций нейронных сетей с запаздывающими взаимодействиями

05.13.18 - Математическое моделирование, численные методы

и комплексы программ

ДИССЕРТАЦИЯ

на соискание ученой степени кандидата физико-математических наук

Научный руководитель д. ф.-м. н., проф. Кипнис М.М.

Челябинск - 2014

Содержание

Введение ........................................................................4

Глава 1 Метод конусов устойчивости

для диагностирования устойчивости нейронных сетей..........10

1.1 Модели нейронных сетей..............................................10

1.2 Формальное определение нейронных сетей..........................15

1.3 Цели главы 1..........................................................17

1.4 Кривая 1)-разбиения для данных к, т, а, р..........................19

1.5 Области т, а, р)..................................................22

1.6 Конусы устойчивости для матричного уравнения х8 — Ах3^т + Вх3-к с одновременно триангулизируемыми матрицами..........33

1.7 Алгоритм диагностирования устойчивости матричных разностных уравнений с двумя запаздываниями..................................36

1.8 Програмный продукт «Устойчивость матричных

разностных уравнений с двумя запаздываниями»..................37

1.9 Сравнение результатов главы 1 с известными результатами ... 39

Глава 2 Устойчивость базовых конфигураций нейронных сетей 42

2.1 Устойчивость нейронной сети кольцевой конфигурации............42

2.2 Устойчивость нейронной сети линейной конфигурации............47

2.3 Сравнение областей устойчивости нейронных сетей кольцевой и линейной конфигураций. Парадоксальные точки ..................51

2.4 Устойчивость нейронной сети звездной конфигурации ............63

2.5 Устойчивость нейронной сети двуслойной конфигурации..........64

2.6 Устойчивость полносвязных нейронных сетей......................68

2.7 Сравнение результатов главы 2 с известными результатами ... 70

Глава 3 Устойчивость нейронных сетей, полученных из базовых

сетей с помощью операции декартова умножения................72

3.1 Постановка задачи о декартовых произведениях сетей............72

3.2 Устойчивость нейронной сети гшанарной конфигурация (нейронной решетки)................................................................75

3.3 Устойчивость нейронной сети с топологией связей многомерного куба (нейронного гиперкуба)..........................................81

3.4 Устойчивость нейронной сети тороидальной конфигурации ... 85

3.5 Устойчивость нейронной сети цилиндрической конфигурации . . 91

3.6 Расширение области устойчивости при разрыве большого кольца нейронных сетей........................................................97

3.7 Парадоксальные точки в малых кольцах нейронных сетей .... 102

3.8 Сравнение результатов главы 3 с известными результатами . . . 103

Заключение...................................106

Литература...................................110

Приложение А. Исходный код программы для построения конуса /э-устойчивости...............................120

Приложение Б. Исходный код программы «Устойчивость

разностных матричных уравнений с запаздываниями».....122

Приложение В. Исходный код программы для построения областей устойчивости нейронных сетей....................130

Введение

Актуальность темы исследования Нейронные сети изучают международные научные сообщества: International Neural Network Society (INNS), the European Neural Network Society (ENNS), the Japanese Neural Network Society (JNNS). Издаются журналы, посвященные исключительно нейронным сетям: Neural Networks (изд-во Elsevier), IEEE Transactions on Neural Networks and Learning Systems (IEEE, США), Advances in Artificial Neural Systems (изд-во Hindawi), Optical Memory&Neural Networks (Information Optics) (изд-во МАИК HAYKA/INTERPERIODICA), Neural Network World (АН Чехии) и т.д.

Всякую модель, в которой имеются узлы и связи между ними, в настоящее время можно рассматривать как нейронную сеть. Таким образом, нейронными сетями являются модели системы взаимодействующих вулканов [32], компьютерные сети [46, 47, 52], модели процесса извлечения слов из человеческой памяти [5], нервные системы живых существ.

Устойчивость нейронных сетей является одной из главных ее характеристик. Проблема устойчивости осложняется запаздываниями во взаимодействии нейронов. Поэтому ее изучение требует применения теории функционально-дифференциальных уравнений (ФДУ), если модель нейронной сети непрерывна, либо разностных матричных уравнений с запаздываниями, если модель дискретна. В теорию ФДУ внесли вклад Н.В. Азбелев, Р. Беллман, Ю.Ф. Долгий, H.H. Красовский, A.B. Ким, В.Г. Пименов, З.И. Рехлицкий, П.М. Симонов.

Данная диссертация посвящена устойчивости дискретных моделей нейронных сетей. Такие модели были построены в работах Е. Каслик и ее учителя С. Балинта [58-60] (2007-2009) как аналоги непрерывных моделей.

Общие результаты изучения устойчивости, применимые ко всем сетям, ввиду их общности, не могут дать полное представление о поведении отдельных классов сетей. Поэтому актуальна проблема описания условий устойчиво-

сти наиболее часто встречающихся конфигураций нейронных сетей: кольцевой, линейной, звездной, двуслойной, полносвязной, решетчатой, тороидальной, цилиндрической, а также сетыо с топологией связей многомерного куба. Именно этим проблемам применительно к дискретным моделям посвящена настоящая диссертация.

Степень разработанности темы Много работ посвящено глобальной устойчивости нейронных сетей (например, van der Driesche и Zou [45] (1998), Idels и Kipnis [53] (2009), И.В. Бойков [3] (2012). Меньшее внимание привлекала локальная устойчивость нейронных сетей, которая требует изучения матричных дифференциальных или разностных уравнений с запаздываниями. Проблема устойчивости дискретных сетей разработана гораздо меньше соответствующей проблемы для непрерывных сетей. Кроме того, в литературе отсутствуют систематические исследования устойчивости стандартных нейронных сетей. Только устойчивость кольцевой нейронной сети в ее непрерывных моделях можно считать достаточно разработанной (см. S. Campbell с соавторами [38, 87] (2005, 2004), Guo [49] (2008), Т. Хохлова и М. Кипиис [64] (2012)).

Недавно в диссертации Т. Хохловой [26] (2013) предпринято сравнительное исследование непрерывных моделей кольцевой и линейной нейронных сетей. Но в области дискретных моделей известны только вышеуказанные статьи Е. Каслик с соавторами. При этом методы Е. Каслик изучения устойчивости кольцевой нейронной сети недостаточны для изучения вопроса об утойчивости кольца с неограниченным количеством нейронов, и в работах Каслик не изучено влияние разрыва кольца на устойчивость сети.

Разработок по устойчивости многочисленных стандартных моделей нейронных сетей, таких как двуслойные сети, тороидальные, сети с топологией связей многомерного куба нет ни для непрерывных, ни для дискретных моделей. Настоящая диссертация восполняет этот пробел в области дискретных моделей.

Цели и задачи работы Цель работы — систематическое исследование областей устойчивости стандартных конфигураций нейронных сетей в пространстве их параметров. Мы ставим задачи выделить базовые стандартные конфигурации, изучить их устойчивость, а затем, определив декартово произведение нейронных сетей в духе соответствующего определения для весовых графов, изучить области устойчивости декартовых произведений базовых нейронных сетей.

Научная новизна В диссертации впервые даны методы анализа устойчивости разностных уравнений с запаздываниями, позволяющие находить точные границы областей устойчивости в пространстве параметров стандартных нейронных сетей. Эти методы обладают большей общностью и сферой применения, чем известные в литературе методы.

Впервые в множестве нейронных сетей выделены базовые нейронные сети, определены декартовы произведения нейронных сетей и созданы средства анализа их устойчивости. Впервые построены точные границы областей устойчивости в пространстве параметров дискретных моделей стандартных нейронных сетей: линейных, звездных, решетчатых, тороидальных и других.

Впервые обнаружены парадоксальные явления в дискретных моделях кольцевых нейронных сетей: потеря их устойчивости в результате разрыва. Доказано, что в больших кольцах нейронных сетей парадоксальные явления исчезают, и указаны условия их существования в малых кольцах.

Впервые для широкого класса нейронных сетей поставлены и решены вопросы: о сохранении или несохранении устойчивости сети в процессе неограниченного наращивания количества нейронов при неизменной архитектуре сети; о сохранении или несохранении устойчивости сети с односторонними воздействиями нейронов на соседние нейроны, при условии неограниченного возрастания силы воздействия.

Теоретическая и практическая значимость работы Исследование устойчивости стандартных нейронных конфигураций обогащает теорию нейронных сетей с запаздывающими взаимодействиями выявлением новых эффектов. Например, оно разделило нейронные сети по конфигурациям на два класса: в первом классе (линейные, решетчатые конфигурации) переход на односторонние взаимодействия гарантирует устойчивость сети, во втором классе (кольцевые, тороидальные) не гарантирует. Введение понятия парадоксальных точек также дает как теоретические перспективы их исследования в сложных нейронных сетях, так и возможности исключения нежелательных явлений в реальных нейронных сетях в процессе их разрыва. Практическим применением работы является также внедрение специальных курсов по устойчивости нейронных сетей в учебные программы магистров на факультете информатики Челябинского государственного педагогического университета. В рамках этих спецкурсов магистранты под руководством автора проделывали численные эксперименты по изучению устойчивости нейронных сетей [15-17].

Методология и методы исследования Автор разработал новый метод исследования матричных разностных уравнений с запаздываниями — метод конусов устойчивости, и применил этот метод к анализу устойчивости нейронных сетей. Этот метод сводит анализ устойчивости многомерных задач к анализу расположения некоторых точек трехмерного пространства относительно некоторой поверхности в трехмерном пространстве, называемой конусом устойчивости. Использованы также идеи метода ^-разбиений.

Результаты и положения, выносимые на защиту

1. Автор разработал новый метод конусов устойчивости для анализа устойчивости дискретных моделей нейронных сетей с произвольным количеством нейронов и произвольными запаздываниями. Метод реализован в виде алгоритмов и комплекса программ для вычисления границ областей устойчивости нейронных сетей в пространстве параметров.

2. Построены области устойчивости в пространстве параметров нейронных сетей базовых конфигураций: кольцевой, линейной, двуслойной, звездной, с учетом запаздываний как в демпфировании собственных колебаний нейронов, так и во взаимодействиях различных нейронов.

3. Определена операция декартова произведения нейронных сетей, указан метод анализа устойчивости декартова произведения нейронных сетей, благодаря чему построены области устойчивости в пространстве параметров нейронных сетей решетчатой (планарной), тороидальной, цилиндрической конфигураций и нейронных сетей с топологией связей многомерного куба. Показано, что разрыв большого кольца нейронных сетей благоприятствует устойчивости. В то же время найдены условия, при которых разрыв нейронного кольца может сопровождаться потерей устойчивости.

4. Построены классификации нейронных сетей: А) по признаку сохранения устойчивости в процессе неограниченного увеличения количества нейронов с сохранением архитектуры сети; Б) по признаку сохранения устойчивости при неограниченном увеличении силы действия нейронов в одном из направлений при условии нулевого воздействия в другом направлении.

Степень достоверности и апробация результатов Достоверность результатов диссертации подтверждается согласованностью теоретических выводов с результатами численных экспериментов. Основные результаты диссертации докладывались на следующих конференциях: на Международной конференции «Колмогоровские чтения V. Общие проблемы управления» (Тамбов, 2011 г.); на Всероссийской конференции «Статистика, моделирование, оптимизация (СМО)» (Челябинск, 2011); на Всероссийской конференции «Теория управления и математическое моделирование» (Ижевск, 2012); на Всероссийской научно-практической конференции «Информатика и информационные технологии» (Челябинск, 2013); на международной конференции «Applications of Mathematics in Engeneering and Economics» (Sozopol, Bulgaria, 2013).

Публикации Материалы диссертации изложены в 14 публикациях, из них 6 статей в рецензируемых журналах [6-9, 55, 56], 7 статей в сборниках трудов конференций [10,11,13-17] и свидетельство о регистрации программы для ЭВМ [12]. В статьях [9, 55, 56] М. Кипнису и В. Малыгиной принадлежат замысел и общее руководство работой. В трудах научных конференций [15-17] автор диссертации выступал как научный руководитель магистрантов-соавторов. Все конкретные результаты диссертации получены лично автором.

Структура и объем диссертации Диссертация состоит из введения, трех глав, заключения, библиографии и Приложений А, Б, В. Общий объем диссертации 135 страниц, включая 43 рисунка. Библиография включает 88 наименований на 10 страницах.

Глава 1

Метод конусов устойчивости для диагностирования устойчивости нейронных

сетей

1.1 Модели нейронных сетей

1.1.1 Модели биологических нейронных сетей

Чтобы понять, что происходит между нейронами внутри сети, нужно разобрать строение «типичного» нейрона [30, 31]. Основная масса биологических нейронов схожа по строению и свойствам с двигательными нейронами спинного мозга млекопитающих. Из сомы (тела нейрона) исходит много ветвей, называемых дендритами; сома и дендриты образуют входную поверхность нейрона. Из аксонного бугра нейрона выходит длинное волокно, называемое «аксон», ветви которого образуют дерево. Концы ветвей аксона, называемые нервными окончаниями, встречаются с другими нейронами или эффекторами. Рассмотрим сеть, составленную из п нейронов с мембранными потенциалами (1 ^ ^ ^ п). Согласно М. Арбибу [30, 31], уравнение мембранного потенциаладля нейрона с номером без учета связей с другими нейронами, имеет вид

= + (1-1)

где ^ равновесный потенциал j-гo нейрона, это мембранный потенциал, который устанавливается в отсутствии внешних сигналов, а^ постоянная времени, характеризующая инерционность .7-го нейрона.

Сигналы, полученные через дендриты нейроном с номером j от нейрона с номером г> (1 ^ у, V ^ п), обозначим посредством Учитывая (1.1),

получим для описания нейронной сети систему уравнений

йт п

а= + + ^ ¥*>®> 3 = 1,2,..., п. (1.2)

У=1

Поскольку дендриты данного нейрона проводят сигналы только других нейронов, имеем Уц = 0.

Естественно считать, что в (1.2) = ъи^т^), где весовые коэффи-

циенты зависит от свойств аксонов и-го нейрона, дендритов ^'-го нейрона и синапсов на их стыке. Поэтому система (1.2) становится системой

йт п

=-т^ + ^ + ^Щ*™»®' з = 1,2,... (1.3)

У=\

где — 0.

Аксон может иметь большую длину. Например, тело нейрона, который контролирует большой палец ноги человека, лежит в спинном мозге, а его аксон проходит по всей длине ноги. Скорость передачи нервных импульсов по нервным волокнам человека варьируется от долей метра в секунду (сигналы по немиелинезированным волокнам) до 120 м/сек (по быстропроводящим сенсорным волокнам). Еще меньше скорость нервных процессов простейших организмов (до 2 м/сек). Эти свойства делают обоснованным ввод запаздывания в уравнения нейронных сетей. Поэтому вместо системы (1.3) естественно рассматривать систему

= -тз(г) + + ¿^«"^(^ - тзу), 3 = 1,2> • • • >п (1Л)

с запаздываниями (1 ^ у, V ^ п).

Для исследований математических моделей нейронных сетей традиционными являются соглашения о равенстве всех запаздываний и показателей инерционности нейронов: = г, с^- = а. Введем матрицу }¥ — (ги^и)^Щ=1 и векторы га(£) = (т!^), ...,тп(£))т, Н = (/¿1, ...,/гп)г. Тогда система (1.4) примет вид

ат(Ь) = -т(€) + Н + ТУ ■ т(£ - т). (1.5)

Рассмотрим стационарное решение т(£) = т* уравнения (1.5). Имеет место равенство т* = У/ • т* + Н. Введем отклонения х{р) = га(£) — т*. Уравнение (1.5) в отклонениях примет вид

схх{£) = -хф + УУ-х(г-т). (1.6)

Матричное дифференциальное уравнение с запаздыванием (1.6) с интерпретацией, указанной выше, считается общепризнанной моделью нейронных сетей при их исследовании на устойчивость стационарных состояний (см., например, [86] (1999), [87] (2004), [64, 88] (2012), [26, 65] (2013)).

Но целью диссертации является изучение дискретных моделей нейронных сетей. Поэтому подвергнем дискретизации уравнение (1.6). Будем изучать поведение системы в моменты времени £ = £о + ~ 1)Д£> й € N = {1,2,...}. Введем обозначение для вектора состояния нейронной сети ж(£о + (з — 1)Д£) = х3. Предположим, что запаздывание г кратно Д£, то есть т = (к — 1)Д£ при некотором к € N = {1,2,...}. Заменим производную ¿(£) = ¿(¿о + (в — 1)Д£) в (1.6) разделенной конечной разностью (х3 — Тогда уравнение (1.6)

станет разностным матричным линейным однородным уравнением

Д£х Д£

хв = (1--)ха-г + —IV • х8-к1 з = 1,2,... 1.7)

а а

Назовем величи