автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Устойчивость моделей нейронных сетей кольцевой и линейной конфигураций с запаздывающими взаимодействиями

005050749

На правах рукописи

Хохлова Татьяна Паилевна

Устойчивость моделей нейронных сетей кольцевой и линейной конфигураций с запаздывающими взаимодействиями

05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание учёной степени кандидата фшико-математмческях наук

21 МАР 2013

Челябинск - 2013

005050749

Работ» выполнена па кафедре математического анализа Южпо-Уральсжого государственного университета (национального исследовательского университета)

Наушый руководитель: Кишшс Михаил Мордкович,

доктор физико-математических наук, профессор

Официальные ошюиснты:

Долі'ий Юрий Филиппович, доктор физиксьматсматнчесшгх наук, профессор, Институт математики и механики УрО РАН, ведущий научный сотрудник

Ворошш Сергей Михайлович, доктор физико-математических наук, доцент, Челябинский государственный уШІВС'ІНІІПСТ, щюфеееор

Ведущая оргашглация:

Тамбовский і-осударствеїший универеитог им. Г. Р. Державина

Заїцита состоится 14 марта 2013 года в 14.00 на заседании диссертационного совета Д 212.29G.Ü2 при Челябинском пхздарсїізешюм университете, расположенном по а;ц>есу: 454001, г. Челябинск, ул. Бр. Каширлшлх, 129, в копфершц-аале.

С диссертацией можно ознакомиться в библиотеке Челябинского государственного университета.

¡>ат разослан «. Л

Автореферат разослан февраля 2013 г.

Учёный секретарь дассертациошюго cocerá, l

доктор фнз.-мат.наук, профессор М! - - Федоров Владимир Евгеньевич

Общая характеристика работы

Актуальность работы. Всюду, где в математических моделях имеются уз-.1 и связи между ними, есть основания рассматривать их как нейронные сети, многочисленных теориях узлы (нейроны) представляют природные объекты1, юки компьютерных программ2, личности3 и, наконец, собственно нейроны в жи-IX организмах4 или искусственных нейронных сетях5. Учёт запаздываний в моде-IX нейронных сетей требует применения теории дифференциальных уравнений запаздываниями (функционально-дифференциальных уравнений (ФДУ)). Ин-рументарий ФДУ создали Н. В. Азбелев, В. П. Максимов и Л. Ф. Рахматуллина, .В. Азбелев и П.М. Симонов, Р. Беллман и К. Кук, А.В. Ким и В.Г. Пименов, .Н. Красовский, В. Б. Колмановский и В. Р. Носов, А. Д. Мышкис, Дж. Хейл, .Э. Эльсгольц и С. Б. Норкин. Изучение моделей нейронных сетей посредством 1фференциальных уравнений с запаздываниями проведено в монографиях L. О. hua (1998), L.O. Chua и Т. Roska (2004), К. Gu, V. Kharitonov и J. Chen (2003), Wu (2001). Особенно много работ посвящено кольцевым конфигурациям ней->нных сетей: S. Guo и L. Huang (2003, 2007), Y. Horikawa и Н. Kitajima (2009), . Huang с соавторами (2008), X. Lu и S. Guo (2008), X. Xu (2008).

Кольцевые конфигурации нейронов обычны как в искусственных нейронных тях, так и в биологических. Нейронные кольца обнаружены, например, у немалы С. elegans. Глобальная устойчивость нейронных сетей изучалась, например, работах L. Idels и М. Kipni/, Kaslik и Balint7, но глобальная устойчивость не егда желательна в нейронных сетях. В отличие от неё локальная устойчивость, ¡-видимому, всегда требуется. Локальная устойчивость моделей нейронных сетей ¡учалась в работах I. Gyori и F. Hartung9 (нелинейная модель изолированного :йрона), W. Yu и J. Сао9 (модель системы из двух нейронов), J. Wei и S. Ruan10

1 Baiesi М., Paczuski М. Scale-free networks of earthquakes and aftershocks // Physical Review E. — 2004. —

1. 69. - Pp. 907-908.

3 Tanenbauin A. S. Computer Networks, Fourth Edition. — Pearson Education, 2006.

3 Lijeros F., Filing C., Amaral L. A. N. et al. The web of human sexual contacts // Nature. — 2001. — Vol. I. - Pp. 907-908.

4 Chialvo D. R. Critical brain networks // Physica A. — 2004. — September. — Pp. 756-765.

5 Chua L., Roska T. Cellular neural networks and visual computing, Foundation and applications. — Cambridge tiversity Press, 2004.

* Idels L., Kipnis M. Stability criteria for a nonlinear nonautonomous system with delays // Applied ithematical Modelling. - 2009. - Vol. 33 (5). - Pp. 2293-2297.

7 Kaslik E., Balint S. Complex and chaotic dynamics in a discrete-time-delayed Hopfield neural network with g architecture // Neural Networks. - 2009. - Vol. 22 (10). - Pp. 1411-1418.

8 Gyori I., Hartung F. Stability analysis of a single neuron model with delay // Journal of Computational and »plied Mathematics. — 2003. - Vol. 157 (1). - Pp. 73-92.

9 Yu W-, Cao J. Stability and Hopf bifurcations on a two-neuron system with time delay in the frequency main // Int. J. of Bifurcation and Chaos. — 2007. - Vol. 17 (4). — Pp. 1355-1366.

10 Wei J., Ruan S. Stability and bifurcation in a neural network model with two delays // Physica D. — 1999. — i. 255-272.

(также из двух нейронов), X. Lu и S. Guo11 (модель кольцевой сети из четыр нейронов), S.A. Campbell, I. Ncube и J. Wu12 (модель кольцевой сети из Tpi нейронов), Y. Yuan и S.A. Campbell13 (модель кольцевой сети с произвольнь количеством нейронов, но с искусственной симметрией в реакции нейронов).

Степень разработанности темы. В указанной группе работ нет отве на естественные вопросы, возникающие при исследовании устойчивости модел нейронных сетей, в частности, кольцевых и линейных. Есть ли значения парам< ров нейронной сети, при которых сеть остаётся устойчивой при любом увеличен] количества нейронов и сохранении общей архитектуры сети? Каковы значения г раметров нейронных сетей, гарантирующих устойчивость сети при любом зап; дывании во взаимодействии нейронов (delay-independent stability)? Положителы ли влияет на устойчивость разрыв в кольцевой нейронной сети? Как строить с ласти устойчивости в пространстве параметров? Эти вопросы рассматривают в настоящей диссертации.

Цель диссертационной работы. Цель работы — изучение проблемы у тойчивости математических моделей кольцевых и линейных нейронных сетей. М намерены: разработать метод построения областей устойчивости в пространст параметров указанных моделей; выявить динамику областей устойчивости щ изменении количества нейронов в сети и изменении запаздывания во взаимоде ствии нейронов; найти области устойчивости в пространстве параметров, гарант рующие устойчивость независимо от величины запаздывания; выяснить асимпт тику поведения областей устойчивости при запаздывании, стремящемся к нулю бесконечности; указать предельные области устойчивости, когда количество не ронов в кольцевой или линейной конфигурации неограничено; сравнить облас: устойчивости моделей кольцевой сети и линейной сети, полученной в результате разрыва; численно промоделировать изменение областей устойчивости в процес разрыва нейронного кольца и превращения его в линию.

Методы исследования. Поставленные задачи решены методом конуса у тойчивости, разработанным автором вместе с научным руководителем и B.B. М лыгиной. Конус устойчивости это поверхность в R3, построенная для аналж устойчивости систем линейных матричных дифференциальных уравнений пр извольного порядка с запаздыванием. На основе метода построены алгоритм для поиска значений запаздываний, гарантирующих устойчивость системы. Алг ритмы реализованы в виде программ для анализа устойчивости как для общх

11 Lu X., Goo S. Complete classification and stability of equilibrium in a delayed ring network // Electron' Journal of Differential Equations. — 2008. — Vol. 2008(85). — Pp. 1-12.

12 Campbell S., Ncube I., Wu. J. Multistability and stable asynchronous periodic oscillations in a multip delayed neural system // Physica D. — 2006. — Vol. 214(2). — Pp. 101-119.

13 Yuan Y., Campbell S. Stability and synchronization ring of identical cells with delayed coupling // J. Dynamics and differential equations. — 2004. — Vol. 16. — Pp. 709-744.

истем, так и для специальных систем, описывающих модели кольцевых и линей-ых нейронных сетей с запаздывающими взаимодействиями.

Научная новизна. В диссертации разработан новый метод конуса устойчи-ости, применимый к анализу класса матричных дифференциальных уравнений, олее широкому в сравнении с классами, рассмотренными в работах В. Cahlon [ D. Schmidt14, а также Н. Matsunaga15 и S. Sakata16. На основе этого метода ¡азработаны новые алгоритмы и комплексы программ для построения области стойчивости в пространстве параметров указанного класса уравнений. Построны модификации алгоритмов и программ для анализа устойчивости математи-[еских моделей кольцевых и линейных нейронных сетей. Впервые указаны обла-ти в пространстве параметров указанных моделей, гарантирующие устойчивость [езависимо от величины запаздывания во взаимодействии нейронов. Получены но-:ые данные об областях устойчивости в пространстве параметров математических юделей кольцевых и линейных нейронных сетей, включая класс сетей с неогра-гиченным количеством нейронов. Поставлен и решён новый вопрос о влиянии >азрыва на устойчивость кольцевой нейронной сети. Впервые изучена динамика бласти устойчивости в процессе разрыва кольцевой нейронной сети.

Практическая значимость. Созданные программные продукты и исследо-¡ания областей устойчивости позволяют анализировать устойчивость нейронных етей кольцевой и линейной конфигураций, выявлять диапазоны запаздываний, I которых они приобретают и теряют устойчивость, регулировать коэффициенты юделей нейронных сетей с целью стабилизации их работы.

Апробация работы. Основные результаты, изложенные в диссертации, догладывались на седьмой Всероссийской конференции с международным участием «Математическое моделирование и краевые задачи» (Самара, 2010), второй и четвёртой научных конференциях аспирантов и докторантов (Челябинск, 2010 и 2012), Всероссийской конференции «Статистика. Моделирование. Оптимизация» (Челябинск, 2011), на международной конференции в Вене «ICNPAA 2012 World Congress: 9th International Conference on Mathematical Problems in Engineering, Aerospace and Sciences» (Vienna, Austria, 2012), II Международной научно-практической конференции студентов и аспирантов «Математика и её приложения в современной науке и практике» (Курск, 2012), Всероссийской научно-практической конференции «Физико-математические науки и образование» (Магнитогорск, 2012).

14 Cahlon В., Schmidt D. On stability of systems of delay differential equations // Journal of Computational and Applied Mathematics. - 2000. — Vol. 117 (2). - Pp. 137-158.

15 Matsunaga H. Exact stability criteria for delay differential and difference equations // Applied Mathematics Letters. - 2007. - Vol. 20 (2). - Pp. 183-188.

le Sakata S. Asymptotic stability for a linear system of differential-difference equations // Rmkcialaj Eqvacioj. — 1998. - Vol. 41. - Pp. 435-449.

Личный вклад автора. Все результаты диссертации получены лично а тором. В совместных работах автора с М.М. Кипнисом и В.В. Малыгиной авто] принадлежат все конкретные результаты, а научному руководителю и В. В. М лыгиной — общий замысел работы, постановка задачи и общее руководство. В сс местной работе с А. Д. Хохловым алгоритмы и программы принадлежат авто{ диссертации, соавтор осуществлял техническую поддержку работы.

Структура и объём диссертации. Диссертация состоит из введения, тр<" глав, списка литературы и четырёх приложений. Общий объём работы 128 стр ниц. Работа содержит 37 рисунков, список литературы содержит 83 наименовани

Содержание диссертации

Во введении приводится постановка задачи, излагается история исследу мого вопроса, ставятся цели диссертационного исследования, обосновывается а туальность и научная новизна работы. Кроме того, приводятся публикации i теме диссертации, описывается структура работы и её краткое содержание.

Первая глава посвящена описанию и обоснованию метода конуса устойч вости для диагностирования устойчивости уравнения

i(t) + Ax(t) + Bx(t - т) = 0, t > 0 (:

с совместно триангулируемыми матрицами А, В произвольного порядка и с запг дыванием г > 0. Данная модель в общем виде описывает результат линеаризащ известных нелинейных моделей Хопфилда-Маркуса-Вестервельта17 18

1 "

C,ij{t) + — Xj(t) + £Tjkgk(xk{t - т)) = 0 j = 1,2,... ,n

с постоянными Rj, Cj, Tjk и гладкими функциями дк, или модели Коэна-Гроссбе га19, или модели Чуа-Янга-Роска20 21 вокруг некоторого решения. Метод кону устойчивости разработан автором диссертации под руководством научного рук водителя по замыслу В. Малыгиной. Как обычно, мы называем линейное ypaei ние устойчивым, если его нулевое решение устойчиво. В этой же главе излагает

17 Hopfield J. J. Neuron with graded response have collective computational properties like those of two-sta neurons // Proc. Nat. Acad. Sci. USA. - 1984. - Vol. 81. - Pp. 3088-3092.

18 Marcus С. M., Westervelt R. M. Stability of analog neural networks with delay // Phys. Rev. A. — 1989. Vol. 39. — Pp. 347-359.

19 Cohen M., Grossberg S. Absolute stability and global formation and parallel memory storage by competiti neural networks // IEEE TVans. on Systems, Man, and Cybernetics, SMC. — 1983. — Vol. 13(5). — Pp. 815-825.

20 Chua L., Yang L. Cellular neural networks: Theory // IEEE Trans. Circuits and Systems L — 1988. — V 35. - Pp. 1257-1272.

21 Cbua L., Roska T. Cellular neural networks and visual computing, Foundation and applications. — Cambria University Press, 2004.

алгоритм исследования устойчивости уравнения (1) и описывается программа для его реализации. Приведены примеры нейронных сетей, описываемых уравнением (1), отмечены особенности входящих в уравнение матриц А, В. Элементы А суть интенсивности мгновенных взаимодействий нейронов в сети, а элементы В суть интенсивности взаимодействий, происходящих с запаздыванием. Введены овалы устойчивости для скалярного уравнения ¿(1) + ах{Ь) + Ьх{Ь — т) = 0с1>0и действительным коэффициентом а и комплексным Ь. С помощью метода О-раз-биений доказывается теорема об устойчивости такого уравнения в терминах овала устойчивости. Дано определение конуса устойчивости.

Определение 1. Конусом устойчивости для уравнения (1) назовём множество точек М = (и1,И2,«з) е пшких, что

щ = — ксояи) + и$ШЫ, «2 = ЛбШ61) + игсово!, «3 = Л,

где действительные параметры к, и) подчинены ограничениям

— 7Г < ш < ж.

Овалами устойчивости мы называем сечения конуса устойчивости плоскостью из = к. Доказана следующая теорема об устойчивости матричного уравнения (1).

Теорема 1. Пусть А, В, Б 6 Ктхт и Б~1АБ = АТ и Б~1ВБ = Вт, где Ат и Вт — нижние треугольные матрицы с элементами Ау щ а (1 ^ в < т) соответственно. Построим систему точек М] — («и, Из_/)> т)>

так, что

иц = тПе((1и ехр(г'г1тА_ц)), и2} = т ехр(гУ1т Ал)), и3] - тКс\]}.

(2)

Уравнение (1) асимптотически устойчиво тогда и только тогда, когда все точки М} (1 < $ < т) находятся внутри конуса устойчивости. Если хотя бы одна точка М) (1 < ,7 < т) лежит вне конуса устойчивости, то уравнение (1) неустойчиво.

Эта теорема дает теоретическую основу для алгоритмов диагностирования устойчивости нейронных сетей и их программных реализаций. Мы дали необходимое и достаточное условие на собственные числа матриц А, В, обеспечивающее устойчивость уравнения (1) при всех значениях запаздывания:

Теорема 2. Пусть А, В, Б € Ктхт и Б"1 АЗ = АТ и Б^ВБ = Вт, где Ат и Вт — нижние треугольные матрицы с элементами (1 я ^ т)

соответственно. Для того, чтобы уравнение (1) было асимптотически устойчивым при любом запаздывании т ^ 0, необходимо и достаточно выполнение условия (1 ^ ] ^ т)

(3)

Даны примеры применения полученных критериев для анализа устойчивости уравнения(1), снабженные графическим представлением конуса устойчивости и точек М,-, фигурирующих в формулировке основной Теоремы 1. Описан алгоритм для определения значений запаздываний, гарантирующих устойчивость уравнения (1). Доказана теорема, обосновывающая данный алгоритм. Описана программа «Анализ устойчивости», разработанная в программном пакете МАТЬАВ 7.11.0 (Е2010Ь). По заданным матрицам А, В программа возвращает объединение интервалов значений запаздывания, обеспечивающих устойчивость уравнения (1), или пустое множество в случае неустойчивости уравнения при всех значениях запаздывания. Приводятся скриншоты интерфейса программы (рис. 1), пояснения к работе программы. В заключение первой главы ее результаты срав-

Рис. 1. Главное окно программы «Анализ устойчивости»

ниваются с известными результатами. Указано, что идейным источником метода конуса устойчивости является давняя работа 3. Рехлицкого22. Упомянуты рабо-

22 Рехлицкий 3. И. Об устойчивости решений некоторых линейных дифференциальных уравнений в банаховом пространстве // Изв. АН СССР. — 1956. — Т. 111. -- С. 29-32.

ты I. Levitskaya (2006) о дифференциальных уравнениях с двумя запаздываниями, а также серия работ Е. Kaslik (2009), М.М. Kipnis, V. V. Malygina (2011), S.A. Ivanov, М.М. Kipnis, V.V. Malygina (2011), S.A. Ivanov, M.M. Kipnis (2012), в которых появлялись овалы и конусы устойчивости для разностных матричных уравнений с применениями к анализу дискретных моделей нейронных сетей. Указано, что А. И. Кирьянен и К. В. Галунова23 изучали устойчивость скалярных дифференциальных уравнений с запаздываниями с комплексными коэффициентами, но овалы или конусы устойчивости в их работе не появлялись. Далее результаты главы 1 сравниваются с работой В. Cahlon, D. Schmidt (см. сноску 14), в которой рассматривалась задача об устойчивости класса уравнений вида x(t) = aAx(t) + (1 — a)Ax(t — г), 0<а<1с2х2 матрицей А. Годом позднее те же авторы24 усилили свой результат, рассматривая уравнение x(t) — aAx(t) -(- ßAx(t — т) с произвольными действительными а, ß, и снова для 2x2 матрицы А. Поскольку матрицы а Л и ßA с действительными а и ß, очевидно, приводятся совместно к треугольному виду, делается заключение, что результаты главы 1 диссертации сильнее результатов этих статей как по размерности рассматриваемых задач, так и по охвату изучаемых уравнений, даже если ограничиться 2x2 матрицами. Обсуждены результаты Н. Matsunaga (см. сноску 15), давшего критерий устойчивости уравнения x(t) = Ax(t — т) с 2 х 2 матрицей А в терминах следа и детерминанта матрицы А. Показано, что эти результаты легко вытекают из результатов диссертации и даже из результатов Рехлицкого 50-летней давности. Мы заключаем, что метод конуса устойчивости применим к значительно более широкому классу уравнений, чем рассматриваемые в работе S. Sakata (см. сноску 16) уравнения вида x(t) = ax(t) 4 В x(t — т) с 2 х 2 матрицей В и действительным ol. Далее обсуждены условия Чена-Латчмена25, гарантирующие устойчивость уравнения (1) независимо от запаздывания (delay-independent stability). В терминах Теоремы 2 оно таково: для всех j = 1,2... п верны неравенства RcXjj > 0 и maxä6E» |(is — < 1- Мы заключаем, что наше условие (3)

по существу совпадает с условием Чена-Латчмана, но проще проверяется и имеет естественное геометрическое объяснение. Далее мы констатируем, что алгоритм и программа разделов 1.5, 1.6 не имеют аналогов в литературе.

Во второй главе решается задача диагностирования устойчивости моделей кольцевых и линейных нейронных сетей (рис. 2) с неограниченным количеством нейронов с помощью результатов первой главы диссертации.

23 Кнрьянен А. И., Галунова К. В. Устойчивость уравнения dx/dt = «x(i — h) 4- ßx{t) с комплексными коэффициентами j j Уравнения в частных производных. ЛГПИ им. А.И. Герцена. - 1989. — С. 65-72.

24 Cahlon В., Schmidt D. Asymptotic stability of linear delay differential equations // Dynam. Systems Appl. — 2001. — Vol. 10. — Pp. 63-87.

25 Chen J., Latchman H. EYequency sweeping tests for stability independent of delay // IEEE TVans. Autom. Control. — 1995. - Vol. 40 (9). — Pp. 1640-1645.

CD—©—CD—©-----©

Рис. 2. Кольцевая и линейная системы нейронов Мы вводим две модели кольцевых нейронных сетей из п нейронов (1 ^ j < п):

Xj(t) + Xj(t) + axj-i(t) + bxj+i(t — т) = 0 (j mod n), (

±j(t) +Xj(t) + axj~i(t — r) + bxJ+i(t — r) = 0 (jmodn). (\

В уравнениях (4), (5) Xj(t) сигнал j-го нейрона в момент t. действитео ные коэффициенты о и b характеризуют интенсивности взаимодействия нейро с правым и левым соседними нейронами соответственно, п ^ 3 количество m ронов в кольце, г запаздывание во взаимодействии нейрона с соседними нейрон ми. Уравнения (4), (5) вместе с вышеуказанными интерпретациями параметр а, Ь, т, п мы называем моделями кольцевой сети, имея в виду, что они получав ся в результате линеаризации известных нелинейных моделей (см. сноски17-1 вокруг некоторого решения. Уравнение (4) соответствует малым запаздываии взаимодействия нейронов с правыми соседними нейронами (сети с одностор ним запаздыванием), а (5) — близким запаздываниям взаимодействия нейрон с правыми и левыми соседями (сети с двусторонним запаздыванием).

Определение 2. Область асимптотической устойчивости для системы (, при неограниченном п для данного т — это множество точек (a, b), так что систелш (4) асимптотически устойчива при любом п ^ 3. Аналогичен: определение даётся для системы (5).

Специфика нашей задачи состоит в том, что для точек вне области устойч вости, не являющихся граничными для этой области, существует такоепо, что пт; любых п > щ система (4) (система (5)) неустойчива. В главе 2 описана моди<| кация алгоритма диагностирования устойчивости уравнений вида (1) для случ специфических матриц, входящих в модели кольцевых сетей, и неограниченно количества нейронов в сети. Суть изменений заключается в явном нахожден собственных чисел входящих в уравнение матриц и введении вместо дискретн: системы точек Mj (2) непрерывной замкнутой кривой М'(() = (ы^(£), u'2(t),u'3(i для уравнения (4):

u[(t) + iu'2(t) = тЬ exp(?(-i + cirsini)), fj(i) = т(1 + a cos t), 0 ^ t ^ 2тт (

и М"(£) = («!(£), «2(¿), Для уравнения (5):

щ^) + ш^) — т(а ехр(й) + 6 ехр(-й)), %(£) = т, 0 ^ * ^ 2тг. (7)

Для рассмотренных систем критерий устойчивости принимает следующий вид. Если все точки кривой (6) лежат внутри конуса устойчивости, то уравнение (4) устойчиво при любом п ^ 3, а если хотя бы одна точка, кривой (6) лежит вне конуса устойчивости, то уравнение (4) неустойчиво при всех достаточно больших значениях п. Аналогично изучается поведение системы (5). Идея критерия проиллюстрирована рисунком 3.

Рис. 3. Конус устойчивости и две кривые (6). Одна кривая для г = 1.5, а = —1.4, Ь = 0.7 находится частично вне конуса устойчивости, следовательно, система (4) неустойчива при достаточно больших п. Вторая кривая для т = 2, а — 0.5, Ь = —0.2 находится полностью внутри конуса устойчивости, следовательно, система (4) устойчива при любом п > 3

Доказана теорема о неустойчивости нейронных сетей в случае неограниченного количества нейронов.

Теорема 3. Если |а + Ь\ > 1, то системы (4) и (5) неустойчивы при любом т > 0, если п достаточно велико.

Автором создан программный продукт «Устойчивость нейронных сетей», который предназначен для исследования устойчивости систем (4), (5) с неограниченным количеством нейронов. Представлены скриншоты интерфейса программы с примерами её работы. При помощи программы для различных значений запаздывания построены границы областей устойчивости £>г уравнений (4), (5) в тех частях плоскости (а, 6), которые не охватываются Теоремой 3 и ранее известным фактом об устойчивости исследуемых моделей при |а| + |Ь| < 1 для любого п ^ 3 и любого т ^ 0. Результаты для системы (4) отражены на рис. 4.

Рис. 4. Области устойчивости для системы (4) с неограниченным числом нейронов

Аналогичные иллюстрации даны для системы (5). Для обеих систем (4) и (5) в плоскости (а, Ь) важна прямая а = —ft, в окрестности которой сконцентрированы точки устойчивости систем. Поэтому вводятся следующие системы уравнений:

Xj(t) + Xj(t) + a (xj-i(t) — Xj+i(t — т)) = 0 (j mod n), (8)

Xj(t) + Xj(t) + a(xj-i(t - r) — Xj+i(t - т)) = 0 (j mod n). (9)

Определение 3. Границей устойчивости систе.м,ы (8) для больших п назовём такое число ai(r) g R, что если |а| < ai(r), то (8) устойчива при любом, п, а если |а[ > ai(r), то (8) неустойчива при всех достаточно большихп. Аналогично определим ог(т) как границу устойчивости (9) для, больших п.

Очевидно, Птт_юо öi(г) — limx_Mo a^ij) — 1/2. Не столь очевидно поведение систем (8), (9) при т —* 0, которое рассматривается в следующей теореме.

Теорема 4.

lim ai(r) V2r = lim аг(т)2у/т = 1. (10)

т—>0 т—v0

Мы вводим модель с неединичным коэффициентом демпфирования 7 > 0

±j(t) + yxj(t) + axj-i(t) + bxj+i(t — г) = 0 (j mod n). (11)

и указываем замену переменных, сводящую это уравнение к уравнению вида (4).

Далее в главе 2 мы изучаем модель нейронной сети линейной конфигурации с двусторонним запаздыванием, полученной из кольцевой (5) посредством разрыва одной из связей между нейронами. Она описывается уравнением

x(t) + I x(t) + D x(t - т) = 0, (12)

где I есть единичная п х п матрица, а гг х п матрица £) имеет вид

(0 b 0 . . 0 0)

а 0 Ь . . 0 0

0 а 0 . . 0 0

0 0 0 . . 0 6

Vo 0 0 . . а о)

Следующий результат описывает область устойчивости линейной конфигурации нейронов, если число нейронов п достаточно велико. Пусть функция F(r) определяется формулой F(t) = (4sin2w(r))_1, где ui(г) есть наименьший положительный корень уравнения т = utgu>. Тогда справедлива теорема.

Теорема 5. 1. Если 0 ^ ab < то система (12), (13) асимптотически устой-нива при любом п > 3 и любом т > 0.

2. Если ab > j, то система (12), (13) неустойчива при любом т ^ 0, если п достаточно велико.

3. Если ab < 0 tt ¡ab| < F(t), то система (12), (13) асилттотически устойчива при любом п > 3.

4■ Если ab < 0 и |ab| > F(t), то система (12), (13) неустойчива, если п достаточно велико.

Следующая теорема сравнивает области устойчивости модели кольцевой сети нейронов (5) с достаточно большим количеством нейронов и образованной при её разрыве нейронной сети линейной конфигурации (12),(13).

Теорема 6. Для любых действительных значений параметров а, Ь, т > 0 найдётся такое щ, что для всех п > щ верно утверждение: либо система (5) для кольца нейронов неустойчива, либо система (12), (13) для сети с линейной конфигурацией нейронов асимптотически устойчива.

Из Теоремы 6 следует, что устойчивость кольца с большим количеством нейронов влечет устойчивость линейной конфигурации, полученной при его разрыве, если параметры систем не меняются и количество нейронов достаточно велико. В доказательствах результатов главы 2 используется тот факт, что характеристический многочлен <рп(\) матрицы (13) п-го порядка выражается через п-й многочлен Чебышёва второго рода í/n(A) формулой <¿>„(A) = (v/ab)"t/„(j^;).

В заключение главы 2 проведено сравнение результатов главы с известными результатами. Отмечено, что, насколько известно автору, модели кольцевых нейронных сетей с неопределённо большим количеством нейронов не рассматривались в литературе до работы автора диссертации. Показано, что из работы

Y. Yuan, S. Campbell (см. сноску 12) и других работ S. Campbell с соавтора} невозможно извлечь информацию об устойчивости кольцевых сетей при ДОС точно большом количестве нейронов в сети. Мы констатируем, что предпринят во второй главе изучение устойчивости моделей нейронных сетей линейной к. фигурации не встречается в литературе (кроме работ автора диссертации), хо вообще публикации по линейным нейронным сетям имеются. Установлено, ч область устойчивости линейной конфигурации нейронов, независимой от зап дывания, очерченная пунктами 1, 3 Теоремы 5, шире области, гарантированн результатом Мори с соавторами26. Указано, что алгоритмы и программы д анализа устойчивости моделей кольцевых и линейных сетей с неограниченн! количеством нейронов в известной автору литературе отсутствуют.

Третья глава посвящена построению границ областей устойчивости мр лей кольцевых и линейных нейронных сетей с ограниченным количеством ней нов. Вначале описаны алгоритм и программа построения границ областей уст чивосги исследуемых уравнений. На рис. 5 представлены результаты построен границ областей устойчивости модели кольцевой нейронной сети (4), полученн с помощью данной программы. Аналогичные построения проведены в главе 3 f

т = 0.5, п = 3

т = 0.5,п = 4

г = 0-5, п = 5

2 unstab 2

1 .o 0 '*•/ \ \ stab 1 .o 0

-1 / • -1

-2 unstab -2

unstab

-1 0 а

-2 -1 О а

Рис. 5. Границы областей устойчивости для системы (4) для г = 0.5 и значений п = 3, показаны кружками. Сплошная линия — граница области устойчивости, гарантированной ; любого п

модели (5). Далее даётся полное описание области устойчивости для модели (. (13) линейной системы из п нейронов. Эти области, естественно, зависят от Определим функцию F 1(т, п) от запаздывания т € (0, оо) и количества нейр01 в сети п е N формулой Fl(r,n) = (4 sin2 ш(г) cos2^)"1, где ш(т) есть наим< ший положительный корень уравнения т — U) tgw.

26 Mori T., Fukiima N., Kuwahara M. Simple stability criteria for single and composite linear systems with i delay // Int. J. Control. - 1981. - VoL 34. — Pp. 1175-1184.

Теорема 7. 1. Если 0 ^ аЪ < 4со..' . , то система (12), (13) асимптотически устойчива при любам т ^ 0.

2. Если аЪ > 7—т-т-. то система (12), (13) неустойчива при любом т > 0.

3. Если аЬ<0 и |аЬ| < Fl(т,n), то система (12), (13) асимптотически устойчива.

4. Если аЬ < 0 и \аЬ\ > Р1(т,п), то система (12), (13) неустойчива.

В главе 2 было показано, что разрыв кольцевой сети может только улучшить ее устойчивость, если количество нейронов в сети достаточно велико (Теорема 5). Наши численные исследования с помощью программ показывают, что это же явление, за некоторыми исключениями, имеет место и при небольшом количестве нейронов (рис. 6). Исключения интересны, поэтому мы вводим определение парадоксальной области при данных т, п: это область значений параметров [а, Ь), при которых кольцевая система нейронов устойчива, а линейная с теми же параметрами неустойчива. На рис. 6 показано, что при т = 0.5 парадоксальная область заметна в модели сети с количеством нейронов п = 3 и весьма мала при п = 5. В результате численных экспериментов выяснилось, что в моделях сетей с п > 6 парадоксальная область либо отсутствует, либо пренебрежимо мала.

1«0.5. п=3 1=0.5, п«5 -РО.5, П=6

Рис. 6. Области устойчивости и неустойчивости кольцевой (система (5)) и линейной (система (12), (13)) конфигураций нейронов в плоскости (а,Ь), г = 0,5. Область 1 - кольцо и линия устойчивы, 2 - кольцо неустойчиво, линия устойчива, 3 - кольцо и линия неустойчивы, 4 - парадоксальная область: кольцо устойчиво, а линия неустойчива. Для п = 5 дополнительно парадоксальная область показана в увеличении

Далее в главе 3 мы показываем динамику области устойчивости модели кольцевой 6-нейронной сети в процессе ослабления одной из связей в кольце и превращения сети в линейную. Пусть силы взаимодействия между всеми нейронами, кроме первого и шестого, равны а и Ъ (как в модели (5)), а силы воздействия шестого нейрона на первый и первого нейрона на шестой равны соответственно ас и Ьс, где 0 < с < 1. С изменением с от 1 до 0 сила взаимодействия между

первым и шестым нейронами постепенно ослабевает, и при с — 0 кольцо нейронов размыкается. Как показывает рис. 7, ослабление одной связи между нейронами в кольцевой сети из 6 нейронов расширяет область устойчивости всей системы.

с =0.01

6 6

4 2 г\ ипэ1аЬ 4 2 л ипвІаЬ

л 0 \ N а 0

-2 -4 ипбІаЬ о -2 -4 шцІгЬ \ /

-6 -6

Б 4

2

о 0 -2

ипБіаЬ

-6-4 -2 0 2 4 6 а

-6-4 -2 0246 -6-4 -2 0246

а а

Рис. 7. Динамика области устойчивости в процессе разрыва нейронного кольца

В заключение главы 3 результаты главы сравниваются с известными в литературе. Констатируется, что в большинстве работ по устойчивости кольцевых нейронных сетей рассматривается задача об устойчивости сети из двух, трёх или четырёх нейронов (см. сноски 9_12). Указаны преимущества рассматриваемых в диссертации моделей кольца нейронов в сравнении с моделью работ Кемпбелл с соавторами (см. сноски 12,13). Отмечено, что проблема устойчивости линейных конфигураций нейронов не была исследована никем. Предпринятое в главе 3 сравнение областей устойчивости кольцевой и линейной конфигураций с сопоставимыми параметрами в литературе отсутствует. Указано, что алгоритмы и программы для построения области устойчивости нейронных сетей, описанные в главе 3, не имеют аналогов в известной автору литературе.

В заключении суммируются все полученные в диссертации результаты. В приложениях приводятся исходные коды программных продуктов, разработанных в пакете МАТЬАВ 7.11.0 (Л2010Ь) и описанных в главах 1-3 диссертации.

Основные результаты диссертационной работы

На защиту выносятся следующие новые научные результаты.

1. Разработан метод конуса устойчивости для анализа устойчивости математических моделей, описывающих взаимодействие элементов в нейронных сетях посредством матричных дифференциальных уравнений с запаздываниями.

2. Построены алгоритмы для анализа устойчивости исследуемых моделей нейронных сетей, на их основе разработаны программы «Анализ устойчивости», «Устойчивость нейронных сетей», «Построение областей устойчивости круговых нейронных сетей».

3. Указаны области устойчивости в пространстве параметров двух моделей кольцевых нейронных сетей и модели нейронной сети линейной конфигурации, а также найдены условия устойчивости, независимой от запаздывания.

4. Доказано, что область устойчивости кольца с большим количеством нейронов расширяется в случае его разрыва. Обнаружены «парадоксальные» области в пространстве параметров некоторых кольцевых сетей с ограниченным количеством нейронов, в которых нарушается принцип «разрыв кольца увеличивает область устойчивости».

5. Численно промоделирована динамика областей устойчивости в процессе постепенного разрыва кольцевой нейронной сети.

Работа поддержана грантом Минобразования 1.1711.2011.

Заключение

В соответствии с целями настоящего диссертационного исследования автором разработаны методы анализа устойчивости широкого класса математических моделей нейронных сетей. Обоснованные теоретические выводы, а также созданные алгоритмы и программы позволили построить ясные графические иллюстрации влияния свойств кольца и линии нейронов на устойчивость системы. Подход, реализованный в диссертации, позволил рассмотреть задачи, которые ранее в научной литературе не затрагивались, а именно задачу об устойчивости нейронных сетей с неограниченным количеством нейронов и задачу об изменении области устойчивости кольцевой сети при её разрыве и переходе в линейную сеть.

Направление дальнейших исследований связано с изучением устойчивости других конфигураций нейронных сетей, поскольку разработанный автором метод конуса устойчивости, алгоритмы и программы обладают потенциалом значительно более широким, чем использованный в диссертации.

Работы автора по теме диссертации

Статьи в журналах, рекомендованных ВАК

1. Хохлова, Т. Н. Конус устойчивости для линейного матричного дифференциального уравнения с запаздываниями / Т.Н. Хохлова // Вестник ЮУрГУ. Математика. Механика. Физика. — 2010. — Т. 30. — С. 33-37.

2. Khokhlova, Т. The stability cone for a delay differential matrix equation / T.Khokhlova, M. Kipnis, V. Malygina // Applied Mathematics Letters. — 2011. — Vol. 24. — Pp. 742 -745.

3. Khokhlova, T. Numerical and qualitative stability analysis of ring and linear neural networks with a large number of neurons / T.Khokhlova, M. Kipnis // International J. of Pure and Applied Mathematics. — 2012. — Vol. 76 (3). — Pp. 403-419.

4. Хохлова, Т. Н. Устойчивость полносвязной и звёздной структур нейронных сетей / Т.Н. Хохлова // Вестник ЮУрГУ. Математика. Механика. Физика. - 2012. - Т. 34. - С. 195-198.

Другие публикации

5. Хохлова, Т. Н. Устойчивость нейронных сетей Хопфилда с запаздыванием / Т. Н. Хохлова // Научный поиск: материалы второй научной конференции аспирантов и докторантов. Естественные науки. — Челябинск: 2010. — С. 72-75.

6. Хохлова, Т.Н. Анализ устойчивости [Электронный ресурс] / Т.Н. Хохлова // Хроники ОФЭРНиО. - 2011. - Т. 2 (21). - С. 22-23. Свидетельство о регистрации в ИНИМ РАО №16759 от 28.02.2011. URL: http://ofernio.ru/portal/ newspaper/ofernio/2011/2.doc.

7. Хохлова, Т. Н. Устойчивость нейронных сетей [Электронный ресурс] / Т. Н. Хохлова // Хроники ОФЭРНиО. - 2011. - Т. 7 (26). - С. 35-36. Свидетельство о регистрации в ИНИМ РАО №17346 от 01.08.2011. URL: http://ofernio. ru/portal/newspaper/ofernio/2011/7.doc.

8. Хохлова, Т. Н. Построение областей устойчивости круговых нейронных сетей [Электронный ресурс] / Т. Н. Хохлова // Хроники ОФЭРНиО. — 2012. — Т. 1 (32). — С. 4-5. Свидетельство о регистрации в ИНИМ РАО №17779 от 10.01.2012. URL: http://ofernio.ni/portal/ newspaper/ofernio/2012/l.doc.

9. Хохлова, Т. Н. Устойчивость нейронных сетей Хопфилда с запаздыванием / Т.Н. Хохлова // Труды седьмой Всероссийской научной конференции с международным участием «Математическое моделирование и краевые задачи». — Самара: 2010. — С. 277-279.

10. Хохлова, Т. Н. Устойчивость нейронных сетей стандартных конфигураций / Т.Н. Хохлова // Статистика. Моделирование. Оптимизация. Сборник трудов Всероссийской конференции. — Челябинск: 2011. — С. 331-335.

11. Хохлова, Т. Н. Устойчивость двухслойного соединения нейронов с запаздыванием / Т.Н. Хохлова // Сборник научных статей II Международной научно-практической конференции студентов и аспирантов «Математика и её приложения в современной науке и практике». — Курск: 2012. — С. 191-195.

12. Хохлова, Т. Н. Алгоритм и программа для диагностирования устойчивости больших нейронных сетей / Т. Н. Хохлова, А. Д. Хохлов // Статистика. Моделирование. Оптимизация. Сборник трудов Всероссийской конференции. — Челябинск: 2011. - С. 328- 331.

13. Хохлова, Т. Н. Динамика области устойчивости в процессе разрыва кольцевой сети нейронов / Т. Н. Хохлова // Физико-математические науки и образование. Сборник трудов Всероссийской научно-практической конференции. — Магнитогорск: 2012. — С. 165-167.

Подписано в печать 07.02.2013 Формат 60 X 90/16 Тираж 100 -леї. Заказ №551. Бумага офсстшш. Отпечатано в типографии ЧГПУ

Южно-Уральский государственный университет (национальный исследовательский университет)

На правах рукописи 042013551 18 (/

Хохлова Татьяна Наилевна

Устойчивость моделей нейронных сетей кольцевой и линейной конфигураций с запаздывающими взаимодействиями

05.13.18 - Математическое моделирование, численные методы и комплексы программ

ДИССЕРТАЦИЯ

на соискание учёной степени кандидата физико-математических наук

Научный руководитель доктор физ.-мат. наук, профессор Кипнис Михаил Мордкович

Челябинск - 2013

и

Содержание

Введение ................................. 4

Глава 1 Конус устойчивости для диагностирования устойчивости нейронных сетей. Алгоритмы и программы.......24

1.1 Нейронные сети и дифференциальные уравнения с запаздываниями .................................24

1.2 Овал устойчивости .........................30

1.3 Конус устойчивости для скалярного уравнения с комплексными коэффициентами.........................35

1.4 Конус устойчивости для матричного уравнения.........39

1.5 Алгоритм для определения значений запаздывания, гарантирующих устойчивость дифференциального уравнения с запаздыванием ...............................43

1.6 Программный продукт «Анализ устойчивости»..........48

1.7 Сравнение результатов главы 1 с известными результатами . . 53

Глава 2 Численный и теоретический анализ устойчивости моделей нейронных сетей кольцевой и линейной конфигурации

с неограниченным количеством нейронов............55

2.1 Постановка задачи и алгоритм диагностирования устойчивости модели кольцевой сети с неограниченным количеством нейронов 55

2.2 Программный продукт «Устойчивость нейронных сетей» .... 60

2.3 Результаты исследования устойчивости кольцевой сети нейронов с неограниченным количеством нейронов ..........64

2.4 Модели кольцевых сетей нейронов с неединичным коэффициентом демпфирования........................67

2.5 Разрыв в кольце: модель сети линейной конфигурации с большим количеством нейронов.....................69

2.6 Доказательства теорем главы 2 ..................72

2.7 Сравнение результатов главы 2 с известными результатами . . 77

Глава 3 Численное и качественное исследование устойчивости моделей нейронных сетей кольцевой и линейной конфигура-

ций с ограниченным количеством нейронов...........78

3.1 Алгоритмам программа -для-построения границ-областей устойчивости моделей кольцевых нейронных сетей с ограниченным количеством нейронов........................78

3.2 Границы областей устойчивости моделей кольцевых сетей с ограниченным количеством нейронов и односторонним запаздыванием ................................85

3.3 Границы областей устойчивости моделей кольцевых сетей с ограниченным количеством нейронов и двусторонним запаздыванием ................................89

3.4 Устойчивость модели нейронной сети линейной конфигурации

с ограниченным количеством нейронов..............93

3.5 Динамика области устойчивости в процессе разрыва кольцевой сети нейронов ............................96

3.6 Сравнение результатов главы 3 с известными результатами . . 99

Заключение..................................101

Литература..................................102

Приложение А. Исходный код программы

«Анализ устойчивости»........................111

Приложение Б. Исходный код программы

«Устойчивость нейронных сетей»..................117

Приложение В. Исходный код программы

«Построение областей устойчивости

круговых нейронных сетей».....................120

Приложение Г. Общие исходные коды программ.........126

Введение

Общая характеристика работы

Актуальность работы. Всюду, где в математических моделях имеются узлы и связи между ними, есть основания рассматривать их как нейронные сети. В многочисленных теориях узлы (нейроны) представляют природные объекты [26], блоки компьютерных программ [76], личности [64] и, наконец, собственно нейроны в живых организмах [32] или искусственных нейронных сетях [33]. Взаимодействие узлов в нейронной сети зависит от архитектуры и свойств её связей. Важной характеристикой сети является запаздывание во взаимодействии нейронов. Первые исследователи нервных систем живых организмов были удивлены, узнав, как мала скорость движения электрохимических импульсов по нервным волокнам. Поэтому учёт запаздываний в моделях нейронных сетей требует применения теории дифференциальных уравнений с запаздываниями (функционально-дифференциальных уравнений (ФДУ)). Инструментарий ФДУ создали Н.В. Азбелев, В.П. Максимов и Л.Ф. Рахматуллина [1], Н.В. Азбелев и П.М. Симонов [2, 3, 25], Р. Беллман и К. Кук [4], A.B. Ким и В.Г. Пименов [5], H.H. Красовский [9], В.Б. Колма-новский и В.Р. Носов [8], А. Д. Мышкис [10], Дж. Хейл [12], Л.Э. Эльсгольц и С.Б. Норкин [24].

Изучение моделей нейронных сетей посредством дифференциальных уравнений с запаздываниями проведено в монографиях L. О. Chua [35] (1998), L.O. Chua и Т. Roska [33] (2004), К. Gu, V. Kharitonov и J. Chen [41] (2003), J. Wu [80] (2001). Особенно много работ посвящено кольцевым конфигурациям нейронных сетей: S. Guo и L. Huang [42, 43] (2007), У. Horikawa и Н. Kitajima [47] (2009), С. Huang с соавторами [49] (2008), X. Lu и S. Guo [65] (2008), X. Xu [81] (2008). Кольцевые конфигурации нейронов обычны как в искусственных нейронных сетях [38], так и в биологических. Нейронные кольца обнаружены, например, у нематоды С. elegans [78].

Устойчивость нейронных сетей является их важной характеристикой. Глобальная устойчивость изучалась, например, в работах L. Idels и М. Kipnis [51] (2009), Kaslik и Bahnt [55] (2009), но глобальная устойчивость не всегда желательна в нейронных сетях (например, она неестественна в нейронных

сетях, используемых в качестве памяти). В отличие от неё локальная устойчивость, по-видимому, всегда требуется.

Локальная устойчивость моделей нейронных сетей изучалась в работах I. Gyori и F. Hartung_[44]__(2003, нелинейная модель изолированного нейро^-на), W. Yu и J. Сао [82] (2007, модель системы из двух нейронов), J. Wei и S. Ruan [79] (1999, также из двух нейронов), X. Lu и S. Guo [65] (2008, модель кольцевой сети из четырёх нейронов), S.A. Campbell, I. Ncube и J. Wu [29] (2006, модель кольцевой сети из трёх нейронов), Y. Yuan и S.A. Campbell [83] (2004, модель кольцевой сети с произвольным количеством нейронов, но с искусственной симметрией в реакции нейронов).

Степень разработанности темы. В указанной группе работ нет ответа на естественные вопросы, возникающие при исследовании устойчивости моделей нейронных сетей вообще, а также кольцевых и линейных сетей в частности. Это следующие вопросы. Есть ли значения параметров нейронной сети, при которых сеть остаётся устойчивой при любом увеличении количества нейронов и сохранении общей архитектуры сети? Каковы эти значения? Каковы значения параметров нейронных сетей, гарантирующих устойчивость сети при любом запаздывании во взаимодействии нейронов (delay-independent stability)? Положительно ли влияет на устойчивость разрыв в кольцевой нейронной сети? Как строить области устойчивости в пространстве параметров? Эти вопросы рассматриваются в настоящей диссертации.

Цель диссертационной работы. Целью работы является изучение проблемы устойчивости математических моделей кольцевых и линейных нейронных сетей. Мы намерены:

• разработать метод построения областей устойчивости в пространстве параметров указанных моделей;

• выявить динамику областей устойчивости при изменении количества нейронов в сети и изменении запаздывания во взаимодействии нейронов;

• найти области устойчивости в пространстве параметров, гарантирующие устойчивость независимо от величины запаздывания;

• выяснить асимптотику поведения областей устойчивости при запаздывании, стремящемся к нулю и бесконечности;

• указать предельные области устойчивости, когда количество нейронов в ли-

нейной или кольцевой конфигурации неограничено;

• сравнить области устойчивости моделей кольцевой сети и линейной сети, полученной в результате ее разрыва;

• "провести-численное моделирование динамики" области устойчивости в процесса разрыва нейронного кольца и превращения его в сеть линейной конфигурации.

Методы исследования. Поставленные задачи решаются в диссертации методом конуса устойчивости, разработанным автором совместно с научным руководителем и В.В. Малыгиной. Конус устойчивости это поверхность вМ3, построенная для анализа устойчивости систем линейных матричных дифференциальных уравнений произвольного порядка с запаздыванием. На основе метода в диссертации построены алгоритмы для поиска значений запаздываний, гарантирующих устойчивость системы. В свою очередь, алгоритмы реализованы в виде программ для анализа устойчивости как для общих систем, так и для специальных систем, описывающих модели кольцевых и линейных нейронные сетей с запаздываниями во взаимодействии соседних нейронов.

Научная новизна. В диссертации разработан новый метод анализа устойчивости, применимый к классу матричных дифференциальных уравнений, более широкому в сравнении с классами, рассмотренными в работах В. Cahlon и D. Schmidt [27] (2000), а также Н. Matsunaga [68] (2007) и S. Sakata [75] (1998). На основе этого метода разработаны новые алгоритмы и комплексы программ для построения области устойчивости в пространстве параметров указанного класса уравнений. Построены модификации алгоритмов и программ для анализа устойчивости математических моделей кольцевых и линейных нейронных сетей. Впервые указаны области в пространстве параметров указанных моделей, гарантирующие устойчивость независимо от величины запаздывания во взаимодействии нейронов. Получены новые данные об областях устойчивости в пространстве параметров математических моделей кольцевых и линейных нейронных сетей, включая класс сетей с неограниченным количеством нейронов. Поставлен и решён новый вопрос о влиянии разрыва на устойчивость кольцевой нейронной сети. Впервые изучена динамика области устойчивости в процессе разрыва кольцевой нейронной сети.

Практическая значимость. Созданные программные продукты и исследования областей устойчивости позволяют анализировать устойчивость нейронных сетей кольцевой и линейной конфигураций, выявлять диапазоны запаздываний, в которых~они приобретают и теряют_устойчивость," регулировать коэффициенты моделей нейронных сетей с целью стабилизации их работы.

Апробация работы. Основные результаты, изложенные в диссертации, докладывались на седьмой Всероссийской конференции с международным участием «Математическое моделирование и краевые задачи» (Самара, 2010г.), второй и четвёртой научных конференциях аспирантов и докторантов (Челябинск, 2010г. и 2012г.), Всероссийской конференции «Статистика. Моделирование. Оптимизация» (Челябинск, 2011г.), на международной конференции в Вене «ICNPAA 2012 World Congress: 9th International Conference on Mathematical Problems in Engineering, Aerospace and Sciences» (Vienna, Austria, 2012), II Международной научно-практической конференции студентов и аспирантов «Математика и её приложения в современной науке и практике» (Курск, 2012г.), Всероссийской научно-практической конференции «Физико-математические науки и образование» (Магнитогорск, 2012 г.), на семинаре профессора М. М. Кипниса в Челябинском государственном педагогическом университете.

Личный вклад автора. Все представленные в диссертации результаты получены лично автором. В совместные работах [59, 60] автору принадлежат все конкретные результаты, а научному руководителю и В. В. Малыгиной — общий замысел работы, постановка задачи и общее руководство. В работе [23] алгоритмы и программы принадлежат автору диссертации, соавтор А. Хохлов осуществлял техническую поддержку работы.

Публикации. Материалы диссертации опубликованы в 13 печатных работах, из них 4 статьи в рецензируемых журналах [13, 22, 59, 60], 6 статей в сборниках трудов конференций [14, 15, 18, 19, 21, 23], и 3 комплекса программ, зарегистрированных в Объединенном фонде электронных ресурсов «Наука и образование» [16, 17, 20] (программы доступны в интернете [56-58]).

Структура и объём диссертации. Диссертация состоит из введения, трёх глав, списка литературы и четырёх приложений. Общий объём работы

127 страниц. Работа содержит 37 рисунков, список литературы содержит 83 наименования.

_______Содержание, диссертации ___

Во введении приводится постановка задачи, история исследуемого вопроса, ставятся цели диссертационного исследования, обосновывается актуальность и научная новизна работы. Кроме того, приводятся публикации по теме диссертации, описывается структура работы и её краткое содержание.

Первая глава посвящена описанию и обоснованию метода конусов устойчивости для диагностирования устойчивости уравнения

£(£) + Ах(Ь) + Вх(г - г) = 0, (1)

с совместно триангулируемыми матрицами А, В. Данная модель в общем виде описывает результат линеаризации известных нелинейных моделей Хоп-филда-Маркуса-Вестервельта [46, 67]

1 п

С^-(г) + + ^Т^кдк{хк{г -т))= 0 2 = 1, 2,... ,п

7 к=1

с постоянными Щ, Си гладкими функциями дк, или модели Коэна-Гросс-берга [36] или модели Чуа-Янга-Роска [33, 34] вокруг некоторого решения.

Метод разработан автором диссертации под руководством научного руководителя по замыслу В. Малыгиной. Как обычно, мы называем линейное уравнение устойчивым, если его нулевое решение устойчиво. В этой же главе излагается алгоритм исследования устойчивости уравнения (1) и описывается программа для его реализации.

В разделе 1.1 приведены актуальные на сегодняшний день модели, описывающие взаимодействие нейронов в нейронных сетях с помощью матричных дифференциальных уравнений, обосновано введение запаздывания и показано, что во многих случаях исследование устойчивости различных моделей нейронных сетей сводится к изучению поведения решений уравнения (1). Также в этом разделе приведены примеры нейронных сетей, описываемых уравнением (1), отмечены особенности входящих в уравнение матриц А, В,

элементами которых служат интенсивности мгновенного взаимодействия нейронов в сети и взаимодействия, происходящего с запаздыванием, соответственно.

~"В~этой~главе~ конус~~устойчивости~вводится~постепеннот~Вначале_(раз~ дел 1.2) дается определение устойчивости и вводятся овалы устойчивости для скалярного уравнения вида (1)

х (£) + a x{t) + bx(t — т) = 0, г > 0 (2)

с действительным коэффициентом а и комплексным Ъ. Здесь же формулируется и с помощью метода D -разбиений [40] доказывается теорема об устойчивости такого уравнения в терминах овала устойчивости.

Затем, в разделе 1.3, даётся ключевое определение конуса устойчивости для скалярного уравнения (2) с комплексными коэффициентами а, Ь, которое будет использоваться также и для матричного уравнения (1).

Определение 0.1. Конусом устойчивости для уравнений (2), (1) назовём множество точек М = (u\,u2,us) Е М3, таких, что

/

Щ = —h COS LJ + си sin и,

ii2 = h sin tü tú COS U), (3)

u3 = h,

где действительные параметры h, и подчинены ограничениям

и

h ^

(4)

—ж < Ш < 7Г.

Овалами устойчивости в диссертации называются сечения конуса устойчивости плоскостью щ = К. В терминах конуса устойчивости формулируются и доказываются теоремы об устойчивости уравнения (2) с действительным коэффициентом а и комплексным Ь, а затем с двумя комплексными коэффициентами а, Ь.

В основном разделе 1.4 доказывается теорема о конусе устойчивости для матричного уравнения (1), которая будет теоретической основой для алгоритмов диагностирования устойчивости нейронных сетей и их программных реализаций.

Теорема 0.1. Пусть А, В, Б е Мтхт и Б~1АЗ = АТ и = Вт,

где Ат и Вт — нижние треугольные матрицы с элементами соответственно XjS,f^jS(l ^ в ^ га). Построим систему точек М^ = {и^^и^^и^), (1 ^ ] ^ т) ;-так^что - ------

Уравнение (1) асимптотически устойчиво тогда и только тогда, когда все точки М] (1 ^ ^ ^ га) находятся внутри конуса устойчивости. Если хотя бы одна точка М^ (1 ^ ^ га) леэ/сит вне конуса устойчивости, то уравнение (1) неустойчиво.

Эта теорема является главным результатом первой главы и даёт возможность исследования устойчивости широкого класса уравнений вида (1) с совместно триангулируемыми матрицами произвольного порядка.

В этом же разделе получено необходимое и достаточное условие на собственные числа матриц А, В, обеспечивающее устойчивость основного уравнения (1) при всех значениях запаздывания:

Теорема 0.2. Пусть А, В, Б е Мтхт и Б^Ав = АТ и в^ВБ = Вт,

где Ат и Вт — нижние треугольные матрицы с элементами соответственно \js, |Ij8 (1 ^ в ^ га). Для того, чтобы уравнение (1) было асимптотически устойчивым при любом запаздывании т ^ 0, необходимо и достаточно выполнение условия (1 ^ ^ ^ га)

В разделах 1.3, 1.4 также приведены примеры применения полученных критериев для анализа устойчивости уравнений (2), (1). Примеры снабжены графическим представлением конуса устойчивости и точек М^, фигурирующих в формулировке основной Теоремы 0.1.

Раздел 1.5 посвящён алгоритму определения значений запаздываний, гарантирующих устойчивость уравнения (1) при фиксированных матрицах А, В, и его программной реализации. Алгоритм основан на методе конусов

— тЛе^з] ехр(г'т 1т \]3)) = т1т(^- ехр(гт 1т А^)) = г Яе .

(5)

(6)

устойчивости (Теорема 0.1), но при этом он содержит только аналитические выкладки и позволяет избежать геометрических построений при анализе устойчивости рассматриваемого уравнения. В этом же разделе формулируется и-доказывается теорема~обосн�