автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Вопросы синхронизации в нейронных сетях со сложной динамикой

На правах рукописи

Богомолов Юрий Викторович

ВОПРОСЫ СИНХРОНИЗАЦИИ В НЕЙРОННЫХ СЕТЯХ СО СЛОЖНОЙ ДИНАМИКОЙ

05.13.18 - Математическое моделирование, численные методы и комплексы программ

Автореферат

диссертации на соискание ученой степени кандидата физико-математических паук

Ярославль - 2014

2ПЮЯ 2014

005556004

Работа выполнена на кафедре компьютерных сетей федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Ярославский государственный университет им. П.Г. Демидова»

Научный руководитель —

Официальные оппоненты:

Ведущая организация —

доктор физико-математических наук, профессор Глызин Сергей Дмитриевич,

Старков Сергей Олегович,

доктор физико-математических наук, профессор, Обнинский институт атомной энергетики - филиал ФГАОУ ВПО НИЯУ «МИФИ», заведующий кафедрой компьютерных систем, сетей и технологий;

Нефёдов Николай Николаевич, доктор физико-математических паук, профессор, ФГОУ ВПО Московский государственный университет им. М.В. Ломоносова, заведующий кафедрой математики.

Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Национальный исследовательский ядерный университет «МИФИ».

Защита состоится «26» декабря 2014 г. в 16:00 на заседании диссертационного совета Д 212.002.05 при Ярославском государственном университете им П.Г. Демидова по адресу: 150000, г. Ярославль, ул. Советская, д. 14.

С диссертацией можно ознакомиться в научной библиотеке Ярославского государственного университета им. П. Г. Демидова (150000, г.Ярославль, ул. Полушкина роща, д.1) и на официальном сайте организации: http://^vлvw.гd.uшyar.ac.ru/upload/iЫock/157/disseгtatsiya_05_13_18_bogomolov_yv.pdf

Автореферат разослан «Ю,> ноября 2014 г.

Ученый секретарь диссертационного совета

Глызин С.Д.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования

Одним из направлений моделирования биологических систем является разработка и изучение особенностей динамики математических моделей биологического нейрона и систем взаимосвязанных нейроподобных элементов (нейронных сетей). За последние десятилетия появилось несколько математических моделей нейронных сетей, в том числе сочетающих относительную простоту описания и наличие специфических режимов функционирования, свойственных особенностям электрической активности биологического прототипа. К середине прошлого века получено экспериментальное подтверждение механизма обмена информации между нейронами в импульсной форме (E.D. Adrian, С. .S. Sherrington), выявлено наличие функциональных ансамблей нейронов (в том числе кольцевых структур), обладающих свойством циклической ритмической активности (A. Forbes, S. Ramon у Cajal, H. Berger, R. Lorente de No), отмечен механизм передачи информации потоком импульсов определенной плотности (J. Eccles), возникли гипотезы о кодировании информации в виде волн нейронной активности и динамическом характере когнитивных процессов, связанных с активностью когерентно функционирующих нейронных ансамблей (Н.П. Бехтерева). В соответствии с данными предпосылками моделирование и изучение процессов синхронизации ритмической активности нейроподобных элементов в искусственных нейронных сетях является перспективным направлением в изучении когнитивных процессов, что свидетельствует об актуальности исследования, проведенного в представленной работе.

Об актуальности рассматриваемой проблематики также свидетельствует открытый характер многих вопросов, связанных с ролью хаоса в информационных процессах, происходящих в нервной системе. Исследования хаотической динамики электрической активности мозга, обнаружение хаотической активности отдельных структур нервной системы в ходе процессов восприятия, выдвижение гипотез о роли сложной динамики в механизмах памяти позволяют особо выделить задачу изучения явления синхронизации в нейросетевых системах, обладающих сложным поведением. Анализу процессов синхронизации в таких системах посвящена основная часть работы.

Цель работы

Основная цель диссертационной работы заключается в изучении процессов синхронизации и десинхронизации в нейросетях различных видов. Исследования проводились для модели нейрона МакКаллока-Питтса и нейросетевых моделей на основе дифференциального уравнения с запаздыванием.

Для достижения данной цели и работе решаются следующие основные задачи:

1. Изучение особенности поведения рассмотренных моделей нейронов, обоснование наличие сложных режимов динамики.

2. Поиск параметров, при которых наблюдается синхронизация элементов в рассмотренных нейросетях.

3. Выявление условий существования устойчивых синхронных режимов, изучение процессов потери их устойчивости.

Объектом исследования в диссертационной работе являются динамические системы на основе различных пейросетевых моделей.

Предметом исследования являются процессы синхронизации и десин-хронизации в рассматриваемых динамических системах со сложной динамикой.

Методология и методы исследования

В представленной работе используются численно-аналитические методы исследования динамических систем на основе дискретных отображений и дифференциальных уравнений с запаздыванием. Применяются методы оценки энтропийных показателей и ляпуновских экспонент временного ряда, построенного по реализации данных систем, асимптотические методы большого параметра для получения отображения. Общая методология их применения является широко известной и проработанной.

Научная новизна

Научная новизна работы состоит в следующем:

1. Проведен анализ особенностей динамики нейронной сети (цепи) на основе дискретной модели нейрона. Аналитически доказана неустойчивость стационарных режимов данной сети. Численно подтверждено наличие хаотических режимов рассмотренной нейросети.

2. Изучены процессы синхронизации и десинхронизации в паре одно-направленно связанных дискретных нейронных сетей с различными типами взаимодействия. Численно выявлены области существования устойчивого синхронного режима. Получены оценки числовых характеристик рассогласования сетей в случае десинхронизации.

3. Выполнен анализ процессов синхронизации и десинхронизации в паре диффузионно связанных осцилляторов на основе импульсной модели.

4. Исследованы режимы импульсной активности цепи нейроподобных осцилляторов, в динамике которых наблюдаются группы высокоамплитудных всплесков (ЬигеШ^-эффект), чередующиеся с промежутками медленного изменения мембранного потенциала. Найдены области существования устойчивых волновых режимов, отмечены особенности потери их устойчивости.

Положения, выносимые на защиту

1. Проведено численное обоснование наличия хаотических режимов дискретной нейросети, что позволяет использовать её как генератор хаотических колебаний. Разработан алгоритм численной оценки инвариантных характеристик аттракторов соответствующих динамических систем.

2. Выполнен анализ динамики пары взаимодействующих хаотических осцилляторов на основе дискретного отображения.

3. Изучена динамика пары диффузионно связанных нейроподобных импульсных осцилляторов. Выделены параметры, при которых возможно существование синхронных режимов их импульсной активности.

4. Выявлены устойчивые неоднородные режимы импульсной активности в цепи осцилляторов, в динамике которых наблюдается ЬигеШ^-эффект. Изучены процессы потери устойчивости таких режимов.

Теоретическая и практическая значимость работы

Полученные в диссертационной работе результаты представляют интерес при изучении возможности реализации специфических для нервной системы режимов активности в соответствующих математических моделях. Описанная методика анализа процессов синхронизации в нейронных сетях со сложной динамикой переносится на случай более широкого класса нейросетевых моделей. Программная реализация разработанных алгоритмов оценки числовых показателей динамики нейронных сетей может быть адаптирована для решения разнообразных задач анализа динамических систем.

Личный вклад соискателя

Все основные результаты, представленные в диссертационной работе, получены автором самостоятельно. Постановка задач и интерпретация полученных результатов выполнялись совместно с научным руководителем. Из

работ, выполненных в соавторстве, и диссертацию включены результаты, полученные лично автором при исследовании поставленных задач.

Апробация работы

Основные результаты работы были представлены на следующих научных конференциях:

XII Всероссийский семинар «Нейроинформатика и ее приложения», Красноярск, 2004

Всероссийская научно-техническая конференция с международным участием «Нейроинформатика» («Нейроинформатика-2005», «Нейроин-форматика-2006», «Нейроинформатика-2007», «Нейроинформатика-2008», «Нейроинформатика-2012», «Нейроинформатика-2014»), Москва, 2005, 2006, 2007, 2008, 2012, 2014;

XX международная научная конференция «Математические методы в технике и технологиях», Ярославль, 2007

Частично результаты диссертационной работы получены в процессе выполнения работ по проекту 1875 госзадания на НИР №2014/258

Представленные результаты неоднократно докладывались на семинарах «Моделирование и анализ информационных систем» кафедры компьютерных сетей, «Нелинейная динамика и синергетика» кафедры математического моделирования Ярославского государственного университета им. П. Г. Демидова.

Публикации

По теме диссертации автором опубликовано 15 статей и 2 тезисов докладов, в том числе 4 статьи в рецензируемых журналах, рекомендованных ВАК. Список публикаций приведен в конце автореферата.

Структура и объем работы

Диссертация состоит из введения, трех глав, заключения и списка литературы, содержащего 141 наименование. Диссертация содержит 26 рисунков, 1 таблицу. Общий объем диссертации составляет 104 страницы. Принципиальные фрагменты кода программных модулей вынесены в приложение.

СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении приводится общая характеристика работы, обосновывается актуальность выбранного направления исследования, проводится краткий обзор литературы по рассматриваемой тематике, отмечаются основные исходные положения, описывается постановка цели и основных задач работы, отмечается научная новизна и значимость результатов, выносимые на

защиту положения, а также описывается общая структура диссертационной работы и излагается краткое содержание диссертации по главам.

В первой главе диссертационной работы проводится анализ динамики нейронной сети на основе дискретной модели нейрона МакКаллока-Питтса1. В разделе 1.1 дается общее описание математической модели отдельного нейрона и нейронной сети из элементов рассмотренной структуры. В работе рассматривается цепь из трёх нейроподобных элементов с несимметричными связями между отдельными нейронами. Динамика такой модели может быть описана дискретным отображением:

Хп+1 = F(WX„ + I), (1)

где Хп G М3 — вектор состояния нейронной сети в момент времени п, F{X) = (f(xi)J(x2)J(x3)), f{x) = (|х 4- 1| - \х - 1|)/2 - активацион-ная функция нейрона (линейная функция с насыщением), I G М3 — вектор смещения, матрица синаптических весов W описывает несимметричный характер связей в нейронной сети (цепи):

fl -1 0

W= I 1 Po -1

1 Pi

В ряде работ2'3 отмечается возможная важная роль хаоса в в функционировании мозга и когнитивных процессах, поэтому на данном этапе в качестве основного направления исследований рассматривалось изучение динамики нейронной сети достаточно простой структуры с малым количеством нейронов, но допускающей хаотическую динамику при должном подборе параметров (в данном случае — Ро и р\). Ранее для нейросетевой модели описанной структуры было высказано предположение4 о возможности возникновения сложных режимов в динамике нейронной сети, поэтому одной из важных задач является поиск параметров, при которых динамика рассматриваемой сети похожа на хаос, и обоснование хаотического характера динамики сети.

lMcCulloch , IKS'. A logical calculus of ideas immanent in nervous activity / W.S. McCulloch , W.A. Pitts// Bull. Math. Biophys. - 1943. - У5. - P. 115-133.

гХакещ Г. Синергетика мозга / Г. Хакен// Синергетика и психология. Тексты. Выпуск 3. Когнитивные процессы — МГСУ «Союз», 1997. — С. 34-63

3Ижикевич, Е.М. О возможной рати хаоса в нейросистемах / Е. М. Иэюикевич, Г. Г. Малинецкий - ДАН. — 1992. — Т. 326, .V4, С. 626-632

ADogaru, R. Robust Oscillations and Bifurcations in Cellular Neural Networks / R. Dogaru, А. Т. Murgan, D. loan // Proceedings of IEEE Int. Workshop on Cellular Neural Networks and Their Applications, (CNNA'94). - Rome, 1994. - P. 297-302.

Описание некоторых характеристик динамики нейронной сети и методики поиска сложных режимов предложено в разделе 1.2 диссертационной работы. В том числе в данном разделе вводится определение энтропии нейронной сети, обсуждается возможность использования энтропии как числового показателя, характеризующего степень хаотичности траекторий системы.

На предварительном этане анализа динамики нейронной сети в разделе 1.3 ставится вопрос об устойчивости состояний равновесия системы (1) при пулевом векторе смещения, при этом система сводится к следующему виду:

Х„+1 = ПШХп), (3)

параметры которой аналогичны рассмотренным выше для системы (1). Данная система имеет очевидное нулевое состояние равновесия, неустойчивость которого позволит исследовать более простую систему (без вектора смещения), не сходящуюся к какому-либо устойчивому стационарному состоянию, что в том числе позволит интерпретировать и такую упрощенную модель как нетривиальную сеть-автогенератор.

Основным результатом, представленном в данном разделе, является следующая теорема.

Теорема. Неподвижная точка (0,0,0) системы (1) является неустойчивой при любых значениях коэффициентов синаптической связи {ра,р1).

Для доказательства данного утверждения рассматривается характеристический многочлен .Р(А) матрицы синаптических весов исследуется вопрос о принадлежности корней Р{\) открытому кругу |А| < 1. Преобразованием комплексной плоскости данная задача сводится к проверке принадлежности корней кубического многочлена С}{х) = (1— х)3Р левой комплексной полуплоскости, для чего применяется критерий Рауса-Гурвица.

Также отметим, что задача анализа устойчивости стационарного состояния нейронной сети с ненулевым вектором смещения в наиболее типичном случае сводится к рассматриваемому в данном разделе случаю, что позволяет говорить о неустойчивости состояния равновесия X* = (а^, х\, £3) системы (1) при тах(|а;*|) < 1.

В разделе 1.4 диссертационной работы описывается общая постановка вычислительных экспериментов, направленных на изучение особенностей динамики дискретной модели нейронной сети (1), (3) при различных значениях параметров. В подразделе 1.4.1 предлагается подробное изложение методики оценки статэнтропии для динамической системы, определяемой

приведенными выше системами. В основе данной методики лежит подход, предложенный Е.А. Тимофеевым5.

При построении оценки статэнтроиии для рассмотренной в работе нейронной сети строится соответствующая символическая динамическая система, в результате траектории (А'о, Х\,..., Хп,...) сопоставляется последовательность символов (xq, xi,..., хп,...). Отметим, что хаотическая динамика построенной символической динамической системы будет свидетельствовать о хаотическом поведении исходной нейронной сети (обратное в общем виде неверно). В полученном пространстве последовательностей рассматривается метрика р{х,у) = 8~п, где п = min{i : Xi ф yi\. В разделе 1.4.1 обосновываются преимущества данной метрики для численного решения поставленной задачи. Сформированная по исходной нейросетевой модели выборка строк символов за линейное (по объему выборки) время лексикографически упорядочивается, для каждого элемента Zj упорядоченной выборки вычисляется значение следующей величины:

d^-logJmm^piZuZj)]. (4)

j

После этого вычисляется значение вспомогательной оценки:

j=1

Наконец, вычисляются оценки энтропии:

(к), , logaN _1_

= = k^k+1)_At)y (G)

Общий анализ динамики нейронной сети производится в три этапа (результаты данного анализа приведены в подразделе 1.4.2). На первом этапе для каждого набора параметров (значенияро и pi выбираются в промежутке [—3,3] с некоторым шагом) для соответствующей нейронной сети отсекаются периодические режимы с относительно небольшой длиной периода (описание процедуры проверки периодичности системы приведено в подразделе 1.4.3). На втором этапе для выделенных значений параметров проводится грубая оценка энтропии, основанная на построении гистограммы последовательности состояний нейронной сети. На третьем этапе для параметров, при

5 Тимофеев, Е.А. Состоятельная оценка энтропии мер и динамических систем / Е. Л. Тимофеев I j Матем. заметки. — 2005. — Т. 77, Вып. 6. — С. 903-916

которых достигаются большие значения грубой оценки энтропии, по описанной выше методике вычисляется оценка статэптропии, ненулевое значение которой интерпретируется как численное подтверждение хаотического поведения пейросети при указанных значениях параметров. Это позволяет сделать вывод, что уже в динамике простейших классических моделей искусственных нейронных сетей с обратными связями возможны хаотические режимы. В свою очередь это замечание дает возможность моделировать процессы обработки данных в естественных живых системах с потенциально хаотической динамикой на основе нейросетей рассмотренного вида.

Для нейронных сетей с непулевыми значениями статэнтрогши также был проведен анализ устойчивости к возмущениям начального состояния. Результаты, приведенные в подразделе 1.4.4 показывают, что для сети с хаотической динамикой при малой величине возмущения рассогласования между состояниями при возмущенном и невозмущенном начальном состоянии не сходится к нулю.

В разделе 1.5 приводятся основные результаты первой главы, среди которых можно выделить доказанное отсутствие устойчивых стационарных режимов нейронной сети и численное обоснование наличия хаотических режимов при некотором выборе параметров, выполненное с помощью оценки статэптропии соответствующей динамической системы. Таким образом, рассмотренная дискретная нейронная сеть обладает теми свойствами, которые мы требовали от системы па данном этапе: простотой структурой и наличием параметров, при которых возможна хаотическая динамика, что позволяет использовать в дальнейшем полученную сеть для моделирования когнитивных процессов (в том числе и в случае нерегулярной динамики отдельных элементов).

Во второй главе диссертации рассматриваются пары взаимодействующих однородных нейронных сетей. Исследованные в первой главе нейронные сети на трех нейронах рассматриваются как автогенераторы импульсной активности. Ставится задача исследования процессов синхронизации сетей с различным типом взаимодействия. Выявляются параметры, при которых динамика взаимодействующих нейронных сетей синхронизируется, для несинхронизирующихся сетей исследуются особенности установившегося режима.

Первая нейронная сеть в данной паре функционирует автономно, ее выходные значения подаются на ее входы без изменений, а также, возможно, частично подаются на вход второй нейронной сети (будем называть эти нейросети передатчиком и приемником соответственно). В ходе исследования рассматриваются взаимодействующие нейронные сети с различными

параметрами, а также различные виды организации связи между сетыо-передатчиком и еетыо-ириемником. В работе рассматриваются два типа воздействия передатчика на приемник: постоянное и случайное (вероятностное). Описание таких моделей взаимодействия предложено в разделе 2.1.

В нервом случае динамику пары нейронов можно описать системой:

Г X(t + 1) = F(\V X(t) + /), ( ]

\ Y(i + 1) = F(W (aX{t) + (1 - a)Y{t)) + I), 1 '

где X(t) и Y(t) — соответственно состояние передатчика и приемника в момент времени t, W — матрица весовых коэффициентов каждой из сетей, I — вектор смещения, F— активациоппая функция, параметр а определяет величину связи от передатчика к приемнику.

Для модели со случайным воздействием в каждый момент времени передатчик с постоянной вероятностью р воздействовал на приемник аналогично описанному выше случаю взаимодействия (с коэффициентом а), а с вероятностью 1 — р сети в данный момент времени функционировали автономно. Соответственно, динамика такой сети описывается системой

Г X{t + l) = F1(WX{t) + I),

\ Y(t + 1) = F2(\V (SX(t) + (1 - OY(t)) + I), [ )

где величина £ принимает значения а и 0 с вероятностями р и 1 — р.

Выбирались исходные параметры (весовые коэффициенты), для которых характерно хаотическое поведение соответствующих нейронных сетей. Соответственно, основной задачей, рассмотренной в данном разделе, является изучение процессов сипхропизации и десинхронизации дискретных моделей нейронных сетей с хаотической динамикой.

В качестве величины рассогласования между сетями выбран показатель Z(t) = X(t) — Y(t), сходимость Z(t) к нулевому значению за время наблюдения интерпретировалась как синхронизация приемника с передатчиком. В разделе 2.2 приводятся результаты вычислительных экспериментов, направленных на выявление параметров величины связи между нейросетями, при которых наблюдается их синхронизация. В частности, для значений р0 = —1.05, pi = 0 отмечено пороговое значение величины а = 0.15: при значении параметра а выше заданного значения наблюдалась синхронизация сетей, при меньших значениях коэффициента связи и малом начальном рассогласовании нейронные сети десинхронизировались. Во второй модели взаимодействия на плоскости параметров (а, р) выделены области, для которых при заданном наборе параметров отмечается соответственно синхронизация или десинхронизация передатчика и приемника.

Для численного подтверждения отсутствия синхронизации сетей при отмеченных значениях коэффициента а использован подход, основанный на оценке старшего характеристического показателя Ляпунова для величины z(t) = ||X(f) — y(f)||. Для оценки использовался алгоритм Розенштейна6, при проведении вычислительных экспериментов использовалась авторская модификация реализации алгоритма Розенштейна для пакета MATLAB R2012b, верификация алгоритма и результатов эксперимента осуществлялась с помощью программного пакета нелинейного анализа временных рядов TISEAN 3.0.0. Результаты анализа процессов рассогласования приведены в разделе 2.3. Выявленные положительные значения старшего ляпу-новского показателя соответствуют экспоненциальному рассогласованию состояний передатчика и приемника и интерпретируется как неустойчивость соответствующего синхронного режима при данных значениях параметров.

Таким образом, проведенный численный анализ пары взаимодействующих нейросетей позволил установить пороговые значения для коэффициентов связи между передатчиком и приемником, при превышении которых наблюдается синхронизация нейронных сетей (навязывание режима импуль-сации), что может быть интерпретировано как имитация процессов запоминания. Отметим, что данный результат получен для достаточно простой формальной модели нейронной сети. Полученный для сетей с хаотической динамикой результат можно использовать как базу для дальнейшего изучения возможности передачи информации на хаотическом носителе. Для малых значений коэффициента связи отмечен неустойчивый характер динамики рассогласования между нейронными сетями с хаотической динамикой.

В третьей главе рассматриваются сети из нейроподобных элементов, основанных на дифференциальных уравнениях с запаздыванием. В качестве базовой математической модели рассматриваются импульсная модель нейрона на основе уравнения с одним запаздыванием, а также модель на основе уравнения с двумя запаздываниями. Данные подходы к моделированию нейрона позволяют добиться высокой степени соответствия между динамикой модели и импульсной активностью нервных клеток. Элементы на основе рассмотренных моделей нейронов (осцилляторов) объединяются в сети с диффузионной связью: в первом случае (для импульсной модели) исследуется пара взаимодействующих нейронов, во втором случае рассматривается цепь нейронов, в которой диффузионно связаны только соседние элементы. Проводится численный анализ устойчивых режимов периодиче-

6Rosenstein, М. Т. A practica] method for calculating largest Lyapunov exponents from small data sets / M. T. Rosenstein, J. J. Collins, C. J. De Luca // Psysica D. — 1993. — №65. — P. 117-134.

ской активности и особенностей таких режимов при различных значениях параметров сети (в т.ч. коэффициента диффузии).

В разделе 3.1 описаны математические модели рассматриваемых нейронных сетей. В подразделе 3.1.1 формулируются необходимые биологические предпосылки к рассмотрению данных моделей. Основываясь на биологических данных о наличии в мозге замкнутых кольцевых структур, а также на гипотезе об организации кратковременной памяти на основе синхронно работающих нейронных ансамблей, в качестве объекта изучения рассматриваются процессы синхронизации в системе из взаимодействующих нейронов схожей структуры. В ходе вычислительного эксперимента выявляются параметры, при которых в рассматриваемых моделях нейронных сетей на основе импульсной модели нейрона происходят процессы синхронизации и десинхронизации. С учетом отмеченной7 ключевой роли синхронизации в деятельности нейронных ансамблей с малым количеством нейронов и связи механизмов реализации когнитивных процессов (память, внимание) с возникновением ансамблей синхронно функционирующих нейронов это позволяет интерпретировать такие явления как аналоги процессов запоминания и забывания в биологических нейронных сетях.

С учетом отмеченных биологических предпосылок в разделе 3.1.2 описываются модели нейрона, полученные на основе имитации тех же нейрофизиологических механизмов, что и классическая модель Ходжкина-Хаксли. В диссертационной работе рассмотрена импульсная модель нейрона9, динамика мембранного потенциала и(£) которого описывается уравнением

й{1) = А (-1 - /уа{иЦ)) + Д'Иг - 1))) «(£), (9)

где гладкие положительные функции и /д- описывают проницаемость мембраны для ионов натрия и калия, параметр А > 1 характеризует скорость восстановления мембранного потенциала, за единицу времени принята величина запаздывания калиевого тока по отношению к натриевому. Полагаем, что /дга и /к сходятся к 0 при гг —> оо быстрее, чем (7 > 0).

Динамика периодического решения уравнения (9) отражает основные особенности импульсной активности нейрона: быстрый рост мембранного потенциала (импульс, спайк), последующее быстрое его падение до уровня, ниже начального (короткая продолжительность спайка и деполяризация),

1 Абарбанелъ, Г. Д. Синхронизация в нейронных ансамблях / Г. Д. Абарбапелъ, М. И. Рабинович, А. Сельверсгпон // Успехи физических наук. —1996.— Т. 116, ЛМ. — С. 363-390.

8Бехтерева, Н. П. Здоровый и больной мозг человека / Н. П. Бехтерева — М.: Наука, 1980. — 208 с.

9Кащенко, С. А. Исследование дифференциально-разностных уравнений, моделирующих импульсную активность нейрона / С. А. Кау^енко, В. В. Майоров 11 Математическое моделирование. — 1993. — Т.5. ,\П2. - С. 13-25.

сравнительно длительный процесс роста мембранного потенциала. Динамика такой модели нейрона-автогенератора (импульсной модели) за последнее время хорошо изучена: обоснована устойчивость решения при больших значениях параметра, построены асимптотические оценки длины периода.

В соответствии с основными биофизическими предпосылками, положенными в основу модели (9), рассматривается и модифицированная математическая модель10, описывающая динамику нейрона. Отличием данной модели является введение малого запаздывания в функцию, описывающую проницаемость мембраны нейрона для ионов натрия. Таким образом, данная модель описывается дифференциальным уравнением с двумя запаздываниями:

u(t) = Л [f(u(t - h)) - g(u(t - 1))] u(t). (10)

Отметим, что модель, описываемая уравнением (9) является частным случаем данной модифицированной модели, поэтому описанные ранее характерные особенности динамики возникают и в данном случае. При больших значениях параметра Л уравнение (10) имеет орбитально экспоненциально устойчивый цикл, причем при определенных ограничениях на параметры на отрезке времени длины периода такое решение имеет серию из нескольких подряд идущих высокоамплитудных всплесков, после которых происходит медленное восстановление мембранного потенциала. Таким образом, рассмотренное уравнение (10) можно использовать для моделирования так называемого bursting-эффекта в биологических нервных системах.

Нейроподобные элементы, модель которых описана выше, объединяются в нейронную сеть. Для импульсной модели нейрона в работе рассматривается пара диффузионно связанных осцилляторов, описываемая системой:

rii(i) = А (-1 - fNa(Ul(t)) + fK(ui(t - 1))) щ(t) + d(ua - ui), = A (-1 - /jVa(«2(t» + /K-(«2(i - 1))) «2(i) + d(tii - «2),

где Ui(t) и U2(t) — мембранные потенциалы нейронов, параметр d ^ 0 (показатель диффузии) определяет выраженность связи между нейронами.

Для модифицированной модели нейрона в работе рассматривается одна из таких нейросетевых структур — цепь одинаковых элементов описанного вида, в которой каждый нейрон связан с двумя соседними нейронами. Модель такой нейронной цепи описывается системой:

iij = d[uj+1 - 2 uj + Uj-1] + A [f{uj(t - h)) - g(uj(t - 1))] u, j = l,...,m. _ (12)

10 Глызин, С. Д. Дискретные автоволны в нейронных системах / С. Д. Глызин, А.Ю. Колесов, Н. X. Розов // Журнал вычислительной математики и математической физики. — 2012. — Т. 52, №5. — С. 840-858

где коэффициент диффузии d > 0 характеризует величину связи между соседними нейронами. Для удобства описания полагаем «о = щ, ит+\ = ит.

Предполагается, что f{u), д{и) G С2[0,+оо), причем /(0) = 1, р(0) = 0, а также выполняются асимптотические оценки:

f(u) = -a0 + O(l/u), g(u)=b0 + O(l/u),

uf'(u) = 0(l/u), g{u) = bo + 0{l/u), (13)

u2f"(u) = 0(\/u),u2g"{u) = 0(\/u) при и +oo.

Первое (диффузионное) слагаемое системы (12) заменой переменных приводится к следующему виду:

yj = d(expj/j+i+exp(-?/j)-expt/j-exp(-j/j_i)) j = l,...,m-l. (14)

С учетом граничных условий из (12) отметим, что г/о = ут = 0. В работе рассматривается система (14) с периодическим импульсным воздействием:

Vj{h + кТ0 + 0) = yj{h + кТ0-0)-{1 + a0)yj(kT0), yj(t0 + h + kT0 + 0) = yj(t0 + h + кТ0 - 0) - (1 + l/ao)yj(to + kT0),

yj(l + kT0 + 0) = yj{l + kT0 - 0) - b0yj(kT0), (15)

yj{l +t0 + kT0 + 0) = yj{í +t0 + kT0 - 0) - (b0/a0)yj(t0 + кТ0), k = 0,l,...,n, j — l,...,m — l.

Параметры ao и bg выбираются из условий (13), 6o > 1 + ao, ¿o = h (1 + 1/ao), То = h (2 + ад + 1/a-o). Параметр n задает количество всплесков, наблюдающееся на периоде в устойчивом периодическом решении уравнения (9) при выполнении условия

(n + 1)(2 + а0 + 1/ao) <Н< п(2 + а0 + 1 /а0) + 2 + 1/а0' ^

Здесь Т* = (п + 1)(7о + bato) — длина периода соответствующего решения, <7о задает левую границу начального отрезка [—сг0; 0] для уравнения (10).

Для системы (14) с условиями (уг,..., ym-\) = [z\, ... , zm-i) рас-

I t=-CT0

сматривается отображение из IRm_1 в К."1-1:

z-><b{z) = (y°1(t,z),...,yam_1{t,z))\ . (17)

Для данного отображения имеет место теорема11 о соответствии его экспоненциально устойчивой или дихотомичной неподвижной точки z = z, релаксационному циклу системы (12) при малых е = 1/А. В той же работе

11Глызин, С.Д. Дискретные автоволны в нейронных системах / С.Д. Глызин, А.Ю. Колесов, Н. X. Розов // Журнал вычислительной математики и математической физики. — 2012. — Т. 52, №5, С. 840-858

показано, что при малых с£ отображение (17) имеет не менее то экспоненциально устойчивых неподвижных точек, что соответствует наличиют экспоненциально орбитально устойчивых пространственно неоднородных циклов (автоволн) у системы (12) (также данная система имеет и устойчивый однородный цикл щ = и2 = ••• = ит).

В диссертационной работе отображение (17) получено аналитически и исследуется численно (результаты представлены в подразделе 3.2.2). На первом этапе вычислительного эксперимента формируется случайная выборка начальных значений, для каждого из которых рассматривается его образ под действием нескольких итераций отображения (17).

В ходе данного итеративного процесса последовательности этих образов сходятся к экспоненциально устойчивым неподвижным точкам (17), соответствующих устойчивым автоволновым режимам системы (12) (образ случайной выборки точек после первой итерации для й = 0.3 показан на рис. 1). В результате проведенного вычислительного эксперимента в системе (12) на 4 осцилляторах выявлены устойчивые автоволновые режимы, описанные в статье по приведенной выше ссылке. Дополнительно в данной системе найден еще один нетривиальный автоволновой режим.

На втором этапе эксперимента рассматривается задача изучения расположения неподвижных точек отображения (17) при изменении параметра^, анализа устойчивости данных точек, а также изучения особенностей потери их устойчивости, что может интерпретироваться как разрушение соответствующих колебательных режимов в нейронной сети. При этом выявлены области устойчивости найденных автоволновых режимов, а также отмечены

з

-4 -2

Рис. 1. Итеративный процесс поиска неподвижных точек

особенности разрушения устойчивых периодических режимов импульсной активности и качественной перестройки динамики рассматриваемой нейронной цепи (переход к новому устойчивому периодическому режиму) при переходе коэффициента диффузии через найденные критические значения.

В заключении обобщаются результаты диссертационной работы, предлагается их интерпретация и формулируются выводы.

В приложении приводятся выдержки из программного кода для реализации разработанных в диссертации вычислительных экспериментов.

Основные результаты и выводы

1. Проведен анализ особенностей динамики пейросети на основе модели МакКаллока-Питтса. Доказана неустойчивость стационарных режимов данной сети. Разработан алгоритм численной оценки инвариантных характеристик аттракторов соответствующих динамических систем, что позволило дать численное подтверждение наличия хаотических режимов рассмотренной пейросети.

2. Изучены процессы синхронизации и десинхронизации в паре однона-правлепно связанных хаотических осцилляторов с различными типами взаимодействия, выявлены области существования устойчивого синхронного режима. Получены оценки числовых характеристик рассогласования сетей в случае десинхронизации.

3. Выполнен анализ процессов синхронизации и десинхронизации в паре диффузионно связанных осцилляторов на основе импульсиой модели нейрона, найдены параметры, при которых возможно существование синхронных режимов импульсной активности нейронов сети. Исследованы режимы импульсиой активности цепи пейроподобных осцилляторов, в динамике которых наблюдается ЬигеШ:щ-эффект. Найдены области существования устойчивых волновых режимов, отмечены особенности потери их устойчивости.

Список публикаций по теме диссертации

Публикации в перечне ведущих рецензируемых научных журналов, рекомендованных ВАК

1. Богомолов, Ю. В. Устойчивость одной модели нейрона на основе уравнения с запаздыванием / Ю. В. Богомолов // Моделирование и анализ информационных систем. — 2007. — Т. 14, №2. — С. 27-29

2. Богомолов, Ю. В. О синхронизации в нейронной сети на основе импульсной модели нейрона / Ю. В. Богомолов // Моделирование и анализ информационных систем. — 2008. — Т. 15, №2. — С. 3-9.

3. Богомолов, Ю. В. Об устойчивости состояния равновесия одной модели нейронной сети / Ю. В. Богомолов // Моделирование и анализ информационных систем. — 2014. — Т. 21, №3. — С. 55-61.

4. Богомолов, Ю. В. О числе сосуществующих автоволновых решений цепочки диффузионно связанных осцилляторов нейронного типа / Ю.В. Богомолов. С. Д. Глызин, А. Ю. Колехов // Моделирование и анализ информационных систем. — 2014. — Т. 21, №5. — С. 162-180.

Работы, опубликованные в других журналах

5. Богомолов, Ю. В. О хаотическом поведении одной модели нейронной сети / Ю. В. Богомолов // Моделирование и анализ информационных систем. — Т. 9, №2. - Ярославль, 2003. - С. 35-40.

6. Богомолов, Ю. В. О динамике одной модели нейронной сети / Ю. В. Богомолов // Современные проблемы математики и информатики Вып.6 — ЯрГУ. Ярославль, 2004. — С.87-96

7. Богомолов, Ю. В. Динамика одной модели нейронной сети / Ю. В. Богомолов // Нейроинформатика и ее приложения: Материалы XII Всероссийского семинара, Красноярск, 2004. — С. 24-25

8. Богомолов, Ю. В. Синхронизация нейронных сетей с различной динамикой / Ю. В. Богомолов // «Нейроинформатика-2005», VII всероссийская научно-техническая конференция. Сб. науч. тр. В 2-х частях. 4.2. М.: МИФИ, 2005. - С. 11-16.

9. Богомолов, Ю. В. О синхронизации взаимодействующих нейронных сетей с различной динамикой / Ю. В. Богомолов // Современные проблемы математики и информатики Вып.7 — ЯрГУ. Ярославль, 2005

10. Богомолов, Ю. В. О синхронизации сетей с различными типами взаимодействия / Ю.В. Богомолов // «Нейроинформатика-2006», VIII всероссийская научно-техническая конференция. Сб. науч. тр. В 3-х частях. Ч.З. М.: МИФИ, 2006. - С. 30-38.

11. Богомолов, Ю. В. Хаотическая синхронизация нейронных сетей / Ю. В. Богомолов // Современные проблемы математики и информатики Вып.8 — ЯрГУ. Ярославль, 2006

12. Богомолов, Ю. В. Об устойчивости модели нейрона на основе уравнения с запаздыванием / Ю.В. Богомолов // «Нейроинформатика-2007», IX всероссийская научно-техническая конференция. Сб. науч. тр. В 3-х частях. Ч.З. М.: МИФИ, 2007. - С. 132-137.

13. Богомолов, Ю. В. Анализ устойчивости модели нейрона-автогенератора / Ю. В. Богомолов 11 «Математические методы в технике и технологиях». Материалы 20 международной научной, конференции. — Ярославль, 2007

14. Богомолов, Ю. В. Синхронизация в системе двух нейронов с диффузной связью / Ю.В. Богомолов // «Нейроинформатика-2008», X всероссийская научно-техническая конференция. Сб. науч. тр. В 3-х частях. - М.: МИФИ, 2008

15. Маслов, И. .С Нейросетевой подход к обработке лингвистической информации / И. С. Маслов, Д.Е. Муравьёв, Ю.В. Богомолов // XIV Всероссийская н.-т. конференция «Нейроинформатика-2012». Сборник научных трудов в 3-х частях. — М.: МИФИ, 2012

16. Белов, Д. Е. Многослойный нерсептрон на основе ЕП-нейрона с альтернативными синапсами / Д. Е. Белов, Ю. В. Богомолов // «Нейроинформатика-2014», XVI всероссийская научно-техническая конференция с междунар. участием. Сб. науч. тр. В 3-х частях. Ч. 2 - М.: МИФИ, 2014. - С. 105-112.

17. Богомолов, Ю. В. Алгоритм вычисления энтропии одной модели нейронной сети / Ю. В. Богомолов // Вестник ЯрГУ. Серия Естественные и технические науки. — 2014. — №2. — С. 72-77.

Подписано в печать 23.10.14. Формат 60x84/16. Тираж 80 экз. Заказ 25/14. Отдел оперативной полиграфии ЯрГУ 150000, Ярославль, ул. Советская, 14.