автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Исследование структуры колебаний в слабонеоднородных сетях нейронов, описываемых дифференциальными уравнениями с запаздыванием

на правах рукописи

Лагутина Надежда Станиславовна

Исследование структуры колебаний в слабонеоднородных сетях нейронов, описываемых дифференциальными уравнениями с запаздыванием

специальность 05.13.18 — Математическое моделирование, численные методы и комплексы программ

I

Автореферат

диссертации на соискание ученой степени кандидата физико-математических наук

Ярославль—2003

Работа выполнена в Ярославском государственном университете им. П. Г. Демидова

Научный руководитель доктор физико-математических наук,

профессор каф. компьютерных сетей Ярославского государственного университета им. П. Г. Демидова Майоров Вячеслав Владимирович Официальные оппоненты: доктор физико-математических наук,

профессор каф. математического моделирования Ярославского государственного университета им. П. Г. Демидова Кубышкин Евгений Павлович доктор физико-математических наук, профессор кафедры информационных систем и технологий Вологодского государственного технического университета Мухамадиев Эргашбой Ведущая организация Ярославский государственный

технический университет

Защита состоится 5 декабря 2003 года в 15 часов в ауд. 304 на заседании диссертационного совета К 212.002.04 при Ярославском государственном университете им. П. Г. Демидова по адресу:

150000, г. Ярославль, ул. Советская, д.14.

С диссертацией можно ознакомиться в библиотеке Ярославского государственного университета им. П. Г. Демидова по адресу:

150000, г. Ярославль, ул. Полушкина роща, д.1.

Автореферат разослан 5 ноября 2003 года ^

Ученый секретарь У\ Глызин С.Д.

диссертационного совета

Общая характеристика работы

Актуальность темы

Работа посвящена исследованию структуры колебаний в сетях импульсных нейронов.

Э. Эдриан показал, что сенсорная информация передается в виде импульсов, т.е. кратковременных сигналов «все, или ничего». В соответствие с гипотезой, выдвинутой Д. Хеббом и развитой Дж. Эк-клсом, нервные клетки генерируют импульсы в ответ на последовательности поступающих импульсов в зависимости от распределения синаптических весов, которые характеризуют эффективность соответствующих связей. Согласно синаптической теории информация, хранимая сетью, отражается в структуре синаптических весов. Эта теория лежит в основе всех нейросетевых моделей.

В настоящее время не существует единой точки зрения на способы представления и хранения информации в мозге. В рамках современной науки можно условно выделить два подхода и соответственно два класса математических моделей нейронных сетей: частотные и фазово-частотные.

Первый подход основан на предположении о том, что состояние нейрона характеризуется частотой импульсации. Состояние ассоциации нейронов отражает распределение частот импульсации элементов. Фазовые отношения не учитываются. Изменение состояния возможно только в результате изменения воздействия. Направление можно назвать детекторным.

Его основы были заложены в середине XX века, когда У. Мак-Каллок и У. Питтс в 1943 году предложили общую теорию обработки информации, основанную на нейронных сетях, а в 1949 году О. Хеббом была разработана модель обучения нейронов человеческого мозга. В 1958 году Ф. Розенблат и группа его коллег разработали примитивную модель работы мозга, названную ими персеп-трон (от слова perception — восприятие, понимание), и алгоритм обучения этой модели.

В 1985 году несколько групп ученых почти одновременно пришли к идее обучения многослойных нейронных сетей. С этого мо-

мента возобновился интерес к искусственным нейронным сетям. Различные точки зрения в рамках детекторного подхода рассматриваются в работах А. А. Фролова. Эффективность нейросете-вого подхода к решению ряда сложных задач исследуется в работах А. Н. Горбаня.

На частотном или детекторном подходе основаны работы посвященные моделям сетей из операционных усилителей (НорйеЫ Л. Л., СЬиа Ь.). Рассматриваемый элемент имеет несколько входов, на которые поступают сигналы от других подобных элементов. Эти сигналы суммируются с соответствующими весами, в зависимости от результата операционный усилитель однозначно формирует выходной сигнал. Сеть представляет собой множество связанных между собой элементов. Набор значений выходных сигналов всех элементов называется состоянием сети в каждый фиксированный момент времени. В процессе обучения в фазовом пространстве формируется множество устойчивых состояний равновесия, которые и хранят информацию. Под действием внешнего сигнала сеть попадает в область притяжения одного из них. В итоге сеть «замирает»в состоянии равновесия. Можно сделать вывод, что детекторные сети статичны, как и хранимая в них информация.

Фазово-частотный подход к хранению информации в мозге основан на возможности согласования работы нейронов не только в пространстве, но и во времени. Одно и то же воздействие, в зависимости от состояния нейрона, может привести или не привести к генерации импульса. Согласно биологическим данным, отдельные нейроны, и нейронные ассоциации обладают свойством абсолютной и относительной рефрактерности (невосприимчивости, или слабой восприимчивости к внешнему воздействию). В частности, биологический нейрон во время генерации спайка и на некотором промежутке времени после спайка неспособен (или почти неспособен) воспринимать воздействие. Тем самым, процесс взаимодействия неоднороден во времени.

Существует точка зрения, что кодирование информации является динамическим процессом, связанным с возникновением и разрушением ансамблей когерентно работающих нейронов (Н. П. Бех-

терева, А. Н. Лебедев). Таким образом, кодирование информации сопровождается образованием волн нейронной активности и носителем информации может являться колебательный режим динамической системы.

Волновой подход моделируют сети с нестационарным поведением. В работах В. В. Майорова и Г. В. Шабаршиной предложена конструкция, названная сетью \¥-нейронов, которая может запоминать и воспроизводить последовательность бинарных векторов. По кольцевой структуре нейронных ассоциаций после специального выбора весов могут распространяться волны импульсов. Следует отметить, что \¥-нейроны функционируют в дискретном времени. Аналогичная идея использовалась в работах Г. В. Шабаршиной применительно к сетям нейроподобньтх элементов, схема функционирования которых имитирует импульсные нейроны.

В исследованиях Г. И. Шульгиной развивается модель нейронной системы со стационарным поведением, для которой показано, что периодическое воздействие на общий вход ассоциативной сети — части системы — является неотъемлемым условием запоминания и воспроизведения информации.

В работах С. А. Кащенко, В. В. Майорова, И. Ю. Мышкина предложено уравнение с запаздыванием для осцилляторного нейронного элемента. При этом колебательные режимы в нейронных сетях интерпретируются как образы. На основе физиологических представлений предложена модель нейронной среды, способной хранить информацию, представленную в волновом виде. Система уравнений с запаздыванием, описывающих нейронную популяцию допускает возможность не только компьютерного, но и аналитического исследования с помощью асимптотических методов.

В работе С. А. Кащенко, В. В. Майорова обсуждались пути возможного развития модели. Они основаны на детализации схемы взаимодействия биологических нейронов. Это приводит к новым эффектам в поведении решений и организации колебаний нейронных систем.

Перечисленные выше факты послужили основой для создания модели взаимодействия нейронов, основанной на дифференциаль-

ном уравнении с запаздыванием. Полученные результаты являются актуальными, поскольку:

1. Процессы распространения волн импульсов в моделях нейронных сетей изучены еще недостаточно.

2. Открываются перспективы развития новых подходов к проблеме обработки информации, которые связаны с тем, что ее носителем может являться не статическое распределение битовой величины, а колебательный режим динамической системы или ансамбля систем (идеи нелинейной динамики). Результаты исследования согласуются с биологическими данными, поэтому модель взаимодействия нейронов и соответствующие сети могут служить достаточно удобными объектами для организации такого рода режимов.

Цель работы

Представленные в диссертации исследования проведены в рамках волнового подхода к проблеме обработки информации. Аттрактор интерпретируется как образ-отражение некоторой информации. Характер исследований определялся поставленными в работе целями:

используя физиологические предпосылки, разработать модель взаимодействия нейронов, основанную на дифференциальном уравнении с запаздыванием;

на ее основе исследовать системы, способные хранить информацию в волновом виде;

изучить вопросы строения и планирования колебательных режимов систем.

Научная новизна работы

Предложена новая модель взаимодействия нейронных элементов, достаточно детально отражающая некоторые характеристики биологического нейрона.

Подробно рассмотрен метод анализа системы нейронных элементов, позволяющий выбирать параметры модели так, чтобы она имела аттракторы заранее заданной структуры.

Предложены и исследованы новые сети, состоящие из импульсных нейронов.

Показано, что эти сети можно эффективно использовать для хранения информации в волновом виде.

Положения выносимые на защиту

Исследования позволили решить важные конкретные задачи. Наибольший интерес из них представляют следующие положения:

1. Система нейронов способна хранить и воспроизводить заранее заданную периодическую последовательность импульсов (возможность хранения).

2. Изучены режимы самоорганизации в однородных и слабо неоднородных полносвязных сетях. Показано, что без подстройки синаптических весов сеть может бесконечно долго хранить разнообразные последовательности импульсов.

Методы исследования

На первый план выходят методы асимптотического интегрирования дифференциальных уравнений с запаздыванием, методы имитационного моделирования, нелинейной динамики, методы исследования разностных уравнений. Для описания работы сетей выписывается система дифференциальных уравнений с запаздывающим аргументом. Анализ биологических данных позволяет выбрать в фазовом пространстве множество начальных условий. Система уравнений асиш1тотически интегрируется. Строятся разностные уравнения для моментов начала импульсов. В итоге задача сводится к анализу конечномерного отображения.

Научно-практическая значимость результатов

Результаты работы могут быть использованы для моделирования проведения волны возбуждения в нейронных структурах. Они могут найти применение пои создании новых сред для обработки информации, представленной в виде колебательных реж имов динамических систем.

Апробация работы

Результаты работы были представлены на всероссийских научно-технических конференциях «Нейроинформатика-2001», «Нейро-информатика-2002», «Нейроинформатика-2003», на 9-ом и 10-м Всероссийских семинарах «Нейроинформатика и ее приложения» (Красноярск, 2001, 2002). Результаты работы подробно обсуждались на семинарах кафедры компьютерных сетей Ярославского государственного университета им. П. Г. Демидова.

Публикации

По теме исследования опубликовано 10 статей.

Структура диссертации

Работа состоит из введения, трех глав, разделенных на восемь параграфов, заключения и списка литературы из 73 наименований. Содержание диссертации составляет 101 страница.

Краткое содержание работы

Во введении приводится обзор публикаций, посвященный различным моделям нейронных сетей. Обосновывается актуальность исследований и излагается краткое содержание диссертации.

Первая глава посвящена главным образом описанию модели взаимодействия нейронов, основанной на дифференциальном уравнении с запаздывающим аргументом. Рассматривается уравнение, описывающее поведение нейрона под влиянием группы внешних импульсов. Показано, что периодическое внешнее воздействие навязывает нейрону свою частоту.

В §1.1 сформулированы необходимые сведения о функционировании биологического нейрона. Нервная клетка (нейрон) состоит из центральной части — тела, длинного древовидного отростка

— аксона и коротких древовидных отростков — дендритов. Нейрон ограничен мембраной. Состояние нервной клетки характеризуется разностью потенциалов между внутренней и внешней поверхностью мембраны тела нейрона (мембранным потенциалом). Большую часть времени мембранный потенциал отрицателен и велик по абсолютной величине (состояние поляризации). Будем отсчитывать мембранный потенциал от его значения в состоянии максимальной поляризации, тогда его значение будет положительным. В состоянии поляризации мембранный потенциал имеет тенденцию к росту. Если потенциал достигает некоторого порогового уровня, то нейрон генерирует кратковременный высокоамплитудный импульс (спайк). Рожденный нейроном спайк распространяется по аксону и его разветвлениям. Последние образуют с другими нейронами контакты — синапсы. При поступлении сигнала по аксону к синапсу в нем освобождаются химические вещества (медиаторы), которые вызывают возбуждение или торможение в нейроне-приемнике. В зависимости от результата воздействия синапсы делятся на возбудительные и тормозные. На некотором промежутке времени после своего спайка нейрон абсолютно невосприимчив к внешнему воздействию. Этот временной промежуток называется периодом рефрак-терности.

В §1.2 описана модель нейрона, основанная на дифференциальном уравнении с запаздывающим аргументом. Каждый нейрон описывается параметром «(*), названным мембранным потенциалом, { - текущий момент времени. В тот момент, когда мембранный потенциал достигает единичного значения, нейрон генерирует импульс, который может оказывать влияние на изменение мембранных потенциалов других нейронов. Необходимо отметить, что модель отражает важное свойство природной нервной клетки — рефрак-терность. Считается, что спайк, пришедший на. синапсы нейрона-приемника во время рефрактерного периода, не вызывает образования медиатора.

В качестве основы была взята модель генерации спайков, предложенная в работах С. А. Кащенко, В. В. Майорова, И. Ю. Мышкина1

' Кащенко С.А., Майоров В.В. Исследование дифференциально-разностных

Она базируется на анализе натриевого и калиевого токов, проходящих через активные каналы мембраны. Учитывается экспериментальный факт запаздывания калиевого тока по отношению к натриевому. Величина задержки принята за единицу времени. Для мембранного потенциала и(£) > 0 предлагается следующее дифференциально-разностное уравнение:

й=\[-1-/„а{и) + /к(и(1-1))]и. (1)

Здесь /лга(^) и }к{и) — положительные достаточно гладкие функции, характеризующие состояние натриевых и калиевых каналов, с помощью которых происходит перенос ионов через мембрану. Будем считать, что /дга(и) 0 и /к(и) 0 при и —> оо быстрее, чем 0(и-1). По смыслу задачи параметр, определяющий скорость протекания электрических процессов, А > 1. Кроме того, выполнено условие:

<* = ЫО) -/лга(0) - 1 > 0.

Будем считать, что спайк начинается с того момента, когда и(Ь) пересекает единичное значение с положительной скоростью и заканчивается, когда и^) пересекает единичное значение с отрицательной скоростью. Пусть импульс начался в нулевой момент времени. Моменты окончания данного и начала следующего спай-ков обозначим соответственно и В работах С. А. Кащенко, В. В. Майорова проведено подробное исследование динамики мембранного потенциала нейрона, описываемой уравнением (1), и доказано утверждение о том, что для и ¿2 при А —» оо имеют место асимптотические равенства:

11 = Т1+о{ 1), Ъ = Т2 + о{1), (2)

где

Т1 = 1 + аь Т2 = Т1+а2/а+1, (3)

уравнений, моделирующих импульсную активность нейрона // Математическое моделирование. - 1993. Т.5. №12. С. 13-25.

<*i = /tf(0)-l, a2 = /jve(0) + l.

Чтобы описать динамику нейрона, находящегося под синаптиче-ским влиянием другого такого же нейрона, в уравнение (1) следует добавить слагаемые, моделирующие синаптическое воздействие.

Пусть v(t) — мембранный потенциал воздействующего нейрона. В отличие от модели взаимодействия, описанной в работах С. А. Кащенко, В. В. Майорова, И. Ю. Мышкина будем считать, что медиатор присутствует на соответствующих синапсах не только в течение спайка, но и некоторое время после него. Пусть время жизни медиатора составляет Тм = (2 — e)Ti, 0 < е < 0.5. Тогда можно записать функционал ф, являющийся индикатором наличия медиатора, следующим образом :

Введем также функционал Н(и), обеспечивающий наличие периода рефрактерности у нейрона, находящегося под воздействием:

H (и) = 9(1 - u(t))9( 1 - «(f - (1 - e)Ti))0(l - u(t - 2(1 - e)T{)).

Функционал Н(и) равен нулю во время спайка и в течение времени 2(1 — е)Т\ после него. Продолжительность рефрактерного периода, включая время спайка, составляет Тд = (3 — 2ё)Т\, Тя < Тг, где Тг задается формулой (3).

Нейрон испытывает воздействие другого нейрона только при одновременном выполнении трёх условий: он вышел из состояния рефрактерности; на соответствующих синапсах выделился медиатор; спайк воздействующего нейрона начался в тот момент, когда рассматриваемый нейрон не находился в рефрактерном состоянии.

0(t>) = 1 - 9(1 - v(t))9( 1 - v(t - (1 - е)Г0)

где 0 — функция Хевисайда:

На основании сформулированных условий слагаемое, моделирующее синаптическое воздействие, будет выглядеть как произведение нескольких множителей.

Первое условие обеспечивается функционалом Н{Ь), второе — Третье условие можно записать с помощью функции Хеви-сайда от интеграла разности #(£) — ^(О на отрезке, длина которого равна времени жизни медиатора.

Таким образом, для нейрона, находящегося под воздействием т других нейронов предлагается уравнение:

и = А [-1 - ШиЦ)) + /*(«(* - 1))]«(0 +

\

+ А

а^9кН{и)ф(ик)в I / (Н(и)-ф{ук))сИ + 5 к= 1

1 \

«(*), (4)

где дк — вес, а — мембранный потенциал, соответствующие к-му нейрону, 0 < 8 < 0.5.

Следует отметить два существенных отличия предлагаемой модели от рассматриваемой в работах С. А. Кащенко, В. В. Майорова, И. Ю. Мышкина. Во-первых, увеличивается время жизни медиатора до (2 — е)Тх, во-вторых, учитывается особенность выделения медиатора в то время, когда нейрон находится в рефрактерном состоянии. Это приводит к новым эффектам в организации колебаний нейронных систем.

В §1.3 исследуется поведение решений уравнения нейрона, находящегося под влиянием пачки импульсов. Показано, что периодическое воздействие навязывает нейрону свою частоту. Этот результат согласуется с данными биологических исследований.

Во второй главе рассмотрена полносвязная однородная сеть импульсных нейронов возбудительного типа. Множество нейронов однородной сети можно разбить практически произвольно на три попарно непересекающихся множества. Элементы, принадлежащие каждому из множеств, функционируют синхронно. Последовательно и в цикле происходит генерация импульсов нейронами

первого, второго, третьего, снова первого и т.д. множеств. Такие режимы естественно назвать режимами самоорганизации, так как они не требуют подстройки эффективности взаимодействия элементов. Необходимо отметить, что указанные режимы в модели С. А. Кащенко, В. В. Майорова, И. Ю. Мышкина не существуют.

Рассмотрено обобщение этой задачи. В зависимости от начального состояния однородная полносвязная сеть может организовываться в кольцо из множеств Х2, ■.., Хм (IV > 3) синхронно функционирующих нейронов. Сеть можно рассматривать как модель хранения импульсных последовательностей.

Рассмотрим содержание главы более подробно.

В §2.1 рассматривается полносвязная однородная сеть нейронов, т.е., каждый элемент имеет доступ ко всем остальным нейронам сети, а все синаптические веса одинаковы и равны д. Множество всех нейронов разобьем на три непустые попарно непересекающихся множества Х\, Х2, Х3, число элементов в которых т2, Ш3, соответственно.

Теорема 2.1.1. Существует устойчивый режим работы сети, при котором нейроны, принадлежащие каждому из множеств, функционируют синхронно и генерация импульсов элементами множеств Х\, Х2, Хз осуществляется последовательно и циклически. При этом временные рассогласования между спайками нейронов, принадлежащих третьему и первому, первому и второму, второму и третьему множествам равны величинам £2, £з с точностью до о(1) (при \-+оо):

Т2

Т2

(6)

Т2

если т\, ГП2, тоз таковы, что

з

^ < Тм, £ & - ^ > Гл. * = 1.2>3-

Поясним идею доказательства. Одним из основных моментов доказательства теоремы является выбор начальных условий. Зададим для нейронной сети априорно моменты начала спайков так, чтобы спайки элементов множества Х2 следовали за спайками элементов из множества Потребуем выполнения следующих условий: во-первых, пока не закончились спайки нейронов из множества Х^, элементы множества Х3 находятся в рефрактерном состоянии, во-вторых, к моменту начала спайков нейронов из множества Хч элементы из множества Хз становятся восприимчивы к воздействию, а нейроны множества Х\ еще рефрактерны, в-третьих, к моментам начала спайков элементов множества Х-з нейроны из Х\ вышли из состояния рефрактерности.

Обозначим мембранный потенциал _/'-го нейрона, принадлежащего г-му множеству через . Пусть - — момент начала г-го спайка ,7-го нейрона, принадлежащего Л-ому множеству (г = 1,2...; ] — 1 ,...,тк', к = 1,2,3). .Функционирование системы на промежутке [¿}д, ^д] будем называть первым тактом прохождения волны возбуждения по кольцу. Второй такт открывается импульсом первого пейрона, начинающимся в момент времени ^д.

Система уравнений, определяющая функционирование исследуемой сети, согласно (4) выглядит так:

А [-1 - /ма(щ,М + - 1))]

3 тп,

I. /=1 к=1

х 9

/ *

у

(Н(и^) - Ф{щ,к)) <& + 8

(8)

г = 1,2,3, з = 1,..., тп{.

Для исследования системы (8) примененяется метод асимптотического пошагового интегрирования, предложенный в работах С. А. Кащенко, В. В. Майорова

Описанный выбор начальных условий позволяет проанализировать динамику нейронной системы на втором такте прохождения волны, который открывается в момент ¿^д спайком первого элемента множества Х\. Введем обозначения для временных рассогласований на начальном такте волны. Положим • = — (к = 1,2,3) — рассогласования между спайками го и {] — 1)-го нейрона внутри множеств. Пусть = д - ь\_х ГПк_1 (к — 2,3) — рассогласования между началом спайков первого элемента к-го множества и последнего элемента (к — 1)-го множества. Обозначим через • аналогичные величины на втором такте прохождения волны. Спайк первого элемента множества Х\ (начало второго такта прохождения волны) относительно спайка последнего элемента множества Хз запаздывает на величину ^д = — ^ тз.

Лемма 2.1.1. Справедлива формула с точностью до о(1) (при \ оо) :

где г = 1,2,3, ] = 2,..., тг-, то = т3.

Из леммы 2.1.1 вытекает, что спайки нейронов внутри множеств с течением времени (с ростом номера такта) синхронизируются, и, в пределе = 0 для j > 2. Таким образом, доказано утверждение теоремы 2.1.1 о синхронизации.

Лемма 2.1.2. Пусть = 0 при ] > 2. Тогда для величин $1, ^¿д, где г = 1,2,3; к = 2,3 (временных рассогласований между началами спайков нейронов соседних множеств), при А —> оо справедливы асимптотические формулы:

1+ (тп;_ 1 - 1)д'

(1 + ?тз)£?,1 + + = Т2 + е?,г + (1 + Чт2)£ д + = Т2 + о( 1), €х,1 + 'Ь + (! + ™1?)£зд = Т2 + о(1).

(9) (10) (11)

Формулы (9)—(11) описывают итерационный процесс. По значениям £2,11 £зд последовательно вычисляются £1,1, £2,11 £зд- После замены на ^ (г = 2,3) можно продолжить вычисления, т. е. найти временные рассогласования на следующем такте прохождения волны. Процесс сходится, поскольку итерационные соотношения представляют собой метод Зейделя для решения системы линейных уравнений с положительно определенной и симметрической матрицей. Компоненты его предельной точки (£ъ£2,£з) заданы формулами (5) — (7).

В §2.2 рассматривается полносвязная однородная сеть импульсных нейронов, представленная в виде объединения N непустых попарно непересекающихся множеств , Х2,.. •, количество элементов которых обозначим через тп\, т2,.. соответственно. Исследуются колебательные режимы, в которых последовательно в цикле происходит синхронная генерация импульсов нейронами первого, второго, и т.д., Л^-го, снова первого и т.д. множеств.

Пусть на некотором начальном промежутке времени спайки элементов множества следуют за спайками элементов из множества Х{, (г = 1, 2,..N, номера г ± АЛГ, к = 1, 2,... отождествляются) и внутри каждого множества спайки начинаются в порядке возрастания номеров элементов. Будем говорить, что нейрон стационарно действует на другой, если спайк второго произошел позже, чем распался медиатор, появившийся под действием спайка первого нейрона. Пусть на элементы множества Х{ стационарно действуют все элементы из множеств Х,-_2, Х,-з,..., , где аг- > 0, то есть

во время спайков нейронов из множества Хг_а,_2, нейроны множества Х{ находятся в рефрактерном состоянии, но выходят из него к началу генерации импульсов нейронами из множества Хг_а,_1. Таким образом, общее число стационарно действующих элементов на нейрон из множества Х{ равно

¿=¿-0,-1

К стационарному воздействию добавляется влияние нейронов из множества Хе_1 по мере генерации ими импульсов.

¿-2

т

Теорема 2.2.2. Пусть величины:

Т2 - 2qT\Ai + 2Тх Е (А{ - A^mJ^

_tu_L.

( N -Л

mi-1 I g + E mj J удовлетворяют условиям:

íi < 2Ji,

Eft" ¿

Í=1 j=t—a, í—1 j=i—a, — í

i = l,...,N,

тогда существует устойчивый режим работы сети (аттрактор), при котором нейроны, принадлежащие каждому из множеств, функционируют синхронно. Генерация спайков нейронами множеств -^ь • • • > Хк осуществляется последовательно и циклически. Временные рассогласования между спайками элементов, принадлежащих (г — 1 )-ому и i-ому множествам, равны соответственно величинам £¿, i = 1,..., N с точностью до о(1) при А оо.

В третьей главе исследуются колебательные режимы в неоднородных сетях импульсных нейронов.

В §3.1 исследуется простейшая неоднородная полносвязная сеть-кольцо из трех нейронов. Задача имеет самостоятельный интерес, т.к. в рассмотренных ранее моделях сетей импульсных нейронов (С. А. Кащенко, В. В. Майоров, И. Ю. Мышкин), организованных в аналогичные структуры число элементов не могло быть меньше четырех.

Рассмотрим систему из трех нейронов, объединенных в кольцо. Будем считать, что синаптический вес соответствующий связи первого и второго нейронов равен второго и третьего — ц2, третьего и первого — дз.

Будем говорить о волне импульсов, распространяющейся в порядке возрастания номеров нейронов: от первого ко второму, от второго к третьему, от третьего снова к первому и т. д. Обозначим через (тг = 1,2,3,...) последовательные моменты начала спайков первого нейрона. Пусть ¿2, ¿з — соответствующие последовательности начала спайков второго и третьего нейронов.

Теорема 3.1.1. Для промежутков времени между спайками нейронов выполнены предельные соотношения:

Ига - = £х,

П-+00

где £ь£2)£з с точностью до о(1) при А —> оо выражаются формулами:

Т2

6 = + + (12) 6 - „ , _,Г2 , (13)

£з =

9з(1 + Ъ1 + ?2Х

т2

91(1+ 9Г1 + ч21 + Г1)'

т2

(14)

В §3.2 рассмотрена кольцевая структура из N нейронов возбудительного типа, в которой г-ый элемент связан с (г - 1)-ым и (г -+-1)-ым нейронами (каждому элементу сети поставлен в соответствие номер). Доказано, что система имеет по крайней мере два. аттрактора. Один из них состоит из волн, распространяющихся в сторону увеличения номеров нейронов. Другой соответствуй т волне, распространяющихся в обратю сторону. Можно выбрачь синаптические

коэффициенты воздействия таким образом, чтобы в системе существовали волны активности заранее заданной структуры.

Теорема 3.2.1. Пусть числа (г = 1,2,..., удовлетворяют нерав енствам:

О < # < Тм\

££

¿=1

3=1

(г=1,2,...,АГ),

и синаптпические веса определены формулами:

N

т2 - е $

Як-1,к — со ' £к

к = 1,2,3,...,^.

Тогда существует устойчивый режим, при котором импульсы нейронов следуют в порядке возрастания номеров, и временные рассогласования между спайками (1—1 )-го и г-го нейронов ({— 1,2,..., Л^ принимают значения с точностью до о(1) при А —> оо.

В §3.3 исследуется слабо неоднородная полносвязная сеть. Показано, что такая сеть в зависимости от начальных условий может организовываться в кольцо множеств Хх,Х2, ■. - (/V > 3) синхронно функционирующих нейронов.

Рассмотрим режим работы сети, при котором последовательно и в цикле происходит синхронная генерация импульсов нейронами первого, второго, ..., п-ого, снова первого и т.д. множеств. Будем считать, что когда нейроны г-го множества генерируют импульсы, элементы (¿ + 1)-го множества вышли из рефрактерного состояния, а все остальные нейроны сети невосприимчивы к внешнему воздействию.

Теорема 3.3.1. Пусть числа д4'-? таковы, что значения (г = 1,..., п; .7 = 1,2,..., гп{) определенные формулами:

ТПХ £ & п

1+Е^

1- ..= 1 J

г = 1,..., п

удовлетворяют неравенствам:

О < £ < ТМ, ¿=1

3=1

г = 1,..., п,

тогда для любого е > 0 можно указать такое 5 > 0, что в сети с синоптическими весами, удовлетворяющими неравенству:

г, к= 1,...,п; ] = 1,2, ...,тг-, / = 1,2,

в предельном режиме промежутки времени между спайками элементов в каждом множестве равны нулю, т.е. нейроны функционируют синхронно, а временные рассогласования 7/° между импульсами элементов (г — 1 )-ого и 1-го множеств удовлетворяют неравенству:

Рассмотренные сети являются «гибкими» системами, позволяющими хранить разнообразные периодические последовательности

импульсов. Если интерпретировать пространственное распределение спайков элементов внутри каждого множества как образ, то сеть может бесконечно долго хранить последовательность образов (применение для хранения меняющихся визуальных сцен). Информативными могут быть как сами образы, так и временные промежутки между ними. Данные сети могут быть использованы в системах, осуществляющих идентификацию периодических последовательностей. При настройке адаптивных систем, решающих задачи классификации или прогноза, также возникает необходимость многократного периодического повторения обучающей выборки.

В заключении подводятся основные итоги работы.

Литература

[1] Лагутина Н.С. Модель импульсного нейрона. Колебания в простейшей сети из трех нейронов // Современные проблемы математики и информатики. Ярославль: ЯрГУ, 2000. С. 109-115.

[2] Лагутина Н.С. Самоорганизация полносвязной сети импульсных нейронов // Моделирование и анализ информационных систем. Ярославль, 2000. Т. 7. №2. С. 20-25.

[3] Лагутина Н.С. Организация однородной полносвязной сети в кольцо множеств синхронно функционирующих нейронов // Моделирование и анализ информационных систем. Ярославль, 2001. Т. 8. №2. С. 29-33.

[4] Лагутина Н.С. Модель импульсного нейрона. Колебания в простейшей сети из трех нейронов. Самоорганизация полносвязной сети импульсных нейронов // Сборник научных трудов III Всероссийской научно-технической конференции «Нейроинформатика-2001». 4.1. М.: МИФИ, 2001. С. 200-205.

[5] Лагутина Н.С. Организация однородной полносвязной сети нейронов автогенераторов в кольцо множеств сипхронно функционирующих элементов //Сборник научных трудов. Нейроин-

форматика и ее приложения: Материалы IX Всероссийского семинара. Красноярск: ИПЦ КГТУ, 2001. С- 119-120.

[6] Лагутина Н.С. Самоорганизация в слабо неоднородной полносвязной сети импульсных нейронов-автогенераторов // Сборник научных трудов IV Всероссийской научно-технической конференции «Нейроинформатика-2002». 4.2. М.: МИФИ, 2002. С. 60-66.

[7] Лагутина Н.С. Организация колебаний в однородной полносвязной сети нейронов автогенераторов //Сборник научных трудов. Нейроинформатика и ее приложения: Материалы X Всероссийского семинара. Красноярск: ИПЦ КГТУ, 2002. С. 129-130.

[8] Лагутина Н.С. Организация однородной полносвязной сети в кольцо множеств синхронно функционирующих нейронов автогенераторов // Сб. Труды XXIV Конференции молодых ученых механико-математического факультета МГУ им. М. В. Ломоносова. Москва, 2002. С.104 -108.

[9] Лагутина Н.С. Задача о воздействии пачки спайков на модель импульсного нейрона // Сборник научных трудов V Всероссийской научно-технической конференции «Нейроинформатика-2003». 4.1. М.: МИФИ, 2003. С. 130-133.

[10] Лагутина Н.С., Парамонов И. В. Численное моделирование импульсных нейронных сетей, основанных на уравнениях с запаздыванием //Сборник научных трудов. Нейроинформатика и ее приложения: Материалы XI Всероссийского семинара. Красноярск: ИПЦ КГТУ, 2003. С. 139-140.

í

Í20220

Введение

1. Обзор основных направлений моделирования нейронных сетей

2. Краткое содержание работы

Глава 1. Модель взаимодействия импульсных нейронов, основанная на дифференциальном уравнении с запаздыванием

§1.1 Краткая характеристика свойств биологической нервной клетки

§1.2 Модель нейрона, основанная на уравнении с запаздыванием

§1.3 Задача о воздействии пачки спайков на импульсный нейрон

Глава 2. Исследование колебательных режимов в однородных полносвязных сетях импульсных нейронов

§2.1 Самоорганизация полносвязной сети в кольцо из трех множеств синхронно функционирующих нейронов

§2.2 Организация однородной полносвязной нейронной сети в кольцо множеств синхронно функционирующих нейронов

Глава 3. Исследование структуры колебаний в неоднородных сетях импульсных нейронов

§3.1 Простейшая неоднородная полносвязная сеть-кольцо из трех нейронов

§3.2 Исследование колебательных режимов работы в неоднородной сети из N импульсных нейронов, организованных в кольцо.

§3.3 Организация полносвязной слабо неоднородной сети нейронов в кольцевую структуру из множеств синхронно функционирующих элементов

1. Обзор основных направлений моделирования нейронных сетей

Работа посвящена исследованию структуры колебаний в сетях импульсных нейронов.

Искусственные нейронные сети появились как попытка построить модель деятельности человеческого мозга. Нейронные сети состоят из элементов, возможности которых аналогичны большинству элементарных функций биологического нейрона. Эти элементы организованы в структуры, некоторым образом приближающие анатомию мозга.

Детальное изучение нейрона позволило выделить несколько основных его частей: тело клетки, древовидные отростки, единственный длинный называется аксоном, а остальные короткие — дендритами, синаптиче-ские связи, т.е. места контакта с другими нейронами. Количество нейронов в коре головного мозга оценивается приблизительно как 3 х Ю10, общее число нейронов как 1011, а количество синаптических связей примерно 1015. Скорость передачи импульсов между нейронами головного мозга оценивается как 0,5—2 м/с [1].

Э. Эдриан показал, что сенсорная информация передается в виде импульсов, т.е. кратковременных сигналов «все, или ничего»[2]. В соответствие с гипотезой, выдвинутой Д. Хеббом [3] и развитой Дж. Экклсом [4], нервные клетки генерируют импульсы в ответ на последовательности поступающих импульсов в зависимости от распределения синаптических весов, которые характеризуют эффективность соответствующих связей. Согласно синаптической теории сведения отражаются в структуре синаптических весов. Эта теория лежит в основе всех нейросетевых моделей.

В настоящее время не существует единой точки зрения на способы представления и хранения информации в мозге. В рамках современной науки можно условно выделить два подхода и соответственно два класса математических моделей нейронных сетей: частотные и фазово-частот-ные.

Первый подход основан на предположении о том, что состояние нейрона характеризуется частотой импульсации. Состояние ассоциации нейронов отражает распределение частот импульсации элементов. Фазовые отношения не учитываются. Изменение состояния возможно только в результате изменения воздействия. Направление можно назвать детекторным.

Его основы были заложены в середине XX века, когда У. МакКаллок и У. Питтс в 1943 году предложили общую теорию обработки информации, основанную на нейронных сетях, а в 1949 году О. Хеббом была разработана модель обучения нейронов человеческого мозга [3]. В 1958 году Ф. Розенблат и группа его коллег разработали примитивную модель работы мозга, названную ими персептрон (от слова perception — восприятие, понимание), и алгоритм обучения этой модели [б], [7].

В 1969 М. Минский и С. Пейперт в своей книге «Персептроны»детально проанализировали алгоритм обучения персептрона, предложенный Ро-зенблаттом, и показали, что модель имеет существенные ограничения. Например, однослойный персептрон в принципе не может решить проблему исключающего ИЛИ. Кроме того, было показано, что простота обучения, которая так привлекла исследователей, приводит к тому, что персептрон может распознавать только очень узкий класс свойств геометрических фигур. Исследовался вопрос о параллельных вычислениях. Авторами была высказана точка зрения, что аналогия подобных устройств с мозгом человека не совсем корректна. В целом была дана пессимистическая оценка дальнейшего развития персептронной модели [8]. Однако некоторые исследователи продолжали работать в этой области.

В 1982 году Хопфилд предложил модель ассоциативной памяти и исследовал некоторые свойства запоминания нейронных сетей [9]. В том же году Т. Кохонен предложил модель самоорганизующейся топологической карты, которая внесла существенный вклад в развитие нейронных сетей [10]. Сети Хопфилда до сих пор остаются популярной нейросетевой моделью, привлекающей внимание исследователей (например, [11], [12], [13]). Это связано со способностью сетей обеспечивать хранение и извлечение образов, т.е. служить моделью ассоциативной памяти.

В 1985 году несколько групп ученых почти одновременно пришли к идее обучения многослойных нейронных сетей прямого распределения. С этого момента началась новая волна интереса к искусственным нейронным сетям. Различные точки зрения в рамках детекторного подхода рассматриваются в [14], [15], [16].

На частотном или детекторном подходе основаны работы [9], [17], [18], [19] посвященные моделям сетей из операционных усилителей. Рассматриваемый элемент имеет несколько входов, на которые поступают сигналы от других подобных элементов. Эти сигналы суммируются с соответствующими весами, в зависимости от результата операционный усилитель однозначно формирует выходной сигнал. Сеть представляет собой множество связанных между собой элементов. Набор значений выходных сигналов всех элементов называется состоянием сети в каждый фиксированный момент времени. В процессе обучения (запоминания) в соответствующем фазовом пространстве формируется набор устойчивых состояний равновесия, которые и хранят информацию. В режиме воспроизведения под действием внешнего сигнала сеть попадает в бассейн притяжения одного из них. В итоге сеть «замирает»в состоянии равновесия. Таким образом, детекторные сети статичны, как и хранимая в них информация.

Фазово-частотный подход к хранению информации в мозге основан на возможности согласования работы нейронов не только в пространстве, но и во времени. Одно и то же воздействие, в зависимости от состояния нейрона, может привести или не привести к генерации импульса. Существует точка зрения, что кодирование информации является динамическим процессом, связанным с возникновением и разрушением ансамблей когерентно работающих нейронов [20], [21], [22]. Таким образом, кодирование информации сопровождается образованием волн нейронной активности и носителем информации может являться колебательный режим динамической системы. Подход можно назвать волновым.

Волновой подход моделируют сети с нестационарным поведением. Их можно разделить на два класса. В первом случае элементы сети не обладают собственной авторитмичностью, но вся система может функционировать в колебательном режиме. Примером такой сети является сеть Винера [23], которая служит для описания процесса распространения возбуждения по сердечной мышце. В работе [24] предложена конструкция, названная сетью W - нейронов, которая может запоминать и воспроизводить последовательность бинарных векторов. В режиме воспроизведения сети предъявляется часть последовательности. Колебательные режимы работы таких сетей рассмотрены в работах [25], [26]. По кольцевой структуре нейронных ассоциаций после специального выбора весов могут распространяться волны импульсов. Следует отметить, что W-нейроны функционируют в дискретном времени. В исследованиях [27], [28] развивается модель нейронной системы со стационарным поведением, для которой показано, что периодическое воздействие на общий вход ассоциативной сети — части системы — является неотъемлемым условием запоминания и воспроизведения информации.

Во втором случае рассматриваются нестационарные сети, состоящие из нейронных осцилляторов (автоколебательных элементов). Представлению информации в фазово-частотном виде на моделях таких сетей посвящены работы [29], [30], [31], [32]. Распределение фаз и амплитуд колебаний можно интерпретировать как код образа [33], [34]. Подробный обзор, посвященный сетям из осцилляторов близких к гармоническим, представлен в [35]. Спецификой постановки задачи обучения нестационарной нейронной сети является то, что следует распорядиться синапти-ческими весами так, чтобы система имела устойчивый режим работы с заранее заданным распределением фаз (стационарный, или более сложный) [36], [37]. Эту задачу в ряде случаев удается решить аналитически. Например, в [38], [37] указано правило выбора весов такое, что в сети будут наблюдаться режимы, при которых заранее заданная часть осцилляторов функционирует в фазе, а остальные в противофазе. В настоящее время тематика активно развивается [39], [40].

Однако, соотнося перечисленные выше модели с биологическими данными, нужно отметить что, колебания, близкие к гармоническим, не типичны для нервной системы. В нормальном состоянии нейроны — элементы нервной системы генерируют кратковременные импульсы — спайки. Связь между нейронами осуществляется с помощью передачи импульсов. Кроме того, в нервной системе как отдельные нейроны, так и нейронные ассоциации обладают свойством абсолютной и относительной рефрактерности (невосприимчивости, или слабой восприимчивости к внешнему воздействию). В частности, биологический нейрон во время генерации спайка и на некотором промежутке времени после спайка неспособен (или почти неспособен) воспринимать воздействие. Тем самым, процесс взаимодействия неоднороден во времени. В моделях, основанных на близких к гармоническим осцилляторах, предполагается «одно-родность»во времени взаимодействия нейронных осцилляторов. Рефрак-терность учитывается в [23], [34], [41] (естественно, не в рамках гармонического приближения). В этой связи важное значение с точки зрения адекватности математических моделей биологическим данным приобретают модели, основанные на осцилляторных элементах, далеких от гармонических.

Систематическое описание типов таких элементов и обзор некоторых результатов по организации колебаний в соответствующих сетях приведены в работах [42], [43]. Автоволновые процессы в автоволновых средах рассматриваются и сопровождаются подробной библиографией в [44]. Широкий обзор моделей динамики нейронной активности представлен в [45].

В работе [46] предложена и исследована модель нейронной сети, в которой ее состояние описывается пространственным распределением плотностей случайных бинарных потоков, генерируемых нейронами. На входах каждого нейрона потоки по определенному правилу смешиваются со случайными потоками, исполняющими роль синаптических весов. В зависимости от суммарного входного потока формируется выходной поток нейрона.

Моделям нестационарных сетей посвящены работы [47], [48]. В них элементами сетей являются нейроны со стохастической динамикой. Показано, что данные сети выгодно отличаются от классических в плане борьбы с ложными образами (незапланированными состояниями).

В работах [49], [50], предложено уравнение с запаздыванием для ос-цилляторного нейронного элемента, колебания которого весьма далеки от гармонических. В публикациях [50 — 55] представлен цикл работ, посвященный актуальной теме — разработке моделей нейронных сетей, не имеющих равновесных состояний. При этом колебательные режимы в нейронных сетях интерпретируются как образы. На основе физиологических представлений предложена модель нейронной среды, способной хранить информацию, представленную в волновом виде. Система уравнений с запаздыванием, описывающих нейронную популяцию допускает возможность не только компьютерного, но и аналитического исследования с помощью асимптотических методов. Показано, что в кольцевой популяции из нейронных модулей без подстройки весов временно могут храниться последовательности импульсов (модель кратковременной волновой памяти).

В работе [56] обсуждались пути возможного развития модели. Они основаны на детализации схемы взаимодействия биологических нейронов. Считается [57], что во время спайка нейрона медиаторы на прилегающих к нему синапсах разрушаются, а в дальнейшем механизм выделения медиаторов некоторое время угнетен. При моделировании взаимодействия нейронов можно принять гипотезу о том, что во время рефрактерного периода медиатор в синапсах нейрона-приемника не выделяется. Интерес представляет еще один аспект. В моделях [49] считалось, что медиатор присутствует только в течение спайка нейрона-передатчика. Для биологических нейронов промежуток времени, в течение которого ощутимо влияние медиатора, имеет большую длительность.

Данная идея использовалась в работах [58], [59], [60] применительно к сетям нейроподобных элементов, схема функционирования которых имитирует импульсные нейроны. В работах рассматривались однородные полносвязные сети. Доказано следующее утверждение. Нейроны совершенно произвольно нумеруются. При этом считается, что за последним следует первый нейрон. Существует устойчивый колебательный режим функционирования сети, при котором спайки следуют в порядке возрастания номеров нейронов. Далее, множество нейронов можно разбить на систему непересекающихся подмножеств, которые произвольно нумеруются (в цикле за последним следует первое подмножество). Существует аттрактор, в котором спайки нейронов происходят в порядке возрастания номеров подмножеств. Внутри каждого подмножества нейроны функционируют синхронно. Таким образом, сети являются гибкими системами для хранения последовательностей импульсов. Данные результаты можно перенести на сети импульсных нейронов.

Перечисленные выше факты послужили основой для создания модели взаимодействия нейронов, основанной на дифференциальном уравнении с запаздыванием. Следует отметить существенные отличия модели от рассмотренной в [49], [50]. Во-первых, увеличивается время жизни медиатора, во-вторых учитывается особенность выделения медиатора в то время, когда нейрон находится в рефрактерном состоянии. Это приводит к новым эффектам в поведении решений и организации колебаний нейронных систем. Полученные результаты являются актуальными, поскольку:

1. Процессы распространения волн импульсов в моделях нейронных сетей изучены еще недостаточно.

2. Открываются перспективы развития новых подходов к проблеме обработки информации, которые связаны с тем, что ее носителем может являться не статическое распределение битовой величины, а колебательный режим динамической системы или ансамбля систем (идеи нелинейной динамики). Результаты исследования согласуются с биологическими данными, поэтому модель взаимодействия нейронов и соответствующие сети могут служить достаточно удобными объектами для организации такого рода режимов.

Представленные в диссертации исследования проведены в рамках волнового подхода к проблеме обработки информации. Аттрактор интерпретируется как образ - отражение некоторой информации. Характер исследований определялся поставленными в работе целями: используя физиологические предпосылки, разработать модель взаимодействия нейронов, основанную на дифференциальном уравнении с запаздыванием, и, на ее основе, исследовать системы, способные хранить информацию в волновом виде; изучить вопросы строения и планирования колебательных режимов систем.

Научная новизна работы заключается в следующем: предложена новая модель взаимодействия нейронных элементов, достаточно детально отражающая некоторые биологические характеристики природного нейрона; подробно рассмотрен метод анализа системы нейронных элементов, позволяющий выбирать параметры модели так, чтобы она имела аттракторы заранее заданной структуры, предложены и исследованы сети, состоящие из импульсных нейронов; показано, что эти сети можно эффективно использовать для хранения информации в волновом виде.

Исследования позволили решить важные конкретные задачи. Наибольшии интерес из них представляют следующие положения:

1. Система нейронов способна хранить и воспроизводить заранее заданную периодическую последовательность импульсов (возможность хранения).

2. Изучены режимы самоорганизации в однородных и слабо неоднородных полносвязных сетях. Показано, что без подстройки синаптиче-ских весов сеть может бесконечно долго хранить разнообразные последовательности импульсов.

В силу специфики задачи на первый план выходят методы асимптотического интегрирования дифференциальных уравнений с запаздыванием, методы имитационного моделирования, нелинейной динамики, методы исследования разностных уравнений. Анализ биологических данных позволяет выбрать в фазовом пространстве множество начальных условий. Строится оператор последования, описывающий динамику системы. Доказывается-, что он переводит выбранное множество начальных условий в себя. В итоге, задача сводится к анализу конечномерного отображения.

Работа носит теоретический характер. Результаты могут быть использованы для моделирования проведения волны возбуждения в нейронных структурах. Они могут найти применение при создании новых сред для обработки информации, представленной в виде колебательных режимов динамических систем.

Результаты работы были представлены на всероссийских научно-технических конференциях «Нейроинформатика-2001», «Нейроинформати-ка-2002», «Нейроинформатика-2003», на 9-ом и 10-м Всероссийских семинарах «Нейроинформатика и ее приложения» (Красноярск, 2001, 2002).

По теме исследования опубликовано 10 статей.

Заключение

В работе предложена модель взаимодействия импульсных нейронов, основанная на дифференциальных уравнениях с запаздыванием. Она достаточно детально отражает ряд свойств биологических нервных клеток. Уравнение для мембранного потенциала нейрона допускает аналитическое исследование при помощи специального метода пошагового асимптотического интегрирования. Исследовалось поведение модели под периодическим влиянием пачки внешних импульсов.

Рассмотрены вопросы строения и планирования колебательных режимов в сетях описанных импульсных нейронов. Исследовалось распространение волны возбуждения в однородной полносвязной сети, где нейроны произвольно разбиты на три попарно непересекающихся множества. Рассмотрено обобщение этой задачи, когда сеть разбивается на N > 3 попарно непересекающихся множеств. Изучены аналогичные режимы работы в слабо неоднородной полносвязной сети нейронов. Рассмотрен вопрос о проведении возбуждения по кольцу, образованному импульсными нейронами. Получены асимптотические формулы для временных промежутков между спайками нейронов.

Подробно описан метод анализа систем импульсных нейронов, позволяющий выбирать параметры модели так, чтобы она имела аттракторы заранее заданной структуры.

Получены следующие результаты:

1. Система нейронов способна хранить и воспроизводить заранее заданные периодические последовательности импульсов (возможность хранения).

2. Изучены режимы самоорганизации в однородной полносвязной сети.

Показано, что без подстройки синаптических весов сеть может бесконечно долго хранить разнообразные последовательности импульсов.

3. Исследованы колебательные режимы в слабо неоднородной полносвязной сети импульсных нейронов.

Автор хочет поблагодарить научного руководителя работы В. В. Майорова за постоянное внимание и полезные советы, Г. В. Шабаршину и С. Е. Ануфриенко за всестороннюю поддержку и содержательные обсуждения.

1. Антонов В.Ф., Черный A.M. Биофизика. М.: Владос, 2000. 451 с.

2. Adrian E.D. Electrical activity of the nervous system //Arch. Neurol, and Psychiatr., 1934. V. 34. №6. P. 1125-1136.

3. Hebb D.O. The organization of behaviour: neuropsychological theory. N.Y.: J. Wiley and Sons, 1949. 335 p.

4. Экклс Дж. Физиология синапсов. М.: Мир, 1966. 395 с.

5. McCulloch W.A., Pitts W. A logical calculus of ideas immanents in nervous activity // Bull. Math. Biophys., 1943. №5. P. 115-133.

6. Rosenblatt F. The perceptron: a probabilistic model for information storage and organization in the brain // Psychological Review, 1958. №65. P. 386-408.

7. Розенблат Ф. Принципы нейр о динамики. М.: Мир, 1965. 480 с.

8. Минский М., Пейперт С. Персептроны. М.: Мир, 1971. 264 с.

9. Hopfield J.J. Neural networks and physical systems mith emergent collective computational abilities // Proc. Nat. Acad. Sci. USA, 1982. V. 79. №8. P. 2554-2558.

10. Kohonen T. Self-organized formation of topologically correct feature maps // Biological Cybernetics, 1982. №43. P. 59-69.

11. Крыжановский Б.В., Кошелев В.Н. Адаптивные свойства рандомизированной модели Хопфилда // Сборник научных трудов III Всероссийской научно-технической конференции «Нейроинформатика-2001». 4.1. М.: МИФИ, 2001. С. 46-54.

12. Зафиевский А.В. Емкость ассоциативной памяти в модели Хопфилда // Сборник научных трудов IV Всероссийской научно-технической конференции «Нейроинформатика-2002». 4.1. М.: МИФИ, 2002. С. 142-148.

13. Фролов А.А., Муравьев И.П. Нейронные модели ассоциативной памяти. М.: Наука, 1987. 160 с.

14. Фролов А.А., Муравьев И.П. Информационные характеристики нейронных сетей. М.: Наука, 1988. 156 с.

15. Фролов А.А. Структура и функции обучающихся нейронных сетей// Нейрокомпьютер как основа мыслящих ЭВМ. М.: Наука, 1993. С. 92110.

16. Hopfield J.J. Neurons with gradual response have collective computational properties line those of two-state Neurons. Ibid. 1984. V.81. P. 3088-3092.

17. Chua L., Yang L. Cellular neural networks: Theory // IEEE Transactions on circuits and systems, 1988. V. 35. №10. P. 1257-1272.

18. Chua L. 0., Yang L. Cellular neural networks: Applications // IEEE Transactions on Circuits and Systems, 1988. V. 35. P. 1273.

19. Бехтерева Н.П. Здоровый и больной мозг человека. М.: Наука, 1980. 208 с.

20. Лебедев А.Н. Память человека, ее механизмы и границы // Исследование памяти. М.: Наука, 1990. С. 104-118.

21. Лебедев А.Н. О физиологических основах восприятия и памяти // Психол. журн. 1992. №2. С. 30-41.

22. Винер Н., Розенблют А. // Кибернетический сборник. Вып.З. М.: ИЛ, 1961. С. 3-56.

23. Майоров В.В., Шабаршина Г.В. Сообщение о сетях W нейронов // Моделирование и анализ информационных систем. Ярославль, 1997. В. 4. С. 37-50.

24. Майоров В.В. Шабаршина Г.В. Простейшие режимы пачечной волновой активности в сетях W-нейронов // Моделирование и анализ информационных систем. Ярославль, 1999. Т. 6. №1. С. 36-39.

25. Майоров В.В. Шабаршина Г.В. Сети W-нейронов в задаче хранения и воспроизведения периодических последовательностей бинарных векторов // Моделирование и анализ информационных систем. Ярославль, 2000. Т. 7. №2. С. 26-37.

26. Шульгина Г.И., Понамарев В.Н., Резвова И.Р., Фролов А.А. Влияние фоновой активности сети из возбудительных нейроподобныхэлементов на проведение по ней возбуждения // ЖВНД, 1988. Т. 38. С. 715-724.

27. Шульгина Г.И. Исследование роли ритмической активности в процессах фиксации и воспроизведения информации на модели из нейроно-подобных элементов //ДАН СССР, 1990. Т. 312. №5. С. 1275-1279.

28. Li Z., Hopfield J.J. Modelling the olfactory bulb and its neural oscillatory processing //Biol. Cybern., 1989. V.61. P. 379-392.

29. Ohsusa M., Yamaguchi Y., Shimuzi H. Entrainment among coupled van der Pol Oscillations by an external oscillation //Biol. Cybern., 1989. V.51. P. 325-333.

30. Omata S., Yamaguchi Y., Shimuzi H. Entrainment among coupled limit cycle oscillator with frustration //Physica D, 1988. V.31. P. 397-408.

31. Yamaguchi Y., Shimuzi H. The theory of self-synchronization in the presence of native frequency distribution and external noises //Phisica D, 1984. P. 212-226.

32. Kryukov V.I. Short-term memory as a metastable state. Neurolocator, a model of attention //In: Cybernetics systems'88, 1988. P. 999-1006. Kluwer Academic Publisher.

33. Malsbyrg C., Schneider W. A neural cocktail-party prosessor //Biol. Cybern., 1986. V. 54. P. 29-40.

34. Борисюк Г.Н., Борисюк P.M., Казанович Я.Б. и др. Осциляторные нейронные сети. Математические результаты и приложения // Математическое моделирование, 1992. Т. 4. №1. С. 3-43.

35. Baird В. Nonlinear dynamics of pattern formation and pattern recognition in the rabbit olfactory bulb // Physica 22D, 1986. P.150-175.

36. Baird B. A bifurcation theory approach to the programming of periodic attractors in network models of olfactory cortex // In: Advances in Neural Inform. Proc. Syst., 1989. P.459-467. Morgan Kaufmann Publishers Inc. CA.

37. Kazanovich Ya.B., Kryukov V.I., Luzianina T.B. Synchronization via phase-locking in oscillatory models of neural networks // In: Neurocom-puters and attention. Neurobiology, Synchronization and Chaos, 1991. P. 269-284. Manchester University Press. UK.

38. Крюков В.И., Борисюк Г.Н. и др. Метастабильные и неустойчивые состояния в мозге //Пущино, 1986. 112 с.

39. Абарбанель Г.Д.И., Рабинович М.И., Сельверстон А. и др. Синхронизация в нейронных ансамблях // УФМН, 1996. Т. 166. №4. С. 363-389.

40. Рабинович М.И. Хаос и нейр о динамика. / / Известия ВУЗов. Радиофизика, 1996. Т. XXXIX. №6. С. 757-168.

41. Иваницкий Г.Р., Медвинский А.В., Цыганов М.А. От динамики по-пуляционных волн, формируемых живыми клетками к нейроинфор-матики // УФН, 1994. Т. 164. №10. С. 1041-1071.

42. Борисюк Г. Н., Борисюк Р. М., Казанович Я. Б., Иваницкий Г.Р. Модели динамики нейронной активности при обработке информации мозгом — итоги «десятилетия»// УФН, 2002. Т. 172. №10. С. 11891214.

43. Тимофеев Е.А. Моделирование нейрона, передающего информацию плотностью потока импульсов // Автоматика и телемеханика, 1997. №3. С. 190-199.

44. Ижикевич Е.М., Малинецкий Г.Г. Модель нейронной сети с хаотическим поведением // Преп. Ин. прикл. матем. им. Келдыша РАН N 17. Москва, 1993. 32 с.

45. Ижикевич Е.М., Малинецкий Г.Г. О возможной роли хаоса в нейро-системах // Докл. АН России, 1992. Т. 326. №4. С. 626-632.

46. Майоров В.В., Мышкин И.Ю. Об одной модели функционирования нейронной сети // Модел. динам, попул. Н.Новгород, 1990. С. 70-78.

47. Майоров В.В., Мышкин И.Ю. Математическое моделирование нейронов сети на основе уравнений с запаздыванием // Математическое моделирование, 1990. Т.2. №11. С. 64-76.

48. Кащенко С.А., Майоров В.В. Исследование дифференциально- разностных уравнений, моделирующих импульсную активность нейрона // Математическое моделирование, 1993. Т.5. №12. С. 13-25.

49. Кащенко С.А.,Майоров В.В., Мышкин И.Ю. Исследование колебаний в кольцевых нейронных системах // Докл. Российской АН, 1993. Т. 333. №5. С. 594.

50. Майоров В.В. Самоорганизация колебаний в кольцевой системе из однородных нейронных модулей. Часть 1. Модель нейронов и взаимодействия между ними // Изв. вузов. Прикладная нелинейная динамика, 1999. Т. 3. №4. С. 87-96.

51. Кащенко С.А., Майоров В.В., Мышкин И.Ю. Распространение волн в простейших кольцевых нейронных структурах // Математическое моделирование, 1995. Т. 7. №12. С. 3-18.

52. Кащенко С.А., Майоров В.В., Мышкин И.Ю. Волновые образования в кольцевых нейронных системах // Математическое моделирование, 1997. Т. 9. т. С. 29-39.

53. Кащенко С.А., Майоров В.В. Волновые структуры в кольцевых системах из однородных нейронных модулей // Докл. Российской АН, 1995. Т. 342. т. С. 318-321.

54. Эккерт Р., Рэнделл Д., Огастин Дж. Физиология животных. М.: Мир, 1991. 4.1. 424 с.

55. Шабаршина Г.В. Проведение возбуждения по кольцевой структуре нейронных клеточных автоматов // Моделирование и анализ информационных систем. Ярославль, 1994. №2. С. 116-121.

56. Шабаршина Г.В. Проведение возбуждения по кольцевой структуре модулей нейронных клеточных автоматов // Математическое моделирование и анализ информационных систем. Ярославль, 1996. №3. С. 46-56.

57. Шабаршина Г.В. Волновые структуры в полносвязной однородной сети нейронных клеточных автоматов возбудительного типа // Математическое моделирование и анализ информационных систем. Ярославль, 1997. №4. С. 3-11.

58. Ходжкин A.JI. Нервный импульс. М.: Мир, 1965. 125 с.

59. Иваницкий Г.Р., Кринский В.И., Сельков Е.Е. Математическая биофизика клетки. М.: Наука, 1978. 310 с.

60. Тикиджи-Хамбурьян Р.А. Порговый интегратор для имитационного моделирования релейного ядра таламуса // Сборник научных трудов IV Всероссийской научно-технической конференции «Нейроинформатика-2002». 4.1. М.: МИФИ, 2002. С. 134-141.

61. Тикиджи-Хамбурьян Р.А. Анализ влияния генератора спайков на динамические свойства модифицированного импульсного нейрона // Сборник научных трудов V Всероссийской научно-технической конференции «Нейроинформатика-2003». 4.1. М.: МИФИ, 2003. С. 123129.

62. Лагутина Н.С. Модель импульсного нейрона. Колебания в простейшей сети из трех нейронов // Современные проблемы математики и информатики. Вып. 3. Ярославль: ЯрГУ, 2000. С. 109-115.

63. Лагутина Н.С. Задача о воздействии пачки спайков на модель импульсного нейрона // Сборник научных трудов V Всероссийской научно-технической конференции «Нейроинформатика-2003». 4.1. М.: МИФИ, 2003. С. 130-133.

64. Блюм Ф., Лейзерсон А., Хофстефер Л. Мозг, разум и поведение. М.: Мир, 1988. 191 с.

65. Эделмен Дж., Маункастл В. Разумный мозг. М.: Мир, 1981. 133 с.

66. Lorente de No R. Physiology of Nervous System /3rd ed. Edited by J.F.Fulton. P. 288-330. Oxford University Press. New York, 1949.

67. Лагутина Н.С. Самоорганизация полносвязной сети импульсных нейронов // Моделирование и анализ информационных систем. Ярославль, 2000. Т. 7. №2. С. 20-25.

68. Бахвалов Н.С. 4исленные методы. М.: Наука, 1973. 631 с.

69. Лагутина Н.С. Организация однородной полносвязной сети в кольцо множеств синхронно функционирующих нейронов // Моделирование и анализ информационных систем. Ярославль, 2001. Т. 8. №2. С. 2933.

70. Лагутина Н.С. Самоорганизация в слабо неоднородной полносвязной сети импульсных нейронов-автогенераторов j j Сборник научных трудов IV Всероссийской научно-технической конференции «Нейроинформатика-2002». 4.2. М.: МИФИ, 2002. С. 60-66.