автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Исследование автоколебательных режимов в сетях импульсных нейронов

003479867

На правах рукописи

Мячин Михаил Леонидович

ИССЛЕДОВАНИЕ АВТОКОЛЕБАТЕЛЬНЫХ РЕЖИМОВ В СЕТЯХ ИМПУЛЬСНЫХ НЕЙРОНОВ

Специальность 05.13.18 — математическое моделирование, численные методы и комплексы программ

1 5 ОКТ 2009

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

Ярославль - 2009

003479867

Работа выполнена на кафедре компьютерных сетей Ярославского государственного университета им. П.Г. Демидова

Научный руководитель -

Официальные оппоненты:

Ведущая организация -

кандидат физико-математических наук, доцент Глызин Сергей Дмитриевич

доктор физико-математических наук, профессор Бутковский Олег Ярославович доктор физико-математических наук, профессор Тимофеев Евгений Александрович

Институт Радиотехники и Электроники РАН им. В.А. Котельникова

Защита состоится «_£_» но&р* 2009 г. в (£_"" часов на заседании

диссертационного совета Д 212.002.05 при Ярославском государственном университете имени П.Г. Демидова по адресу: 150000, г. Ярославль, ул. Советская, д. 14.

С диссертацией можно ознакомиться в библиотеке Ярославского государственного университета имени П.Г. Демидова по адресу: 150000, г. Ярославль, ул. Полушкина роща, д. 1.

Автореферат разослан «Л» оп-вГр* 2009 г.

Ученый секретарь диссертационного совета

Глызин С.Д.

Общая характеристика работы Актуальность работы

Вопрос об устройстве нервной системы и о детальном описании процессов обработки информации в ней привлекает внимание прежде всего из-за потенциальных практических приложений. В последнее время размеры активных элементов электронных схем сравнялись с размерами нервных клеток, в связи с чем большой интерес представляет построение искусственных систем, реализующих принципы обработки информации, используемые биологическими нейронными системами.

Нейросетевой подход к исследованию нервной системы состоит в построении и изучении искусственных систем обработки информации, в которых воплощены некоторые из известных принципов функционирования нервной системы живых существ. Несмотря на существенные трудности, связанные с экспериментальной проверкой предсказаний, получаемых в процессе изучения нейросетевых моделей, в рамках нейросетевого подхода было выяснено, что уже в простейших нейронных системах реализуются такие сложные высокоуровневые психологические феномены как память, обобщение, запоминание и забывание информации, образование ложных образов при запоминании больших объемов информации и т.д. С другой стороны, успешное применение нейросетевых устройств и алгоритмов обработки информации к задачам распознавания образов и управления сложными динамическими системами демонстрирует эффективность и практическую ценность нейросетевого подхода.

При построении моделей биологических нейронных сетей может использоваться широкий спектр моделей биологического нейрона различного уровня детализации — от простейших пороговых сумматоров до моделей, воспроизводящих динамику процессов ионного транспорта, происходящих в мембране биологического нейрона. Основным требованием, предъявляемым к модели биологического нейрона, используемой для построения нейронной сети, является разумный баланс между простотой и биологической реалистичностью. При этом в зависимости от используемых при построении нейронной сети соглашений относительно представления, хранения и обработки информации, под биологической реалистичностью в различных случаях может пониматься корректное воспроизведение различных свойств биологического нейрона.

В последнее время активно исследуются импульсные модели нейрона, занимающие промежуточное положение между моделью Ходжкина-Хаксли, моделирующей ионный механизм генерации спайка и простыми моделями нейрона, отражающими только некоторые свойства биологического нейрона. Импульсные модели на качественном уровне воспроизводят генерацию спайка и реакцию нейрона на внешнее воздействие, не моделируя протекающие при этом электрохимические процессы или моделируя их только в самых общих чертах.

Было предложено большое количество феноменологических импульсных моделей нейрона, отражающих те или иные особенности динамики биологического нейрона. Среди импульсных моделей нейрона наибольшей простотой и популярность отличаются т.н. интегративно-пороговый элемент (Integrate-and-fire Model) и модель отклика на спайк (Spike Response Model, SRM).

В 1990-1993 годах в работах В.В. Майорова была предложена феноменологическая импульсная модель нейрона, основанная на использовании дифференциального уравнения с запаздыванием. Эта модель хорошо согласуется с биологическими данными, достаточно проста и допускает аналитическое исследование. В цикле работ В.В. Майорова и С.А.Кащенко была построена асимптотика решения уравнения импульсного нейрона и показано, что нейрон генерирует короткие высокоамплитудные спайки, разделенные промежутками медленного изменения мембранного потенциала. В этих работах была также предложена модель синаптического взаимодействия импульсных нейронов и рассмотрено распространение волн в кольцевых нейронных структурах. Среди важных задач, решенных в рамках данной модели, отметим построение нейронной сети, генерирующей периодические последовательности импульсов с заданными межспайковыми расстояниями и сети, на которой реализуется режим последовательной синхронизации заранее заданных групп нейронов. Для кольцевых нейронных структур были также рассмотрены режимы синхронизации колебаний, моделирующие процессы запоминания и хранения информации в нервной системе.

Настоящая работа посвящена дальнейшему исследованию динамики предложенной В.В. Майоровым импульсной модели нейрона и нейронных сетей, построенных на ее основе.

Исследование нейронных сетей — одна из перспективных областей современной прикладной математики. Ее глобальной целью является достижение понимания механизмов работы мозга. С тече-

нием времени внимание исследователей перемещалось от моделей, отражающих наиболее общие особенности нервной системы, к более подробным моделям, отражающим достаточно тонкие особенности ее динамики. В настоящее время в центре внимания исследователей находятся режимы синхронизации осцилляторной динамики в импульсных нейронных сетях. Актуальность данной работы определяется тем, что она посвящена исследованию и планированию режимов синхронизации в нейронных сетях, построенных на базе импульсной модели биологического нейрона.

Цель работы

В диссертации рассмотрены две задачи: задача получения по возможности более точной асимптотической оценки периода колебаний изолированного нейрона и задача о взаимодействии диффузионно связанных нейронных осцилляторов. Для задачи о периоде колебаний изолированного нейрона получена оценка периода, имеющая первый порядок точности по величине, обратной к значению большого параметра. Для задачи о диффузионном взаимодействии получены асимптотические формулы, описывающие структуру аттракторов системы, состоящей из двух и трех диффузионно взаимодействующих нейронов. На основе полученных асимптотических формул описаны автоволновые режимы, имеющие место в плоской однородной нейронной сети с локальными диффузионными связями.

Методы исследования

Основным методом исследования является метод большого параметра, предложенный в работах С.А. Кащенко. При получении асимптотической оценки периода колебаний изолированного нейрона используются методы, связанные с построением асимптотических разложений для несобственных интегралов. При доказательстве существования периодических решений существенно использовались методы нелинейного функционального анализа.

Научная новизна

Научная новизна работы состоит в следующем:

— Предложен новый метод асимптотического исследования дифференциальных уравнений с запаздыванием, описыващих динамику импульсного нейрона. С помощью предложенного метода проведено исследование динамики изолированного импульсного нейрона и получена оценка периода решения уравнения, имеющая первый порядок точности по величине, обратной к значению большого параметра.

— Проведено исследование диффузионного взаимодействия двух и трех нейронов. Получены асимптотические формулы, описывающие временное рассогласование спаков, генерируемых неронами. Исследованы автоволновые режимы в плоской однородной нейронной сети с локальными диффузионными связями.

Положения, выносимые на защиту

1. Получена оценка периода решения уравнения, имеющая первый порядок точности по величине, обратной к значению большого параметра.

2. Получены асимптотические формулы, описывающие диффузионное взаимодействие двух и трех нейронов.

3. Описаны автоволновые режимы, имеющие место в плоской однородной нейронной сети с локальными диффузионными связями.

Теоретическая и практическая ценность

Работа носит теоретический характер. Ее результаты могут быть использованы при исследовании автоколебательных процессов в импульсных нейронных сетях, состоящих из осцилляторных элементов, описываемых уравнением с запаздыванием. Описанные в работе автоволновые режимы могут быть использованы в качестве основы при разработке нейросетевых моделей процессов запоминания и хранения информации в нервной системе. Разработанная методика вычисления продолжительности импульсных процессов в нейронных системах может быть использована при решении широкого спектра задач, связанных с исследованием структуры авто-

колебательных процессов в системах осцилляторов, описываемых диференциальным уравнением с запаздыванием.

Апробация работы

Результаты работы были доложены на семинаре «Моделирование и исследование нейронных сетей» и представлены на следующих конференциях:

Студенческая научная конференция мехмата МГУ (Москва, 1994); Всероссийская научная конференция, посвященная 200-летию Ярославского государственного Университета им. П.Г. Демидова (Ярославль, 2003); V Всероссийская научно-техническая конференция «Нейроинформатика-2003» (Москва, 2003); XX Международная научная конференция «Математические методы в технике и технологиях» (Ярославль, 2007); IX Всероссийская научно-техническая конференция «Нейроинформатика-2007» (Москва, 2007).

Публикации

По теме диссертации опубликовано 9 статей, в том числе 4 в изданиях из списка ВАК. Часть работ выполнена в соавторстве с В.В. Майоровым и С.А. Кащенко, которым принадлежит постановка рассмотренных задач и методика их исследования. Во всех остальных случаях в диссертацию включены результаты, полученные лично автором.

Структура и объем работы

Работа состоит из трех глав (первая из которых является вводной), заключения и списка литературы.

В первой главе приведен общий обзор предметной области: кратко охарактеризованы основные модели биологического нейрона и модельные представления, относящиеся к кодированию информации в нервной системе, дан обзор импульсных нейросетевых моделей.

Во второй главе рассмотрена задача вычисления периода колебаний в модели импульного нейрона, построенной на основе уравнения с запаздыванием. Получена оценка периода решения уравне-

ния, имеющая первый порядок точности по величине, обратной к значению большого параметра.

В третьей главе рассмотрена динамика систем диффузионно связанных импульсных нейронов с запаздыванием. Получены асимптотические формулы, описывающие взаимодействие двух и трех диффузионно связанных нейронов. Путем численного моделирования для системы из двух и трех диффузионно связанных нейронов продемонстрировано существование сложных многообходных аттракторов. Описаны автоволновые режимы, имеющие место в плоской однородной нейронной сети с локальными диффузионными связями. Показано, что в такой сети практически любая кривая может служить циклически повторяющимся фронтом волны начала импульсов.

В заключении сформулированы некоторые не решенные задачи, непосредственно примыкающие к тематике данной работы.

Краткое содержание работы

В первой главе дан общий обзор предметной области (искусственные нейронные сети), обосновывается актуальность рассматриваемой в работе тематики (импульсные нейронные сети), определяются цели и задачи настоящего исследования, формулируется научная новизна и практическая значимость работы, перечисляются основные положения, выносимые на защиту.

Во второй главе приведен вывод уравнения с запаздыванием, описывающего динамику мембранного потенциала изолированного нейрона и основанного на феноменологическом представлении о временной задержке калиевого ионного тока. После нормировки и перехода к безразмерному времени рассматриваемое уравнение принимает следующий вид:

Щ = Л[/кМ( - 1)) - Ыи(0) - ЦиЩ, (I)

где и(Ь) > 0 — мембранный потенциал (за начало отсчета принимается значение мембранного потенциала в состоянии гиперполяризации); А > 1 — большой параметр, характеризующий скорость процесса поляризации мембраны нейрона; /к(м) и Ла(и) — некоторые положительные достаточно гладкие убывающие функции, описывающие зависимость ионной проводимости мембраны нейрона по

отношению к ионам калия и натрия от величины мембранного потенциала (отметим, что калиевая ионная проводимость определяется значением и(Ь — 1) мембранного потенциала).

Для удобства формулировки результатов введем некоторые обозначения:

Из биологических соображений следует условие неустойчивости нулевого состояния равновесия, которое имеет вид а > 0.

Начальная задача для уравнения (1) определяется заданием функции и(Ь) на произвольном отрезке единичной длины, в качестве которого будем использовать отрезок [—1,0]:

Функцию tp(s) будем называть начальной функцией уравнения (1), а решение такой начальной задачи (5) будем обозначать символом u^(t). Определим множество S допустимых начальных функций ip(s) следующим образом:

С точки зрения асимптотики нулевого порядка точности структура решения уравнения (1) описывается следующей теоремой:

Теорема 1. Если начальная функция выбирается из множества Б, определенного формулой (6), а гладкие положительные функции /л?а(и) и fк{y) монотонно стремятся к нулю при и —> оо, то для решения и(Ь) уравнения (1) при А —> оо имеют место следующие асимптотические равенства:

а = /к(0) - /№(0) - 1, «1 = /к(0) - 1,

»2 = ЫО) + 1.

(2)

(3)

(4)

u(t) = ¥>(t), te [-1,0].

(5)

5 = {ip е C[-1,0] : ф) < А~\ V(0) = А"1} . (6)

/

exp[Aai(i — ii + о(1))], ¿еМг].

ехр[-А(£ - i3 - ai + о(1))], t € [t3, h],

exp[-Aa2(t - t5 + o(l))], t € [i5, te],

exp[Aa(i - f7 - a2/a + o(l))], t 6 [t7, t8],

u(i) =

1

-1

Н ¿4

ч и

«8

Рис. 1: Схематический график решения уравнения нейрона.

а величины аь а2 определены формулами (3) и (4). Символом о(1) обозначены слагаемые, стремящиеся при А —> оо к нулю равномерно относительно выбора начальной функции <р е Я.

На рисунке 1 показан схематический график решения уравнения нейрона.

Длительность восходящего участка спайка (интервал [^.¿г]) равна единице (после нормировки за единицу времени принята постоянная времени задержки калиевого ионного тока). На этом участке скорость роста мембранного потенциала определяется величиной Ас*]..

Параметр определяет длительность нисходящего участка спайка (интервал [¿3,(4]). Из биологических соображений следует, что нисходящий участок спайка продолжительнее восходящего, т.е. выполнено неравенство сц > 1. Скорость восстановления мембранного потенциала после спайка определяется величиной А.

Длительность процесса перехода нейрона в состояние гиперполяризации (интервал [¿5, ¿а]) оказывается единичной, а скорость

где

и =о(1),

¿2 = 1, и = ¿з + 011,

¿6 =¿5+1,

48 = ¿7 + аг/а,

¿3 = *г + о(1), ¿5 = 444-о(1),

и = ¿6 + 0(1),

этого процесса определяется величиной Лаг. За гиперполяризацией следует участок медленного роста мембранного потенциала (интервал [¿7, te]), причем скорость деполяризации определяется величиной Аа.

Начало и окончание спайка естественно связать с моментами пересечения решением u(t) уровня и = Л (с положительной и отрицательной скоростью соответственно), т.е. спайк начинается в момент времени t\ и заканчивается в момент времени Î4. Таким образом, величина

71 = 1 + 01, (7)

определяет продолжительность спайка.

Для того, чтобы продолжить построение асимптотики для моментов времени t > t8, заметим, что в этом случае функцию ug(t) следует рассматривать как новую начальную функцию tp'(s) уравнения (1):

tp'(s) = u(ts + s) = A-1 exp(Aas), s e [-1,0].

Эта функция входит в множество S допустимых начальных функций и, построив для нее асимптотическое решение на промежутке [i8,2i8], мы убедимся, что для очередной начальной функции <p"(s) = u(2£s + s) имеет место асимптотическое равенство <p"(s) = (p'(s). Таким образом, для произвольной начальной функции ip e S построенная асимптотика оказывается периодической функцией с периодом, равным ig = Т2 + о(1), где

Г2 = 2 + ai + а2/а. (8)

Построенная выше асимптотика u(t) решения uv(t) не зависит от начальной функции у? 6 S. Соответственно, момент времени tg, в который асимптотика с положительной скоростью пересекает уровень и — А"1 также не зависит от выбора начальной функции. Точное решение u^(t) уравнения (1), полученное для начальной функции ^(.s), будет с положительной скоростью пересекать уровень и = А-1 в момент времени зависящий, вообще говоря, от начальной функции >р.

Введем в рассмотрение оператор последования П, действующий по следующему правилу:

где s е [-1,0] и <р е S. Введем также более узкое множество S1 С S начальных функций ip{s):

S' = {(уэ € С[-1,0] : Л-1 exp(2Aas) < <p(s) < A-1exp(Aas/2)} . (9)

Из выписанных выше асимптотических равенств вытекает, что II[S"] С 5", откуда в силу теоремы Шаудера о существовании неподвижной точки непрерывного оператора, действующего на выпуклом компактном множестве, следует существование такой начальной функции ф е S", для которой П[ф] = ф. В этом случае функция иф(Ь) будет являться периодическим решением уравнения (1) с периодом £8(ф) =Т2 + о(1).

Решения уравнения (1) с начальными условиями из П[5'] образуют аттрактор, которому принадлежит и периодическое решение иф{Ь). Все элементы <р е П[5"] имеют при А —> со одинаковую асимптотику tp(s) = exp[Aas + о(1)], т.е. аттрактор является очень «узким». Одновременно этот аттрактор имеет широкую область притяжения, поскольку имеет место включение П[5] С Ü[S'] т.е. включение П[<р] е П[5"] соблюдается при весьма слабых условиях на начальную функцию iр. Вопрос о единственности и устойчивости периодического решения требует дальнейшего изучения.

Результаты приведенных выше рассуждений могут быть сформулированы в виде следующей теоремы:

Теорема 2. Если гладкие положительные функции /ма{ц) и Îk{v) монотонно стремятся к нулю при и —> оо, то при А —» оо решения уравнения (1) с начальными условиями из П[5'] образуют аттрактор, область притяжения которого включает множество S. Все элементы аттрактора имеют общую асимптотику, описываемую теоремой 1. Аттрактор включает периодическое решение u^(t) уравнения (I) с периодом Т2+о( 1), где Т2 определено формулой (8).

Следующая теорема дает уточненную оценку периода:

Теорема 3. Пусть дважды непрерывно дифференцируемые положительные функции fnaiu) и монотонно убывают и пусть найдется такое е > 0, что при и —> оо выполнены следующие соотношения:

Ыч) = 0(u~w), h(u) = 0(iT1-e), (10)

т.е. при и —> со функции //&(«) и /л-(м) стремятся к нулю быстрее, чем 0(и~'). Пусть также выполнены соотношения

/;я(о)=т=о.

Тогда для периода Т решения и(() уравнения (1) с начальной функцией <р е 5" яры А —» се справедливо асимптотическое представление

где Тг в соответстсвии с теоремой 2 определяется формулой

Доказательство теоремы состоит в применении стандартного метода шагов, причем на каждом шаге для длины текущего интервала строится оценка, имеющая точность о(А-1).

В заключительном разделе второй главы приведено описание результатов компьютерного моделирования. Продемонстрировано наличие импульсного режима, параметры которого соответствуют теореме 1 об асимптотике нулевого порядка. Проведено сравнение асимптотических оценок периода решения (теорема 3) с результатами компьютерного моделирования. Продемонстрировано, что уже при не слишком больших значениях параметра А полученная в теореме 3 оценка первого приближения для периода решения оказывается существенно точнее оценки нулевого приближения.

В третьей главе исследуются нейронные сети, состоящие из диффузионно связанных импульсных нейронов. Рассмотрим систему, состоящую из двух диффузионно связанных нейронов:

где щ — мембранный потенциал к-го нейрона, а оператор Ь{и] определен следующим образом:

Будем считать, что коэффициент разностной диффузии /1 мал по величине и согласован с параметром А следующим образом:

(8).

щ = ХЬ{щ}щ + с1(и2 — щ),

й2 = А£[и2]«2 + ^(щ ~ иг),

(12)

¿ММ = Л(«(/ -1)) - Ы«(0) -1.

(13)

с/ = ехр(—Аи), а > 0.

(14)

Относительно параметра Л и функций fm{u) и /к(«), входящих в выражение для оператора L[u], будем считать выполненными предположения теоремы 1. В результате для уравнений, описывающих каждый нейрон в отдельности будут справедливы выводы теоремы 1.

При исследовании системы (12) приходится рассматривать целый ряд частных случаев. Сократить их число удается, привлекая следующие биологические соображения: нисходящий участок спайка (продолжительностью аг) длиннее восходящего (единичной продолжительности), а самым долгим является участок от точки минимума до начала следующего спайка (его продолжительность равна аг/а). Учитывая зависимость продолжительностей участков спайка от параметров a, qi и а2, наложим на значения параметров следующие ограничения:

О < а < 1 < ai < а2- (15)

Отметим, что этими неравенствами накладываются требования, более жесткие, чем это необходимо для воспроизведения временной структуры спайка биологического нейрона. За счет этого без существенного ограничения общности модели достигается значительное сокращение числа вариантов, которые приходится рассматривать при исследовании динамики системы.

Для асимптотического интегрирования системы (12) необходимо задать начальные функции на интервале единичной длины. Для каждого нейрона можно задать эволюцию мембранного потенциала непосредственно перед спайком, но сами моменты начала спайков оказываются различными для разных нейронов. Поэтому асимптотика системы (12) строится с помощью следующего специфического метода. Пусть первоначально спайки первого и второго нейронов происходят в моменты времени t = 0 и i = £ соответственно, т.е. рассогласованы на величину где 0 < £ < Г2. Зададим начальные условия для каждого уравнения на своем временном интервале: на интервале [-1,0] для первого нейрона и на интервале [£ — 1,£] для второго нейрона. Пусть ui(s) = y>i(s) е S и и2(£ + s) — ^(s) 6 S, где — 1 ^ s ^ 0. Игнорируя неоднородное слагаемое, проинтегрируем первое из уравнений (12) на промежутке 0 ^ t < £ и положим i>i(s) = ui(£ + s) и г/>2(з) = ifiiis) для — 1 < s < 0. После этого при t ^ £ для системы (12) получается обычная начальная задача для начальных функций фг(s) и фг(^), которую можно решать методом шагов.

Обозначим через t1 и i2 моменты начала новых спайков первого и второго нейронов соответственно. Асимптотический анализ показывает, что главные члены асимптотики i1 и t2 при Л —> оо однозначно определяются по начальному рассогласованию £ и не зависят от V^i(s) и <р2(s) (это существенно, поскольку в рамках асимптотики нулевого порядка мы не можем исследовать вопрос об устойчивости периодического решения). Поскольку оказываются справедливыми включения uiit1 + s) — ^(s) GS и u2(t2 + s) — <p'i{s) 6 S, то мы фактически возвращаемся к первоначальной ситуации, но рассогласование начала спайков теперь равно f = t2 — i\ а начальная задача имеет вид ui(s) = <p'i(s), u2(s) = v3^5)- Рассмотрим непрерывное отображение

Оказывается, что одномерная составляющая этого отображения представима в виде = /(£) +о(1), причем главная часть = /(£) этого одномерного отображения имеет грубую устойчивую неподвижную точку В результате для системы (12) можно сделать вывод о существовании аттрактора, содержащего периодическое решение, в котором начала спайков первого и второго нейронов рассогласованы на величину £* + о(1).

Ограничим допустимые значения параметра а неравенством 0 < а < сть где

оч = + (а2 + ÖIQ)/2, (16)

т.е. будем рассматривать только случай достаточно сильного взаимодействия. Оказывается, что на этом диапазоне значений параметра а с точки зрения асимптотики нулевого порядка точности функция /(£) является кусочно-линейной, причем число линейных участков зависит от значения параметра а. Тем не менее, при Л —> оо для всех 0 < а < о\ выполнено включение y>[(s) € S, <p'2(s) в S, а отображение = /(£) имеет в зависимости от значения параметра а одну или две неподвижные точки. Во всех случаях отображение в некоторой окрестности неподвижной точки оказывается постоянным, что гарантирует устойчивость неподвижной точки.

Для решений, образующих аттрактор, асимптотические формулы для восходящего и нисходящего участков спайков и асимптотика продолжительности спайка оказываются такими же, что и в

теореме 1 для изолированного нейрона. Мы ограничимся наиболее важными асимптотическими выражениями для временного рассогласования спайков. Неподвижная точка £* (или одна из таких точек; если их две) отображения = /(£) задается формулой:

0<ст<аь ^

1 1 + (ст — а^аГ1, «1 < а < С]..

Для 0 < <т < <70, где <70=«! + а\а, отображение — /(£) имеет две устойчивые неподвижные точки, которым соответствуют два различных аттрактора исходной системы. Для одного из этих аттракторов начало спайка второго нейрона запаздывает по отношению к началу спайка первого нейрона на время £*+с(1), а начало следующего спайка первого нейрона запаздывает по отношению к началу спайка второго нейрона на г\* +о(1), где

Г Тг - (а2а^ - 1)аа~1 - <та{\ 0 < <т < аь а\ + 1 + [с*1 - (ст - а,)«-1]«-1, а1 < ст < ст0, (I8) [ 1 + (ст — 01)а-1, сто < ст < и\,

причем Т}* > £*. Соседние по времени спайки каждого из нейронов рассогласованы на величину + г?* + о( 1) < Т2. Одновременно существует второй аттрактор, соответствующий случаю обратной последовательности спайков, т.е. ситуации, когда нейроны «поменялись местами».

Для сто < <т < а\ отображение = /(£) имееет единственную устойчивую неподвижную точку и локально постоянно в ее окрестности, а описанные выше аттракторы объединяются в один. Для входящих в него решений рассогласование начала спайков первого и второго нейронов совпадает с запаздыванием спайка первого нейрона относительно спайка второго и составляет £* + о(1), а каждый из нейронов генерирует спайки через время 2£*+о(1). Данный аттрактор естественно назвать симметрическим.

Полученные результаты согласуются с биологическими данными о том, что электрическое взаимодействие способствует синхронизации колебаний двух нервных клеток. Локальное постоянство отображения = /(£) свидетельствует о том, что синхронизация (со сдвигом по фазе) наступает практически за один такт колебаний.

Вопрос о наличии аттракторов, отличных от описанных выше, остается открытым. В частности, на основе полученной выше

асимптотики нулевого порядка не удается исследовать вопрос об устойчивости однородного режима и= ^(¿ + о(1)) с малым рассогласованием спайков, поскольку он соответствует негрубому случаю. При этом для малых положительных £ функция /(£) оказывается тождественной, так что для исследования поведения итераций отображения П оказывается необходимым учитывать зависящие от Л поправки к функции /(£)•

Описанные выше результаты, относящиеся к структуре колебаний в системе из двух диффузионно связанных нейронов, можно сформулировать в виде следующей теоремы:

Теорема 4. В предположениях теоремы 1 относительно оператора 1[и] система (12), в которой параметры удовлетворяют условиям (15), а коэффициент разностной диффузии выбран в соответствии с (14) и условием 0 < а < аь имеет при А —> оо аттрактор, содержащий периодическое решение, для которого временное рассогласование спайков первого и второго нейронов равно £*, а рассогласование спайков второго и первого нейронов равно г]*, где величины о\, т?* определены соотношениями (16), (17) и (18).

Доказательство теоремы состоит в непосредственном нахождении асимптотики решения системы (12) и явном вычислении одномерного отображения /(£). Построение асимптотики системы (12) проводится с помощью метода шагов и основывается на следующей важной лемме о факторизации.

Лемма 1. Замена системы (12) на систему вида

Щ = А^И!]?«! + 9(^2 - Щ^щ, ^

¿2 = А£[И2]"2 + ©[¿«1 — и^Щ,

эквивалентна возмущению оператора Ь[и], имеющему порядок 0(А-1) при А —> оо.

Таким образом, при построении асимптотики нулевого порядка можно считать, что взаимодействие имеет место только в те моменты времени, когда потенциал одного из нейронов значительно (в ¿Г1 = ехр(Аст) раз) превышает потенциал другого нейрона. Если это условие не выполнено, то система распадается на независимые уравнения. Из доказанной леммы непосредственно следует, что

на каждом шаге для главных членов асимптотики получается треугольная система уравнений, которая легко интегрируется. Таким образом, асимптотика может быть построена на любом конечном промежутке времени.

Рассмотрим поведение сети из трех одинаковых нейронов, в которой все нейроны попарно связаны между собой диффузиоными связями. Динамика такой сети описывается следующей системой уравнений:

гц = AL[iii]Mx + d(щ - Mi) + d(u3 - щ),

й2 — AL[u2]u2 + (1(щ - и2) + d{u3 - и2), (20)

и3 = АЬ[щ\щ + d(ui - и3) + d{u2 - щ),

где щ — мембранный потенциал к-го нейрона, Будем считать, что для оператора ¿[и] выполнены предположения теоремы 1, а коэффициент разностной диффузии d удовлетворяет соотношению (14).

Асимптотическое исследование показывает, что при 0 < а < ai спайк произвольно выбранного главного нейрона через время С + о(1) вызывает спайки двух соседних нейронов. Процесс генерации спайков циклически повторяется через временной интервал £*+7?*+ о(1). Такой режим будем называть режимом типа «ведущий центр».

Наряду с ведущим центром при aj -f a(ai - 1)/2 < а < ai + a(an + aai —a)/(l + 2a) существуют режимы типа «бегущих волн». В зависимости от направления распространения спайк j-oro нейрона происходит раньше или запаздывает по отношению к спайку нейрона с номером (j + 1) mod 3 на время С + о(1). Полный оборот волна совершает за время 3£* + о(1), причем за это время каждый нейрон генерирует один спайк.

Рассмотрим на плоскости конечную решетку П, состоящую из правильных треугольных ячеек. Введем произвольную нумерацию узлов решетки и в каждом узле разместим по нейрону. Будем считать, что нумерация нейронов согласована с нумерацией узлов решетки. Любой внутренний узел решетки Q оказывается смежным с шестью другими узлами. Будем считать, что два нейрона взаимодействуют, если они расположены в смежных узлах решетки. Таким образом, множество номеров нейронов, связанных j-ым нейроном, совпадает с множеством номеров узлов, смежных с j-ым узлом решетки.

Пусть с*! + (с*! - l)a/2 < а < а\ + a(ai + acti - а)/( 1 + 2а). В этом случае по элементарным ячейкам могут распространяться

волны спайков, а взаимодействие волн может привести к регулярным колебаниям, имеющим сложную структуру. Рассмотрим на решетке произвольно фиксированную кривую 7. Каждую точку этой кривой можно включить в элементарный путь проведения возбуждения. Если для соседних точек кривой элементарные пути проведения возбуждения имеют общие узлы, то (во всяком случае, на конечном промежутке времени) существует колебательный режим, в котором спайки нейронов, расположенных на 7, начинаются практически синхронно. Соседние по времени спайки нейронов на 7 следуют через промежуток 3£*+о(1). Сказанное иллюстрирует рис. 2, на котором нейроны, расположенные на 7, помечены точками. Их синхронные спайки через время + о(1) приводят к спайкам нейронов, изображенных окружностями. Последние спустя еще время £* + о(1) индуцируют спайки нейронов, помеченных звездочками. После этого события спустя время £* + о(1) снова начинаются спайки нейронов, лежащих на 7. Таким образом, практически любую кривую можно сделать повторяющимся фронтом начала спайков.

Биологическая интерпретация явления связана с гипотезой о волновом кодировании информации в мозге. Локальная сеть способна хранить сложные волновые пакеты до их дальнейшей обработки. При этом не нужна требующая времени модификация синап-тических весов. Соответствующие колебательные режимы самоорганизуются в зависимости от начальних условий, которые можно задать внешним воздействием. Тем самым, локальная сеть является моделью кратковременной памяти, основанной на автоволновых принципах. В случае, когда описанные колебательные режимы существуют лишь на конечном промежутке времени, их разрушение можно трактовать как процесс забывания образов.

В заключительном разделе третьей главы приведено описание

результатов компьютерного моделирования, относящихся к случаю диффузионного взаимодействия нейронов. Продемонстрировано наличие симметричного режима, структура которого описывается теоремой 4. Дополнительно при небольших значениях параметра А (А « 3) численно продемонстрировано существование сложных многообходных аттракторов, претерпевающих взаимное превращение при изменении значения параметра d. Отметим, что существование таких аттракторов по-видимому является эффектом конечного параметра, поскольку при больших значениях параметра А (А > 5) многообходных аттракторов обнаружить не удалось.

Список публикаций по теме диссертации

Статьи в ведущих журналах, включенных в перечень ВАК:

1. Кащенко, С.А. Колебания в системах уравнений с запаздыванием и разностной диффузией, моделирующих локальные нейронные сети / Кащенко С.А., Майоров В.В., Мячин М.Л. // Докл. РАН - 1995 - т. 344, »3-е. 1274-1279.

2. Майоров, В.В. Поправка к периоду решения уравнения, моделирующего динамику мембранного потенциала нейрона / Майоров В.В., Мячин М.Л., Парамонов И.В. // Моделирование и анализ информационных систем - Ярославль, 2008 -т. 15, № 2 - с. 61-66.

3. Кащенко, С.А. Многообходные аттракторы в системе двух и трех диффузионно-связанных нейронов, описываемых уравнениями с запаздыванием / Кащенко С.А., Майоров В.В., Мячин М.Л. // Моделирование и анализ информационных систем - Ярославль, 2008 - т. 15, № 2 - с. 72-74.

4. Дунаева, O.A. Исправления и дополнения к статье «Поправка к периоду решения уравнения, моделирующего динамику мембранного потенциала нейрона» / Дунаева O.A., Мячин М.Л. // Моделирование и анализ информационных систем. Сб. научи. трудов - Ярославль, 2009 - т. 16, № 3 - с. 46-57.

Другие публикации:

5. Мячин, М.Л. Комплексный анализ сложной динамики системы, моделирующей сальтаторное проведение нервного импульса / Мячин М.Л. // Моделирование и анализ информационных систем. Сб. научн. трудов - Ярославль, 1996 - вып. 3 -с. 48-55.

6. Майоров, В.В. О поправке к периоду решения уравнения с запаздыванием, описывающего динамику нейрона / Майоров В.В., Мячин М.Л., Парамонов И.В. // Математика в Ярославском госуниверситете. Материалы Всеросс. научной конференции, посвященной 200-летию Ярославского гос. Университета им. П.Г. Демидова. - Ярославль, 2003 - с. 45-46

7. Майоров, В.В. Планирование волн в кольцевых структурах ассоциаций импульсных нейронов-детекторов / Майоров В.В., Мышкин И.Ю., Куксов А.Г., Мячин М.Л. // Моделирование и анализ информационных систем. Сб. научн. трудов - Ярославль, 2003 - т. 10, № 2 - с. 30-34.

8. Майоров, В.В. Планирование волн в кольцевых структурах ассоциаций импульсных нейронов-детекторов / Майоров В.В., Мышкин И.Ю., Куксов А.Г., Мячин М.Л. // Математика в Ярославском госуниверситете. Материалы Всеросс. научной конференции посвященной 200-летию Ярославского гос. Университета им. П.Г. Демидова. - Ярославль, 2003 - с. 46-51.

9. Майоров, В.В. Планирование волн в кольцевых структурах ассоциаций импульсных нейронов-детекторов / Майоров В.В., Мышкин И.Ю., Мячин М.Л., Куксов А.Г. // Научная сессия МИФИ-2003 - ч. 2, Нейроинформатика-2003 - с. 11-18.

Оригинал-макет подготовлен в редакционно-издательском отделе ЯрГУ

Отпечатано на ризографе

Ярославский государственный университет 150000, Ярославль, ул. Советская, 14.

1 Введение

1.1 Обзор предметной области.

1.2 Модели нейрона.

1.3 Кодирование информации в нервной системе.

1.4 Краткий обзор импульсных нейросетевых моделей

1.5 Обзор диссертации.

2 Динамика импульсного нейрона-пейсмейкера

2.1 Механизмы изменения мембранного потенциала

2.2 Вывод уравнения нейрона.

2.3 Асимптотический анализ уравнения нейрона.

2.4 Уточнение периода решения

2.5 Результаты компьютерного моделирования.

3 Сети с диффузионной связью

3.1 Модель диффузионного взаимодействия.

3.2 Колебания в системе из двух нейронов.

3.3 Колебания в плоской локальной сети.

3.4 Результаты компьютерного моделирования.

Настоящая работа посвящена изучению автоколебательных режимов в системах, состоящих из связанных импульсных динамических элементов, описываемых предложенным в работе [16] уравнением с запаздыванием. Рассматриваемый импульсный элемент является одной из реалистичных моделей биологического нейрона, поэтому сам элемент мы будем называть в дальнейшем импульсным нейроном, а систему взаимодействующих импульсных элементов — сетью импульсных нейронов или импульсной нейронной сетью. Планирование автоколебательных режимов в сетях импульсных нейронов непосредственно связано с построением систем обработки информации на основе нейроподобных элементов.

1.1 Обзор предметной области

Интерес к изучаемым в данной работе моделям и протекающим в них процессам полностью обусловлен их нейронной интерпретацией. Здесь мы приведем краткий обзор основных биологических представлений, относящихся к функционированию как одиночного нейрона, так и нервной системы в целом. Одновременно мы перечислим и кратко охарактеризуем основные модели нейронов и процесса их взаимодействия. Наше изложение в основном соответствует [14]. Основной целью данного обзора является выяснение места и роли изучаемых в настоящей работе импульсных моделей нейрона в современной теории нейронных сетей.

Общие предпосылки

Способность животных и человека взаимодействовать с окружающей средой и адаптироваться к изменению ее условий обусловлена функционированием их нервной системы. Нервная система образована огромным количеством взаимодействующих нервных клеток (нейронов), основная функция которых состоит в генерировании и передаче электрических импульсов. Нейроны-рецепторы, образующие сенсорные системы, превращают внешние физические стимулы в электрические импульсы, которые распространяются по нервной системе и активируют другие нейроны. Внутреннее электрическое представление стимула подвергается в нервной системе обработке, детали которой остаются неизвестными. Результатом обработки внешнего стимула является возбуждение нейронов-эффекторов, которые управляют работой мышц и желез и реализуют реакцию животного на внешний стимул.

Вопрос об устройстве нервной системы и о детальном описании процессов обработки информации в ней привлекает внимание прежде всего из-за потенциальных практических приложений. В последнее время размеры активных элементов электронных схем сравнялись с размерами нервных клеток, но качество переработки информации в биологических нейросистемах для некоторых задач все еще превосходит качество работы электронных схем, хотя формальное быстродействие последних на много порядков выше. Поэтому представляет интерес построение искусственных систем, реализующих принципы обработки информации, используемые биологическими нейронными системами.

Решающим достоинством биологических нейронных систем является обучение на основе примеров, когда способность к решению конкретной задачи приобретается не посредством построения математической модели, а путем «проб и ошибок» и накопления практического опыта. В этой связи часто приводят пример кошки, которая «расчитывает» свой прыжок при ловле мыши (см., например, [15]) . Ясно, что в нервной системе кошки отсутствует полноценная модель прыжка и не происходит решение дифференциального уравнения, моделирующего процесс. Более того, полная модель, учитывающая все факторы и позволяющая эффективно выбирать начальные условия (обратная задача) вероятно окажется слишком сложной даже для современных вычислительных систем. Тем не менее, нервная система кошки весьма эффективно выбирает начальные условия, пользуясь при этом только накопленным ранее практическим опытом охоты.

Тот факт, что задачи адаптации к условиям внешней среды решаются нервной системой путем обучения на основе примеров методом «проб и ошибок» объясняет серьезный недостаток, присущий биологическим нейронным системам. В рассмотренном выше примере кошка все же зачастую ошибается и неверно выбирает начальные условия для прыжка, хотя и совершенствует при этом свои охотничьи способности. Точно так же и искусственные нейронные системы могут ошибаться в процессе функционирования, неверно решая предложенную задачу, но используя ошибку (при наличии обратной связи) для дальнейшего обучения. В то же время специализированная искусственная система, работа которой основана на полной математической модели, обычно демонстрирует существенно лучшее качество функционирования по сравнению с обучающейся нейронной системой.

Следует также иметь в виду, что биологические нейронные системы решают не только задачу адаптации организма к условиям окружающей среды, но и задачу построения управляющей системы приемлемого качества, удовлетворяющую многим дополнительным ограничениям, связанным с биологической природой этих систем.

В первую очередь нервная система пострена на базе весьма ненадежных структурных элементов: она продолжает успешно функционировать, несмотря на то, что ежедневно в ней погибает значительное количество нейронов.

Другим важным ограничением является требование устойчивости работы нервной системы к факторам внешней среды, в качестве которой здесь выступает организм животного. Электрические процессы в нервной системе основаны на протекающих в нервных клетках электрохимических процессах и зависят от изменения химических свойств среды. Электрические параметры нейрона могут изменяться в широких пределах, но это обычно не сказывается на функционировании нервной системы в целом.

Использование надежных элементов со стабильными характеристиками позволяет строить гораздо более простые и эффективные искусственные системы. В настоящее время отсутствует ясное понимание того, какая часть структурных особенностей нейрона и нервной системы в целом связана с преодолением перечисленных биологических ограничений.

Другой важной особенностью нервной системы является тот факт, что структура связей нейронов в нервной системе животного является генетически предопределенной и сформировалась в результате эволюции вида. Таким образом, значительная часть информации о внешней среде оказывается заложенной в саму структуру нервной системы. Тем не менее, здесь снова отсутствует понимание относительно того, какая часть возможностей нервной системы обусловлена ее генетически предопределенной структурой, а какая приобретается в результате обучения.

Основные подходы

Известно два подхода к изучению принципов работы мозга, существенно различающихся по используемым методам.

В рамках первого, нейрофизиологического подхода мы должны по возможности детально изучить механизмы работы отдельных нервных клеток и их взаимодействия и только после этого можем переходить к изучению более крупных нейронных систем и нервной системы в целом. В настоящее время на этом пути сделаны только первые шаги — получено адекватное описание для основных процессов, протекающих в нервной клетке и для процессов взаимодействия нервных клеток. В настоящее время отсутствуют реалистичные математические модели биологического нейрона, позволяющие строить на их основе искусственные системы обработки информации разумной сложности.

Второй, психологический подход связан с феноменологическим исследованием внешних психических проявлений нейронных процессов, протекающих в нервной системе. В рамках этого подхода можно сразу изучать сложные психические явления, но получаемые результаты оказываются оторванными от наших знаний о нервных клетках как материальных носителях психических процессов. Как следствие, получаемые результаты оказываются неоднозначными, а используемые модели — в значительной степени произвольными.

Таким образом, нейрофизиологический («снизу вверх») и психологический («сверху вниз»), подходы к исследованию нервной системы, имея общий предмет изучения, тем не менее остаются слабо связанными между собой.

В связи с этим сформировалось альтернативное, т.н. нейросе-тевое направление исследований, в рамках которого, не дожидаясь полного выяснения всех вопросов, относящихся к структуре и функционированию нервной системы, ставится задача построения устройств обработки информации, в которых были бы воплощены некоторые из известных (или кажущихся правдоподобными) принципов работы нервной системы. По используемым методам и результатам это направление занимает промежуточное положение по сравнению с психологическим и нейрофизиологическим подходами. С одной стороны, при нейросетевом подходе активно используется информация о строении и функционировании нервной системы. С другой стороны, основной задачей нейросетевого подхода является построение биологически правдоподобных нейронных систем, демонстрирующих поведение, характерное для нервной системы в целом. Несмотря на существенные трудности, связанные с экспериментальной проверкой предсказаний, получаемых в процессе изучения нейросетевых моделей, в рамках нейросетевого подхода было выяснено, что уже в простейших нейронных системах реализуются такие сложные высокоуровневые психологические феномены как память, обобщение, запоминание и забывание информации, образование ложных образов при запоминании больших объемов информации и т.д.

Успешное применение нейросетевых устройств и алгоритмов обработки информации к задачам распознавания образов и управления сложными динамическими системами демонстрирует эффективность и практическую ценность нейросетевого подхода. В целом в рамках нейросетевого подхода сформировалось представление о мозге как о гигантской распределенной аналоговой вычислительной системе, способной спонтанно порождать сложные упорядоченные структуры, рождение и эволюция которых представляет собой процесс мышления.

Биологический нейрон

Центральная нервная система человека состоит из нервных клеток (нейронов). Благодаря работам нейрофизиологов достаточно хорошо известен механизм функционирования одного нейрона. Ниже приводится схематичное описание процессов функционирования и взаимодействия нейронов, адаптированное к потребностям математического моделирования этих процессов (см., например, [26]).

Хотя отдельный нейрон как биологический объект обладает сложной внутренней структурой, известно, что с точки зрения процессов передачи и обработки информации он представляет собой относительно простую нелинейную электрическую систему. Основная функция нейрона состоит в генерировании и передаче имеющих электрическую природу нервных импульсов (спайков), с помощью которых кодируется вся обрабатываемая нервной системой информация. Посредством электрических импульсов нейроны взаимодействуют как между собой, так и с рецепторами (преобразователями внешних раздражителей в нервные импульсы) и исполнительными органами (мышцами и железами).

Индивидуальные границы нейрона определяются липопротеино-вой мембраной, которая является хорошим электрическим изолятором. Состояние нейрона определяется мембранным потенциалом — разностью потенциалов между внутренней и внешней поверхностями мембраны. Изменение мембранного потенциала во времени обусловлено процессами ионного обмена между внутриклеточной и межклеточной средами. Большую часть времени мембранный потенциал отрицателен и велик по абсолютной величине т.е. мембрана сильно поляризована. При генерации нейроном электрического импульса мембранный потенциал начинает быстро расти, меняет знак, затем быстро восстанавливается и становится отрицательным и еще большим по абсолютной величине, чем в начале (состояние гиперполяризации). В результате происходит генерация спайка — короткого высокоамплитудного электрического импульса.

Начало спайка связывают с достижением мембранным потенциалом порогового значения генерации. Обычно генерация спайка происходит под влиянием внешнего воздействия (нейрон-детектор). В то же время, для некоторых нейронов имеет место обусловленный внутринейронными механизмами деполяризации медленный рост мембранного потенциала от значения, соответствующего состоянию гиперполяризации после спайка, до порогового значения генерации. Нейрон, обладающий такими свойствами, рано или поздно, даже без внешнего воздействия, достигнет порогового значения генерации и сгенерирует спайк (нейрон-автогенератор или пейсмейкер). Такой нейрон будет обладать свойством авторитмичности — спонтанной активности в генерации спайков. В течение некоторого времени после спайка нейрон оказывается абсолютно невосприимчивым к внешнему воздействию {интервал рефрактерности).

Анатомически нейрон состоит из тела (сомы), относительно коротких и сильно разветвленных отростков (дендритов) и единственного длинного центробежного отростка (аксона). Аксоны одних нейронов часто располагаются в непосредственной близости к дендритам других нейронов, а в местах контакта мембран располагаются синапсы — специфические образования, обеспечивающие передачу импульсов от нейрона к нейрону. Нервный импульс генерируется в теле нейрона и, распространяясь вдоль аксона в виде волны деполяризации мембраны, достигает синапсов и оказывает влияние на другие нейроны. Различают простые электрические синапсы (места электрического контакта мембран) и более сложно устроенные химические синапсы. При поступлении спайка в химическом синапсе происходит выделение специфических химических веществ (медиаторов), оказывающих на нейрон возбуждающее или тормозящее воздействие. В соответствии с оказываемым воздействием синапсы делятся на возбудительные и тормозные, а поскольку единственный аксон нейрона может иметь синапсы только одного типа, то аналогичная классификация распространяется и на нейроны.

Число связей одного нейрона может достигать десятков тысяч, причем генетически предопределенная топология межнейронных соединений оказывается весьма сложной. В отличие от единичного нейрона топология межнейронных связей в естественных нейронных сетях до сих пор недостаточно хорошо изучена. В настоящее время известно, что биологические нейронные сети проявляют склонность к модульной и слоистой организации, а вся сложность протекающих в нервной системе процессов обработки информации целиком определяется взаимодействием между нейронами и их сложным кооперативным поведением.

1.2 Модели нейрона

При построении модели биологического нейрона следует сразу иметь в виду ее дальнейшее использование в качестве строительного блока при построении моделей нейронных сетей. Слишком сложная модель, включающая большое число эмпирических параметров, может оказаться неприемлемой в качестве элемента нейронной сети. Таким образом, основным требованием, предъявляемым к модели биологического нейрона является разумный баланс между биологической реалистичностью и простотой. Например, биологический нейрон является распределенной электрической системой, по которой распространяется нервный импульс (волна деполяризации мембраны), а соответствующий процесс может быть описан системой дифференциальных уравнений в частных производных. В то же время для моделирования процесса генерации спайка распределенный характер системы по-видимому не является существенным и в большинстве случаев нейрон может рассматриваться как точечная система.

Модели биологического нейрона

Исторически первой и наиболее полно изученной является модель биологического нейрона, предложенная Ходжкиным и Хаксли [35] (см. также [14, 26, 30]), которая представляет собой систему дифференциальных уравнений четвертого порядка, описывающую процессы ионного обмена, протекающие в мембране нейрона. Модель Ходжкина-Хаксли хорошо согласуется с экспериментальными данными, но содержит много эмпирических констант, от которых существенно зависит ее динамика и правильный выбор которых существенен для получения биологически осмысленной динамики.

Система Ходжкина-Хаксли подробно изучалась как численными, так и аналитическими методами. Было выяснено, что наиболее существенная особенность этой системы состоит в разделении переменных на «быстрые» и «медленные» и фактическом присутствии релаксационной динамики: решение системы состоит из участков медленного и быстрого изменения мембранного потенциала. Применение асимптотических методов позволило существенно упростить систему Ходжкина-Хаксли с сохранением основных биологически значимых особенностей ее динамики. Отметим, что несмотря на фактическое присутствие быстрых и медленных переменных, система Ходжкина-Хаксли не содержит «естественного» малого параметра, позволяющего непосредственно применять асимптотические методы. Для асимптотической редукции системы приходится искусственно вводить малый параметр, что обуславливает сложность аналитического исследования системы и приводит к отсутствию одного «естественного» варианта редукции. Были предложены варианты редукции к системе второго порядка и к системе, состоящей из одного дифференциального уравнения первого порядка и одного алгебраического уравнения [26]. При этом оказалось, что все варианты редукции приводят к системам, для которых характерна динамика типа релаксационных колебаний.

В целом все построенные модели биологического нейрона оказались слишком сложными для их непосредственного использования при моделировании поведения систем, состоящих из относительно большого числа нейронов. В результате вплоть до последнего времени развитие нейросетевого направления определялось более простыми моделями, не имеющими естественной биологической интерпретации.

Пороговая модель нейрона

Начало активного развития нейросетевого подхода относится к 1943 году, когда в работах МакКаллока и Питца было введено понятие формального нейрона, называемого также нейроном МакКаллока-Питца (см. [29]).

Нейрон МакКаллока-Питца вычисляет взвешенную сумму своих входов и в зависимости от полученного значения и значения порога h (внутренний параметр нейрона) выдает на выход одно из двух допустимых значений: где х — бинарный выход нейрона, ©[•] — функция Хевисайда, Xj — бинарный выход j-го пресинаптического нейрона, а величина Wj характеризует эффективность синаптической связи с j-м пресинаптическим нейроном. Таким образом, формальный нейрон j

МакКаллока-Питца представляет собой устройство с двумя состояниями, переходящее из одного состояния в другое в зависимости от состояний связанных с ним нейронов.

На базе пороговых нейронов МакКаллока-Питца были построены и исследованы специфические нейронные сети со слоистой топологией — однослойные и двуслойные перцептроны. Вычислительные возможности однослойного перцептрона весьма ограничены, но уже двуслойный перцептрон при соответствующем выборе весов связей вычисляет значения произвольной логической функции своих входов.

Позже в работах Хопфилда нейросеть впервые была рассмотрена как динамическая система. Сеть Хопфилда представляет собой полносвязную нейронную сеть, состоящую из пороговых нейронов. Функционирование нейронной сети состоит в последовательном пересчете состояний всех ее элементов вплоть до момента, когда сеть достигает стационарного состояния, в котором состояния всех ее элементов оказываются устойчивыми.

Сеть Хопфилда стала первой нейросетевой моделью, реализующей важную высокоуровневую функцию центральной нервной системы — ассоциативную память. Если интерпретировать начальное состояние нейронов как входной образ, то при соответствующем выборе весов межнейронных связей сеть в процессе эволюции переходит в устойчивое состояние, соответствующее одному из образов, входящих в наперед заданный набор образов (т.н. обучающая последовательность). На этапе выбора весов связей (этап обучения сети) все множество входных образов разбивается на набор непересекающихся «бассейнов притяжения», каждый из которых соответствует одному образу из обучающей последовательности. Каждый бассейн притяжения определяет подмножество входных образов, ассоциированных с соответствующим элементом обучающей последовательности.

Следует отметить, что информационная емкость (максимальное число запоминаемых образов) сети Хопфилда конечна и зависит от числа образующих сеть нейронов. При превышении максимально допустимого числа запоминаемых образов происходит образование «ложных образов» — устойчивых состояний, не соответствующих никакому элементу обучающей последовательности. Это явление имеет естественную психологическую интерпретацию, а сами ложные образы часто называют «снами» сети.

Модель нейрона с функцией активации

Другой простой моделью биологического нейрона, удобной для построения нейронных сетей является нейрон с функцией активации (см. [29]).

Нейрон с функцией активации вычисляет взвешенную сумму своих входов и выдает на выход значение где х — аналоговый выход нейрона, S(-) — сигмоидальная функция активации нейрона, xj — аналоговый выход j-ro пресинаптического нейрона, h — активационный сдвиг (внутренний параметр нейрона), wj — эффективность синаптической связи с j-м пресинаптическим нейроном. з

Единственным отличием нейрона с функцией активации от порогового нейрона является наличие у него аналогового выхода, значение которого вычисляется путем применения ко взвешенной сумме входов нейрона функции активации.

На основе нейронов с функцией активации было построено большое число полезных нейросетевых моделей, реализующих различные функции нервной системы. Наибольшую известность получили нейронные сети со слоистой топологией связей (перцептроны). Было показано [34], что двуслойный перцептрон, состоящий из нейронов с функцией активации, при соответствующем выборе весов связей реализует аппроксимацию произвольной непрерывной функции / : Rn —»• Rm с произвольной наперед заданной точностью (по равномерной норме). Сеть Хопфилда (модель ассоциативной памяти) также была реализована на основе полносвязной сети из нейронов с функцией активации.

В целом модель нейрона с функцией активации следует оценить как наиболее продуктивную в смысле разнообразия построенных на ее основе нейронных сетей, реализующих различные высокоуровневые функции нервной системы.

Импульсные модели нейрона

Рассмотренные выше простые модели нейрона (пороговый нейрон и нейрон с функцией активации) не воспроизводят динамику биологического нейрона, связанную с процессом генерации спайка. В последнее время активно исследуются импульсные модели нейрона, занимающие промежуточное положение между моделью Ходжкина-Хаксли, моделирующей ионный механизм генерации спайка и простыми моделями нейрона, отражающими только некоторые свойства биологического нейрона. Импульсные модели на качественном уровне воспроизводят генерацию спайка и реакцию нейрона на внешнее воздействие, не моделируя протекающие при этом электрохимические процессы или моделируя их только в самых общих чертах.

Было предложено большое количество феноменологических импульсных моделей нейрона, отражающих те или иные особенности динамики биологического нейрона. Среди импульсных моделей нейрона наибольшей простотой и популярностью отличаются т.н. интегративно-пороговый элемент (Integrate-and-fire Model) и модель отклика на спайк (Spike Response Model, SRM) [33, 36]. Сколько-нибудь полный обзор известных импульсных моделей нейрона далеко выходит за рамки настоящей работы (см. обзорные работы [1, 39, 2, 3]).

В работе [16] была предложена феноменологическая импульсная модель нейрона, основанная на использовании дифференциального уравнения с запаздыванием. Эта модель хорошо согласуется с биологическими данными, достаточно проста и допускает аналитическое исследование. Настоящая работа в основной своей части посвящена исследованию динамики модели из [16] и нейронных сетей, построенных на ее основе.

Заключение

Основной результат главы 2 — оценка периода решения уравнения нейрона, имеющая первый порядок точности по величине, обратной к значению большого параметра. Основной результат главы 3 — основанный на лемме о факторизации метод исследования систем диффузионно связанных импульсных нейронных осцилляторов и теорема о существовании в системе из двух таких осцилляторов периодического режима с постоянным рассогласованием спайков.

Перечислим основные задачи, непосредственно примыкающие к тематике данной работы и ожидающие своего решения:

1. Представляет интерес построение равномерного приближения к решению уравнения нейрона методом пограничных функций.

2. Остается нерешенным вопрос о единственности и орбитальной устойчивости периодического решения уравнения нейрона.

3. Развитая во второй главе техника может быть применена к решению многих задач, связанных с получением оценок продолжительности нейронных процессов. Так, может быть получена уточненная оценка для латентного периода химического синапса (оценка нулевого приближения была получена в [7]).

4. Доказанная в третьей главе лемма о факторизации систем диффузионно связанных импульсных осцилляторов легко может быть усилена таким образом, чтобы возмущение оператора L[u] имело порядок о(А-1). Этот вариант леммы совместно с техникой второй главы может быть использован для изучения устойчивости однородного режима системы диффузионно связанных импульсных осцилляторов.

1. Абарбанель, Г.Д.И. Синхронизация в нейронных ансамблях / Абарбанель Г.Д.И., Рабинович М.И., Сельверстон А. и др. // УФМН. 1996. - Т. 166. - № 4. - С. 363-389.

2. Борисюк, Г.Н. Осцилляторные нейронные сети. Математические результаты и приложения / Борисюк Г.Н., Борисюк P.M., Казанович Я.Б. и др. // Математическое моделирование. 1992 - Т. 4. - № 1. - С. 3-43.

3. Борисюк, Г.Н. Модели динамики нейронной активности при обработке информации мозгом итоги «десятилетия» / Борисюк Г.Н., Борисюк P.M., Казанович Я.Б., Иваницкий Г.Р. // УФМН. - 2002. - Т. 172. - № Ю. - С. 1189-1214.

4. Кащенко, С.А. Об одном дифференциально-разностном уравнении, моделирующем импульсную активность нейрона / Кащенко С.А., Майоров В.В. // Математическое моделирование. -1993. Т. 5. - № 12. - С. 13-25.

5. Кащенко, С.А. Исследование колебаний в кольцевых нейронных системах / Кащенко С.А., Майоров В.В., Мышкин И.Ю. // Докл. РАН. 1993. - Т. 333. - № 5. - С. 594-597.

6. Кащенко, С.А. Распространение волн в простейших кольцевых нейронных структурах / Кащенко С.А., Майоров В.В., Мыш-кин И.Ю. // Математическое моделирование. 1995. - Т. 7. -№ 12. - С. 3-18.

7. Кащенко, С.А. Волновые структуры в кольцевых системах из однородных нейронных модулей / Кащенко С.А., Майоров В.В. // Докл. РАН. 1995. - Т. 342. - № 3. - С. 318-321.

8. Кащенко, С.А. Колебания в системах уравнений с запаздыванием и разностной диффузией, моделирующих локальные нейронные сети / Кащенко С.А., Майоров В.В., Мячин M.JI. // Докл. РАН. 1995. - Т. 344. - № 3. - С. 1274-1279.

9. Кащенко, С.А. Волновые образования в кольцевых нейронных системах / Кащенко С.А., Майоров В.В., Мышкин И.Ю. // Математическое моделирование. 1997. - Т. 9. - № 3. - С. 29-39.

10. Кащенко, С.А. Модель нейронной системы, синхронизирующей волновые пакеты / Кащенко С.А., Майоров В.В., Мышкин И.Ю. // Докл. РАН. 1998. - Т. 360. - № 4. - С. 463-466.

11. Кащенко, С.А. Модель адаптации кольцевых нейронных ансамблей / Кащенко С.А., Майоров В.В. // Радиотехника и Электроника. 1998. - Т. 43. - № 11. - С. 1-7.

12. Кащенко, С.А. Модели волновой памяти / Кащенко С.А., Майоров В.В. М.: Книжный дом «ЛИБРОКОМ», 2009. - 288 с.

13. Лоскутов, А.Ю. Введение в синергетику / Лоскутов А.Ю., Михайлов А.С. М.: Наука, 1990. - 270 с.

14. Майоров, В.В. Математическое моделирование нейронной сети на основе уравнений с запаздыванием / Майоров В.В., Мыш-кин И.Ю. // Математическое моделирование. 1990. - Т. 2. -№ 11. - С. 64-76.

15. Майоров, В.В. Структура колебаной в кольцевой системе из однородных нейронных модулей / Майоров В.В. // Моделирование и анализ информационных систем. Ярославль, 1994. -Вып. 2. - С. 50-77.

16. Майоров, В.В. Планирование волн в кольцевых структурах ассоциаций импульсных нейронов-детекторов / Майоров В.В., Мышкин И.Ю., Куксов А.Г., Мячин М.Л. // Моделирование и анализ информационных систем. Ярославль, 2003. - Т. 10. - № 2. - С. 30-34.

17. Майоров, В.В. Планирование волн в кольцевых структурах ассоциаций импульсных нейронов-детекторов / Майоров В.В.,

18. Мышкин И.Ю., Куксов А.Г., Мячин M.JI. // Математика в Ярославском госуниверситете. Материалы Всеросс. научной конференции посвященной 200-летию Ярославского гос. Университета им. П.Г. Демидова. Ярославль, 2003 - С. 46-51.

19. Майоров, В.В. Планирование волн в кольцевых структурах ассоциаций импульсных нейронов-детекторов / Майоров В.В., Мышкин И.Ю., Мячин M.JI., Куксов А.Г. // Научная сессия МИФИ-2003. Ч. 2. - Нейроинформатика-2003. - С. 11-18.

20. Майоров, В.В. Импульсные нейросети / Майоров В.В., Ануф-риенко С.Е. // Ярославль, 2006. 98 с.

21. Майоров, В.В. Обобщенный нейронный автомат в задаче распространения волны возбуждения по нейронной сети / Майоров В.В., Коновалов Е.В. // Нейрокомпьютер. 2007. - № 7. - С. 3-8.

22. Майоров, В.В. Поправка к периоду решения уравнения, моделирующего динамику мембранного потенциала нейрона / Майоров В.В., Мячин M.JI., Парамонов И.В. // Моделирование и анализ информационных систем Ярославль, 2008. - Т. 15. -№ 2 - С. 61-66.

23. Мячин, M.J1. Комплексный анализ сложной динамики системы, моделирующей сальтаторное проведение нервного импульса / Мячин M.JI. // Моделирование и анализ информационных систем. Ярославль, 1996. - вып. 3. - С. 48-55.

24. Покровский, А.Н. Процессы управления в нервных клетках / Покровский А.Н. Л., 1987. - 85 с.

25. Соколов, Е.Н. Нейроинтеллект: от нейрона к нейрокомпьютеру / Соколов Е.Н., Вайткявичюс Г.Г. М: Наука, 1989. - 238 с.

26. Тимофеев, Е.А. Моделирование нейрона, передающего информацию плотностью потока импульсов / Тимофеев Е.А. // Автоматика и телемеханика. 1997. - № 3. - С. 190-199.

27. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика / Уоссермен Ф. М.: Мир, 1992. - 184 с.

28. Ходжкин, А.Л. Нервный импульс / Ходжкин А.Л. М.: Мир, 1965. - 125 с.

29. Шабаршина, Г.В. Проведение возбуждения по кольцевой структуре нейронных клеточных автоматов / Шабаршина Г.В. // Моделирование и анализ информационных систем. Ярославль, 1994. - № 2 - С. 116-121.

30. Эдварде Р. Функциональный анализ / Эдварде Р. М.: Мир, 1963. - 1071 с.

31. Gerstner, W. What's different with spiking neurons? / Gerstner W. // Plausible Neural Networks for Biological Modelling, Henk Mastebroek and Hans Vos (Eds.) Kluwer Academic Publishers, 2001. - P. 23-48.

32. Hornik, K. Multilayer Feedforward Networks are Universal Approximators / Hornik K., Stinchcombe M., White H. // Neural Networks. 1989 - Vol. 2. - P. 359-366.

33. Hodgkin, A.L. A Quantitative Description Of Membrane Current And Its Application To Conduction And Excitation In Nerve

34. Hodgkin A.L., Huxley A.F. // J. Physiol. 1952. - V. 117.- P. 500-544.

35. Maass, W. Networks of spiking neurons: the third generation of neural network models / Maass W. // Neural Networks. 1997.- Vol. 10. P. 1659-1671.

36. Maass, W. Fast sigmoidal networks via spiking neurons / Maass W. // Neural Computation. 1997. - Vol. 9. - P. 279304.

37. Maass, W. Networks of spiking neurons can emulate arbitrary Hopfield nets in temporal coding / Maass W., Natschlager T. // Network: Computation in Neural Systems. 1997. - Vol. 9(4).- P. 355-372.

38. Rabinovich, M.I. Dynamical principles in neuroscience / Rabinovich M.I., Varona P., Selverston A.I., Abarbanel H.D.I. // Rev. Mod. Phys. 2006. - Vol. 78. - No. 4. - P. 1213-1265.