автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Исследование динамики синаптического взаимодействия импульсных нейронов с запаздыванием

005007145

На правах рукописи

Дунаева Ольга Александровна

ИССЛЕДОВАНИЕ ДИНАМИКИ СИНАПТИЧЕСКОГО ВЗАИМОДЕЙСТВИЯ ИМПУЛЬСНЫХ НЕЙРОНОВ С ЗАПАЗДЫВАНИЕМ

Специальность 05.13.18 — математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

12 янв жг

Ярославль - 2011

005007145

Работа выполнена на кафедре дискретного анализа Ярославского государственного университета им. П.Г. Демидова

Научный доктор физико-математических наук, профессор

руководитель - Бондаренко Владимир Александрович

Официальные доктор физико-математических наук, оппоненты: старший научный сотрудник Козякин Виктор Сергеевич доктор физико-математических наук, профессор Бережной Евгений Иванович

Ведущая Учреждение Российской академии наук

организация - «Научно-исследовательский институт системных исследований РАН»

Защита состоится января 2012 г. в ¿Г часов на заседании диссертационного совета Д 212.002.05 при Ярославском государственном университете имени П.Г. Демидова по адресу: 150000, г. Ярославль, ул. Советская, д. 14.

С диссертацией можно ознакомиться в научной библиотеке Ярославского государственного университета имени П.Г. Демидова по адресу: 150000, г. Ярославль, ул. Полушкина роща, д. 1.

Автореферат разослан «¿2» декабря 2011 г.

Ученый секретарь диссертационного совета

Глызин С.Д.

Общая характеристика работы

Актуальность работы

Нейросетевой подход к исследованию нервной системы состоит в построении и изучении искусственных нейронный сетей — систем обработки информации, в которых воплощены некоторые из известных принципов функционирования нервной системы. При построении искусственных нейронных сетей используется широкий спектр моделей биологического нейрона различного уровня детализации — от простейших пороговых сумматоров до моделей, воспроизводящих динамику процессов ионного транспорта, происходящих в мембране биологического нейрона. В рамках нейросетевого подхода было выяснено, что уже в простейших нейронных системах реализуются многие высокоуровневые психологические феномены такие как память, обобщение, запоминание и забывание информации. Одновременно имеющийся опыт успешного применения нейро-сетевых устройств и алгоритмов обработки информации к задачам распознавания образов демонстрирует эффективность и практическую ценность нейросетевого подхода.

В последнее время активно исследуются импульсные модели нейрона, занимающие промежуточное положение между моделями, моделирующими ионный механизм генерации спайка и простыми моделями, отражающими только базовые свойства биологического нейрона. Импульсные модели на качественном уровне воспроизводят генерацию спайка и реакцию нейрона на внешнее воздействие, не моделируя протекающие при этом электрохимические процессы или моделируя их только в самых общих чертах. Было предложено большое количество феноменологических импульсных моделей нейрона, отражающих те или иные особенности динамики биологического нейрона В начале 1990-х годов в работах В.В. Майорова, И.Ю. Мышкина и С.А. Кащенко была предложена феноменологическая импульсная модель нейрона-автогенератора, основанная на использовании дифференциального уравнения с запаздыванием. Эта модель хорошо согласуется с биологическими данными, достаточно проста и допускает аналитическое исследование. В цикле работ В.В. Майорова и С.А. Кащенко была построена асимптотика решения уравнения импульсного нейрона и показано, что нейрон генерирует короткие высокоамплитудные спайки, разделенные про-

1Izkikevich, Е. М. Which model to use for cortical spiking neurons? / H. M. Izhikevich // IEEE Transactions on neural networks.- 2004,- Vol. 15, No. 5.- Pp. 1063-1070.

межутками медленного изменения мембранного потенциала. В этих работах была также предложена модель синаптического взаимодействия импульсных нейронов и рассмотрены разнообразные волновые режимы в кольцевых нейронных структурах, включая режимы синхронизации колебаний, моделирующие процессы запоминания и хранения информации. Также была решена задача синтеза импульсной нейронной сети, генерирующей периодические последовательности импульсов с заданными межспайковыми расстояниями.

Настоящая работа посвящена дальнейшему исследованию динамики синаптического взаимодействия импульсных нейронов-автогенераторов, основанных на уравнении с запаздыванием. В работе предложена модель химического синапса с ограниченным интервалом чувствительности (Bounded Sensitivity synapse, BS-синапс), на основе которой смоделирован сумматор, и модификация этой модели (Modified synapse with Bounded Sensitivity, MBS-синапс), на базе которой смоделирован нейрон с кусочно линейной функцией активации. При этом используется гипотеза об импульсном кодировании информации, которая позволяет в рамках импульсной нейронной сети воспроизвести процессы обработки информации, характерные для классических нейронных сетей.

Исследование нейронных сетей — одна из перспективных областей современной прикладной математики, конечной целью которой является достижение понимания механизмов работы мозга. В настоящее время в центре внимания исследователей находятся импульсные нейронные сети, позволяющие моделировать процессы обработки информации, протекающие в нервной системе за время, сравнимое с временем генерации нейроном одного импульса. Актуальность данной работы определяется тем, что она посвящена исследованию синаптического взаимодействия в импульсных нейронных сетях, построенных на базе биологически правдоподобной модели нейрона.

Цель работы

В работе рассмотрены задачи конструирования импульсных аналогов классических нейросетевых архитектур. Традиционный способ реализации классических нейросетевых архитектур на основе нейронных сетей, состоящих из биологически правдоподобных модельных нейронов, связан с использованием частотного кодирования информации. При этом получаются нейронные сети, в ко-

торых один такт обработки входной информации занимает время, во много раз превышающее время генерации нейроном единичного импульса, что противоречит экспериментальным данным о времени реакции нервной системы на входной стимул2. По этой причине в данной работе при конструирования импульсных аналогов классических нейросетевых архитектур используется импульсное кодирование информации, при котором длительность одного такта обработки входной информации оказывается сравнимой с временем генерации нейроном единичного импульса. Аналогичная задача в ряде работ была решена с использованием простейших импульсных моделей нейрона, не обладающих свойством биологической реалистичности3. В данной работе задача построения импульсных аналогов классических нейросетевых архитектур решается с использованием импульсной модели биологического нейрона, обладающей высокой степенью биологической реалистичности.

Таким образом, конечной целью работы является разработка принципов конструирования импульсных аналогов классических нейросетевых архитектур на базе биологически реалистичной импульсной модели нейрона при использовании импульсного кодирования информации. Для решения поставленной задачи автором предложены две новые модели синаптического взаимодействия импульсных нейронов с запаздыванием, позволяющие воспроизвести процедуру взвешенного суммирования и применения функции активации с насыщением. На основе предложенных моделей разработан импульсный аналог нелинейного нейрона МакКаллока-Питца, позволяющий строить импульсные нейросетевые архитектуры, воспроизводящие работу классических нейронных сетей.

Методы исследования

Основным методом исследования является метод большого параметра, предложенный в работах С.А. Кащенко4. При получении асимптотической оценки длительности спайка изолированного нейрона и латентного периода нейрона при синаптическом взаимодействии используются методы, связанные с построением асимптотических разложений для несобственных интегралов.

2 Maass, V. Fast sigmoidal networks via spiking neurons / W. Maass I I Neural Computation. — 1997. - Vol. 9. - Pp. 279-304.

3См., например, работу, ссылка на которую приведена в сноске 2.

4Кащенко, С. А. 06 установившихся режимах уравнения Хатчинсона с диффузией / С. А. Кащенко Ц Доклады АН СССР. - 1987. - Т. 292, № 2. - С. 327-330.

Научная новизна

Научная новизна работы состоит в следующем:

— Предложены новые модели синаптического взаимодействия импульсных нейронов с запаздыванием, позволяющие в рамках нейронных сетей с импульсным кодированием информации, состоящих из биологически реалистичных модельных нейронов, воспроизвести процедуру взвешенного суммирования и применения функции активации с насыщением. Для предложенных моделей проведено исследование процессов синаптического взаимодействия импульсных нейронов с запаздыванием и получены асимптотические формулы, описывающие процесс взаимодействия.

— Предложен импульсный аналог нелинейного нейрона МакКаллока-Питца, на основе которого построены импульсные нейросетевые архитектуры, использующие импульсное кодирование информации, состоящие из биологически реалистичных модельных нейронов и воспроизводящие работу многослойного перцептрона и рекуррентной сети Хопфилда.

Положения, выносимые на защиту

1. Получены оценки длительности спайка и латентного периода импульсного нейрона, имеющие первый порядок точности по величине, обратной к значению большого параметра.

2. Предложена модель ВБ-синапса, получены асимптотические формулы, описывающие результат воздействия на нейрон с ВБ-синапсами произвольного числа пресинаптических нейронов и показано, что нейрон с ВБ-синапсами способен вычислять взвешенную сумму своих входов.

3. Предложена модель химического МВБ-синапса, для которой получена асимптотическая формула для интервала чувствительности и показано, что нейрон с МВБ-синапсом способен моделировать функцию активации с насыщением.

4. Описана конструкция импульсных нейросетевых архитектур, использующих импульсное кодирование информации, состоящих из биологически реалистичных модельных нейронов и воспроизводящих динамику нелинейного нейрона МакКаллока-Питца, многослойного перцептрона и рекуррентной сети Хопфилда.

Теоретическая и практическая ценность

Работа носит теоретический характер. Ее результаты могут быть использованы при исследовании процессов синаптического взаимодействия импульсных нейронов в нейронных сетях, состоящих из осцилляторных элементов, описываемых уравнением с запаздыванием. Описанные в работе модели синаптического взаимодействия импульсных нейронов могут быть использованы в качестве основы при разработке импульсных нейросетевых моделей процессов запоминания и обработки информации в нервной системе. Предложенный в работе импульсный аналог нейрона МакКаллока-Питца может быть использован для построения широкого спектра импульсных аналогов классических нейронных сетей.

Апробация работы

Результаты работы были доложены на семинарах «Моделирование и исследование нейронных сетей», «Нелинейная динамика и синергетика» в Ярославском государственном университете им. П.Г. Демидова и представлены на следующих конференциях:

XII Всероссийская научно-техническая конференция «Нейроинформатика-2010» (Москва, 2010); Конференция «Наукоемкие информационные технологии» (Переславль-Залесский, 2010); XIII Всероссийская научно-техническая конференция «Нейроинформагика-201Ь (Москва, 2011).

Публикации

По теме диссертации опубликовано 9 статей, в том числе 5 в изданиях из списка ВАК. Одна работа выполнена в нераздельном соавторстве, во всех остальных случаях в диссертацию включены результаты, полученные лично автором.

Структура и объем работы

Работа состоит из четырех глав (первая из которых является вводной), заключения, списка литературы и приложения. Объем работы составляет 118 страниц, она содержит 6 иллюстраций.

Краткое содержание работы

В первой главе дан общий обзор предметной области (искусственные нейронные сети), обосновывается актуальность рассмат-

риваемой в работе тематики (импульсные нейронные сети), определяются цели и задачи исследования, формулируется научная новизна и практическая значимость работы, перечисляются основные положения, выносимые на защиту. Также в первой главе кратко охарактеризованы основные модели биологического нейрона и модельные представления, относящиеся к кодированию информации в нервной системе, дан обзор импульсных нейросетевых моделей.

Во второй главе рассмотрена модель импульного нейрона, основанная на уравнении с запаздыванием. Получены оценки длительности спайка и латентного периода, имеющие первый порядок точности по величине, обратной к значению большого параметра.

Биологически правдоподобная модель импульного нейрона на основе уравнения с запаздыванием была предложена В.В. Майоровым и И.Ю. Мышкиным в 1990 году5. В этой модели динамика мембранного потенциала и(£) описывается следующим уравнением:

й = А(/к(и(е -1)) - Ы«(0) -1]«(0, (1)

где Л > 0 — большой параметр, определяющий скорость процессов поляризации-деполяризации мембраны нейрона; /иа(и) и /«(и) — гладкие положительные функции, монотонно стремящиеся к нулю при и —> со. Всюду далее будем считать выполненным условие неустойчивости нулевого состояния равновесия нейрона:

а = /к(0) - Ы0) - 1 > 0. (2)

Начальная функция для уравнения (1) выбирается из множества

5 = {у? б С[-1,0] : А^ехр^Асм) < ^ А-1ехр(Аа5/2)} . (3)

Функции Да (и) и /к(и), описывающие зависимость проводимости мембраны нейрона от мембранного потенциала, определяют свойства нейрона как нелинейной электрохимической системы6. Наличие в уравнении (1) постулируемого запаздывания калиевой проводимости по отношению к натриевой делает данную модель феноменологической. Тем не менее, важно отметить, что рассматриваемая модель описывает протекающие в мембране нейрона процессы ионного обмена и хорошо согласуется с экспериментальными данными.

5Майоров, В. В. Математическое моделирование нейронной сети на основе уравнений с запаздыванием / В. В. Майоров, И. Ю. Мышкин // Математическое моделирование. — 1990. — Т. 2, Кя II. - С. 64-76.

6 Кащенко, С. А. Модели волновой памяти / С. А. Кащенко, В. В. Майоров. — М.-. Книжный дом «ЛИБРОКОМ», 2009. - 288 с.

Приведем основные результаты7, касающиеся свойств решения уравнения (1). Решение уравнения для изолированного нейрона оказывается периодическим и имеющим импульсную структуру. Моменты начала и конца импульса (спайка) естественно связать с моментами, когда мембранный потенциал u(t) пересекает значение А-1 с положительной и отрицательной скоростью соответственно. Для длительности импульса Т\ и периода Г2 генерации импульсов имеют место следующие асимптотические оценки нулевого порядка точности: Ii = Tw + о( 1), Т2 = Г20 + о(1), где Т10 = 1 + оь Т2о = Ti + 1 + а2/а, а\ = /к(0) - 1 и а2 = /Na (0) + 1. Также была получена8 асимптотическая оценка Т21 периода имеющая первый порядок точности по величине, обратной к значению большого параметра Л, т.е. Т2 = Т21 +о(Л^1). Отметим, что С.Д. Глызиным с помощью более сложной техники была построена9 оценка периода, которая имеет экспоненциальную точность.

Следующая лемма дает асимптотическую оценку первого порядка точности для длительности спайка.

Лемма 1. Пусть дважды непрерывно дифференцируемые положительные функции /ш{и) и 1к{и) монотонно убывают и при и —>■ оо стремятся к нулю быстрее, чем 0(и~1), т.е. найдется такое е > 0, что при и —s- оо выполнены соотношения ¡Ыа{и) = 0(и~1~£); ¡к(и) = 0(и~1~Е). Пусть также выполнены соотношения f'NJfi) = /¿(0) = 0. Тогда при А -» оо для решения u(t) уравнения (1) с начальной функцией € S для длительности спайка Т\ имеют место следующие асимптотические равенства: Ту = Гц + о{\~1), где Ти = Г10 + ДГЬ Тхо = 1 + «j и

7См. сноску 6 на странице 8.

^Майоров, В. В. Поправка к периоду решения уравнения, моделирующего динамику мембранного потенциала нейрона / В. В. Майоров, М. Л. Мячии, И. В. Парамонов Ц Моделирование и анализ информационных систем. — 2003. — Т. 15, № 2. — С. 61-66.

9Глшин, С. Д. Релаксационные колебания электрически связанных нейроподобных осцилляторов с запаздыванием / С. Д. Глызнн // Моделирование и анализ информационных систем. — 2010.-Т. 17, № 2.-С. 28-47.

+

•ОО

1к{и) + ЫиЩи) ~ /«(0)] du

[«1 ~/лга(«)1[1 +/М>(Ч)] и

В работах С.А. Кащенко и В.В. Майорова10 была предложена следующая модель химического взаимодействия импульсных нейронов:

u = А [-1 - Ыи) + fK{u(t - 1)) + х[и, w](i)]«. (4)

Здесь функционал хК"] определяет влияние пресинаптического нейрона с потенциалом v(t) на динамику мембранного потенциала u(t) постсинаптического нейрона и имеет следующий вид:

хК «](t) = age(v - x-^eix-1 - u)e(x~l - u(t - i))e(u - u.).

Синаптический вес g характеризует эффективность синапса, а множитель &(v(t) - Л-1) определяет условие наличия воздействия со стороны пресинаптического нейрона, т.е. время воздействия совпадает с продолжительностью спайка пресинаптического нейрона. Остальные сомножители гарантируют нечувствительность нейрона к синаптическому воздействию (рефрактерность) во время спайка нейрона и до момента времени когда потенциал постсинаптического нейрона достигнет порогового значения иПредполагается, что пороговое значение и„ согласовано с параметром Л: и, — А-1 ехр(-Ар), где 0 < р < а2 -е при некотором малом положительном е. Для продолжительности Тд рефрактерного периода имеет место следующая оценка: Тд = Тгх - р/а + о(А-1).

Задержка возникновения индуцированного спайка (латентный период) определяется величиной Q(tv,g) — ts - tv, где ts — момент начала индуцированного спайка, a tv — момент начала синап-тического воздействия. Следующая теорема дает асимптотическую оценку первого порядка точности для латентного периода нейрона.

Теорема I. Если в уравнении (4) функции ff/a(u) и }к(и) удовлетворяют условиям леммы 1, то при А -¥ оо асимптотическая оценка Q{tv,g) точности о(А-1) для величины Q{tv,g) зависит от веса g и знака функции р{д) = Тп - Тд - Тц (1 + д).

При д > — 1, р(д) > 0 имеют место формулы

Q(tv,9) = Ти - t„ f„ e [0,ТД - T„],

Q%, 9) = T21 ~tv- g{tv + Гц - Tr), tv G [Гд - Tu>Тд], Q(tv,9) = Та. -tv- gTu, tv € [Гд, TR + p{g)},

Q(tv,g) = (Та - tv)/( 1 + g), tv б [Гд + p(g), Га1],

тКащехко, С. А. Модель адаптации кольцевых нейронных ансамблей / С. А. Кащенко, В. В. Майоров // Радиотехника и Электроника. — 1398. — Т. 43, № 11. — С. 1-7.

а при д > — 1, р(д) < 0 формулы принимают вид Q(tv, g) = Г21 - tv, tv 6 [О, TR - Ги],

Q(iv, 9) = T21 ~tv- g(tv + Tu - 7д), tv e [TR - Tn,TR + Pl{g)l Q{tv. g) = (Гя + gTR)/(l + g)~ tv; tv 6 [TR + Pl(g), TR), Q(tv, 9) = (Til - tv)/{ 1 + 5), t. e [Гд, Ги],

где pi(p) = />(fl)/(l+p).

/7ри имеем следующие асимптотические равенства:

Q{tv,a, Ч>) = Ти - tv € [О, TR - Гц],

Q(tv,g, <р) = T21 -1„ - g(tv + Т„ - 7л), f„ е (Гд - Г„, Гд],

Q(iB, з, р) = Т21 - t„ - дТ1Ъ tve [Тд, Т21].

Точность полученной оценки латентного периода была проверена численно. Результаты численного счета показали, что уже при не слишком больших значениях параметра Л полученная в теореме 1 оценка первого приближения для латентного периода оказывается существенно точнее оценки нулевого приближения.

В третьей главе рассмотрены альтернативные модели химического взаимодействия импульсных нейронов — модель BS-синапса (Bounded Sensitivity synapse, синапс с ограниченным интервалом чувствительности) и модель MBS-синапса (Modified synapse with Bounded Sensitivity, модифицированный синапс с ограниченным интервалом чувствительности). Показано, что при использовании импульсного кодирования информации нейрон с BS-синапсами реализует суммирование входных сигналов, а нейрон с MBS-синапсами в случае одного внешнего синаптического воздействия моделирует функцию активации с насыщением.

Динамика мембранного потенциала импульсного нейрона с BS-синапсами или BS-нейрона описывается следующим уравнением:

u = А [-1 - Ы«(0) + /к(«(«- 1)) + Xh НМ] <t)- (5)

Функционал х[и,ад] определяет влияние суммарного внешнего синаптического воздействия u(t):

Х\и, u/](f) = aw(t)e(u(t - Ts) - Л"1).

Здесь — момент начала интервала чувствительности нейрона к внешнему воздействию. Параметр Ts удовлетворяет ограничению:

Ti + l + e,<Ts<Ti~Ti-e„ (6)

где е, > 0 некоторое фиксированное число, не зависящее от параметра Л. Множитель в(и(г - Т3) - Л-1) гарантирует, что чувствительность к внешнему воздействию имеет место только на промежутке [75,75+11). Если на постсинаптический нейрон воздействует N пресинаптических нейронов с мембранными потенциалами то для суммарного синаптического воздействия и>({) будем использовать следующую формулу:

n .7=1

Параметр характеризует эффективность _?-го синапса, множитель - А^) - Л-1) определяет условие наличия воздействия со стороны ¿-го пресинаптического нейрона, а Aj — задержка на синапсе, которую везде в дальнейшем будем считать нулевой, если противное не оговорено явно.

Для ВБ-нейрона имеет место следующее основное утверждение:

Теорема 2. Пусть нейрон с мембранным потенциалом м(«) описывается уравнением (5), в котором /л>а(и) и /к(и) — гладкие положительные функции, монотонно стремящиеся к нулю при и оо и удовлетворяющие условию (2), начальная функция выбирается из множества (3), для параметра выполнено условие (6), а функция и:(1) задается формулой (7). Пусть также моменты начала спайков всех пресинаптических нейронов приходятся на интервал [Т3,Т5 + Т^ чувствительности постсин-птического нейрона и ни один пресинаптический нейрон не выходит на этоим интервале из состояния генерации спайка, а для весов выполнено неравенство

2Ы <-г-1 (8)

¡=1 1

где с* > 0 не зависит от значения параметра А. Тогда, если ВБ-нейрон сгенерировал импульс в момент времени ф = о(1), то при достаточно большом значении параметра А ВБ-нейрон сгенерирует очередной импульс в момент времени = Тч — АЬ, где

= Л(Т5 + Г1 — и) + А), ¿ел

а р(Х) = о(1) функция, стремящаяся к нулю при А —> со равномерно относительно выбора начальной функции уз € 5.

При импульсном кодировании в качестве носителя информации используются индивидуальные моменты спайков нейронов. Пусть на входы импульсного нейрона в моменты времени ^ поступают входные импульсы, а ответный импульс генерируется в момент времени ¿5р. Соответствие между указанными моментами времени и значениями р,- числовых входов импульсного нейрона и его числового выхода q устанавливается следующим определением:

Определение 1. Импульсным (Р, С}, ^-кодированием назовем взаимно однозначное соответствие между моментами времени (¡р и значениями р„ д числовых входов и числового выхода, заданное следующими формулами:

РРг = и- (I, + Р), /Зч = <1р - (*, + <2).

где и — момент начала предыдущего спайка нейрона, а Р и <3 — фиксированные числа, задающие положение точек отсчета относительно момента

Следующая теорема показывает, что с помощью В5-нейрона можно смоделировать работу взвешивающего сумматора.

Теорема 3. Пусть на ВБ-нейрон воздействуют N пресинаптиче-ских нейронов с весами ди для которых выполнено неравенство

n

(9)

1=1

где еь3 — некоторое положительное число, не зависящее от А, длительность спайка пресинаптических нейронов равна Т\, а параметры нейрона удовлетворяют условию

Т2>Т5 + 321. (10)

Пусть также у нейрона имеется ^ + 1)-й дополнительный вход Рк+\ = 0 с весом дц+1 = Если на входы ВБ-нейрона по-

даются значения р4 е [-7.7]. то пРи использовании [Р', О1, ¡Закодированы, где

Р'^Тз + Тг/2, $' = Т2, /Г = 71/27, (И)

BS-нейрон будет работать как взвешивающий сумматор, т.е. будет выполнено равенство q = p,g, + //(А), где ц{Х) = о(1), а выход q будет лежать на интервале [—7,7].

Явление насыщения может быть реализовано при использовании модели импульсного нейрона с MBS-синапсами или MBS-нейрона, динамика мембранного потенциала которого описывается следующим уравнением:

й~Х

n

-1 - л.(в(0) + /к(«(* - 1)) + £ хцф, vj}{t)

i=i

«СО-

Функционал Xaj,6jK"j] определяет влияние j'-ro синапса:

«ЖО = Oft-e* A(ti(i - Ts), u(t - Ts))<d{vj{t - Aj) - A-1),

где

{1, и > exp(Aa), и ^ 0 1, и > exp(Ab),u ^ 0 О, иначе.

Уровни активации aj, bj MBS-синапса определяют его интервал чувствительности.

Следующая лемма демонстрирует влияние параметров а, Ь на интервал чувствительности MBS-нейрона.

Лемма 2. Пусть для а и Ь при некотором положительном е < 1 выполнены неравенства

е < а,Ь < ai{\ - е). (12)

Тогда при достаточно больших значениях параметра A MBS-синапс будет чувствителен к внешнему синаптическому воздействию на интервале времени [Ts + X, Ts + 7\ - Y], где X = a/ai+fixiA), Y = Ь + Цу{\) и рх{\) = о(1), цу(\) = о(1).

Отметим, что BS-синапс является частным случаем MBS-синапса при aj = bj — — In А/А, а при а = аф интервал чувствительности MBS-синапса симметричен относительно точки Ts + Ti/2. Сформулируем теорему о воздействии на MBS-нейрон.

Теорема 4. Пусть на MBS-нейрон воздействует один пресинап-тический нейрон с весом.

Ti-iTs + Ty-Y)-^ 9 71 - X - Y

где г' > О не зависит от значения параметра А, а уровени активации MBS-синапса выбраны в соответствии с условиями леммы 2. Пусть MBS-нейрон генерирует импульс в момент времени ф = о(1), а пресинаптический нейрон генерирует спайк длительности Ть начинающийся в момент времени tm 6 [Т5, Ts + 71]. Если параметр Ts удовлетворяет условию (6), то при достаточно большом значении параметра А MBS-нейрон сгенерирует следующий импульс в момент времени tsp = Т2 - At' + р!(Х) где li'iА) = 0(1) и

At'= ^

g'^-X-Y), tine[Ts,Ts + X}:

g'(Ts + T1-Y- tin), tin e [7s + X.TS + Tl- У], 0, tine [Ts + T.-^Ts + T,].

Следующая теорема показывает, что при определенных параметрах МВБ-нейрон моделирует функцию активации с насыщением.

Теорема 5. Пусть на МВ5-нейрон воздействует пресинаптический нейрон с весом

(13)

где £«¿5 — некоторое положительное число, не зависящее от А, длительность спайка пресинаптического нейрона равна 71, уровни активации МВБ-синапса выбраны в соответствии с условиями леммы 2, а параметры МВБ-нейрона удовлетворяют условию

Т2 - (Т5 + 71 - У) > 71. (14)

Если на его вход подается значение р е [—7,7], то при использовании (Р'\ <?", Р")-кодирования, где

Г = Т3 + 71/2. СГ = Т2 - 71/2 + р" = 71/27, (15)

при достаточно большом значении параметра А МВБ-нейрон будет реализовывать функцию активации с насыщением ц{р) =

f(p) + p'(\), где

Яр) =

-У + Smbs/P", Ре[-7,-7 + Х/П

7 - W/?" + 9'{p - 7 + У/Л. P e f-r + 7 - W], 7-W/9". P S [7 — Y/P", 7],

(16)

ц //(A) = 0(1), а выход q MBS-нейрона будет будет лежать на интервале [—с, 7].

Ясно, что функция активации MBS-нейрона при соответствующем выборе параметров может быть сделана симметричной.

В четвертой главе строится конструкция, которая состоит из импульсных нейронов и воспроизводит работу нелинейного нейрона МакКаллока-Питца с кусочно линейной функцией активации. Показано, что на основе этой конструкции могут быть построены импульсные нейронные сети, моделирующие работу многослойного перцептрона и рекуррентной сети Хопфилда.

Рассмотрим конструкцию, состоящую из последовательно соединенного BS-нейрона, реализующего взвешенное суммирование своих числовых входов и MBS-нейрона, реализующего применение ко входному числовому значению функции активации с насыщением. Отметим, что для обеспечения корректной работы BS-нейрона в качестве сумматора необходимо организовать подачу на него дополнительного (N + 1)-го числового входа. Также необходимо гарантировать корректную передачу импульса от BS-нейрона на MBS-нейрон и поддержать возможность многократной обработки входной информации.

На рисунке 1 схематически изображено устройство импульсного нелинейного нейрона МакКаллока-Питца, воспроизводящего работу нелинейного нейрона МакКаллока-Питца. Дадим формальное определение конструкции импульсного нейрона МакКаллока-Питца.

Конструкция 1 (Импульсный нелинейный нейрон МакКаллока-Питца). Импульсный нейрон МакКаллока-Питца состоит из BS-нейрона, MBS-нейрона и дополнительного изолированного импульсного нейрона CLOCK. BS-нейрон, MBS-нейрон и нейрон CLOCK имеют одинаковые значения параметра Тъ но различные собственные (при отсутствии внешнего воздействия) периоды. Параметры BS-нейрона удовлетворяют условию (10), а его

Рис. 1: Импульсный нелинейный нейрон МакКаллока-Питца

собственный период равен Т2. Параметры MBS-нейрона удовлетворяют условию (14), а его собственный период Т2 задается формулой

72 = Г2 + 71/4-£я4,/2. (17)

Период нейрона CLOCK равен длительности Т рабочего такта импульсного нейрона МакКаллока-Питца:

Т - 2Т2 + Ъ/2. (18)

Импульсный нейрон МакКаллока-Питца имеет N входов, которые одновременно являются входами BS-нейрона. Входы характеризуются весами gi, причем для весов выполнено условие (9). Выход BS-нейрона связан с MBS-нейроном с весом д', заданным равенством (13), а уровни активации синапса а', Ь' удовлетворяют условиям леммы 2. Будем говорить, что импульсный нейрон МакКаллока-Питца находится в начале такта, если в этот момент BS-нейрон генерирует импульс и рассогласование AT' с MBS-нейроном задается соотношением

AT = T2-TS- Ti/2. (19)

Нейрон CLOCK соединен с BS-нейроном двумя химическими BS-синапсами, условно обозначаемыми символами N + 1 и sync. Связь N + 1 характеризуется весом и задержкой на синапсе,

которые задаются соотношениями

n

ДлЧ-1 = Ts + Ti/2, gN+1 = £ gu (20)

¡=1

а для связи sync эти соотношения имеют следующий вид:

A^c = T2 + Ts-T1/2, gsync = -l. (21)

Также нейрон CLOCK соединен с MBS-нейроном двумя связями, условно обозначаемыми символами synd и supp'. Связь synd характеризуется весом, задержкой на синапсе и уровнями активации синапса, которые задаются соотношениями

A sync1 =T'2-Ti + embs + Tg + AT1, gsynci — -1, aSyncf — bsynd = — In A/A,

а для связи supp' эти соотношения имеют следующий вид:

&supp> = 0, gsupp> = —g, asupp> = a, bsuppt = b'. (23)

Каждая связь импульсного нейрона МакКаллока-Питца с i-м постсинаптическим нейроном представляет собой пару связей — связь MBS-нейрона с весом glout и связь нейрона CLOCK с весом дшрр и синаптической задержкой Asupp, заданными соотношениями

bsupp = а т', gsupp = -glout. (24)

Для кодирования информации на входах и выходе импульсного нейрона МакКаллока-Питца используется схема импульсного кодирования с параметрами

Р = 75 + 71/2, Q = r2-T1/2 + embs + AT', Р = Тфъ

а значения числовых входов Pi и выхода q импульсного нейрона МакКаллока-Питца принадлежат интервалу [—7,7].

Подача на (N+lJ-fi вход BS-нейрона числового значения pN+i — 0 в конструкции 1 реализуется за счет синаптической связи с параметрами (20). В результате будет выполнена теорема 3 и BS-нейрон будет вычислять взвешенную сумму своих числовых входов pi е [—7,7], причем для результата суммирования имеет место включение q е [-7,7].

Для корректной передачи импульса с BS-нейрона на MBS-нейрон необходимо чтобы интервал чувствительности MBS-нейрона совпадал с интервалом возможной генерации импульса BS-нейрона. В работе сформулирована и доказана лемма, которая показывает, что если рассогласование AT' между нейронами задано соотношением (19), то вычисленный BS-нейроном результат суммирования будет корректно передан на вход MBS-нейрона.

Поскольку для MBS-нейрона в конструкции 1 выполнены условия теоремы 5, то он реализует применение к результату суммирования функции активации с насыщением и числовой выход импульсного нейрона МакКаллока-Питца будет соответствовать выходу нелинейного нейрона МакКаллока-Питца.

Функционирование импульсного нейрона естественным образом распадается на отдельные такты, на каждом из которых нейрон генерирует в точности один импульс. Отметим, что после рабочего такта импульсного нейрона МакКаллока-Питца, на котором производится обработка входной информации, рассогласование между BS-нейроном и MBS-нейроном может измениться. Для того, чтобы обеспечить возможность многократной обработки входной информации, вводится дополнительный такт синхронизации.

В работе доказана лемма, которая утверждает, что при подаче в определенный момент времени синхронизирующего импульса и при отсутствии другого внешнего воздействия нейрон на такте синхронизации сгенерирует импульс в момент времени, не зависящий от момента генерации импульса на рабочем такте.

В конструкции 1 подача синхронизирующего импульса на BS-нейрон происходит за счет связи sync с нейроном CLOCK с параметрами (21). Аналогичным образом на MBS-нейрон синхронизирующий импульс подается за счет связи sync! с параметрами (22).

Импульсы, сгенерированные нейронами на такте синхронизации, не несут полезной информации, но могут повлиять на пост-синаптические нейроны. Подавление воздействия импульса BS-нейрона на такте синхронизации в конструкции 1 реализуется за счет связи supp' с параметрами (23). Отметим, что на рабочем такте подавляющие импульсы не оказывают влияния на MBS-нейрон.

Подавление импульса, который MBS-нейрон генерирует на такте синхронизации, осуществляется за счет связи нейрона CLOCK с постсинаптическим нейроном с параметрами (24). Эти соотношения гарантируют, что суммарное воздействие на постсинаптический нейрон на такте синхронизации будет равно нулю. На рабочем так-

те нейрон CLOCK не генерирует импульса и не оказывает влияния на постсинаптический нейрон.

Чтобы для импульсного нейрона МакКаллока-Питца обеспечить возможность многократной обработки входной информации, необходимо также гарантировать сохранение начального рассогласования ДТ' между BS-нейроном и MBS-нейроном. Это рассогласование будет сохранено, если суммарная длительность рабочего такта и такта синхронизации для BS-нейрона окажется такой же, как и для MBS-нейрона. В работе сформулирована и доказана лемма, согласно которой параметры BS-нейрона и MBS-нейрона могут быть выбраны таким образом, что конструкция 1 через время Т (см. (18)) вернется в исходное состояние и будет готова к обработке входной информации.

Сформулируем теперь основное утверждение относительно описанной конструкции импульсного нейрона МакКаллока-Питца.

Теорема 6. Пусть нелинейный нейрон МакКаллока-Питца имеет функцию активации (16) и его входы Pi лежат на интервале [—7.7]. Тогда если на вход импульсного нейрона МакКаллока-Питца подаются импульсы, кодирующие числовые значения р.,, то его числовой выход отличается от выхода нелинейного нейрона МакКаллока-Питца с кусочно линейной функцией активации на величину, стремящуюся к нулю при А -> оо равномерно относительно выбора начальной функции.

Импульсный нейрон МакКаллока-Питца способен многократно обрабатывать входную информацию, его рабочий такт имеет длину Т (см. (18)) и включает в себя интервал чувствительности [i* + Р - Tj/2. t, + Р + Ti/2] и интервал генерации ответного импульса [i, + Q - Ti/2. t, + Q + Ti/2], где t, — начало текущего рабочего такта.

Импульсный многослойный перцептрон. Классический многослойный перцептрон представляет собой слоистую нейронную сеть, в которой нелинейные нейроны МакКаллока-Питца расположены в нескольких упорядоченных слоях, причем внутри слоя связи между нейронами отсутствуют, а каждый нейрон к-го слоя оказывает воздействие на все нейроны (к + 1)-го слоя. Пусть входы и выход каждого нелинейного нейрона МакКаллока-Питца представлены числами из промежутка [—с,7], а функция активации имеет вид (16).

Конструкция импульсного аналога многослойного перцептрона определяется следующей теоремой:

Теорема 7. Пусть импульсная сеть V получена путем замены каждого нейрона, образующего перцептрон V, на импульсный нейрон МакКаллока-Питца. Если для всех импульсных нейронов, образующих сеть V, выполнены условия теоремы 6 и рассогласование между слоями задано соотношением

АТ = Т2 + АГ-Тз-Тг + е^

то сеть V' воспроизводит динамику многослойного перцептрона V, составленного из нелинейных нейронов МакКаллока-Питца с функцией активации (16).

Наличие временного рассогласования ДТ между слоями означает, что если у нейронов к-го слоя такт начинается в момент времени то у всех нейронов (к+ 1)-го слоя такт начинается в момент времени Ь 4- ДТ.

Импульсная сеть Хопфилда. Будем рассматривать сеть Хопфилда Н, которая представляет собой полносвязную сеть, образованную N нелинейными нейронами МакКаллока-Питца, причем для матрицы б = {д^} весов синаптических связей выполнены условия д1} = Яр и да = 0. Мы будем рассматривать синхронный режим работы сети Хопфилда, при котором на каждом шаге для всех нейронов вычисляется новое состояние, после чего происходит одновременное обновление состояния всех нейронов.

Конструкция импульсного аналога многослойного перцептрона определяется следующей теоремой:

Теорема 8. Пусть импульсная сеть Н' получена путем замены каждого нейрона, образующего сеть Хопфилда К, на импульсный нейрон МакКаллока-Питца. Если для всех импульсных нейронов МакКаллока-Питца, образующих сеть И', выполнены условия теоремы 6 и задержки Д,- на синапсах в формуле (7) заданы равенством

Aj = Т5 + Г8 + 271 - 7\/4 - етЬз/2,

то сеть воспроизводит динамику сети Хопфилда И, составленной из нелинейных нейронов МакКаллока-Питца с функцией активации (16).

В приложении описана используемая при численном решении уравнения импульсного нейрона разностная схема и наиболее важные детали программной реализации этой схемы.

Основные результаты работы

В работе исследована задача воспроизведения используемых в классических нейросетевых архитектурах алгоритмов обработки информации на импульсных нейронных сетях при использовании импульсного кодирования информации. Предложены две новые модели синаптического взаимодействия импульсных нейронов, позволяющие воспроизвести вычисление взвешенной суммы входов и применение ко входу функции активации с насыщением. На базе предложенных моделей построен импульсный аналог нелинейного нейрона МакКаллока-Питца, на основе которого построены импульсные нейронные сети, воспроизводящие работу многослойного перцептрона и рекуррентной сети Хопфилда.

В целом в работе продемонстрирована возможность построения быстрых импульсных аналогов классические нейронных сетей, что само по себе имеет большое теоретическое значение. Традиционная реализация классических нейронных сетей на базе биологически правдоподобных нейронов использует частотное кодирование информации и приводит к нейронным сетям, требующим для обработки информации времени, значительно превосходящего время отклика нервной системы. Предложенные в работе импульсные реализации классических нейросетевых архитектур на базе биологически правдоподобных нейронных элементов используют импульсное кодирование информации и демонстрируют способность обрабатывать входную информацию за время, сравнимое со временем генерации каждым нейроном сети единичного спайка, что соответствует экспериментальным данным о скорости отклика нервной системы на внешний стимул.

Список публикаций по теме диссертации

Статьи в ведущих журналах, включенных в перечень ВАК:

1. Дунаева, O.A. Исправления и дополнения к статье «Поправка к периоду решения уравнения, моделирующего динамику мембранного потенциала нейрона» / O.A. Дунаева, M.JI. Мя-чин // Моделирование и анализ информационных систем,— Ярославль, 2009. - Т. 16. - № 3. - С. 46-57.

2. Дунаева, О.А. Уточнение оценки латентного периода для нейронов с синаптическим взаимодействием / О.А. Дунаева // Моделирование и анализ информационных систем.—Ярославль, 2009. - Т. 16. - № 4. - С. 46-55.

3. Дунаева, О.А. Принципы построения слоистых нейронных сетей на основе импульсных нейронов / О.А. Дунаева // Моделирование и анализ информационных систем. — Ярославль, 2011. - Т. 18. - № 2. - С. 65-76.

4. Дунаева, О.А. Принципы построения классических нейронных архитектур на базе импульсных нейронов / О.А. Дунаева // Ярославский педагогический вестник. — T. III (Естественные науки). — Ярославль, 2011.—№ 3. — С. 44-54.

5. Дунаева, О.А. Construction of Multi-Layer Perceptron Based on Puise Neurons With Delay / О.А. Дунаева // Optical Memory & Neural Networks (Information Optics).-2011. - Vol. 20.— № 4. - PP. 284-292.

Другие публикации:

6. Дунаева, О.А. Уточнение оценки латентного периода при си-наптическом взаимодействии импульсных нейронов (материалы конференции) / О.А. Дунаева // XII всероссийская научно-техническая конференция «Нейроинформатика-2010». Сборник научных трудов.-Ч. 1.-М: НИЯУ МИФИ, 2010.— С. 59-68.

7. Дунаева, О.А. Об оценке латентного периода импульсных нейронов при синаптическом взаимодействии / О.А. Дунаева // Труды XIV молодежной конференции «Наукоёмкие информационные технологии» УГП им. А.К. Айламазяна. — Переславль-Залесский, 2010. — С. 183-187.

8. Дунаева, О.А. Построение многослойного перцептрона на основе импульсных нейронов / О.А. Дунаева // Современные проблемы математики и информатики. Сборник научных трудов молодых ученых, аспирантов и студентов. — Ярославль, 2010.-Вып. 11.-С. 61-72.

9. Дунаева, О.А. О реализации классических нейронных архитектур на основе импульсных нейронов (труды конференции) / О.А. Дунаева // XIII всероссийская научно-техническая конференция «Нейроинформатика-2011». Сборник научных трудов,-4.1.-М: НИЯУ МИФИ, 2011.-С. 118-126.

Подписано в печать 22.12.11. Формат 60x84/16. Бумага оф. Отпечатано на ризографе.

Тираж 100 экз. Заказ 44/11. Отдел оперативной полиграфии ЯрГУ 150000, Ярославль, ул. Советская ,14.

61 12-1/376

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Ярославский государственный университет им. П.Г. Демидова»

Дунаева Ольга Александровна

Исследование динамики синаптического взаимодействия импульсных нейронов с запаздыванием

Специальность 05.13.18 — Математическое моделирование, численные методы и комплексы программ

Диссертация на соискание ученой степени кандидата физико-математических наук

На правах рукописи

Научный руководитель доктор физико-математических наук, профессор В.А. Бондаренко

Ярославль

2011

Содержание

1 Введение 3

1.1 Биологический нейрон и биологические нейронные сети 3

1.2 Кодирование информации и модели нейрона............8

1.3 Краткий обзор нейросетевых моделей....................17

1.4 Обзор диссертации..........................................23

2 Химическое взаимодействие двух нейронов 28

2.1 Динамика изолированного нейрона........................28

2.2 Модель синагггического взаимодействия..................43

2.3 Построение асимптотики ..................................45

2.4 Результаты компьютерного моделирования..............53

3 Импульсные нейроны с ограниченной по времени чувствительностью 55

3.1 Нейрон-автогенератор с химическими ВБ-синапсами . . 55

3.2 Нейрон с модифицированным ВБ-синапсом....... 67

4 Импульсные нейронные сети 81

4.1 Импульсный нелинейный нейрон МакКаллока-Питца . 81

4.2 Импульсный многослойный перцептрон.........106

4.3 Импульсная сеть Хопфилда................109

5 Заключение 112 Список литературы 114 Приложение 119

1 Введение

Настоящая работа посвящена изучению взаимодействия импульсных динамических элементов с запаздыванием, предложенных в работе [11] в качестве одной из реалистичных моделей биологического нейрона. Сам изучаемый динамический элемент с запаздыванием мы будем в дальнейшем называть импульсным нейроном, а систему взаимодействующих импульсных элементов — импульсной нейронной сетью.

1.1 Биологический нейрон и биологические нейронные сети

В этом разделе мы. в основном следуя [16]. приведем краткий обзор базовых биологических представлений, относящихся к функционированию как изолированного нейрона, так и нервной системы в целом. Нашей целью является выяснение места и роли изучаемых в настоящей работе моделей взаимодействия импульсных нейронов в современной теории нейронных сетей.

1.1.1 Биологические нейронные сети

Нервная система животных и человека образована огромным количеством взаимодействующих нервных клеток (нейронов), основная функция которых состоит в генерировании и передаче электрических импульсов. Нейроны-рецепторы, образующие сенсорные системы, превращают внешние физические стимулы в электрические импульсы, которые распространяются по нервной системе и подвергаются обработке. Результатом обработки внешнего стимула является возбуждение нейронов-эффекторов, которые управляют работой мышц

и желез и реализуют реакцию организма на внешний стимул. Таким образом, нервная система реализует процессы взаимодействия организма с окружающей средой и адаптации к изменению ее условий.

Важнейшим отличием биологических нейронных систем от классических систем искусственного интеллекта является обучение на основе примеров, когда способность к решению конкретной задачи приобретается путем «проб и ошибок» и накопления практического опыта. Другое важное отличие состоит в том. что нервная система представляет собой сложную распределенную систему, реализующую существенно параллельную обработку поступающей информации. Одно из проявлений этого свойства нервной системы состоит в ее высокой надежности по отношению к отказам составных элементов. Высокая степень параллелизма обработки информации в нервной системе проявляется также в том. что в рамках нервной системы сложные процессы обработки больших объемов входной информации в реальном масштабе времени реализованы на относительно медленной «элементной базе» биологического нейрона. Так. характерная продолжительность процесса активации одного нейрона составляет примерно 1 мс. что всего в 10 раз меньше характерного времени отклика нервной системы как целого.

Актуальность изучения процессов обработки информации в нервной системе связана с интересом к построению технических аналогов нервной системы — устройств, воспроизводящих основные особенности процессов обработки информации в нервной системе. Этот интерес подкрепляется тем фактом, что в рамках классических систем обработки информации до сих пор не удалось приблизиться к характеристикам нервной системы по таким параметрам как надежность.

степень параллелизма, скорость адаптации к изменяющимся условиям внешней среды.

Классические методы изучения нервной системы связаны в основном с нейрофизиологическим и психологическим подходами, в рамках которых изучаются структурные элементы нервной системы и связи между ними (нейрофизиологический подход) и высокоуровневые аспекты функционирования нервной системы как целого (психологический подход).

В последнее время наряду с классическими подходами к изучению нервной системы сформировалось альтернативное, т.н. нейросе-тевое направление исследований. В рамках этого направления в качестве основной задачи рассматривается построение биологически правдоподобных нейронных систем, демонстрирующих поведение, характерное для нервной системы в целом. Таким образом, нейросетевое направление исследований совмещает в себе существенные особенности нейрофизиологического и психологического подходов: в качестве структурных элементов изучаемых систем используются более или менее правдоподобные модели биологического нейрона, а сами системы моделируют высокоуровневое поведение нервной системы в том или ином аспекте ее функционирования (память, классификация и т.п.).

В рамках нейросетевого подхода было продемонстрировано, что в относительно простых нейронных сетях реализуются такие сложные высокоуровневые психологические феномены как классификация образов, запоминание и забывание информации, образование ложных образов при запоминании больших объемов информации и т.д. Успешное применение нейросетевых устройств и алгоритмов обработки ин-

формации к задачам классификации и распознавания образов демонстрирует эффективность и практическую ценность нейросетевого подхода. В целом в рамках нейросетевого подхода сформировалось представление о мозге как о гигантской распределенной аналоговой вычислительной системе, способной спонтанно порождать сложные упорядоченные структуры, рождение и эволюция которых представляет собой процесс мышления.

1.1.2 Биологический нейрон

Нервная система образована нервными клетками (нейронами) — специфическими клетками, ключевой особенностью которых является способность воспринимать и генерировать электрические импульсы. Динамика и молекулярные механизмы протекающих в нейроне электрических процессов достаточно хорошо исследованы. Здесь мы, следуя в основном [16] и [8], приведем схематичное описание процессов функционирования и взаимодействия биологических нейронов.

С точки зрения процессов обработки информации отдельный нейрон представляет собой относительно простую нелинейную электрическую систему, основная функция которой состоит в генерировании и передаче нервных импульсов (спайков) — коротких высокоамплитудных электрических импульсов, с помощью которых кодируется вся обрабатываемая нервной системой информация. Посредством спайков нейроны взаимодействуют с рецепторами (преобразователями внешних раздражителей в нервные импульсы), эффекторами (исполнительными органами — мышцами и железами) и между собой.

Электрическое состояние нейрона определяется мембранным потенциалом — разностью потенциалов между внутренней и внешней

поверхностями клеточной мембраны. Изменение мембранного потенциала во времени обусловлено процессами ионного обмена между внутренней (внутриклеточной) и внешней (межклеточной) средами. В покое мембранный потенциал нейрона отрицателен и велик по абсолютной величине, т.е. мембрана сильно поляризована (состояние поляризации). В процессе генерации электрического импульса мембранный потенциал нейрона начинает быстро расти, меняет знак, затем быстро восстанавливается и снова становится отрицательным и еще большим по абсолютной величине, чем в начале (состояние гиперполяризации). В результате происходит генерация спайка — короткого высокоамплитудного электрического импульса.

На молекулярном уровне процесс генерации спайка связан с лавинообразным открытием потенциалзависимых ионных каналов реагирующих на относительно небольшие изменения мембранного потенциала. Поэтому начало спайка обычно связывают с достижением мембранным потенциалом некоторого порогового значения. Потенциал мембраны нейрона может достичь порогового значения в результате открытия хемозависимых ионных каналов за счет химического воздействия со стороны других нейронов. Для т.н. нейронов-детекторов внешнее воздействие является единственной причиной генерации спайка. В то же время в нервной системе присутствуют также нейроны-пейсмейкеры (автогенераторы), для которых характерна самопроизвольная деполяризация мембраны, обусловленная внутри-нейронными процессами. Нейрон-пейсмейкер даже без внешнего воздействия рано или поздно достигнет порогового значения генерации и сгенерирует спайк, т.е. такой нейрон будет обладать свойством авторитмичности — спонтанной активности в генерации спайков. В то же

время внешнее химическое воздействие на нейрон-пейсмейкер может приблизить момент генерации спайка. Отметим, что любой нейрон после генерации спайка в течение некоторого времени оказывается абсолютно невосприимчивым к внешнему воздействию (находится в состоянии рефрактерности).

Нервная клетка состоит из тела, относительно коротких и сильно разветвленных дендритов и единственного длинного центробежного отростка, называемого аксоном. В местах контакта мембран аксона одного нейрона и дендритов других нейронов располагаются синапсы — специфические образования, обеспечивающие передачу импульсов от нейрона к нейрону. При рассмотрении конкретного синапса (места контакта аксона и дендрита) тот нейрон, которому принадлежит участвующий в синаптическом контакте аксон, называется пресинап-тическим нейроном, а тот нейрон, которому принадлежит участвующий в синаптическом контакте дендрит — постсинаптическим, нейроном. Наиболее распространены химические синапсы, в которых при поступлении спайка происходит выделение специфических белков (медиаторов), оказывающих на постсинаптический нейрон возбуждающее или тормозящее воздействие. Нервный импульс генерируется в теле пресинаптического нейрона, распространяется вдоль его аксона как волна деполяризации мембраны, достигает синапсов и через них оказывает влияние на постсинаптические нейроны.

1.2 Кодирование информации и модели нейрона

Исторически первой моделью биологического нейрона была предложенная Ходжкиным и Хаксли система дифференциальных уравнений четвертого порядка [23, 36, 7]. Эта система описывает про-

текающие в мембране нейрона процессы ионного обмена и хорошо согласуется с экспериментальными данными. Тем не менее, модель Ходжкина-Хаксли оказалась слишком сложной для ее непосредственного использования при моделировании нейронных систем [33] и вплоть до последнего времени развитие нейросетевого направления определялось более простыми моделями [26].

В рамках нейросетевого подхода в качестве структурных элементов изучаемых нейронных систем используются биологически правдоподобные модели нейрона, корректно отражающие те или иные свойства биологического нейрона [26]. Несмотря на то, что ключевым свойством биологического нейрона является его возбудимость, конкретная реализация этого свойства в разных биологически правдоподобных моделях оказывается существенно различной. Различия между моделями биологического нейрона в основном связаны с используемым подходом к кодированию обрабатываемой информации.

Вопрос о кодировании информации нервными импульсами является основополагающим для построения нейронных систем. Сами по себе нервные импульсы не несут информации о кодируемом ими сигнале, поскольку их форма и амплитуда определяются в основном внутренними свойствами нейрона и практически одинаковы для всех импульсов. Поэтому кодируемая информация может содержаться только в последовательности нервных импульсов, но относительно способа кодирования имеется несколько равноправных гипотез, причем от используемого способа кодирования существенно зависит выбор модели нейрона.

Заметим, что используемые при построении нейронных сетей модели биологического нейрона существенно отличаются друг от дру-

га по степени детализации моделируемых процессов, протекающих в биологическом нейроне. Многие модели абстрагируются от процессов генерации нервного импульса и механизма его воздействия на пост-синаптический нейрон, моделируя только процесс изменения тех или иных интегральных характеристик состояния нейрона. Такие модели мы будем называть формальными моделями биологического нейрона. Другие модели воспроизводят процесс формирования нервного импульса и более или менее детально описывают процесс влияния нервного импульса на постсинаптический нейрон. Эти модели, которые мы будем называть импульсными моделями биологического нейрона, занимают промежуточное положение между моделью Ходжкина-Хаксли, моделирующей ионный механизм генерации спайка, и простыми моделями нейрона, отражающими только интегральные характеристики состояния биологического нейрона. Импульсные модели на качественном уровне воспроизводят генерацию спайка и реакцию нейрона на внешнее воздействие, не моделируя протекающие при этом электрохимические процессы или моделируя их только в самых общих чертах.

1.2.1 Кодирование информации номером канала и пороговая модель нейрона

В рамках этой гипотезы информация в нервной системе кодируется номером нейрона, переходящего в активное состояние [35] или множеством нейронов, одновременно переходящих в активное состояние, т.е. фактически бинарным паттерном нейронной активности. Гипотеза о кодировании информации номером канала тесно связана с понятием рефлекторной дуги, а ее обоснованность подтверждается обширными биологические данными о структуре нейронных образо-

вании.

При использовании гипотезы о кодировании информации номером канала наиболее естественной оказывается пороговая модель нейрона, называемая также пороговым нейроном МакКаллока-Питца (см. [37]). Именно с этой моделью связано начало активного развития ней-росетевого подхода.

Формальный нейрон МакКаллока-Питца вычисляет взвешенную сумму своих входов и в зависимости от полученного значения и значения порога Н (внутренний параметр нейрона) выдает на выход одно из двух допустимых значений:

где д — бинарный выход нейрона. ©[•] — функция Хевисайда, р^ — бинарный выход ^'-го пресинаптического нейрона, а вес д^ характеризует эффективность синаптической связи с м пресинаптическим нейроном. Таким образом, формальный нейрон МакКаллока-Питца представляет собой устройство с двумя состояниями, переходящее из одного состояния в другое в зависимости от состояний воздействующих на него пресинаптических нейронов.

1.2.2 Частотное кодирование информации и модель нелинейного нейрона

В рамках гипотезы о частотном кодировании информация в нервной системе кодируется средней частотой следования нервных импульсов. причем сам поток спайков рассматривается как случайный поток событий, служащий носителем информации. Отметим, что сложные стимулы в рамках данной гипотезы кодируются паттерном

з

активности отдельных нейронов, т.е. фактически вектором, компоненты которого определяют частоты импульсов отдельных нейронов. Приходящий на синапс поток импульсов подвергается декодированию, при котором частота следования поступающих на нейрон входных импульсов оценивается и определяет частоту генерации нейроном собственных снайков.

При использовании гипотезы о частотном кодировании наиболее естественной оказывается нелинейная модель нейрона, называемая нами в дальнейшем нелинейным нейроном МакКаллока-Питца (см. [37]). Нелинейный нейрон вычисляет взвешенную сумму своих входов и выдает на выход значение

д = 5

- з

где д — аналоговый выход нейрона, б'(-) — сигмоидальная функция активации нейрона. Pj — аналоговый выход ^'-го пресинаптического нейрона, К — активационный сдвиг (внутренний параметр нейрона). д^ — эффективность синаптической связи с ^'-м пресинаптическим нейроном. Единственным отли